Telegram · Recherche en texte intégral

TgWitness / Documentation · Enquête

Analyse des archives · OCR et transcription en local · Wiki

Aperçu. Dans « Journal », sélectionnez « Meilleure correspondance · formes du mot » à côté du champ de recherche. Les résultats sont classés selon l’algorithme BM25 et correspondent à d’autres formes du même mot : « перевод » trouve « переводом » et « переводы », « transfer » trouve « transfers », une phrase en chinois est trouvée sans espaces. L’option « Les plus récents en premier · texte exact » conserve la recherche de sous-chaîne précédente sur l’ensemble de l’enregistrement.

L'index est constitué de données dérivées. Il est reconstruit à partir du journal signé, n'est jamais signé en soi et n'est jamais inclus dans une exportation. Les enregistrements d'origine ne sont pas modifiés.

Sur cette page

• Syntaxe de recherche
• Langues
• Emplacement de l'index
• Résultats et journal signé
• Texte reconnu
• Accès
• Consulter les archives et MCP
• Dépendances
• Benchmark

Syntaxe de recherche#

Les prépositions et autres mots fonctionnels sont ignorés lorsqu'ils sont accompagnés d'autres mots. Les lettres similaires mélangées au sein d'un mot (un « a » latin dans un mot cyrillique), les lettres Unicode de pleine largeur et décoratives, ainsi que les caractères invisibles sont normalisés.

Langues#

La langue est détectée pour chaque enregistrement à partir de son script et de ses caractères :

Le dictionnaire ukrainien (pymorphy3-dicts-uk) est distribué sous licence GPL-3.0 ; il n’est donc pas installé par défaut. Installez-le à l’aide de pip install "tgwitness[uk-dictionary]"; l'index détecte le nouvel analyseur et se reconstruit automatiquement.

Emplacement de l'index#

L'administrateur principal choisit le mode sous Journal → Filtres → Index de recherche pour chaque espace de travail. TGWITNESS_FULLTEXT=disk|memory|off Il définit la valeur par défaut pour les espaces de travail ne disposant pas de leur propre choix. Le passage en mode « mémoire » ou la désactivation suppriment le fichier. Le fichier d’index bénéficie de la même protection que le journal : il se trouve dans le répertoire des données privées . Il n’est pas chiffré et ne fait pas partie des sauvegardes ni des copies hors site.

Les nouveaux enregistrements sont indexés en arrière-plan en quelques secondes ; une recherche indexe également en priorité un petit historique, ce qui permet de retrouver un enregistrement sauvegardé il y a quelques instants. Un journal existant est indexé après la mise à jour sans bloquer le panneau ; jusqu’à ce moment-là, les résultats couvrent les enregistrements indexés et le journal affiche la progression. La reconstruction de l’index recommence à partir du premier enregistrement.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild nécessite l'arrêt du panneau (code de sortie 3 dans le cas contraire). Avec --json, la sortie standard ne contient que le résultat ; la progression est affichée sur la sortie d'erreur standard.

Résultats et journal signé#

L'index stocke le numéro de séquence et le hachage du dernier enregistrement du journal qu'il couvre et les compare au journal lors de son ouverture. Un journal remplacé, restauré ou modifié entraîne une reconstruction. Chaque réponse signale cette position, et chaque résultat est récupéré à partir du journal signé grâce à son numéro de séquence : l'index décide quels enregistrements afficher et dans quel ordre, mais jamais leur contenu. L'accès au chat s'applique au champ de discussion du journal lui-même, et non au contenu de l'index.

Texte reconnu#

L'OCR et les transcriptions restent dans leurs artefacts chiffrés. Leur index n'existe qu'en mémoire et est reconstruit à la fin de chaque tâche de reconnaissance. Un résultat apparaît dans son media.saved enregistrement, identifié comme une reconnaissance automatique avec le moteur, le modèle et un extrait ; il n’est jamais présenté comme du texte envoyé via Telegram. Le même index alimente la fonctionnalité « Recherche de texte reconnu », qui permet également de trouver des sous-chaînes en clair.

Accès#

L'accès limité aux discussions ne trouve que les enregistrements provenant de ces discussions, y compris le texte reconnu de leurs pièces jointes. chat: et d’autres filtres ne peuvent que restreindre cet ensemble. L’état de l’index affiché pour l’accès limité omet les totaux du journal. Seul l’administrateur principal peut modifier le mode ou reconstruire l’index.

Consultez les archives et le MCP#

Demandez à l’archive de récupérer ses sources à partir de cet index lorsqu’il est complet : les meilleures correspondances parmi les discussions sélectionnées, chaque texte enregistré n’étant compté qu’une seule fois. Jusqu’à 24 sources sont envoyées ; les textes longs sont tronqués autour de leur correspondance et marqués comme tronqués. Les requêtes concernant les modifications récentes, les versions enregistrées d’un message et les recherches pendant que l’index est encore en cours de construction utilisent la récupération chronologique précédente. L’aperçu indique quelle méthode a été utilisée.

Les clients MCP peuvent appeler search_messages avec ranked=true et les pages avec next_offset. Les connexions à portée restreinte ne reçoivent que leurs propres discussions.

La pagination classée couvre au maximum les premiers résultats 1,000, quelle que soit la taille de la page. Affiner la requête, la conversation ou la période pour examiner d’autres correspondances. Les recherches les plus récents en premier classent les messages, les résultats OCR et les transcriptions avant la sélection de chaque page.

Dépendances#

SQLite FTS5 nécessite le unicode61 tokenizer est indispensable ; il fait partie de SQLite dans les versions actuelles de Python. Sans lui, la recherche de la meilleure correspondance signale que la fonctionnalité n'est pas disponible.

Test de performance#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>Crée un journal signé et déterministe contenant un mélange de messages en russe, ukrainien, anglais, chinois et japonais, avec des liens et des identifiants, issus de 200 discussions ; génère l'index et mesure la durée des recherches types (50 résultats, médiane sur 7 exécutions).

Mesures effectuées sous Windows 11, processeur Intel Core i9-13900K, 128 Go de RAM, Python 3.12.10, SQLite 3.49.1, données stockées sur un disque exFAT, analyseur fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Une expression exacte est vérifiée littéralement sur les candidats classés par ordre de pertinence jusqu’à ce que la page soit pleine ; son total n’est donc pas pris en compte. Le temps de traitement augmente avec le nombre d’enregistrements correspondants ; restreindre le chat ou la période permet d’accélérer les recherches larges. Le corpus synthétique réutilise un vocabulaire restreint, de sorte que les mots courants correspondent à bien plus d’enregistrements que dans les chats réels.