Telegram · Volltextsuche

TgWitness / Dokumentation · Untersuchung

Analyse des Archivs · Lokale OCR und Transkription · Wiki

Vorschau. Wählen Sie im Protokoll neben dem Suchfeld „Beste Übereinstimmung · Wortformen“ aus. Die Ergebnisse werden nach BM25 sortiert und umfassen auch andere Formen desselben Wortes: „перевод“ findet „переводом“ und „переводы“, „transfer“ findet „transfers“, eine chinesische Phrase wird ohne Leerzeichen gefunden. „Neueste zuerst · exakter Text“ behält die vorherige Teilstring-Suche über den gesamten Datensatz bei.

Der Index besteht aus abgeleiteten Daten. Er wird aus dem signierten Protokoll neu erstellt, ist selbst niemals signiert und wird niemals exportiert. Die ursprünglichen Datensätze bleiben unverändert.

Auf dieser Seite

• Suchsyntax
• Sprachen
• Speicherort des Index
• Ergebnisse und das signierte Journal
• Erkannter Text
• Zugriff
• Das Archiv und MCP befragen
• Abhängigkeiten
• Benchmark

Suchsyntax#

Präpositionen und andere Funktionswörter werden ignoriert, wenn andere Wörter vorhanden sind. Ähnlich aussehende Buchstaben, die in einem Wort gemischt vorkommen (z. B. ein lateinisches „a“ in einem kyrillischen Wort), Unicode-Buchstaben in voller Breite sowie dekorative Unicode-Buchstaben und unsichtbare Zeichen werden normalisiert.

Sprachen#

Die Sprache wird für jeden Datensatz anhand des Skripts und der Buchstaben ermittelt:

Das ukrainische Wörterbuch (pymorphy3-dicts-uk) wird unter der GPL-3.0 vertrieben und ist daher standardmäßig nicht installiert. Installieren Sie es mit pip install "tgwitness[uk-dictionary]"; der Index erkennt den neuen Analysator und erstellt sich neu.

Wo sich der Index befindet#

Der Hauptadministrator wählt den Modus unter „Journal“ → „Filter“ → „Suchindex“ für jeden Arbeitsbereich aus. TGWITNESS_FULLTEXT=disk|memory|off Er legt die Standardeinstellung für Arbeitsbereiche fest, die keine eigene Auswahl haben. Durch Umschalten auf „Speicher“ oder „Aus“ wird die Datei gelöscht. Die Indexdatei verfügt über denselben Schutz wie das Protokoll: Sie befindet sich im Verzeichnis für private Daten . Sie ist nicht verschlüsselt und wird nicht in Backups oder externen Kopien gespeichert.

Neue Einträge werden innerhalb von Sekunden im Hintergrund indiziert; bei einer Suche wird zudem zunächst ein kurzer Rückstand indiziert, sodass ein gerade erst gespeicherter Eintrag gefunden wird. Ein bestehendes Protokoll wird nach der Aktualisierung indiziert, ohne das Panel zu blockieren; bis dahin umfassen die Ergebnisse die indizierten Einträge, und das Protokoll zeigt den Fortschritt an. Der Neuaufbau des Index beginnt erneut ab dem ersten Eintrag.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild Das Panel muss beendet werden (ansonsten Exit-Code 3). Bei --json, enthält die Standardausgabe nur das Ergebnis; der Fortschritt wird an die Standardfehlerausgabe geleitet.

Ergebnisse und das signierte Protokoll#

Der Index speichert die Sequenznummer und den Hash des letzten Protokoll-Eintrags, den er abdeckt, und gleicht diese beim Öffnen mit dem Protokoll ab. Ein ersetztes, wiederhergestelltes oder bearbeitetes Protokoll führt zu einer Neuerstellung. Jede Antwort meldet diese Position, und jeder Treffer wird anhand seiner Sequenznummer aus dem signierten Protokoll zurückgelesen: Der Index entscheidet, welche Einträge in welcher Reihenfolge angezeigt werden, niemals jedoch über deren Inhalt. Der Chat-Zugriff gilt für das eigene Chat-Feld des Protokolls, nicht für den Inhalt des Index.

Erkannter Text#

OCR-Ergebnisse und Transkripte verbleiben in ihren verschlüsselten Artefakten. Ihr Index existiert nur im Arbeitsspeicher und wird nach Abschluss eines Erkennungsauftrags neu erstellt. Ein Treffer erscheint in seinem media.saved Datensatz, gekennzeichnet als maschinelle Erkennung mit Angabe der Engine, des Modells und eines Auszugs; er wird niemals als in Telegram gesendeter Text dargestellt. Derselbe Index dient der Suche nach erkanntem Text, die weiterhin auch einfache Teilzeichenfolgen abgleicht.

Zugriff#

Der Chat-bezogene Zugriff findet nur Datensätze aus den jeweiligen Chats, einschließlich des erkannten Textes ihrer Anhänge. chat: und andere Filter können diese Menge lediglich eingrenzen. Der Indexstatus, der beim zugriffsbegrenzten Zugriff angezeigt wird, lässt die Gesamtzahlen des Protokolls außer Acht. Nur der Hauptadministrator kann den Modus ändern oder den Index neu erstellen.

Fragen Sie das Archiv und MCP#

„Ask the Archive“ bezieht seine Quellen aus diesem Index, sobald dieser fertiggestellt ist: die besten Übereinstimmungen aus den ausgewählten Chats, wobei ein gespeicherter Text nur einmal gezählt wird. Es werden bis zu 24 Quellen gesendet; lange Texte werden um die Übereinstimmung herum gekürzt und als abgeschnitten markiert. Anfragen zu den letzten Änderungen, gespeicherten Versionen einer Nachricht und Suchanfragen, während der Index noch erstellt wird, nutzen den vorherigen chronologischen Abruf. Die Vorschau zeigt an, welche Methode verwendet wurde.

MCP-Clients können search_messages mit ranked=true aufrufen und mit next_offset. Verbindungen mit eingeschränktem Zugriff erhalten nur ihre eigenen Chats.

Die nummerierte Paginierung umfasst unabhängig von der Seitengröße höchstens die ersten 1,000-Ergebnisse. Grenzen Sie die Suche, den Chat oder den Zeitraum ein, um weitere Treffer zu prüfen. Bei der Suche nach Neueste zuerst werden Nachrichten, OCR- und Transkriptionsergebnisse vor der Auswahl jeder Seite sortiert.

Abhängigkeiten#

SQLite FTS5 benötigt den unicode61 Tokenizer ist erforderlich; dieser ist Teil von SQLite in aktuellen Python-Builds. Ohne ihn meldet die Best-Match-Suche, dass er nicht verfügbar ist.

Benchmark#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>Erstellt ein deterministisches, signiertes Protokoll aus gemischten russischen, ukrainischen, englischen, chinesischen und japanischen Nachrichten mit Links und Handles in 200 Chats, erstellt den Index und misst die Dauer typischer Suchvorgänge (50 Ergebnisse, Median aus 7 Durchläufen).

Gemessen unter Windows 11, Intel Core i9-13900K, 128 GB RAM, Python 3.12.10, SQLite 3.49.1, Daten auf einem exFAT-Laufwerk, Analysator fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Eine exakte Phrase wird wörtlich bei Kandidaten in der Rangfolge überprüft, bis die Seite voll ist; daher wird deren Gesamtzahl nicht mitgezählt. Die Bearbeitungszeiten steigen mit der Anzahl der übereinstimmenden Datensätze; durch Eingrenzung des Chats oder des Zeitraums lassen sich umfassende Suchen beschleunigen. Das synthetische Korpus wiederholt einen kleinen Wortschatz, sodass häufige Wörter weitaus mehr Datensätze treffen als in echten Chats.