Telegram · Wyszukiwanie pełnotekstowe

TgWitness / Dokumentacja · Dochodzenie

Analiza archiwum · Lokalne rozpoznawanie tekstu (OCR) i transkrypcja · Wiki

Podgląd. W sekcji „Dziennik” wybierz opcję „Najlepsze dopasowanie · formy wyrazów” obok pola wyszukiwania. Wyniki są sortowane według algorytmu BM25 i obejmują inne formy tego samego słowa: wyszukiwanie „перевод” znajdzie „переводом” i „переводы”, a „transfer” znajdzie „transfers”; chińskie frazy są wyszukiwane bez spacji. Opcja „Najnowsze najpierw · dokładny tekst” zachowuje poprzednie wyszukiwanie podciągu w całym zapisie.

Indeks jest danymi pochodnymi. Jest on odtwarzany na podstawie podpisanego dziennika, sam nigdy nie jest podpisywany i nigdy nie jest eksportowany. Oryginalne zapisy pozostają niezmienione.

Na tej stronie

• Składnia wyszukiwania
• Języki
• Gdzie znajduje się indeks
• Wyniki i podpisany dziennik
• Rozpoznany tekst
• Dostęp
• Zapytaj archiwum i MCP
• Zależności
• Test porównawczy

Składnia wyszukiwania#

Przyimki i inne słowa funkcyjne są ignorowane, gdy występują inne słowa. Litery podobne występujące w słowie (np. łacińskie „a” w słowie cyrylickim), znaki o pełnej szerokości oraz ozdobne znaki Unicode i znaki niewidoczne są normalizowane.

Języki#

Język jest wykrywany dla każdego wpisu na podstawie skryptu i liter:

Słownik ukraiński (pymorphy3-dicts-uk) jest rozpowszechniany na licencji GPL-3.0, więc nie jest instalowany domyślnie. Zainstaluj go za pomocą pip install "tgwitness[uk-dictionary]"; indeks wykrywa nowy moduł analizujący i sam się odbudowuje.

Gdzie znajduje się indeks#

Główny administrator wybiera tryb w sekcji Dziennik → Filtry → Indeks wyszukiwania dla każdego obszaru roboczego. TGWITNESS_FULLTEXT=disk|memory|off Ustawia domyślną wartość dla obszarów roboczych, które nie mają własnego wyboru. Przełączenie na tryb pamięci lub wyłączenie powoduje usunięcie pliku. Plik indeksu ma takie samo zabezpieczenie jak dziennik: znajduje się w katalogu danych prywatnych . Nie jest szyfrowany i nie wchodzi w skład kopii zapasowych ani kopii poza siedzibą.

Nowe zapisy są indeksowane w tle w ciągu kilku sekund; wyszukiwanie indeksuje również najpierw krótki zaległy zestaw, dzięki czemu można znaleźć zapis zapisany przed chwilą. Istniejący dziennik jest indeksowany po aktualizacji bez blokowania panelu; do tego momentu wyniki obejmują zindeksowane zapisy, a dziennik pokazuje postęp. Odbudowa indeksu rozpoczyna się ponownie od pierwszego zapisu.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild wymaga zatrzymania panelu (w przeciwnym razie kod wyjścia wynosi 3). W przypadku --json, wyjście standardowe zawiera tylko wynik; informacje o postępie są kierowane do standardowego błędu.

Wyniki i podpisany dziennik#

Indeks przechowuje numer sekwencyjny i skrót ostatniego wpisu dziennika, który obejmuje, i porównuje je z dziennikiem podczas jego otwierania. Wymieniony, przywrócony lub edytowany dziennik powoduje przebudowę indeksu. Każda odpowiedź zgłasza tę pozycję, a każde trafienie jest odczytywane z podpisanego dziennika na podstawie jego numeru sekwencyjnego: indeks decyduje, które wpisy wyświetlić i w jakiej kolejności, ale nigdy nie decyduje o ich treści. Dostęp do czatu dotyczy własnego pola czatu dziennika, a nie treści indeksu.

Rozpoznany tekst#

Wyniki OCR i transkrypcje pozostają w swoich zaszyfrowanych plikach. Ich indeks istnieje wyłącznie w pamięci i jest odtwarzany po zakończeniu zadania rozpoznawania. Trafienie pojawia się w media.saved rekordzie, oznaczony jako rozpoznanie maszynowe wraz z silnikiem, modelem i fragmentem; nigdy nie jest prezentowany jako tekst wysłany w Telegramie. Ten sam indeks służy funkcji „Wyszukaj rozpoznany tekst”, która nadal dopasowuje również zwykłe podciągi.

Dostęp#

Dostęp ograniczony do czatu wyszukuje wyłącznie zapisy z tych czatów, w tym rozpoznany tekst załączników. chat: oraz inne filtry mogą jedynie zawęzić ten zbiór. Status indeksu wyświetlany w trybie dostępu ograniczonego do czatu pomija sumy dziennika. Tylko główny administrator może zmienić tryb lub odbudować indeks.

Zapytaj archiwum i MCP#

Po zakończeniu tworzenia indeksu archiwum pobiera z niego źródła: najlepsze dopasowania spośród wybranych czatów, przy czym zapisany tekst jest liczony tylko raz. Wysyłanych jest maksymalnie 24 źródeł; długie teksty są przycinane wokół dopasowania i oznaczane jako skrócone. Zapytania dotyczące ostatnich zmian, zapisanych wersji jednej wiadomości oraz wyszukiwania w czasie, gdy indeks jest nadal tworzony, wykorzystują poprzedni sposób pobierania danych w porządku chronologicznym. Podgląd pokazuje, która metoda została użyta.

Klienci MCP mogą wywołać search_messages z ranked=true oraz wyświetlać strony za pomocą next_offset. Połączenia z ograniczeniem zakresu odbierają wyłącznie swoje czaty.

Paginacja według rankingu obejmuje co najwyżej pierwsze wyniki 1,000, niezależnie od rozmiaru strony. Aby sprawdzić kolejne dopasowania, należy zawęzić zapytanie, czat lub okres. Wyszukiwanie według najnowszych wyników sortuje wiadomości, wyniki OCR i transkrypcji przed wybraniem każdej strony.

Zależności#

Wymagany jest moduł SQLite FTS5 z unicode61 tokenizerem; jest on częścią biblioteki SQLite w aktualnych kompilacjach Pythona. Bez niego wyszukiwanie najlepszego dopasowania zgłasza, że funkcja jest niedostępna.

Test porównawczy#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>tworzy deterministyczny, podpisany dziennik zawierający mieszankę wiadomości w językach rosyjskim, ukraińskim, angielskim, chińskim i japońskim wraz z linkami i identyfikatorami w 200 czatach, buduje indeks oraz mierzy czas typowych wyszukiwań (50 wyników, mediana z 7 przebiegów).

Testowano na systemie Windows 11, procesorze Intel Core i9-13900K, 128 GB pamięci RAM, w środowisku Python 3.12.10, SQLite 3.49.1, z danymi na dysku exFAT, analizator fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Dokładna fraza jest sprawdzana dosłownie w wynikach w kolejności według rankingu, aż strona zostanie wypełniona, więc jej suma nie jest wliczana. Czas wyszukiwania rośnie wraz z liczbą pasujących rekordów; zawężenie czatu lub okresu przyspiesza szerokie wyszukiwania. Syntetyczny korpus powtarza niewielkie słownictwo, więc popularne słowa pasują do znacznie większej liczby rekordów niż w prawdziwych czatach.