Telegram · Повнотекстовий пошук

TgWitness / Документація · Розслідування

Аналіз архіву · Локальне розпізнавання тексту та транскрипція · Вікі

Попередній перегляд. У розділі «Журнал» виберіть «Найкращий збіг · форми слів» поруч із полем пошуку. Результати ранжуються за алгоритмом BM25 і відповідають іншим формам того самого слова: «перевод» знаходить «переводом» і «переводи», «transfer» знаходить «transfers», китайська фраза знаходиться без пробілів. «Новіші спочатку · точний текст» зберігає попередній пошук підрядка в усьому записі.

Індекс є похідними даними. Він відтворюється на основі підписаного журналу, сам ніколи не підписується і ніколи не потрапляє до експорту. Оригінальні записи не змінюються.

На цій сторінці

• Синтаксис пошуку
• Мови
• Де знаходиться індекс
• Результати та підписаний журнал
• Розпізнаний текст
• Доступ
• Запитайте в архіві та MCP
• Залежності
• Бенчмарк

Синтаксис пошуку#

Прийменники та інші службові слова ігноруються, якщо поруч є інші слова. Схожі літери, що потрапили в слово (наприклад, латинська «а» у слові кирилицею), літери Unicode повної ширини та декоративні літери, а також невидимі символи нормалізуються.

Мови#

Мова визначається для кожного запису на основі його сценарію та літер:

Український словник (pymorphy3-dicts-uk) розповсюджується під ліцензією GPL-3.0, тому він не встановлюється за замовчуванням. Встановіть його за допомогою pip install "tgwitness[uk-dictionary]"; індекс розпізнає новий аналізатор і самостійно перекомпілюється.

Де знаходиться індекс#

Головний адміністратор обирає режим у меню «Журнал» → «Фільтри» → «Індекс пошуку» для кожного робочого простору. TGWITNESS_FULLTEXT=disk|memory|off Встановлює значення за замовчуванням для робочих просторів, які не мають власного вибору. Перехід у режим «У пам’яті» або вимкнення призводить до видалення файлу. Файл індексу має такий самий захист, як і журнал: він зберігається у каталозі приватних даних . Він не шифрується і не входить до резервних копій або позамісних копій.

Нові записи індексуються у фоновому режимі за лічені секунди; під час пошуку також спочатку індексується невеликий архів, тому запис, збережений щойно, буде знайдено. Існуючий журнал індексується після оновлення без блокування панелі; до цього моменту результати охоплюють індексовані записи, а журнал показує хід процесу. Перебудова індексу починається знову з першого запису.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild необхідно зупинити панель (в іншому випадку — код виходу 3). При --json, стандартний вивід містить лише результат; інформація про хід виконання надходить у стандартний вивід помилок.

Результати та підписаний журнал#

Індекс зберігає порядковий номер та хеш останнього запису журналу, який він охоплює, і перевіряє їх у порівнянні з журналом під час його відкриття. Замінений, відновлений або відредагований журнал спричиняє перебудову індексу. Кожна відповідь повідомляє про цю позицію, і кожен збіг зчитується з підписаного журналу за його порядковим номером: індекс визначає, які записи показувати та в якому порядку, але ніколи не їхній вміст. Доступ до чату застосовується до власного поля чату журналу, а не до вмісту індексу.

Розпізнаний текст#

Результати OCR та транскрипти залишаються у своїх зашифрованих артефактах. Їхній індекс існує лише в пам’яті та відновлюється після завершення завдання розпізнавання. Збіг з’являється у відповідному media.saved записі, позначений як «машинне розпізнавання» із зазначенням двигуна, моделі та уривку; він ніколи не відображається як текст, надісланий у Telegram. Цей самий індекс використовується для пошуку розпізнаного тексту, який також підтримує збіги з простими підрядками.

Доступ#

Доступ у межах чату знаходить лише записи з відповідних чатів, включаючи розпізнаний текст їхніх вкладень. chat: та інші фільтри можуть лише звузити цей набір. Стан індексу, що відображається для обмеженого доступу, не включає загальні дані журналу. Тільки головний адміністратор може змінити режим або перебудувати індекс.

Зверніться до архіву та MCP#

Запит до архіву отримує свої джерела з цього індексу, коли він буде готовий: найкращі збіги серед вибраних чатів, причому збережений текст враховується лише один раз. Надсилається до 24 джерел; довгі тексти обрізаються навколо збігу та позначаються як урізані. Запити щодо останніх змін, збережених версій одного повідомлення та пошуків, поки індекс ще формується, використовують попередній хронологічний пошук. У попередньому перегляді показано, який метод було використано.

Клієнти MCP можуть викликати search_messages за допомогою ranked=true , а для перегляду сторінок — next_offset. З'єднання з обмеженим доступом отримують лише свої чати.

Нумерація сторінок за рейтингом охоплює щонайбільше перші 1,000 результатів, незалежно від розміру сторінки. Звузьте запит, чат або період, щоб переглянути інші збіги. Пошук спочатку найновіші сортує повідомлення, результати OCR та транскрипції перед вибором кожної сторінки.

Залежності#

Потрібен SQLite FTS5 із unicode61 токенізатором; він входить до складу SQLite в поточних збірках Python. Без нього пошук найкращого збігу повідомляє про його недоступність.

Тестування продуктивності#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>Створює детермінований підписаний журнал, що містить повідомлення російською, українською, англійською, китайською та японською мовами з посиланнями та ідентифікаторами у 200 чатах, формує індекс та вимірює час виконання типових пошукових запитів (50 результатів, медіана за 7 запусків).

Виміряно на Windows 11, Intel Core i9-13900K, 128 ГБ оперативної пам’яті, Python 3.12.10, SQLite 3.49.1, дані на диску з файловою системою exFAT, аналізатор fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Точна фраза перевіряється буквально серед варіантів у порядку рейтингу, доки сторінка не заповниться, тому її загальна кількість не враховується. Час виконання зростає із кількістю записів, що відповідають запиту; звуження чату або періоду прискорює широкий пошук. У синтетичному корпусі повторюється невеликий словниковий запас, тому загальні слова відповідають набагато більшій кількості записів, ніж у реальних чатах.