Telegram · Pencarian teks lengkap

TgWitness / Dokumentasi · Penyelidikan

Analisis arsip · OCR dan transkripsi lokal · Wiki

Pratinjau. Di Jurnal, pilih "Kecocokan terbaik · bentuk kata" di sebelah bidang pencarian. Hasil diurutkan menggunakan algoritma BM25 dan mencakup bentuk lain dari kata yang sama: "перевод" menemukan "переводом" dan "переводы", "transfer" menemukan "transfers", frasa dalam bahasa Mandarin ditemukan tanpa spasi. Opsi "Terbaru terlebih dahulu · teks persis" mempertahankan pencarian substring sebelumnya di seluruh catatan.

Indeks merupakan data turunan. Indeks ini dibangun ulang dari jurnal yang ditandatangani, tidak pernah ditandatangani sendiri, dan tidak pernah dimasukkan ke dalam ekspor. Catatan asli tidak berubah.

Di halaman ini

• Sintaks pencarian
• Bahasa
• Di mana indeks berada
• Hasil dan jurnal yang ditandatangani
• Teks yang dikenali
• Akses
• Tanyakan ke arsip dan MCP
• Ketergantungan
• Uji Kinerja

Sintaks pencarian#

Kata depan dan kata fungsi lainnya diabaikan jika terdapat kata lain di sekitarnya. Huruf yang mirip yang tercampur dalam sebuah kata (misalnya huruf Latin "a" di dalam kata Cyrillic), huruf Unicode lebar penuh dan dekoratif, serta karakter tak terlihat, dinormalisasi.

Bahasa#

Bahasa ditentukan per catatan berdasarkan skrip dan huruf-hurufnya:

Kamus Ukraina (pymorphy3-dicts-uk) didistribusikan di bawah lisensi GPL-3.0, sehingga tidak diinstal secara default. Instal dengan pip install "tgwitness[uk-dictionary]"; indeks akan mendeteksi penganalisis baru dan membangun ulang dirinya sendiri.

Di mana indeks tersebut berada#

Administrator utama memilih mode di bawah Jurnal → Filter → Indeks pencarian untuk setiap ruang kerja. TGWITNESS_FULLTEXT=disk|memory|off menetapkan pengaturan default untuk ruang kerja yang tidak memiliki pilihan sendiri. Beralih ke "memori" atau "mati" akan menghapus berkas tersebut. Berkas indeks memiliki perlindungan yang sama dengan jurnal: berkas tersebut disimpan di direktori data pribadi. Berkas ini tidak dienkripsi, dan tidak termasuk dalam cadangan atau salinan di luar lokasi.

Catatan baru diindeks di latar belakang dalam hitungan detik; pencarian juga mengindeks backlog singkat terlebih dahulu, sehingga catatan yang baru saja disimpan dapat ditemukan. Jurnal yang sudah ada diindeks setelah pembaruan tanpa memblokir panel; hingga saat itu, hasil pencarian mencakup catatan yang telah diindeks dan jurnal menampilkan kemajuan proses. Pembuatan ulang indeks dimulai kembali dari catatan pertama.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild panel harus dihentikan (kode keluar 3 jika tidak). Dengan --json, keluaran standar hanya menampilkan hasilnya; kemajuan ditampilkan di kesalahan standar.

Hasil dan jurnal yang ditandatangani#

Indeks menyimpan nomor urut dan hash dari catatan jurnal terakhir yang dicakupnya serta memeriksa keduanya dengan jurnal saat dibuka. Jurnal yang diganti, dipulihkan, atau diedit akan memicu proses pembaruan indeks. Setiap respons melaporkan posisi ini, dan setiap pencocokan dibaca kembali dari jurnal yang ditandatangani berdasarkan nomor urutnya: indeks menentukan catatan mana yang akan ditampilkan dan urutannya, bukan isinya. Akses obrolan diterapkan pada bidang obrolan jurnal itu sendiri, bukan pada konten indeks.

Teks yang dikenali#

OCR dan transkrip tetap berada dalam artefak terenkripsinya. Indeksnya hanya ada di memori dan dibangun kembali saat pekerjaan pengenalan selesai. Hasil yang cocok muncul dalam media.saved catatannya, diberi label sebagai pengenalan mesin beserta mesin, model, dan kutipan; hasil tersebut tidak pernah ditampilkan sebagai teks yang dikirim di Telegram. Indeks yang sama digunakan untuk Pencarian Teks yang Telah Dikenali, yang juga tetap mencocokkan substring biasa.

Akses#

Akses yang dibatasi pada obrolan hanya menemukan catatan dari obrolan tersebut, termasuk teks yang dikenali dari lampirannya. chat: dan filter lainnya hanya dapat mempersempit kumpulan tersebut. Status indeks yang ditampilkan pada akses terbatas tidak mencakup total jurnal. Hanya administrator utama yang dapat mengubah mode atau membangun ulang indeks.

Tanyakan kepada arsip dan MCP#

Minta arsip untuk mengambil sumbernya dari indeks ini setelah selesai: hasil pencocokan terbaik di seluruh obrolan yang dipilih, dengan teks yang disimpan dihitung satu kali. Hingga 24 sumber dikirim; teks panjang dipotong di sekitar bagian yang cocok dan ditandai sebagai terpotong. Pertanyaan tentang perubahan terbaru, versi pesan yang disimpan, dan pencarian saat indeks masih dalam proses pembuatan menggunakan pengambilan kronologis sebelumnya. Pratinjau menunjukkan metode mana yang digunakan.

Klien MCP dapat memanggil search_messages dengan ranked=true dan halaman dengan next_offset. Koneksi yang dibatasi cakupannya hanya menerima obrolan mereka sendiri.

Pagination berurutan mencakup paling banyak hasil 1,000, terlepas dari ukuran halaman. Persempit kueri, obrolan, atau periode untuk memeriksa kecocokan lebih lanjut. Pencarian terbaru terlebih dahulu mengurutkan pesan, hasil OCR, dan transkripsi sebelum memilih setiap halaman.

Ketergantungan#

SQLite FTS5 dengan unicode61 tokenizer; ini merupakan bagian dari SQLite dalam build Python saat ini. Tanpa itu, pencarian kecocokan terbaik akan melaporkan bahwa fitur tersebut tidak tersedia.

Tolok ukur#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>membuat jurnal terverifikasi yang deterministik berisi campuran pesan dalam bahasa Rusia, Ukraina, Inggris, Mandarin, dan Jepang beserta tautan dan handle di 200 obrolan, membangun indeks, serta mengukur waktu pencarian tipikal (50 hasil, median dari 7 kali eksekusi).

Diuji pada Windows 11, Intel Core i9-13900K, 128 GB RAM, Python 3.12.10, SQLite 3.49.1, data pada drive exFAT, alat analisis fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Sebuah frasa yang tepat diperiksa secara harfiah pada kandidat berdasarkan urutan peringkat hingga halaman penuh, sehingga jumlahnya tidak dihitung. Waktu yang dibutuhkan bertambah seiring dengan jumlah catatan yang cocok; mempersempit obrolan atau periode akan mempercepat pencarian yang luas. Korpus sintetis ini mengulang kosakata yang terbatas, sehingga kata-kata umum cocok dengan jauh lebih banyak catatan daripada dalam obrolan nyata.