Telegram · Carian penuh

TgWitness / Dokumentasi · Siasatan

Analisis arkib · OCR tempatan dan transkripsi · Wiki

Pratinjau. Dalam Jurnal, pilih Padanan terbaik · bentuk kata di sebelah medan carian. Keputusan disusun mengikut BM25 dan memadankan bentuk lain bagi kata yang sama: перевод menemui переводом dan переводы, transfer menemui transfers, frasa Cina ditemui tanpa ruang. Terbaru dahulu · teks tepat mengekalkan carian subrentetan sebelumnya merentasi keseluruhan rekod.

Indeks adalah data terbitan. Ia dibina semula daripada jurnal yang disahkan, tidak pernah disahkan sendiri dan tidak pernah dieksport. Rekod asal tidak berubah.

Pada halaman ini

• Sintaks carian
• Bahasa
• Di mana indeks berada
• Keputusan dan jurnal yang ditandatangani
• Teks diiktiraf
• Akses
• Tanya arkib dan MCP
• Kebergantungan
• Penanda aras

Sintaks carian#

Preposisi dan kata fungsi lain diabaikan apabila terdapat perkataan lain. Huruf yang kelihatan serupa yang dicampurkan ke dalam perkataan (huruf Latin a di dalam perkataan Sirilik), huruf lebar penuh dan huruf hiasan Unicode serta aksara tidak kelihatan dinormalisasikan.

Bahasa#

Bahasa dikesan bagi setiap rekod berdasarkan skrip dan hurufnya:

Kamus Ukraine (pymorphy3-dicts-uk) diedarkan di bawah GPL-3.0, jadi ia tidak dipasang secara lalai. Pasang ia dengan pip install "tgwitness[uk-dictionary]"; indeks mengesan penganalisis baru dan membina semula dirinya.

Di mana indeks berada#

Pentadbir utama memilih mod di bawah Jurnal → Penapis → Indeks carian untuk setiap ruang kerja. TGWITNESS_FULLTEXT=disk|memory|off Menetapkan lalai untuk ruang kerja yang tiada pilihan sendiri. Menukar kepada memori atau dimatikan akan memadam fail tersebut. Fail indeks mempunyai perlindungan yang sama seperti jurnal: ia terletak di direktori data peribadi. Ia tidak disulitkan, dan bukan sebahagian daripada sandaran atau salinan luar tapak.

Rekod baharu diindeks di latar belakang dalam beberapa saat; carian juga mengindeks timbunan rekod lama yang pendek terlebih dahulu, supaya rekod yang disimpan sebentar tadi dapat ditemui. Jurnal sedia ada diindeks selepas kemas kini tanpa menyekat panel; sehingga saat itu, keputusan merangkumi rekod yang telah diindeks dan jurnal memaparkan kemajuan. Membina semula indeks bermula semula daripada rekod pertama.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild perlu panel dihentikan (kod keluar 3 jika tidak). Dengan --json, keluaran piawai hanya mengandungi keputusan; kemajuan dihantar ke ralat piawai.

Keputusan dan jurnal yang disahkan#

Indeks menyimpan nombor urutan dan hash rekod jurnal terakhir yang diliputinya dan menyemak keduanya dengan jurnal apabila ia dibuka. Jurnal yang diganti, dipulihkan atau disunting menyebabkan pembinaan semula. Setiap respons melaporkan kedudukan ini, dan setiap padanan dibaca semula daripada jurnal berterasima berdasarkan nombor urutannya: indeks menentukan rekod mana yang hendak dipaparkan dan dalam susunan apa, bukan kandungannya. Akses sembang diterapkan pada medan sembang jurnal itu sendiri, bukan pada kandungan indeks.

Teks yang diiktiraf#

OCR dan transkrip kekal dalam artifak yang disulitkan. Indeks mereka wujud hanya dalam memori dan dibina semula apabila tugas pengecaman selesai. Keputusan muncul pada media.saved rekodnya, dilabel sebagai pengecaman mesin dengan enjin, model dan petikan; ia tidak pernah dipaparkan sebagai teks yang dihantar dalam Telegram. Indeks yang sama digunakan untuk Cari teks yang diiktiraf, yang masih juga mengpadankan subrentetan biasa.

Akses#

Akses skop sembang hanya menemui rekod daripada sembang anda, termasuk teks yang diiktiraf daripada lampirannya. chat: dan penapis lain hanya boleh menyempitkan set itu. Status indeks yang dipaparkan kepada akses berlingkup mengabaikan jumlah jurnal. Hanya pentadbir utama boleh menukar mod atau membina semula indeks.

Tanya arkib dan MCP#

Permintaan arkib mendapatkan sumbernya daripada indeks ini apabila ia lengkap: padanan terbaik merentasi sembang terpilih, dengan teks yang disimpan dikira sekali sahaja. Sehingga 24 sumber dihantar; teks panjang dipotong di sekitar padanan mereka dan ditandakan sebagai dipendekkan. Soalan mengenai perubahan terkini, versi simpanan satu mesej, dan carian semasa indeks masih dibina menggunakan pengambilan kronologi sebelumnya. Pratonton menunjukkan kaedah yang digunakan.

Klien MCP boleh memanggil search_messages dengan ranked=true dan halaman dengan next_offsetSambungan berbeza menerima hanya sembang mereka.

Pemaginasi berperingkat merangkumi paling banyak 1,000 keputusan pertama, tanpa mengira saiz halaman. Sekat carian, sembang atau tempoh untuk menyemak padanan selanjutnya. Carian terbaru-dahulu menyusun mesej, keputusan OCR dan transkripsi sebelum memilih setiap halaman.

Kebergantungan#

SQLite FTS5 dengan unicode61 penoken diperlukan; ia adalah sebahagian daripada SQLite dalam binaan Python semasa. Tanpa ia, carian padanan terbaik melaporkan bahawa ia tidak tersedia.

Penanda aras#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>mencipta jurnal berasingan deterministik yang mengandungi mesej campuran Rusia, Ukraine, Inggeris, Cina dan Jepun dengan pautan dan pemegang dalam 200 sembang, membina indeks dan mencatat masa carian tipikal (50 keputusan, median daripada 7 larian).

Diukur pada Windows 11, Intel Core i9-13900K, 128 GB RAM, Python 3.12.10, SQLite 3.49.1, data pada pemacu exFAT, penganalisis fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Sebuah frasa tepat diperiksa secara harfiah pada calon dalam susunan pangkat sehingga halaman penuh, jadi jumlahnya tidak dikira. Masa meningkat selari dengan bilangan rekod yang sepadan; mengehadkan sembang atau tempoh menjadikan carian luas lebih pantas. Korpus sintetik mengulangi perbendaharaan kata yang kecil, jadi perkataan biasa sepadan dengan lebih banyak rekod berbanding sembang sebenar.