Telegram · Tam metin arama

TgWitness / Belgeler · Araştırma

Arşiv analizi · Yerel OCR ve transkripsiyon · Wiki

Önizleme. Günlük'te, arama alanının yanındaki En iyi eşleşme · kelime biçimleri seçeneğini seçin. Sonuçlar BM25 ile sıralanır ve aynı kelimenin diğer biçimleriyle eşleşir: перевод, переводом ve переводы sonuçlarını bulur; transfer, transfers sonuçlarını bulur; Çince bir ifade boşluklar olmadan bulunur. En yenisi önce · tam metin seçeneği, önceki alt dize aramasını tüm kayıt üzerinde sürdürür.

Dizin, türetilmiş verilerdir. İmzalı günlüğünden yeniden oluşturulur, kendisi asla imzalanmaz ve hiçbir zaman dışa aktarıma dahil edilmez. Orijinal kayıtlarda herhangi bir değişiklik olmaz.

Bu sayfada

• Arama sözdizimi
• Diller
• Dizin nerede bulunur
• Sonuçlar ve imzalı günlük
• Tanınan metin
• Erişim
• Arşive ve MCP'ye sor
• Bağımlılıklar
• Karşılaştırma

Arama sözdizimi#

Başka kelimeler mevcut olduğunda edatlar ve diğer işlevsel kelimeler göz ardı edilir. Bir kelimeye karışmış benzer harfler (Kiril alfabesindeki bir kelimenin içindeki Latin a harfi), tam genişlikli ve süslemeli Unicode harfleri ile görünmez karakterler normalleştirilir.

Diller#

Dil, her bir kaydın komut dosyası ve harflerinden tespit edilir:

Ukraynaca sözlük (pymorphy3-dicts-uk) GPL-3.0 lisansı altında dağıtılmaktadır, bu nedenle varsayılan olarak yüklenmez. Şu komutla yükleyin pip install "tgwitness[uk-dictionary]"komutuyla yükleyin; dizin, yeni analizörü algılar ve kendini yeniden oluşturur.

Dizin nerede bulunur?#

Ana yönetici, her çalışma alanı için Günlük → Filtreler → Arama dizini altından modu seçer. TGWITNESS_FULLTEXT=disk|memory|off Kendi seçimi olmayan çalışma alanları için varsayılan ayarı belirler. Belleğe geçme veya kapatma seçeneği, dosyayı siler. Dizin dosyası, günlükle aynı korumaya sahiptir: özel veriler dizininde bulunur. Şifrelenmemiştir ve yedeklemelerin veya tesis dışı kopyaların bir parçası değildir.

Yeni kayıtlar arka planda saniyeler içinde indekslenir; arama işlemi de önce kısa bir birikim listesini indeksler, böylece bir an önce kaydedilen bir kayıt bulunur. Mevcut bir günlük, güncellemeden sonra paneli engellemeden indekslenir; o zamana kadar sonuçlar indekslenmiş kayıtları kapsar ve günlük ilerleme durumunu gösterir. İndeksin yeniden oluşturulması ilk kayıttan itibaren başlar.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild panelin durdurulması gerekir (aksi takdirde çıkış kodu 3 olur). --json, standart çıktı yalnızca sonucu taşır; ilerleme durumu standart hata çıktısına gönderilir.

Sonuçlar ve imzalı günlük#

Dizin, kapsadığı son günlük kaydının sıra numarasını ve hash değerini saklar ve günlük açıldığında bunları günlükle karşılaştırır. Değiştirilen, geri yüklenen veya düzenlenmiş bir günlük, dizinin yeniden oluşturulmasına neden olur. Her yanıt bu konumu bildirir ve her eşleşme, sıra numarasına göre imzalı günlükten geri okunur: dizin, hangi kayıtların hangi sırayla gösterileceğine karar verir, asla içeriklerine değil. Sohbet erişimi, dizin içeriğine değil, günlüğün kendi sohbet alanına uygulanır.

Tanınan metin#

OCR ve transkriptler şifrelenmiş dosyalarında kalır. Bunların dizini yalnızca bellekte bulunur ve bir tanıma işi tamamlandığında yeniden oluşturulur. Bir eşleşme, media.saved kayıtta, motor, model ve bir alıntı ile birlikte "makine tanıma" olarak etiketlenir; bu, asla Telegram'da gönderilen metin olarak sunulmaz. Aynı dizin, "Tanınan metni ara" işlevine hizmet eder; bu işlev, düz alt dizelerle de eşleşmeye devam eder.

Erişim#

Sohbet kapsamlı erişim, yalnızca kendi sohbetlerinden gelen kayıtları bulur; buna, eklerdeki tanınan metinler de dahildir. chat: ve diğer filtreler yalnızca bu kümeyi daraltabilir. Kapsamlı erişime gösterilen dizin durumu, günlük toplamlarını içermez. Yalnızca ana yönetici modu değiştirebilir veya dizini yeniden oluşturabilir.

Arşiv ve MCP'ye danışın#

Arşivden, tamamlandığında bu dizinden kaynakların alınmasını isteyin: seçilen sohbetler arasında en iyi eşleşmeler, kaydedilmiş metinler bir kez sayılır. En fazla 24 kaynak gönderilir; uzun metinler eşleşen kısımların etrafından kesilir ve kesik olarak işaretlenir. Son değişiklikler, bir mesajın kaydedilmiş sürümleri ve dizin henüz oluşturulurken yapılan aramalarla ilgili sorular için önceki kronolojik alma yöntemi kullanılır. Önizleme hangi yöntemin kullanıldığını gösterir.

MCP istemcileri search_messages ile ranked=true komutuyla çağırabilir ve next_offsetile çağrı yapabilir. Kapsamlı bağlantılar yalnızca kendi sohbetlerini alır.

Sıralı sayfalandırma, sayfa boyutuna bakılmaksızın en fazla ilk 1,000 sonucunu kapsar. Daha fazla eşleşmeyi incelemek için sorguyu, sohbeti veya dönemi daraltın. En yenisi önce arama özelliği, her sayfayı seçmeden önce mesajları, OCR ve transkripsiyon sonuçlarını sıralar.

Bağımlılıklar#

SQLite FTS5 için unicode61 tokenizer ile birlikte gereklidir; bu, güncel Python derlemelerindeki SQLite'ın bir parçasıdır. Bu olmadan, en iyi eşleşme araması "kullanılamıyor" hatası verir.

Karşılaştırma#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>200 sohbet içindeki bağlantılar ve kullanıcı adları içeren, Rusça, Ukraynaca, İngilizce, Çince ve Japonca mesajların karışımından oluşan deterministik, imzalı bir günlük oluşturur, dizin oluşturur ve tipik aramaların süresini ölçer (50 sonuç, 7 çalıştırmanın medyanı).

Ölçümler Windows 11, Intel Core i9-13900K, 128 GB RAM, Python 3.12.10, SQLite 3.49.1, exFAT sürücüsündeki veriler ve analizör üzerinde gerçekleştirilmiştir. fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

Belirli bir ifade, sayfa dolana kadar sıralı adaylar üzerinde kelimesi kelimesine kontrol edilir; bu nedenle toplam sayısı hesaba katılmaz. Süre, eşleşen kayıtların sayısıyla artar; sohbeti veya dönemi daraltmak, geniş kapsamlı aramaları hızlandırır. Sentetik metin külliyatı küçük bir kelime dağarcığını tekrarlar, bu nedenle yaygın kelimeler gerçek sohbetlere kıyasla çok daha fazla kayıtla eşleşir.