Telegram · การค้นหาข้อความเต็ม

TgWitness / เอกสารประกอบ · การสอบสวน

การวิเคราะห์ข้อมูลในคลัง · OCR และแปลงข้อความเป็นข้อความแบบท้องถิ่น · Wiki

ดูตัวอย่าง ใน Journal ให้เลือก "Best match · word forms" ข้างช่องค้นหา ผลลัพธ์จะถูกจัดอันดับด้วย BM25 และจับคู่กับรูปแบบอื่น ๆ ของคำเดียวกัน: "перевод" จะพบ "переводом" และ "переводы", "transfer" จะพบ "transfers", และวลีภาษาจีน จะถูกค้นหาโดยไม่เว้นวรรค "Newest first · exact text" จะคงการค้นหา ส่วนย่อยของข้อความจากครั้งก่อนไว้บนบันทึกทั้งหมด

ดัชนีเป็นข้อมูลที่สร้างขึ้นใหม่ โดยถูกสร้างขึ้นใหม่จากบันทึกที่ลงนามแล้ว ไม่เคยถูกลงนาม ด้วยตัวเอง และไม่เคยถูกส่งออกเลย บันทึกต้นฉบับไม่เปลี่ยนแปลง

บนหน้านี้

• ไวยากรณ์การค้นหา
• ภาษา
• ตำแหน่งของดัชนี
• ผลลัพธ์ และบันทึกที่ลงนาม
• ข้อความที่ได้รับการระบุ
• Access
• สอบถามข้อมูลจากคลังข้อมูลและ MCP
• การพึ่งพา
• Benchmark

ไวยากรณ์การค้นหา#

คำบุพบทและคำหน้าที่อื่น ๆ จะถูกละเว้นเมื่อมีคำอื่นอยู่ด้วย ตัวอักษรที่คล้ายกันแต่ถูกผสมอยู่ในคำ (เช่น ตัวอักษรละติน "a" ภายในคำซีริลลิก), ตัวอักษร Unicode ที่มีความกว้างเต็มและตัวอักษรตกแต่ง รวมถึงตัวอักษรที่มองไม่เห็น จะถูกปรับให้เป็นมาตรฐาน

ภาษา#

ภาษาจะถูกตรวจจับสำหรับแต่ละบันทึกจากสคริปต์และตัวอักษรในบันทึกนั้น:

พจนานุกรมภาษายูเครน (pymorphy3-dicts-uk) ถูกแจกจ่ายภายใต้ใบอนุญาต GPL-3.0 ดังนั้นจึง ไม่ถูกติดตั้งโดยค่าเริ่มต้น ให้ติดตั้งด้วย pip install "tgwitness[uk-dictionary]"; ดัชนีจะตรวจพบตัววิเคราะห์ใหม่และสร้างตัวเองขึ้นใหม่

ตำแหน่งของดัชนี#

ผู้ดูแลระบบหลักจะเลือกโหมดภายใต้ Journal → Filters → Search index สำหรับแต่ละพื้นที่ทำงาน TGWITNESS_FULLTEXT=disk|memory|off ตั้งค่าเริ่มต้นสำหรับ พื้นที่ทำงานที่ยังไม่ได้เลือกเอง การเปลี่ยนไปใช้โหมดในหน่วยความจำหรือปิดโหมดจะลบไฟล์ดังกล่าว ไฟล์ดัชนีมีการป้องกันเช่นเดียวกับบันทึก: ไฟล์นี้อยู่ในไดเรกทอรีข้อมูลส่วนตัว ไฟล์นี้ไม่ได้รับการเข้ารหัส และไม่ถูกรวมอยู่ในการสำรองข้อมูลหรือสำเนาที่เก็บไว้นอกสถานที่

บันทึกใหม่จะถูกจัดทำดัชนีในพื้นหลังภายในไม่กี่วินาที; การค้นหายังจัดทำดัชนี ข้อมูลค้างเก่าในปริมาณน้อยก่อน ดังนั้นบันทึกที่เพิ่งบันทึกเมื่อไม่นานมานี้จึงสามารถค้นหาได้ บันทึกที่มีอยู่ จะถูกจัดทำดัชนีหลังการอัปเดตโดยไม่ทำให้แผงควบคุมหยุดทำงาน; จนกว่าจะเสร็จสิ้น ผลลัพธ์จะครอบคลุม บันทึกที่จัดทำดัชนีแล้ว และบันทึกจะแสดงความคืบหน้า การสร้างดัชนีใหม่จะเริ่มต้นใหม่ จากบันทึกแรก

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild ต้องหยุดการทำงานของ panel (หากไม่หยุด จะให้รหัสออก 3) โดย --json, ผลออกทางมาตรฐานจะแสดงเพียงผลลัพธ์เท่านั้น; ความคืบหน้าจะถูกส่งไปยังมาตรฐานข้อผิดพลาด

ผลลัพธ์และบันทึกที่ลงนาม#

ดัชนีเก็บหมายเลขลำดับและค่าแฮชของบันทึกในสมุดบันทึกสุดท้ายที่มันครอบคลุม และตรวจสอบข้อมูลเหล่านี้กับสมุดบันทึกเมื่อเปิดขึ้น สมุดบันทึกที่ถูกแทนที่ ฟื้นฟู หรือแก้ไข จะทำให้ต้องสร้างดัชนีใหม่ ทุกการตอบกลับจะรายงานตำแหน่งนี้ และทุกการค้นหาจะถูก อ่านกลับจากสมุดบันทึกที่ลงนามตามหมายเลขลำดับ: ดัชนีจะตัดสินใจว่า บันทึกใดจะแสดงและในลำดับใด แต่ไม่เคยกำหนดเนื้อหาของบันทึกนั้น การเข้าถึงแชทถูกนำไปใช้กับ ช่องแชทของสมุดบันทึกเอง ไม่ใช่เนื้อหาของดัชนี

ข้อความที่ตรวจพบ#

OCR และข้อความถอดเสียงจะยังคงอยู่ในไฟล์ที่เข้ารหัสไว้ ดัชนีของข้อมูลเหล่านี้มีอยู่เพียงใน หน่วยความจำ และจะถูกสร้างขึ้นใหม่เมื่องานการรู้จำเสร็จสิ้น ผลลัพธ์ที่ตรงกันจะปรากฏใน media.saved บันทึก โดยถูกระบุว่าเป็น "การระบุโดยเครื่อง" พร้อมด้วยชื่อเครื่องยนต์ โมเดล และ ส่วนคัดลอก; มันจะไม่ถูกแสดงเป็นข้อความที่ส่งใน Telegram เลย ดัชนีเดียวกันนี้ยังใช้ สำหรับการค้นหาข้อความที่ได้รับการระบุ ซึ่งยังคงสามารถจับคู่กับส่วนย่อยของข้อความแบบธรรมดาได้อีกด้วย

เข้าถึง#

สิทธิ์การเข้าถึงในระดับแชทจะค้นหาบันทึกเฉพาะจากแชทนั้นเท่านั้น รวมถึงข้อความที่ระบบระบุได้จาก ไฟล์แนบของแชทนั้น chat: และตัวกรองอื่น ๆ สามารถจำกัดชุดข้อมูลนั้นได้เท่านั้น สถานะดัชนี ที่แสดงให้สิทธิ์การเข้าถึงแบบจำกัดจะไม่นับรวมยอดรวมของบันทึกทั้งหมด มีเพียงผู้ดูแลระบบหลักเท่านั้นที่สามารถเปลี่ยน โหมดหรือสร้างดัชนีใหม่ได้

ติดต่อกับฝ่ายเก็บข้อมูลและ MCP#

เมื่อดัชนีเสร็จสมบูรณ์ ระบบจะดึงแหล่งข้อมูลจากดัชนีนี้: ผลลัพธ์ที่ตรงกันมากที่สุดจากแชทที่เลือก โดยข้อความที่บันทึกไว้จะถูกนับเพียงครั้งเดียว ส่งแหล่งข้อมูลได้สูงสุด 24 แหล่ง; ข้อความยาวจะถูกตัดรอบจุดที่ตรงกันและทำเครื่องหมายว่าถูกตัดทอน คำถามเกี่ยวกับการเปลี่ยนแปลงล่าสุด เวอร์ชันที่บันทึกไว้ของข้อความเดียว และการค้นหาในขณะที่ ดัชนียังอยู่ในระหว่างการสร้าง ให้ใช้การดึงข้อมูลตามลำดับเวลาครั้งก่อน การแสดงตัวอย่าง จะแสดงว่าใช้วิธีการใด

ลูกค้า MCP สามารถเรียกใช้ search_messages ด้วย ranked=true และหน้าด้วย next_offset. การเชื่อมต่อแบบจำกัดขอบเขตจะรับเฉพาะการสนทนาของตนเองเท่านั้น

การแบ่งหน้าตามอันดับจะครอบคลุมผลลัพธ์1,000แรกเท่านั้น ไม่ว่าขนาดหน้าจะเป็นเท่าใดก็ตาม ให้จำกัดการค้นหา แชท หรือช่วงเวลา เพื่อตรวจสอบผลลัพธ์ที่ตรงกันเพิ่มเติม การค้นหาแบบ ใหม่ที่สุดก่อน จะจัดเรียงข้อความ ผลลัพธ์ OCR และผลการถอดความ ก่อนที่จะเลือกแต่ละหน้า

การพึ่งพา#

SQLite FTS5 พร้อมด้วย unicode61 tokenizer เป็นสิ่งจำเป็น; มันเป็นส่วนหนึ่งของ SQLite ใน เวอร์ชัน Python ปัจจุบัน หากไม่มีมัน ระบบค้นหาที่ตรงกันมากที่สุดจะรายงานว่าไม่สามารถใช้งานได้

Benchmark#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>สร้างบันทึกที่ลงนามแบบกำหนดได้ ซึ่งประกอบด้วยข้อความผสมระหว่างภาษารัสเซีย ยูเครน อังกฤษ จีน และญี่ปุ่น พร้อมด้วยลิงก์และแฮนเดิลใน 200 ห้องสนทนา สร้างดัชนี และวัดเวลาการค้นหาทั่วไป (50 ผลลัพธ์, ค่ามัธยฐานจากการทดสอบ 7 ครั้ง)

ทดสอบบน Windows 11, Intel Core i9-13900K, RAM 128 GB, Python 3.12.10, SQLite 3.49.1, ข้อมูลบนไดรฟ์ exFAT, เครื่องวิเคราะห์ fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

วลีที่ตรงกันจะถูกตรวจสอบตามตัวอักษรบนผลลัพธ์ที่จัดเรียงตามลำดับความสำคัญจนกว่าหน้าจะ เต็ม ดังนั้นผลรวมจึงไม่ถูกนับ เวลาที่ใช้จะเพิ่มขึ้นตามจำนวนบันทึกที่ตรงกัน; การจำกัดการค้นหาให้แคบลง เช่น การเลือกแชทหรือช่วงเวลาเฉพาะ จะทำให้การค้นหาแบบกว้างเร็วขึ้น คอร์ปัสสังเคราะห์นี้ใช้ คำศัพท์จำนวนน้อยซ้ำๆ ดังนั้นคำทั่วไปจะตรงกับบันทึกได้มากกว่าการแชทจริง