Telegram · पूर्ण-पाठ खोज

टीजीविटनेस / दस्तावेज़ीकरण · जांच

संग्रह विश्लेषण · स्थानीय OCR और प्रतिलेखन · विकी

पूर्वावलोकन। जर्नल में, खोज क्षेत्र के बगल में 'सर्वश्रेष्ठ मिलान · शब्द रूप' चुनें। परिणामों को BM25 से रैंक किया जाता है और एक ही शब्द के अन्य रूपों से मेल खाता है: перевод खोज परिणामों में переводом और переводы मिलते हैं, transfer खोज परिणामों में transfers मिलते हैं, एक चीनी वाक्यांश बिना रिक्त स्थान के भी मिल जाता है। 'नवीनतम पहले · सटीक पाठ' पूरे रिकॉर्ड पर पिछली उप-स्ट्रिंग खोज को बनाए रखता है।

इंडेक्स व्युत्पन्न डेटा है। इसे हस्ताक्षरित जर्नल से फिर से बनाया जाता है, यह स्वयं कभी हस्ताक्षरित नहीं होता है और कभी निर्यात में शामिल नहीं होता है। मूल रिकॉर्ड नहीं बदलते हैं।

इस पृष्ठ पर

• खोज सिंटैक्स
• भाषाएँ
• जहाँ इंडेक्स स्थित है
• परिणाम और हस्ताक्षरित जर्नल
• मान्यता प्राप्त पाठ
• पहुँच
• आर्काइव और MCP से पूछें
• निर्भरताएँ
• बेंचमार्क

खोज सिंटैक्स#

जब अन्य शब्द मौजूद होते हैं तो पूर्वसर्ग और अन्य क्रियात्मक शब्दों को अनदेखा कर दिया जाता है। किसी शब्द में मिले-जुले एक जैसे अक्षर (एक सिरीलिक शब्द के अंदर लैटिन a), पूर्ण-चौड़ाई वाले और सजावटी यूनिकोड अक्षर और अदृश्य वर्ण सामान्यीकृत कर दिए जाते हैं।

भाषाएँ#

भाषा प्रत्येक रिकॉर्ड से उसकी स्क्रिप्ट और अक्षरों के आधार पर पता लगाई जाती है:

यूक्रेनी शब्दकोश (pymorphy3-dicts-uk) GPL-3.0 के तहत वितरित किया जाता है, इसलिए यह डिफ़ॉल्ट रूप से इंस्टॉल नहीं होता है। इसे के साथ इंस्टॉल करें pip install "tgwitness[uk-dictionary]"; इंडेक्स नए एनालाइज़र को नोटिस करता है और स्वयं को फिर से बनाता है।

जहाँ इंडेक्स रहता है#

मुख्य प्रशासक प्रत्येक वर्कस्पेस के लिए Journal → Filters → Search index के अंतर्गत मोड चुनता है। TGWITNESS_FULLTEXT=disk|memory|off उन वर्कस्पेस के लिए डिफ़ॉल्ट सेट करता है जिनकी अपनी पसंद नहीं है। मेमोरी या ऑफ़ पर स्विच करने पर फ़ाइल डिलीट हो जाती है। इंडेक्स फ़ाइल को जर्नल के समान सुरक्षा प्राप्त है: यह प्राइवेट डेटा डायरेक्टरी में रहती है। यह एन्क्रिप्टेड नहीं है, और बैकअप या ऑफ़-साइट कॉपी का हिस्सा नहीं है।

नए रिकॉर्ड कुछ ही सेकंड में बैकग्राउंड में इंडेक्स हो जाते हैं; एक खोज पहले छोटे बैकलॉग को भी इंडेक्स करती है, ताकि कुछ ही समय पहले सहेजा गया रिकॉर्ड मिल जाए। एक मौजूदा जर्नल अपडेट के बाद पैनल को ब्लॉक किए बिना इंडेक्स हो जाता है; तब तक, परिणाम इंडेक्स किए गए रिकॉर्ड को कवर करते हैं और जर्नल प्रगति दिखाता है। इंडेक्स को फिर से बनाने की प्रक्रिया पहले रिकॉर्ड से फिर से शुरू होती है।

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild पैनल को रोका जाना आवश्यक है (अन्यथा निकास कोड 3 होगा)। के साथ --json, मानक आउटपुट में केवल परिणाम आता है; प्रगति मानक त्रुटि पर जाती है।

परिणाम और हस्ताक्षरित जर्नल#

इंडेक्स उस अंतिम जर्नल रिकॉर्ड का अनुक्रम संख्या और हैश संग्रहीत करता है जिसे यह कवर करता है और जर्नल खुलने पर उनकी जांच करता है। एक बदले गए, बहाल किए गए या संपादित जर्नल से पुनर्निर्माण होता है। हर प्रतिक्रिया इस स्थिति की रिपोर्ट करती है, और हर हिट को उसके अनुक्रम संख्या द्वारा हस्ताक्षरित जर्नल से वापस पढ़ा जाता है: इंडेक्स यह तय करता है कि कौन से रिकॉर्ड दिखाने हैं और किस क्रम में, कभी भी उनकी सामग्री नहीं। चैट एक्सेस जर्नल के अपने चैट फ़ील्ड पर लागू होता है, न कि इंडेक्स सामग्री पर।

पहचाना गया पाठ#

ओसीआर और ट्रांसक्रिप्ट अपने एन्क्रिप्टेड आर्टिफैक्ट्स में ही रहते हैं। उनका इंडेक्स केवल मेमोरी में मौजूद रहता है और किसी पहचान कार्य (recognition job) के पूरा होने पर फिर से बनाया जाता है। एक हिट उसके media.saved रिकॉर्ड पर दिखाई देता है, जिसमें इंजन, मॉडल और एक अंश के साथ 'मशीन मान्यता' लेबल लगा होता है; इसे कभी भी टेलीग्राम में भेजे गए टेक्स्ट के रूप में प्रस्तुत नहीं किया जाता है। यही इंडेक्स मान्यता प्राप्त टेक्स्ट की खोज (Search recognized text) के लिए काम करता है, जो अभी भी साधारण उप-स्ट्रिंग्स (plain substrings) से भी मेल खाता है।

पहुँच#

चैट-स्कोप्ड एक्सेस केवल अपनी चैट्स से रिकॉर्ड ढूंढता है, जिसमें उनके अटैचमेंट का पहचाना गया टेक्स्ट भी शामिल है। chat: और अन्य फ़िल्टर केवल उस सेट को संकीर्ण कर सकते हैं। स्कोप्ड एक्सेस को दिखाया गया इंडेक्स स्थिति जर्नल के कुल योग को छोड़ देती है। केवल मुख्य प्रशासक ही मोड बदल सकता है या इंडेक्स को फिर से बना सकता है।

आर्काइव और MCP से पूछें#

पूछताछ आर्काइव इस अनुक्रमणिका से अपने स्रोत तब प्राप्त करता है जब यह पूरी हो जाती है: चयनित चैट्स में सर्वोत्तम मेल, जिसमें एक सहेजे गए टेक्स्ट को एक बार गिना जाता है। 24 स्रोत तक भेजे जाते हैं; लंबे टेक्स्ट को उनके मेल के आसपास से काट दिया जाता है और उन्हें संक्षिप्त के रूप में चिह्नित किया जाता है। हाल के परिवर्तनों के बारे में प्रश्न, एक संदेश के सहेजे गए संस्करण, और अनुक्रमणिका के अभी भी बनते रहने के दौरान की गई खोजें पिछली कालानुक्रमिक पुनर्प्राप्ति का उपयोग करती हैं। पूर्वावलोकन यह दिखाता है कि कौन सी विधि का उपयोग किया गया था।

MCP क्लाइंट कॉल कर सकते हैं search_messages के साथ ranked=true और पेज के साथ next_offset. स्कोप्ड कनेक्शन केवल अपनी चैट्स ही प्राप्त करते हैं।

रैंक की गई पन्नीकरण प्रणाली पृष्ठ आकार की परवाह किए बिना अधिकतम पहले 1,000 परिणामों को कवर करती है। अधिक मिलान देखने के लिए क्वेरी, चैट या अवधि को सीमित करें। नवीनतम-प्रथम खोजें प्रत्येक पृष्ठ को चुनने से पहले संदेशों, OCR और ट्रांसक्रिप्शन परिणामों को क्रमबद्ध करती हैं।

निर्भरताएँ#

SQLite FTS5 के साथ unicode61 टोकनाइज़र आवश्यक है; यह वर्तमान पाइथन बिल्ड्स में SQLite का हिस्सा है। इसके बिना, बेस्ट-मैच सर्च रिपोर्ट करता है कि यह अनुपलब्ध है।

बेंचमार्क#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>200 चैट में लिंक और हैंडल के साथ मिश्रित रूसी, यूक्रेनी, अंग्रेजी, चीनी और जापानी संदेशों का एक निर्धारक हस्ताक्षरित जर्नल बनाता है, अनुक्रमणिका बनाता है और सामान्य खोजों (50 परिणाम, 7 बार चलाने का माध्यिका) का समय निकालता है।

मापा गया विंडोज 11, इंटेल कोर i9-13900K, 128 जीबी रैम, पाइथन 3.12.10, SQLite 3.49.1, डेटा एक exFAT ड्राइव पर, एनालाइज़र पर fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

एक सटीक वाक्यांश को रैंक क्रम में उम्मीदवारों पर शाब्दिक रूप से जांचा जाता है जब तक कि पेज भर न जाए, इसलिए इसकी कुल संख्या की गिनती नहीं की जाती है। मेल खाने वाले रिकॉर्ड की संख्या के साथ समय बढ़ता है; चैट या अवधि को सीमित करने से व्यापक खोजें तेज़ हो जाती हैं। सिंथेटिक कॉर्पस एक छोटी शब्दावली को दोहराता है, इसलिए आम शब्द वास्तविक चैट की तुलना में कहीं अधिक रिकॉर्ड से मेल खाते हैं।