Telegram · مکمل متن تلاش

ٹی جی وٹنس / دستاویزات · تفتیش

آرکائیو تجزیہ · مقامی OCR اور ٹرانسکرپشن · ویکی

پریویو۔ جرنل میں، سرچ فیلڈ کے ساتھ 'بہترین میل · لفظ کی اقسام' (Best match · word forms) منتخب کریں۔ نتائج کو BM25 کے ساتھ درجہ بندی کیا جاتا ہے اور ایک ہی لفظ کی دیگر شکلوں سے بھی میل کھاتا ہے: перевод، переводом اور переводы تلاش کرتا ہے، transfer، transfers تلاش کرتا ہے، ایک چینی عبارت بغیر خالی جگہوں کے تلاش کی جاتی ہے۔ 'نئے پہلے · بالکل ٹیکسٹ' (Newest first · exact text) پوری ریکارڈ پر پچھلی سب سٹرنگ تلاش کو برقرار رکھتا ہے۔

انڈیکس مشتق ڈیٹا ہے۔ یہ دستخط شدہ جرنل سے دوبارہ تیار کیا جاتا ہے، خود کبھی دستخط نہیں کیا جاتا اور کبھی برآمد نہیں ہوتا۔ اصل ریکارڈز میں کوئی تبدیلی نہیں ہوتی۔

اس صفحے پر

• تلاش کی ترکیب
• زبانیں
• جہاں انڈیکس موجود ہے
• نتائج اور دستخط شدہ جرنل
• تسلیم شدہ متن
• رسائی
• آرکائیو اور MCP سے پوچھیں
• انحصار
• بینچ مارک

سرچ سنٹیکس#

جب دوسرے الفاظ موجود ہوں تو حرفِ جر اور دیگر فعلِ الفاظ کو نظر انداز کیا جاتا ہے۔ لفظ میں شامل مماثل حروف (مثلاً سائرلک لفظ کے اندر لاطینی حرف 'a')، مکمل چوڑائی والے اور سجاوٹی یونیکوڈ حروف اور پوشیدہ علامات کو معیاری شکل میں لایا جاتا ہے۔

زبانیں#

ہر ریکارڈ کی زبان اس کے رسم الخط اور حروف کی بنیاد پر شناخت کی جاتی ہے:

یوکرینی لغت (pymorphy3-dicts-uk) GPL-3.0 کے تحت تقسیم کیا گیا ہے، لہٰذا یہ ڈیفالٹ طور پر انسٹال نہیں ہوتا۔ اسے کے ساتھ انسٹال کریں pip install "tgwitness[uk-dictionary]"؛ انڈیکس نئے اینالیزر کو نوٹس کرتا ہے اور خود کو دوبارہ تعمیر کرتا ہے۔

جہاں انڈیکس موجود ہے#

اہم منتظم ہر ورک اسپیس کے لیے Journal → Filters → Search index کے تحت موڈ کا انتخاب کرتا ہے۔ TGWITNESS_FULLTEXT=disk|memory|off ان ورک اسپیسز کے لیے ڈیفالٹ مقرر کرتا ہے جن کی اپنی کوئی پسند نہیں ہوتی۔ میموری یا آف پر سوئچ کرنے سے فائل حذف ہو جاتی ہے۔ انڈیکس فائل کو جرنل جیسی ہی حفاظت حاصل ہے: یہ پرائیویٹ ڈیٹا ڈائریکٹری میں موجود ہوتی ہے۔ یہ انکرپٹڈ نہیں ہوتی، اور بیک اپ یا آف سائٹ کاپیوں کا حصہ نہیں ہوتی۔

نئے ریکارڈز چند سیکنڈز میں پسِ منظر میں انڈیکس ہو جاتے ہیں؛ تلاش پہلے مختصر بیک لاگ کو انڈیکس کرتی ہے، تاکہ چند لمحے پہلے محفوظ کیا گیا ریکارڈ مل سکے۔ اپ ڈیٹ کے بعد موجودہ جرنل بلاک کیے بغیر انڈیکس ہوتا ہے؛ اس دوران نتائج انڈیکس شدہ ریکارڈز کو شامل کرتے ہیں اور جرنل پیش رفت دکھاتا ہے۔ انڈیکس دوبارہ تعمیر کرنا پہلے ریکارڈ سے دوبارہ شروع ہوتا ہے۔

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild پینل کو روکنا ضروری ہے (ورنہ ایگزٹ کوڈ 3 ہوگا)۔ کے ساتھ --json, معیاری آؤٹ پٹ میں صرف نتیجہ شامل ہوتا ہے؛ پیش رفت معیاری ایرر پر جاتی ہے۔

نتائج اور دستخط شدہ جرنل#

انڈیکس اس آخری جرنل ریکارڈ کا ترتیب نمبر اور ہیش محفوظ کرتا ہے جسے یہ کور کرتا ہے اور جرنل کھلنے پر ان کا مقابلہ کرتا ہے۔ ایک تبدیل شدہ، بحال شدہ یا ترمیم شدہ جرنل دوبارہ تعمیر کا سبب بنتا ہے۔ ہر جواب اس پوزیشن کی اطلاع دیتا ہے، اور ہر ہٹ کو اس کے ترتیب نمبر کے ذریعے دستخط شدہ جرنل سے دوبارہ پڑھا جاتا ہے: انڈیکس فیصلہ کرتا ہے کہ کون سے ریکارڈز دکھانے ہیں اور کس ترتیب میں، نہ کہ ان کے مواد کے بارے میں۔ چیٹ کی رسائی جرنل کے اپنے چیٹ فیلڈ پر لاگو ہوتی ہے، نہ کہ انڈیکس کے مواد پر۔

متعارف شدہ متن#

OCR اور ٹرانسکرپٹس اپنے انکرپٹڈ آرٹیفیکٹس میں ہی رہتے ہیں۔ ان کا انڈیکس صرف میموری میں موجود ہوتا ہے اور جب کوئی شناخت کا کام مکمل ہوتا ہے تو دوبارہ بنایا جاتا ہے۔ ایک ہٹ اس کے media.saved ریکارڈ پر ظاہر ہوتا ہے، جس پر مشین کی شناخت کے طور پر انجن، ماڈل اور ایک اقتباس کا لیبل ہوتا ہے؛ اسے کبھی بھی ٹیلیگرام میں بھیجا گیا متن کے طور پر پیش نہیں کیا جاتا۔ یہی انڈیکس Search recognized text کے لیے کام کرتا ہے، جو اب بھی سادہ ذیلی سٹرنگز سے بھی میل کھاتا ہے۔

رسائی#

چٹ کی حد تک رسائی صرف اپنی چٹس کے ریکارڈز تلاش کرتی ہے، بشمول ان کے منسلکات کے پہچانے گئے متن کے۔ chat: اور دیگر فلٹرز صرف اس سیٹ کو محدود کر سکتے ہیں۔ انڈیکس کی حیثیت جو اسکوپڈ رسائی کو دکھائی جاتی ہے، جرنل کے کل اعداد و شمار کو خارج کر دیتی ہے۔ صرف مرکزی منتظم ہی موڈ تبدیل کر سکتا ہے یا انڈیکس کو دوبارہ تعمیر کر سکتا ہے۔

آرکائیو اور MCP سے پوچھیں#

جب یہ مکمل ہو جائے تو Ask the archive اس اشاریے سے اپنے ذرائع حاصل کرتا ہے: منتخب کردہ چیٹس میں سے بہترین مماثلتیں، جن میں محفوظ شدہ متن کو صرف ایک بار شمار کیا جاتا ہے۔ 24 تک ذرائع بھیجے جاتے ہیں؛ طویل متون کو ان کی مماثلت کے گرد کاٹا جاتا ہے اور انہیں نامکمل کے طور پر نشان زد کیا جاتا ہے۔ حالیہ تبدیلیوں کے بارے میں سوالات، ایک پیغام کے محفوظ شدہ ورژنز، اور اشاریے کی تیاری کے دوران کی جانے والی تلاشیں پچھلی زمانی ترتیب والی بازیافت استعمال کرتی ہیں۔ پیش نظارہ دکھاتا ہے کہ کون سا طریقہ استعمال کیا گیا تھا۔

MCP کلائنٹس کال کر سکتے ہیں search_messages کے ساتھ ranked=true اور صفحہ کے ساتھ next_offset. Scoped کنکشنز صرف اپنی چیٹس وصول کرتے ہیں۔

درجہ بند صفحہ بندی زیادہ سے زیادہ پہلے 1,000 نتائج کو کور کرتی ہے، قطع نظر صفحے کے سائز کے۔ مزید میچز دیکھنے کے لیے سوال، چیٹ یا مدت کو محدود کریں۔ نئے سے پہلے تلاش پیغامات، OCR اور ٹرانسکرپشن کے نتائج کو ہر صفحہ منتخب کرنے سے پہلے ترتیب دیتی ہے۔

انحصار#

SQLite FTS5 کے ساتھ unicode61 ٹوکنائزر درکار ہے؛ یہ موجودہ پائتھن بلڈز میں شامل SQLite کا حصہ ہے۔ اس کے بغیر، بہترین مماثل تلاش رپورٹ کرتی ہے کہ یہ دستیاب نہیں ہے۔

بینچ مارک#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>یہ 200 چیٹس میں روابط اور ہینڈلز کے ساتھ مخلوط روسی، یوکرینی، انگریزی، چینی اور جاپانی پیغامات کا ایک متعین دستخط شدہ جریدہ بناتا ہے، انڈیکس تیار کرتا ہے اور عام تلاشوں (50 نتائج، 7 چلاؤ کا درمیانہ) کا وقت نکالتا ہے۔

Windows 11، Intel Core i9-13900K، 128 GB RAM، Python 3.12.10، SQLite 3.49.1، exFAT ڈرائیو پر ڈیٹا، تجزیہ کار پر ماپا گیا۔ fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

ایک مخصوص عبارت کو امیدواروں پر ترتیب وار درجہ بندی کے مطابق لفظی طور پر چیک کیا جاتا ہے جب تک صفحہ بھر نہ جائے، اس لیے اس کا مجموعی شمار نہیں کیا جاتا۔ میچ ہونے والی ریکارڈز کی تعداد کے ساتھ وقت بڑھتا جاتا ہے؛ چیٹ یا دورانیے کو محدود کرنے سے وسیع تلاشیں تیز ہو جاتی ہیں۔ مصنوعی مجموعہ ایک چھوٹے ذخیرہ الفاظ کو دہراتا ہے، اس لیے عام الفاظ حقیقی چیٹس کے مقابلے میں کہیں زیادہ ریکارڈز سے میل کھاتے ہیں۔