Telegram · جستجوی متن کامل

TgWitness / مستندسازی · تحقیق

تحلیل بایگانی · شناسایی نوری حروف (OCR) و رونویسی محلی · ویکی

پیش‌نمایش. در «ژورنال»، «بهترین تطابق · اشکال واژه‌ای» را در کنار کادر جستجو انتخاب کنید. نتایج با BM25 رتبه‌بندی می‌شوند و با سایر اشکال همان کلمه مطابقت دارند: «перевод» کلمات «переводом» و «переводы» را پیدا می‌کند، «transfer» کلماتی مانند «transfers» را پیدا می‌کند و یک عبارت چینی بدون فاصله پیدا می‌شود. «جدیدترین‌ها اول · متن دقیق» جستجوی زیر رشته‌ای قبلی را بر روی کل رکورد حفظ می‌کند.

این شاخص داده‌ای مشتق‌شده است. این شاخص از دفترچهٔ امضا‌شده بازسازی می‌شود، خود هرگز امضا نمی‌شود و هرگز صادر نمی‌گردد. سوابق اصلی تغییر نمی‌کنند.

در این صفحه

• سینتکس جستجو
• زبان‌ها
• محل قرارگیری ایندکس
• نتایج و دفترچهٔ ثبت‌شدهٔ امضاشده
• متن شناسایی‌شده
• دسترسی
• از آرشیو و MCP بپرسید
• وابستگی‌ها
• معیار سنجی

سینتکس جستجو#

حروف اضافه و سایر کلمات وظیفه‌ای (function words) در صورت وجود کلمات دیگر نادیده گرفته می‌شوند. حروف مشابه که در یک کلمه آمیخته شده‌اند (مانند حرف a لاتین در یک کلمه سیریلیک)، حروف پهن‌عرض و تزئینی یونیکد و کاراکترهای نامرئی نرمال‌سازی می‌شوند.

زبان‌ها#

زبان هر رکورد بر اساس خط و حروف آن شناسایی می‌شود:

واژه‌نامه اوکراینی (pymorphy3-dicts-uk) تحت مجوز GPL-3.0 توزیع می‌شود، بنابراین به‌صورت پیش‌فرض نصب نمی‌شود. آن را با pip install "tgwitness[uk-dictionary]"؛ ایندکس تحلیلگر جدید را تشخیص داده و خود را مجدداً ساخت می‌کند.

محل قرارگیری ایندکس#

مدیر اصلی برای هر فضای کاری، حالت را در مسیر دفترچه یادداشت → فیلترها → نمایه جستجو انتخاب می‌کند. TGWITNESS_FULLTEXT=disk|memory|off مقدار پیش‌فرض را برای فضاهای کاری که انتخاب خاص خود را ندارند، تعیین می‌کند. سوئیچ کردن به حافظه یا حالت خاموش، فایل را حذف می‌کند. فایل نمایه همان حفاظت را دارد که دفترچه یادداشت دارد: در دایرکتوری داده‌های خصوصی قرار دارد. این فایل رمزگذاری نشده و بخشی از پشتیبان‌گیری‌ها یا نسخه‌های خارج از محل نیست.

سوابق جدید در پس‌زمینه و ظرف چند ثانیه نمایه می‌شوند؛ جستجو نیز ابتدا یک پیش‌نمایه کوتاه را نمایه می‌کند، بنابراین سوابق ذخیره شده در لحظاتی پیش یافت می‌شوند. یک دفترچه موجود پس از به‌روزرسانی و بدون مسدود کردن پنل نمایه می‌شود؛ تا آن زمان، نتایج شامل سوابق نمایه‌شده می‌شوند و دفترچه پیشرفت را نشان می‌دهد. بازسازی نمایه از ابتدا از اولین سابقه شروع می‌شود.

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild نیاز دارد پنل متوقف شود (در غیر این صورت کد خروج ۳). با --json، خروجی استاندارد فقط نتیجه را در بر می‌گیرد؛ پیشرفت به خطای استاندارد فرستاده می‌شود.

نتایج و دفترچهٔ امضا شده#

ایندکس، شماره ترتیبی و هش آخرین رکورد ژورنال را که پوشش می‌دهد ذخیره می‌کند و هنگام باز شدن ژورنال، آن‌ها را با خود ژورنال مطابقت می‌دهد. یک ژورنال جایگزین‌شده، بازیابی‌شده یا ویرایش‌شده باعث بازسازی می‌شود. هر پاسخ، این موقعیت را گزارش می‌کند و هر هیت (hit) از طریق شماره ترتیبی‌اش از ژورنال امضا شده خوانده می‌شود: ایندکس تصمیم می‌گیرد کدام رکوردها را و به چه ترتیبی نمایش دهد، نه محتوای آن‌ها را. دسترسی به چت بر روی فیلد چت خود ژورنال اعمال می‌شود، نه محتوای ایندکس.

متن شناسایی‌شده#

حروف‌نگاری نوری (OCR) و رونوشت‌ها در آثار رمزگذاری‌شدهٔ خود باقی می‌مانند. نمایهٔ آن‌ها تنها در حافظه وجود دارد و هنگام اتمام یک کار شناسایی بازسازی می‌شود. یک تطابق در نمایه‌اش ظاهر می‌شود که همچنان زیرمجموعه‌های ساده را نیز تطبیق می‌دهد. media.saved سوابق، برچسب‌گذاری شده به عنوان تشخیص ماشین به همراه موتور، مدل و یک گزیده؛ هرگز به عنوان متنی که در تلگرام ارسال شده است ارائه نمی‌شود. همین نمایه برای جستجوی متن‌های تشخیص داده شده نیز استفاده می‌شود، که همچنان با زیر رشته‌های ساده نیز مطابقت دارد.

دسترسی#

دسترسی محدود به چت تنها رکوردهای مربوط به چت‌های خود را، از جمله متن‌های شناخته‌شده پیوست‌هایشان، پیدا می‌کند. chat: و سایر فیلترها فقط می‌توانند آن مجموعه را محدودتر کنند. وضعیت نمایه‌ای که به دسترسی محدودشده نشان داده می‌شود، آمار کل دفترچه را حذف می‌کند. فقط مدیر اصلی می‌تواند حالت را تغییر دهد یا نمایه را بازسازی کند.

از آرشیو و MCP بپرسید#

زمانی که ایندکس کامل شد، ابزار Ask the archive منابع خود را از آن بازیابی می‌کند: بهترین تطابق‌ها در میان چت‌های انتخاب‌شده، به‌طوری‌که هر متن ذخیره‌شده فقط یک بار شمارش می‌شود. تا ۲۴ منبع ارسال می‌شود؛ متن‌های طولانی در اطراف تطابق خود بریده شده و به‌عنوان ناقص علامت‌گذاری می‌شوند. سوالات در مورد تغییرات اخیر، نسخه‌های ذخیره‌شده یک پیام، و جستجوها در حالی که ایندکس هنوز در حال ساخت است، از بازیابی زمانی قبلی استفاده می‌کنند. پیش‌نمایش نشان می‌دهد که از کدام روش استفاده شده است.

کلاینت‌های MCP می‌توانند فراخوانی کنند search_messages با ranked=true و صفحه با next_offsetاتصالات محدود‌دامنه تنها چت‌های خود را دریافت می‌کنند.

پagination رتبه‌بندی‌شده حداکثر شامل اولین 1,000 نتیجه است، صرف‌نظر از اندازه صفحه. برای بررسی نتایج بیشتر، پرس‌وجو، گفتگو یا دوره را محدود کنید. جستجوها بر اساس جدیدترین-ابتدا، پیام‌ها، نتایج OCR و رونویسی را قبل از انتخاب هر صفحه مرتب می‌کنند.

وابستگی‌ها#

SQLite FTS5 با unicode61 تک‌پارچه‌ساز (tokenizer) مورد نیاز است؛ این بخش بخشی از SQLite در نسخه‌های فعلی پایتون است. بدون آن، جستجو بر اساس بهترین تطابق گزارش می‌دهد که در دسترس نیست.

معیار سنجی#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>یک ژورنال امضاشده‌ی تعیین‌کننده‌ای از پیام‌های ترکیبی روسی، اوکراینی، انگلیسی، چینی و ژاپنی با لینک‌ها و هندل‌ها در ۲۰۰ چت ایجاد می‌کند، نمایه را می‌سازد و جستجوهای معمول را زمان‌بندی می‌کند (۵۰ نتیجه، میانه از ۷ اجرا).

اندازه‌گیری شده بر روی ویندوز ۱۱، اینتل Core i9-13900K، ۱۲۸ گیگابایت رم، پایتون ۳.۱۲.۱۰، SQLite ۳.۴۹.۱، داده‌ها بر روی یک درایو exFAT، تحلیلگر fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

یک عبارت دقیق به صورت تحت‌اللفظی روی کاندیداها به ترتیب رتبه‌بندی بررسی می‌شود تا زمانی که صفحه پر شود، بنابراین مجموع آن شمارش نمی‌شود. زمان‌ها با تعداد سوابق مطابقت‌یافته افزایش می‌یابند؛ محدود کردن چت یا دوره، جستجوهای گسترده را سریع‌تر می‌کند. مجموعه داده‌های مصنوعی واژگان کمی را تکرار می‌کند، بنابراین کلمات رایج با سوابق بسیار بیشتری مطابقت دارند تا در چت‌های واقعی.