Telegram · পূর্ণ-পাঠ অনুসন্ধান

টিজিউইটনেস / ডকুমেন্টেশন · তদন্ত

আর্কাইভ বিশ্লেষণ · স্থানীয় OCR এবং ট্রান্সক্রিপশন · উইকি

প্রিভিউ। জার্নালে, অনুসন্ধান ক্ষেত্রের পাশে 'সেরা মিল · শব্দ রূপ' নির্বাচন করুন। ফলাফলগুলি BM25 দ্বারা র‌্যাঙ্ক করা হয় এবং একই শব্দের অন্যান্য রূপের সাথে মেলে: перевод খুঁজে পায় переводом এবং переводы, transfer খুঁজে পায় transfers, একটি চীনা বাক্যাংশ ফাঁকা স্থান ছাড়াই পাওয়া যায়। 'নতুনতম প্রথমে · সঠিক টেক্সট' পুরো রেকর্ডে পূর্ববর্তী সাবস্ট্রিং অনুসন্ধান বজায় রাখে।

সূচী হল প্রাপ্ত তথ্য। এটি স্বাক্ষরিত জার্নাল থেকে পুনর্নির্মাণ করা হয়, নিজে কখনো স্বাক্ষরিত হয় না এবং কখনো রপ্তানি হয় না। মূল রেকর্ডগুলো অপরিবর্তিত থাকে।

এই পৃষ্ঠায়

• অনুসন্ধান সিনট্যাক্স
• ভাষা
• যেখানে সূচকটি অবস্থান করে
• ফলাফল এবং স্বাক্ষরিত জার্নাল
• স্বীকৃত পাঠ
• অ্যাক্সেস
• আর্কাইভ এবং MCP-কে
• নির্ভরতা
• বেঞ্চমার্ক

অনুসন্ধান সিনট্যাক্স#

যখন অন্য শব্দ উপস্থিত থাকে, তখন পূর্বপদ এবং অন্যান্য ফাংশন শব্দ উপেক্ষিত হয়। শব্দে মিশে থাকা দেখতে-সমান অক্ষর (যেমন একটি ল্যাটিন 'a' একটি সিরিলিক শব্দে), পূর্ণপ্রস্থ এবং অলঙ্কৃত ইউনিকোড অক্ষর এবং অদৃশ্য অক্ষরগুলো স্বাভাবিকীকৃত হয়।

ভাষা#

প্রতি রেকর্ড থেকে এর স্ক্রিপ্ট ও অক্ষরগুলির ভিত্তিতে ভাষা সনাক্ত করা হয়:

ইউক্রেনীয় অভিধান (pymorphy3-dicts-uk) GPL-3.0 এর অধীনে বিতরণ করা হয়, তাই এটি ডিফল্টভাবে ইনস্টল করা হয় না। এটি ইনস্টল করুন pip install "tgwitness[uk-dictionary]"; সূচীপত্র নতুন অ্যানালাইজারটি সনাক্ত করে এবং নিজেকে পুনর্নির্মাণ করে।

যেখানে সূচি থাকে#

প্রধান প্রশাসক প্রতিটি ওয়ার্কস্পেসের জন্য Journal → Filters → Search index-এর অধীনে মোড নির্বাচন করেন। TGWITNESS_FULLTEXT=disk|memory|off যেসব ওয়ার্কস্পেসের নিজস্ব পছন্দ নেই, তাদের জন্য ডিফল্ট নির্ধারণ করে। মেমরি বা অফ-এ পরিবর্তন করলে ফাইলটি মুছে যায়। ইনডেক্স ফাইলের সুরক্ষা জার্নালের মতোই: এটি প্রাইভেট ডেটা ডিরেক্টরিতে থাকে। এটি এনক্রিপ্ট করা হয় না, এবং ব্যাকআপ বা অফ-সাইট কপির অংশ নয়।

নতুন রেকর্ডগুলো কয়েক সেকেন্ডের মধ্যে পটভূমিতে সূচিবদ্ধ হয়; অনুসন্ধান প্রথমে একটি সংক্ষিপ্ত ব্যাকলগ সূচিবদ্ধ করে, যাতে কিছুক্ষণ আগে সংরক্ষিত একটি রেকর্ড পাওয়া যায়। বিদ্যমান জার্নাল আপডেটের পর প্যানেল ব্লক না করে সূচিবদ্ধ হয়; ততক্ষণ ফলাফল সূচিবদ্ধ রেকর্ডগুলোই দেখায় এবং জার্নাল অগ্রগতি প্রদর্শন করে। ইনডেক্স পুনর্নির্মাণ প্রথম রেকর্ড থেকে আবার শুরু হয়।

python -m tgwitness index status --data-dir data/live
python -m tgwitness index rebuild --data-dir data/live --json

rebuild প্যানেলটি বন্ধ করতে হবে (অন্যথায় প্রস্থান কোড 3 হবে)। সাথে --json, স্ট্যান্ডার্ড আউটপুটে শুধুমাত্র ফলাফল চলে; অগ্রগতি স্ট্যান্ডার্ড এরর-এ যায়।

ফলাফল এবং স্বাক্ষরিত জার্নাল#

সূচী শেষ জার্নাল রেকর্ডের ক্রমিক নম্বর এবং হ্যাশ সংরক্ষণ করে এবং জার্নাল খোলার সময় সেগুলো জার্নালের সাথে মিলিয়ে দেখে। প্রতিস্থাপিত, পুনরুদ্ধার বা সম্পাদিত জার্নাল পুনর্নির্মাণ ঘটায়। প্রতিটি প্রতিক্রিয়া এই অবস্থান রিপোর্ট করে, এবং প্রতিটি হিট স্বাক্ষরিত জার্নাল থেকে এর ক্রমিক নম্বর অনুযায়ী পুনরায় পড়া হয়: সূচী নির্ধারণ করে কোন রেকর্ডগুলো দেখানো হবে এবং কোন ক্রমে, কখনই তাদের বিষয়বস্তু নয়। চ্যাট অ্যাক্সেস জার্নালের নিজস্ব চ্যাট ফিল্ডে প্রয়োগ করা হয়, সূচীর বিষয়বস্তুতে নয়।

স্বীকৃত পাঠ্য#

OCR এবং ট্রান্সক্রিপ্টগুলো তাদের এনক্রিপ্টেড আর্টিফ্যাক্টে থাকে। তাদের সূচিপত্র কেবল মেমরিতে বিদ্যমান থাকে এবং একটি স্বীকৃতি কাজ সম্পন্ন হলে পুনর্নির্মাণ করা হয়। একটি হিট তার উপর প্রদর্শিত হয় media.saved রেকর্ডে, ইঞ্জিন, মডেল এবং একটি উদ্ধৃতির সাথে 'মেশিন স্বীকৃতি' লেবেলযুক্ত; এটি কখনই টেলিগ্রামে প্রেরিত পাঠ্য হিসাবে প্রদর্শিত হয় না। একই সূচি স্বীকৃত পাঠ্য অনুসন্ধানের জন্য ব্যবহৃত হয়, যা এখনও সাধারণ উপ-স্ট্রিংগুলির সাথেও মেলে।

অ্যাক্সেস#

চ্যাট-সীমাবদ্ধ অ্যাক্সেস শুধুমাত্র সংশ্লিষ্ট চ্যাটগুলির রেকর্ডই খুঁজে, তাদের সংযুক্তিগুলির স্বীকৃত টেক্সটসহ। chat: এবং অন্যান্য ফিল্টার শুধুমাত্র সেই সেটটিকে সংকীর্ণ করতে পারে। স্কোপড অ্যাক্সেসে প্রদর্শিত সূচকের অবস্থা জার্নালের মোট সংখ্যা বাদ দেয়। শুধুমাত্র প্রধান প্রশাসকই মোড পরিবর্তন বা সূচক পুনর্নির্মাণ করতে পারেন।

আর্কাইভ এবং MCP-কে জিজ্ঞাসা করুন#

Ask the archive সম্পূর্ণ হলে এই সূচি থেকে তার উৎসগুলো পুনরুদ্ধার করে: নির্বাচিত চ্যাটগুলো থেকে সেরা মিলগুলো, যেখানে সংরক্ষিত টেক্সট একবারই গণনা করা হয়। সর্বোচ্চ ২৪টি উৎস পাঠানো হয়; দীর্ঘ টেক্সটগুলো তাদের মিলের আশেপাশে ছেঁটে ফেলা হয় এবং 'truncated' হিসেবে চিহ্নিত করা হয়। সাম্প্রতিক পরিবর্তন, একটি মেসেজের সংরক্ষিত সংস্করণ এবং সূচি এখনও তৈরি হচ্ছে এমন সময়ের অনুসন্ধানের ক্ষেত্রে পূর্ববর্তী কালানুক্রমিক পুনরুদ্ধার ব্যবহার করা হয়। প্রিভিউ দেখায় কোন পদ্ধতি ব্যবহার করা হয়েছে।

MCP ক্লায়েন্টরা কল করতে পারে search_messages with ranked=true এবং পৃষ্ঠা সঙ্গে next_offset. স্কোপড সংযোগগুলো শুধুমাত্র তাদের চ্যাটগুলোই গ্রহণ করে।

র‍্যাঙ্কড পেজিনেশন সর্বোচ্চ প্রথম 1,000 ফলাফলই দেখায়, পৃষ্ঠার আকার যাই হোক। আরও মিল খুঁজে দেখতে অনুসন্ধান, চ্যাট বা সময়সীমা সংকীর্ণ করুন। নতুন-প্রথমে অনুসন্ধান প্রতিটি পৃষ্ঠা নির্বাচন করার আগে বার্তা, OCR এবং ট্রান্সক্রিপশন ফলাফলগুলোকে সাজায়।

নির্ভরতা#

SQLite FTS5 সহ unicode61 টোকেনাইজার প্রয়োজন; এটি বর্তমান Python বিল্ডে SQLite-এর অংশ। এটি ছাড়া, best-match সার্চ রিপোর্ট করে যে এটি অনুপলব্ধ।

বেঞ্চমার্ক#

python tools/bench_fulltext.py --messages 1000000 --work <empty directory>২০০টি চ্যাটে লিঙ্ক ও হ্যান্ডেলসহ রুশ, ইউক্রেনীয়, ইংরেজি, চীনা ও জাপানি মিশ্রিত বার্তার একটি নির্ধারিত স্বাক্ষরিত জার্নাল তৈরি করে, সূচিপত্র তৈরি করে এবং সাধারণ অনুসন্ধানের সময় নির্ধারণ করে (৫০টি ফলাফল, ৭টি চালানোর মধ্যক)।

Windows 11, Intel Core i9-13900K, 128 GB RAM, Python 3.12.10, SQLite 3.49.1, exFAT ড্রাইভে ডেটা, অ্যানালাইজার-এ পরিমাপ করা হয়েছে fulltext-v1+pymorphy3-ru+light-uk+snowball-en:

একটি সঠিক বাক্যাংশ প্রার্থীদের র‌্যাঙ্ক ক্রমে আক্ষরিক অর্থে পরীক্ষা করা হয় যতক্ষণ না পৃষ্ঠাটি পূর্ণ হয়, তাই এর মোট গণনা করা হয় না। মিলিত রেকর্ডের সংখ্যার সাথে সাথে সময় বৃদ্ধি পায়; চ্যাট বা সময়সীমা সংকীর্ণ করলে বিস্তৃত অনুসন্ধান দ্রুত হয়। সিন্থেটিক কর্পাস একটি ছোট শব্দভাণ্ডার পুনরাবৃত্তি করে, তাই সাধারণ শব্দগুলি বাস্তব চ্যাটের তুলনায় অনেক বেশি রেকর্ডের সাথে মেলে।