স্থানীয় OCR এবং প্রতিলিপি

বর্তমান প্রধান: একটি সোর্স চেকআউট ব্যবহার করুন; 0.7.0 পোর্টেবল প্রিভিউ এই ফিচারের আগে তৈরি।

ওয়ার্কফ্লো গাইড · উইকি

media.saved জার্নাল রেকর্ড খুলুন, 'সংযুক্তি চিনুন' নির্বাচন করুন, তারপর 'আর্কাইভকে জিজ্ঞাসা করুন'-এর অধীনে OCR বা ট্রান্সক্রিপশন নির্বাচন করুন। প্রক্রিয়াকরণ ম্যানুয়াল এবং স্থানীয়। ক্লাউড মিডিয়া মোড বা স্বয়ংক্রিয় আপলোড নেই। মূল সংযুক্তি বাইট এবং media_sha256 অপরিবর্তিত থাকে; স্বীকৃত পাঠ্য স্পষ্টভাবে মেশিন স্বীকৃতি হিসেবে চিহ্নিত হয় এবং সোর্স হ্যাশ, ইঞ্জিন/মডেল সংস্করণ, ভাষা, প্যারামিটার এবং সমাপ্তির সময়সহ পৃথকভাবে সংরক্ষণ করা হয়। ট্রান্সক্রিপ্টগুলো ফেরতকৃত টাইমস্ট্যাম্প বজায় রাখে।

এই ফলাফলগুলো সার্চ স্বীকৃত টেক্সট এবং OCR/ট্রান্সক্রিপ্ট ফিল্টার ব্যবহার করে অনুসন্ধান করুন। এটি একটি পৃথক ডেরাইভড-ডেটা অনুসন্ধান; এটি নীরবে মেশিন স্বীকৃতিকে মূল টেলিগ্রাম tekste পরিণত করে না বা স্বাক্ষরিত ইভেন্টে যোগ করে না।

ঐচ্ছিক কর্মী সেট আপ করুন#

সংস্করণ ১-এর জন্য একটি স্থানীয় ডকার ডিমনের সাথে লিনাক্স হোস্ট প্রয়োজন। উইন্ডোজ ইনস্টলেশনগুলো তাদের নিজস্ব স্থানীয় ডিমনের সাথে একটি লিনাক্স ভিএম/ডব্লিউএসএল পরিবেশের ভিতরে TgWitness চালাতে পারে। প্যানেল নিজে কখনই কোনো অবিশ্বস্ত সংযুক্তি ডিকোড করে না।

docker build -f deploy/media-worker/Dockerfile -t tgwitness-media:local .
export TGWITNESS_MEDIA_IMAGE=tgwitness-media:local

এই ভেরিয়েবলগুলো TgWitness সার্ভিস পরিবেশে সেট করুন এবং সার্ভিসটি রিস্টার্ট করুন। ডিমন সকেট ডিফল্টরূপে /var/run/docker.sock এ সেট থাকে; রুটলেস ডিপ্লয়মেন্টগুলো TGWITNESS_DOCKER_SOCKET সেট করতে পারে। ওয়ার্কার স্পষ্টভাবে রিমোট ডকার কনটেক্সটের পরিবর্তে সেই ইউনিক্স সকেট ব্যবহার করে। প্যানেল ব্যবহারকারীদের জন্য ডকার API এক্সপোজ করবেন না বা রিকগনিশন কনটেইনারের ভিতরে এর সকেট মাউন্ট করবেন না।

ট্রান্সক্রিপশনের জন্য, আলাদাভাবে একটি CTranslate2-সঙ্গতিপূর্ণ Whisper মডেল ইনস্টল করুন, তারপর TGWITNESS_WHISPER_MODEL_DIR-কে তার ডিরেক্টরিতে সেট করুন। worker এটিকে local_files_only=True-এর সাথে লোড করে; নির্বাচিত মডেল এবং ইনপুট রিড-অনলি হিসেবে মাউন্ট করা হয়। ইঞ্জিনের মডেল-লোড সংক্রান্ত ডকুমেন্টেশন দেখুন। সরবরাহকৃত OCR ইমেজে ইংরেজি ও রাশিয়ান প্রশিক্ষিত ডেটা অন্তর্ভুক্ত রয়েছে। প্রয়োজনে আপনার ইমেজে অন্য কোনো ভাষা যুক্ত করুন; ভাষা কোডগুলো Tesseract-এর CLI অনুসরণ করে।

প্রক্রিয়াকরণের সময় কোনো মডেল আনা হয় না। বিল্ড/ডাউনলোড সেটআপ নেটওয়ার্ক ব্যবহার করতে পারে; প্রতিটি প্রকৃত স্বীকৃতি কন্টেইনারে নেটওয়ার্কিং অক্ষম করা আছে। ইমেজটি সক্ষম করার আগে ইনস্টল করুন; রানটাইম--pull=never ব্যবহার করে।

সীমা এবং পুনরুদ্ধার#

কন্টেইনারটি একটি অ-প্রাধিকৃত ব্যবহারকারী হিসেবে চলে, রিড-অনলি রুট, ক্যাপাবিলিটি ড্রপড, no-new-privileges , একটি CPU, 2 GiB মেমোরি, একটি PID লিমিট এবং একটি সীমাবদ্ধ অস্থায়ী ফাইলসিস্টেম সহ। শুধুমাত্র নির্বাচিত ফাইলের যাচাইকৃত একটি কপি এবং একটি ঐচ্ছিক মডেল ডিরেক্টরি মাউন্ট করা হয়। কলেক্টরের ডাটাবেস, ভল্ট এবং সেশন মাউন্ট করা হয় না। ডকার রানটাইম ফ্ল্যাগগুলো এই সীমাবদ্ধতাগুলো প্রয়োগ করে; এটি একটি কন্টেইনার সীমানা হিসেবে রয়ে যায়, হার্ডওয়্যার এনক্লেভ নয়।

ফাইলগুলি 50 MiB, ছবি 20 মিলিয়ন পিক্সেল, পরিচিত সময়সীমার অডিও 30 মিনিট, এবং প্রক্রিয়াকরণ 5 মিনিটে সীমাবদ্ধ। একবারে একজন কর্মী চলে, প্রতি ওয়ার্কস্পেসে সর্বোচ্চ 20টি সারিতে থাকা/চলমান কাজ এবং 100টি সংরক্ষিত কাজ থাকে। Cancel কন্টেইনারটি বন্ধ করে; retry পূর্ববর্তী প্রচেষ্টার সাথে সংযুক্ত একটি নতুন জব তৈরি করে। বাধাগ্রস্ত জবগুলো পুনঃশুরু করার পর চিহ্নিত করা হয়। যখন কোনো মডেল কনফিগারকৃত সীমা পূরণ করতে পারে না, তখন প্রক্রিয়াকরণ ব্যর্থ হতে পারে; এটি নির্জনতা ছাড়া নীরবে চলে না।