स्थानीय OCR और प्रतिलेखन

वर्तमान मुख्य: स्रोत चेकआउट का उपयोग करें; 0.7.0 पोर्टेबल पूर्वावलोकन इस सुविधा से पहले का है।

कार्यप्रवाह मार्गदर्शिका · विकी

media.saved जर्नल रिकॉर्ड खोलें, 'अटैचमेंट पहचानें' चुनें, फिर 'आर्काइव से पूछें' के तहत OCR या ट्रांसक्रिप्शन चुनें। प्रोसेसिंग मैन्युअल और लोकल है। इसमें कोई क्लाउड मीडिया मोड या स्वचालित अपलोड नहीं है। मूल अटैचमेंट बाइट्स और media_sha256 अपरिवर्तित रहते हैं; पहचाने गए टेक्स्ट को स्पष्ट रूप से मशीन मान्यता के रूप में चिह्नित किया जाता है और स्रोत हैश, इंजन/मॉडल संस्करण, भाषा, पैरामीटर और पूर्णता समय के साथ अलग से संग्रहीत किया जाता है। ट्रांसक्रिप्ट में लौटाए गए टाइमस्टैम्प बरकरार रहते हैं।

इन परिणामों को मान्यता प्राप्त टेक्स्ट और OCR/ट्रांसक्रिप्ट फ़िल्टर का उपयोग करके खोजें। यह एक अलग व्युत्पन्न-डेटा खोज है; यह चुपचाप मशीन मान्यता को मूल टेलीग्राम टेक्स्ट में नहीं बदलता है या इसे हस्ताक्षरित घटनाओं में नहीं जोड़ता है।

वैकल्पिक वर्कर सेट अप करें#

संस्करण 1 के लिए एक स्थानीय डॉकर डेमन वाले लिनक्स होस्ट की आवश्यकता होती है। विंडोज इंस्टॉलेशन अपने स्वयं के स्थानीय डेमन के साथ एक लिनक्स वीएम/डब्ल्यूएसएल वातावरण के अंदर टीजीविटनेस चला सकते हैं। पैनल स्वयं कभी भी किसी अविश्वसनीय अटैचमेंट को डीकोड नहीं करता है।

docker build -f deploy/media-worker/Dockerfile -t tgwitness-media:local .
export TGWITNESS_MEDIA_IMAGE=tgwitness-media:local

इन चरों को TgWitness सेवा वातावरण में सेट करें और इसे फिर से शुरू करें। डेमन सॉकेट डिफ़ॉल्ट रूप से /var/run/docker.sock होता है; रूटलेस डिप्लॉयमेंट्स TGWITNESS_DOCKER_SOCKET सेट कर सकते हैं। वर्कर एक रिमोट डॉकर संदर्भ के बजाय स्पष्ट रूप से उस यूनिक्स सॉकेट का उपयोग करता है। पैनल उपयोगकर्ताओं के लिए डॉकर एपीआई को एक्सपोज़ न करें या इसके सॉकेट को रिकग्निशन कंटेनर के अंदर माउंट न करें।

ट्रांसक्रिप्शन के लिए, अलग से एक CTranslate2-संगत Whisper मॉडल इंस्टॉल करें, फिर TGWITNESS_WHISPER_MODEL_DIR को इसकी डायरेक्टरी पर सेट करें। वर्कर इसे local_files_only=True के साथ लोड करता है; चयनित मॉडल और इनपुट को रीड-ओनली के रूप में माउंट किया जाता है। इंजन के मॉडल-लोडिंग दस्तावेज़ीकरण को देखें। प्रदान की गई OCR छवि में अंग्रेजी और रूसी प्रशिक्षित डेटा शामिल है। ज़रूरत पड़ने पर अपनी छवि में किसी अन्य भाषा को शामिल करें; भाषा कोड Tesseract के CLI का पालन करते हैं।

प्रोसेसिंग के दौरान कोई मॉडल प्राप्त नहीं किया जाता है। बिल्ड/डाउनलोड सेटअप नेटवर्क का उपयोग कर सकता है; प्रत्येक वास्तविक पहचान कंटेनर में नेटवर्किंग अक्षम है। इसे सक्षम करने से पहले इमेज इंस्टॉल करें; रनटाइम --pull=never का उपयोग करता है।

सीमाएँ और पुनर्प्राप्ति#

कंटेनर एक गैर-विशेषाधिकार प्राप्त उपयोगकर्ता के रूप में, केवल-पठन रूट, कम की गई क्षमताओं, no-new-privileges , एक CPU, 2 GiB मेमोरी, एक PID सीमा और एक सीमित अस्थायी फ़ाइल सिस्टम के साथ चलता है। केवल चयनित फ़ाइल की एक सत्यापित प्रति और एक वैकल्पिक मॉडल निर्देशिका ही माउंट की जाती हैं। कलेक्टर का डेटाबेस, वॉल्ट और सेशन माउंट नहीं किए गए हैं। डॉकर रनटाइम फ़्लैग इन सीमाओं को लागू करते हैं; यह एक कंटेनर की सीमा ही बनी रहती है, न कि कोई हार्डवेयर एनक्लेव।

फ़ाइलें 50 MiB तक, छवियाँ 20 मिलियन पिक्सल तक, ज्ञात अवधि वाले ऑडियो को 30 मिनट तक, और प्रोसेसिंग को पाँच मिनट तक सीमित हैं। एक समय में एक वर्कर चलता है, और प्रति वर्कस्पेस अधिकतम 20 कतारबद्ध/चलरही नौकरियाँ और 100 रखी गई नौकरियाँ होती हैं। रद्द करें कंटेनर को रोकता है; दोबारा प्रयास करें पिछली कोशिश से जुड़ा एक नया जॉब बनाता है। बाधित जॉब्स को फिर से शुरू करने के बाद चिह्नित किया जाता है। प्रोसेसिंग विफल हो सकती है जब कोई मॉडल कॉन्फ़िगर की गई सीमाओं में फिट नहीं हो पाता है; यह बिना अलगाव के चुपचाप नहीं चलता है।