مقامی OCR اور ٹرانسکرپشن

موجودہ مرکزی: سورس چیک آؤٹ استعمال کریں؛ 0.7.0 پورٹیبل پریویو اس خصوصیت سے پہلے کا ہے۔

ورک فلو گائیڈ · ویکی

media.saved جرنل ریکارڈ کھولیں، 'منسلکہ کو پہچانیں' (Recognize attachment) منتخب کریں، پھر 'آرکائیو سے پوچھیں' (Ask the archive) کے تحت OCR یا ٹرانسکرپشن کا انتخاب کریں۔ پراسیسنگ دستی اور مقامی ہے۔ اس میں کلاؤڈ میڈیا موڈ یا خودکار اپ لوڈ کی سہولت نہیں ہے۔ اصل منسلک بائٹس اور media_sha256 تبدیل نہیں ہوتے؛ پہچانا گیا متن واضح طور پر مشینی پہچان کے طور پر نشان زد کیا جاتا ہے اور ماخذ ہیش، انجن/ماڈل ورژن، زبان، پیرامیٹرز اور تکمیل کے وقت کے ساتھ علیحدہ محفوظ کیا جاتا ہے۔ ٹرانسکرپٹس میں واپس آئے ہوئے ٹائم اسٹیمپز برقرار رہتے ہیں۔

ان نتائج کو Search recognized text اور OCR/transcript فلٹر استعمال کرکے تلاش کریں۔ یہ ایک الگ derived-data تلاش ہے؛ یہ خاموشی سے مشینی شناخت کو اصل ٹیلیگرام متن میں تبدیل نہیں کرتی اور نہ ہی اسے دستخط شدہ واقعات میں شامل کرتی ہے۔

اختیاری ورکر کو سیٹ اپ کریں#

ورژن 1 کے لیے مقامی ڈاکر ڈیمن کے ساتھ لینکس ہوسٹ درکار ہے۔ ونڈوز انسٹالیشنز TgWitness کو اپنے مقامی ڈیمن کے ساتھ لینکس VM/WSL ماحول کے اندر چلا سکتی ہیں۔ پینل خود کسی غیر معتبر منسلک کو کبھی ڈیکوڈ نہیں کرتا۔

docker build -f deploy/media-worker/Dockerfile -t tgwitness-media:local .
export TGWITNESS_MEDIA_IMAGE=tgwitness-media:local

ان متغیرات کو TgWitness سروس ماحول میں سیٹ کریں اور اسے دوبارہ شروع کریں۔ ڈیمون سوکیٹ بطورِ پیشِ فرض /var/run/docker.sock پر سیٹ ہوتا ہے؛ روٹ لیس تعیناتی TGWITNESS_DOCKER_SOCKET سیٹ کر سکتی ہے۔ ورکر واضح طور پر یونکس سوکیٹ استعمال کرتا ہے بجائے دور دراز ڈاکر سیاق و سباق کے۔ پینل صارفین کو ڈاکر API تک رسائی نہ دیں یا اس کا سوکیٹ ریکگنیشن کنٹینر کے اندر ماؤنٹ نہ کریں۔

ٹرانسکرپشن کے لیے، علیحدہ طور پر CTranslate2-مطابقت پذیر Whisper ماڈل انسٹال کریں، پھر TGWITNESS_WHISPER_MODEL_DIR کو اس کی ڈائریکٹری پر سیٹ کریں۔ ورکر اسے local_files_only=True کے ساتھ لوڈ کرتا ہے؛ منتخب کردہ ماڈل اور ان پٹ ریڈ-اونلی کے طور پر ماؤنٹ کیے جاتے ہیں۔ انجن کی ماڈل لوڈنگ دستاویزات دیکھیں۔ فراہم کردہ OCR امیج میں انگریزی اور روسی کے تربیت یافتہ ڈیٹا شامل ہیں۔ ضرورت پڑنے پر اپنی امیج میں کوئی اور زبان شامل کریں؛ زبان کے کوڈ Tesseract کے CLI کے مطابق ہیں۔

عملدرآمد کے دوران کوئی ماڈل حاصل نہیں کیا جاتا۔ بلڈ/ڈاؤن لوڈ سیٹ اپ نیٹ ورک استعمال کر سکتا ہے؛ ہر اصل شناخت کنٹینر میں نیٹ ورکنگ غیر فعال ہے۔ اسے فعال کرنے سے پہلے امیج انسٹال کریں؛ رن ٹائم --pull=never استعمال کرتا ہے۔

حدود اور بازیابی#

کنٹینر ایک غیر مراعات یافتہ صارف کے طور پر چلتا ہے جس میں صرف پڑھنے کے لیے روٹ، صلاحیتیں محدود (dropped capabilities)، no-new-privileges ، ایک CPU، 2 GiB میموری، ایک PID حد اور ایک محدود عارضی فائل سسٹم ہوتا ہے۔ صرف منتخب کردہ فائل کی تصدیق شدہ کاپی اور ایک اختیاری ماڈل ڈائریکٹری ہی ماؤنٹ کی جاتی ہیں۔ کلیکٹر کا ڈیٹا بیس، والٹ اور سیشن ماؤنٹ نہیں کیے جاتے۔ ڈاکر رن ٹائم فلیگز ان حدود کو نافذ کرتے ہیں؛ یہ ایک کنٹینر کی حد ہی رہتی ہے، نہ کہ کوئی ہارڈویئر انکلیو۔

فائلیں 50 MiB تک، تصاویر 20 ملین پکسلز تک، معلوم دورانیے والی آڈیو 30 منٹ تک، اور پروسیسنگ پانچ منٹ تک محدود ہیں۔ ایک وقت میں ایک ورکر چلتا ہے، اور ہر ورک اسپیس کے لیے زیادہ سے زیادہ 20 قطار میں لگی/چلنے والی جابز اور 100 محفوظ شدہ جابز ہوتی ہیں۔ منسوخ کرنے سے کنٹینر رک جاتا ہے؛ دوبارہ کوشش سے پچھلی کوشش سے منسلک ایک نیا کام بنایا جاتا ہے۔ دوبارہ شروع کرنے کے بعد منقطع شدہ کاموں کو نشان زد کیا جاتا ہے۔ جب کوئی ماڈل متعین کردہ حدود میں فٹ نہیں بیٹھتا تو پراسیسنگ ناکام ہو سکتی ہے؛ یہ خاموشی سے، آئسولیشن کے بغیر نہیں چلتا۔