데이터 수집 방식

TgWitness는 연결된 텔레그램 계정이 감지한 내용을 기록합니다. 이 기록부는 감지된 내용, 그 순서, 그리고 함께 제공된 맥락을 보존합니다. 이 도구는 누락된 메시지나 계정이 연결된 사실만으로는 보이지 않는 행동을 추론하지 않습니다.

로그인부터 기록부까지#

도표를 텍스트로 변환

1. 사용자 계정 승인 → 접근 가능한 그룹 및 채널 선택
2. 접근 가능한 그룹 및 채널 선택 → 이벤트 및 첨부 파일 설정 저장
3. 이벤트 및 첨부 파일 설정 저장 → 관찰 시작
4. 관찰 시작 → 활성 클라이언트로부터 업데이트 받기
5. 활성 클라이언트로부터 업데이트 받기 → 출처 및 이벤트 정책 적용
6. 출처 및 이벤트 정책 적용 → 서명된 관찰 기록 추가
7. 서명된 관찰 기록 추가 → 저널 검토 또는 내보내기
8. 서명된 관찰 기록 추가 → 대기 중인 첨부 파일 처리
9. 대기 중인 첨부 파일 처리 → 다운로드 결과 추가

인증, 소스 접근, 수집기 실행, 그리고 완전한 전달은 서로 다른 문제입니다. 로그인에 성공했다고 해서 모든 그룹에 접근할 수 있는 것은 아닙니다. 통신 경로가 연결되었다고 해서 모든 관련 업데이트가 도착했다는 것을 보장하지는 않습니다.

모니터링 범위: 선택한 채팅, 특정 폴더 또는 전체 계정#

출처 → 관찰 범위에 따라 워크스페이스가 기록할 채팅이 결정됩니다.

• 소스 유형(채널, 그룹, 비공개 채팅, 봇)에 따라 폴더 모드 및 전체 계정 모드가 구분됩니다. 선택한 채팅은 비공개 채팅 및 봇을 포함하여 어떤 유형이든 가능합니다.
• 제외된 채팅은 어떤 모드에서도 절대 기록되지 않습니다. 폴더 모드 및 전체 계정 모드에서, 소스 항목에 대해 ‘제외’ 또는 ‘제거’를 선택하면 해당 항목이 이 목록에 추가되므로, 범위 설정 시 다시 포함되지 않습니다. '소스' 또는 '채팅'에서 해당 채팅을 수동으로 다시 선택하면 목록에서 제외됩니다. 이 목록은 최대 5,000개의 채팅을 저장할 수 있으며, 그 이상일 경우 '제거'가 거부되고 대신 채팅을 일시 중지할 수 있습니다.
• 자체 동작(기본값: 켜짐): 이 계정이 보내는 메시지, 수정 내역 및 답장 키보드 버튼 누름. 이 기능이 꺼져 있으면 발신 메시지와 수정 내역은 기록되지 않습니다.
• 폴더 또는 전체 계정으로 전환할 때는 확인을 요청합니다. 이러한 모드에서는 비공개 채팅 및 제3자의 메시지가 기록되므로 전용 계정에서만 사용해야 합니다. 확인 절차 및 모든 범위 변경 사항은 scope.changed 서명 기록으로 저장됩니다.
• 범위에 따라 추가된 채팅은 ‘auto’로 표시된 소스로 나타나며, scope.applied (시작 시 및 매시간) 또는 source.discovered(관찰 중 새로운 채팅 발생 시)로 기록됩니다. 선택한 채팅으로 다시 전환하면 자동으로 추가된 모든 소스의 기록이 일시 중지됩니다.

다음과 같은 모드는 수행할 수 없습니다:

• 비밀 채팅은 두 기기 간에 종단 간 암호화가 적용되며, 어떤 모드에서도 TgWitness로 전송되지 않습니다.
• TgWitness가 실행 중이지 않을 때는 아무것도 기록되지 않습니다. 재시작 후에는 텔레그램에 놓친 업데이트를 요청하고 채팅 내용을 재확인하지만, 장시간의 서비스 중단 후에는 텔레그램이 모든 데이터를 반환하지는 않습니다. 보고서 및 verify.py에서는 이러한 기간을 공백으로 표시합니다(커버리지 참조).
• 처음에는 첫 1,000개의 대화만 표시됩니다(한도는 ‘매개변수’ 항목에서 확인 가능). 그보다 오래된 채팅은 다음에 활성화될 때 추가됩니다. 추가된 채팅의 이전 기록은 불러오지 않으므로, 필요할 때 기록 스냅샷을 찍거나 전체 채팅 내역을 내보내십시오.
• 수시로 변경되는 폴더 조건(알림 비활성화, 읽음)은 적용되지 않으며, 해당 채팅은 계속 모니터링됩니다.
• 다른 앱에서 누른 인라인(콜백) 봇 버튼은 두 번째 세션에서는 표시되지 않으며, 봇의 응답이나 편집 내용은 기록됩니다. 응답 키보드 입력은 발신 메시지로 전송되며 ‘button_press’라는 라벨이 붙습니다.
• 채팅이 많아지면 요청도 늘어납니다. 텔레그램은 특정 양을 과도하다고 판단할 경우 계정을 제한하므로, 전용 계정을 사용해야 하는 또 다른 이유가 됩니다.

범위 및 이벤트 선택#

각 작업 공간에는 고유한 소스 목록이 있습니다. TgWitness는 그룹에 가입하거나, 초대를 수락하거나, 모든 구성원을 자동으로 열거하지 않습니다. 소스는 해당 계정에서 이미 접근 가능한 상태여야 합니다. 시작 시, 수집기는 선택된 소스를 계정의 표시된 대화창과 대조하여 확인합니다. ‘매개변수 → 계정 목록에서 읽은 채팅’에 다른 설정이 지정되지 않은 한, 처음 1,000개의 대화창이 검사됩니다. 존재하지 않는 소스는 ‘접근 미확인’으로 표시되며, 사용자가 제거된 것으로 간주되지 않습니다.

설정은 작업 공간에서 선택한 모든 소스에 적용됩니다. 양식을 저장하면 변경 사항이 적용되며, 변경 사항은 서명된 변경 전/후 값과 함께 기록됩니다. 카테고리를 비활성화하더라도 이전 기록은 삭제되지 않습니다. 다시 활성화하더라도 누락된 업데이트는 소급 적용되지 않습니다.

운영 기록 및 기타 그룹 서비스 이벤트는 이러한 설정 변경 사항과 별도로 처리됩니다. 회원 가입 서비스가 활성화된 경우, 일반적인 새 메시지 캡처 기능이 비활성화되어 있더라도 회원 가입 서비스 메시지를 통해 메시지 기록이 생성될 수 있습니다. 캡처된 텔레그램 객체는 내장된 메타데이터를 유지하며, 설정 변경은 정보 삭제 규칙이 아닙니다.

비공개 채팅 및 일반 그룹에서 발생한 삭제 내역은 채팅 정보가 없는 메시지 ID 형태로 도착합니다. 이러한 채팅들은 계정 전체에 걸쳐 하나의 메시지 ID 순서를 공유하므로, 해당 ID를 가진 메시지가 이전에 저장된 적이 있다면 해당 채팅이 파악됩니다. 삭제 내역은 해당 채팅에 기록되며, 그 방식은 chat_resolution에서 설명하고 있습니다. 저장된 적이 없는 ID는 출처가 명시적으로 알 수 없는 범위가 지정되지 않은 삭제 상태로 남아 있으며, 수집기는 이를 추측하지 않습니다. 텔레그램은 누가 메시지를 삭제했는지 절대 밝히지 않습니다. 삭제된 메시지가 해당 계정에서 전송된 경우, 기록에는 삭제자를 명시하지 않고 (deleted_message_was_outgoing)라고만 표기됩니다.

자신의 행동#

감시 대상 계정이 보낸 메시지에는 ‘outgoing’라는 라벨이 붙습니다. 발신 메시지를 수정할 경우, 비공개 채팅 및 그룹 채팅에서는 작성자만 수정할 수 있는 반면, 채널 게시물은 다른 관리자도 수정할 수 있습니다. 발신 메시지가 해당 채팅에서 가장 최근에 저장된 답장 키보드의 버튼 텍스트를 반복할 경우, 해당 메시지에는 키보드 기록으로 연결되는 링크가 포함된 button_press 태그가 부여됩니다.

자신의 행동 제외 원칙은 배경 재확인 및 자동 신규 채팅 기록에도 적용됩니다. 건너뛴 발신 메시지는 재확인 위치를 앞으로 이동시켜, 이후 수신되는 메시지를 차단하지 않도록 합니다. 명시적인 패널 작업 및 수동으로 요청한 기록 스냅샷은 계속 기록됩니다.

조사 모드: 팀에 합류하고 봇과 대화하기#

소스 → 관찰 범위 → 조사 모드는 팀 채팅에 참여하고, 봇을 시작하며, 봇에 메시지를 작성하는 전용 계정을 위한 범위를 설정합니다: 전체 계정, 모든 소스 유형, 자체 작업, 그리고 표시되는 모든 채팅 또는 봇에 대한 프로필 및 최근 200개의 표시 가능한 메시지. 양식을 검토한 후 ‘범위 저장’을 누르십시오. 전체 계정으로 전환할 경우 일반적인 확인 절차가 요청됩니다.

• 버튼. 메시지 하단의 버튼은 해당 메시지와 함께 유지되며 ‘채팅’에 표시됩니다: 링크, 웹 앱, 로그인 링크, 복사할 텍스트, 콜백 데이터, 인라인 쿼리, 전화번호 또는 위치 요청 등. 링크는 텍스트로 표시되며 패널에 의해 절대 열리지 않습니다. 봇이 버튼만 변경할 경우(예: 새로운 결제 링크), 이는 실시간 업데이트 및 재확인 모두에서 메시지의 새 버전으로 간주됩니다.

• 새로운 채팅 및 봇. 폴더 모드 및 전체 계정 모드에서, 새로운 채팅이나 봇이 출현하면, 출현한 직후 다음과 같이 저장됩니다:

  • source.profile 기록으로서의 프로필: 봇 설명 및 명령어, 사용자·그룹·채널에 대한 소개 문구, 구성원, 연결된 채팅, 텔레그램에서 제공되는 경우 초대 링크;
  • new_chat로 표시된 기록 스냅샷 형태로 최신 가시 메시지(최대 1,000개)를 제공합니다. 여기에는 방금 가입한 팀 채팅의 초기 메시지나, 관찰자가 채팅을 인식하기 전에 봇이 남긴 내용이 포함됩니다. 이미 저장된 실시간 메시지는 중복되지 않습니다.

  모드가 켜질 때 이미 목록에 있는 채팅은 스냅샷 없이 추가됩니다. FloodWait가 발생하면 이 작업이 일시 중지되었다가 이후 재개되며, 오류는 기록되고 채팅의 실시간 기록은 계속됩니다. - 요청 시 프로필 제공. 채팅 → 프로필 → 프로필 저장을 통해 모든 소스의 현재 프로필을 저장할 수 있으며, 가장 최신 프로필이 메시지 상단에 표시됩니다. - 표시되지 않음. 다른 텔레그램 앱에서 누른 인라인(콜백) 버튼, 봇이 해당 버튼 누름에 응답하여 표시하는 팝업이나 링크, 그리고 다른 앱에서 사용된 초대 링크는 TgWitness에 전달되지 않습니다. 봇이 그 후 전송하거나 편집하는 내용은 기록됩니다.

패널에서 발언하기#

이제 ‘채팅’ 기능에는 선택한 작업 공간의 텔레그램 계정을 사용하는 미니 클라이언트가 포함되어 있습니다:

• 일반 텍스트 메시지를 작성하거나 저장된 메시지 아래의 ‘답장’을 선택하세요. 반환된 발신 메시지는 발신 업데이트가 범위에서 제외된 경우에도 기록됩니다.
• 현재 콜백 또는 텍스트 버튼 아래에 있는 ‘Press’ 버튼을 누르십시오. 서버는 메시지를 다시 가져오며, 키보드 입력이 저장된 버전과 다를 경우 해당 작업을 거부합니다. 콜백 수신 확인에는 텔레그램의 팝업 텍스트, 알림 플래그 및 URL이 유지되며, 응답 내용도 대화창 하단에 표시됩니다. URL은 선택 가능한 텍스트로 유지되며 자동으로 열리지 않습니다.
• 'Telegram 링크 열기'를 확장하고, @username, 공개 https://t.me/name 링크, https://t.me/+invite / joinchat/invite 또는 ?start=parameter가 포함된 봇 링크를 입력한 후 '미리보기 저장'을 누르세요. 그룹/채팅에 가입하기 전에 원본 링크와 텔레그램 미리보기가 서명됩니다. 그룹/채널에 가입하거나 사용자/봇을 열고, 채팅을 활성화된 소스로 추가한 후, 시작 매개변수를 포함하여 /start를 봇에 전송합니다. 관리자의 승인을 기다리는 가입 요청은 회원 자격이 아닌 '보류 중'으로 기록됩니다.

'관찰 시작'을 켜면 수신되는 답장을 실시간으로 캡처할 수 있습니다. 패널 작업은 관찰이 일시 중지된 상태에서도 작동하지만, 이 경우 직접적인 응답만 저장되는 것이 보장됩니다. 새로 추가된 소스는 관찰이 실행 중일 때 구성된 프로필/이력 수집 방식을 사용합니다. 소스가 일시 중지된 경우, 메시지를 보내거나 버튼을 누르기 전에 '소스'에서 해당 소스를 활성화하십시오.

interaction.preview, interaction.requested 및 interaction.result는 증거 내보내기 파일에 포함되는 일반적인 서명된 저널 이벤트입니다. 요청은 계정, 메시지/버튼 또는 미리보기 기록을 식별하며, 관찰 기능이 실행 중이었는지 여부를 나타냅니다. 수신 확인은 성공, 거부, 승인 대기 및 알 수 없는 결과를 구분합니다. 중단된 요청이 텔레그램에 도달했을 수도 있으므로, 새로운 작업을 시작하기 전에 채팅 내용을 확인하십시오. 요청 ID를 재사용하면, 재시작 후를 포함하여 작업을 반복하지 않고도 저장된 수신 확인을 불러올 수 있습니다. 패널은 현재 페이지 세션 동안 동일한 작업에 대해 모호한 응답이 돌아온 후에도 ID를 유지합니다. 또한 작업이 성공적으로 완료된 후 뷰 새로 고침에 실패할 때도 해당 ID를 유지합니다. 수신 확인은 계속 표시되며, 다시 클릭하면 해당 내용을 불러올 수 있습니다. 콜백 및 참여 RPC는 한 번의 시도만 허용되며, 재시도 가능한 읽기 요청은 구성된 재시도 정책을 유지합니다. 채팅을 즉시 전환하면 초안과 답장 대상이 즉시 지워지며, 새로운 대화가 로드될 때까지 메시지 전송이 비활성화됩니다.

이 미니 클라이언트는 텍스트 및 콜백 버튼을 처리합니다. 웹 앱, 로그인/전화번호/위치 요청, 결제, 인라인 쿼리 및 첨부 파일의 경우 여전히 텔레그램 클라이언트가 필요하며, 저장된 버튼의 메타데이터는 계속 표시됩니다. 새로운 제어 요소에는 영어 텍스트가 사용됩니다.

계층 재확인#

재확인 기능은 텔레그램에 누락된 메시지, 수정 내역 및 더 이상 반환되지 않는 메시지를 다시 요청합니다. 별표로 표시된 소스는 우선순위 소스로, 기본적으로 15분마다 재확인되며; 그 외 모든 소스는 6시간마다 재확인됩니다. 선택한 채팅은 우선순위 소스로 시작되며, 폴더나 전체 계정을 통해 추가된 채팅은 일반 소스로 처리됩니다. 한 번의 재확인 주기당 최대 30개의 출처가 재확인되며, 나머지는 다음 분까지 대기합니다. 재연결 후에는 우선순위 출처가 먼저 처리됩니다. 두 간격 모두 ‘출처 → 기록 설정 → 재확인’(0으로 설정 시 해당 단계 비활성화)에서 설정되며, recheck.changed로 기록됩니다.

놓친 메시지는 이전 처리 과정이 중단된 지점부터 위로 거슬러 올라가 가져오며, 한 번의 처리당 최대 ‘매개변수 → 재확인 시 새로운 메시지 수’(기본값 1,000개)까지 처리됩니다. 따라서 장기간 중단된 후에는 그 간격보다 최신인 실시간 메시지가 먼저 저장되었더라도 재검사가 전체 간격을 채웁니다. 아직 데이터 동기화가 진행 중인 채팅은 티어 간격을 기다리지 않고 다음 분에 다시 재검사되며, recheck.completed는 작업이 완료될 때까지 continues_after를 표시합니다.

비교 대상에는 메시지 본문, 엔티티, 키 입력 내역(삭제 내역 포함), 첨부 파일 내용 및 식별 정보가 포함됩니다. 파일 액세스 해시나 파일 참조만 변경하는 것은 수정으로 간주되지 않으며, 텔레그램이 자동으로 채우는 항목(링크 미리보기 로딩, 스토리 조회수, 해당 계정으로 잠금 해제된 유료 미디어, 청구서 수령 확인 등)도 마찬가지입니다. ‘채팅’에 저장된 각 버전은 미디어 메타데이터를 포함한 전체 저널 기록으로 연결됩니다.

메시지 기록 및 출처 정보#

수집기가 “10:00에 회의”라는 내용을 관찰한 후, “11:00에 회의”라는 내용을 확인하고, 그 후 삭제 알림을 수신했다고 가정해 봅시다. 이때 세 가지 서로 다른 관찰 기록이 추가됩니다. 원본 텍스트는 그대로 유지되고, 수정된 내용은 별도의 버전으로 저장되며, 알림은 삭제가 감지되었음을 기록합니다.

첫 번째 버전이 사라진 후에 수집이 시작된 경우, 해당 텍스트는 확인할 수 없습니다. 프로세스가 오프라인 상태인 동안 여러 차례의 수정이 발생한 경우, 그 이후에 관찰된 버전만 저장할 수 있습니다. 삭제 알림만으로는 캡처되지 않은 콘텐츠를 복구할 수 없습니다.

메시지 발신자가 반드시 편집자인 것은 아닙니다. 텔레그램은 일반적으로 메시지를 삭제한 사용자나 정확한 삭제 시간을 제공하지 않습니다. 신원이 확인되지 않은 사용자는 계속 미확인 상태로 남습니다. 반응 스냅샷 및 참여자 업데이트에는 텔레그램이 해당 계정에 표시하는 횟수와 신원 정보만 포함됩니다.

순서 번호는 관찰 순서를 나타냅니다. 수집기의 UTC 타임스탬프는 해당 장치의 현지 시간을 기준으로 하며, 텔레그램 소스의 타임스탬프가 제공될 경우 별도로 저장됩니다. 두 타임스탬프 모두 독립적이고 신뢰할 수 있는 타임스탬프는 아닙니다.

이력 스냅샷#

스냅샷은 활성화된 소스에서 가장 최근에 표시된 메시지를 요청하며, 요청당 최대 500개까지 가져옵니다. 결과는 ‘이력 관측값’으로 표시됩니다. 이 관측값은 실시간 캡처와 중복될 수 있으며, 반복된 관측값은 별도의 기록으로 보관됩니다.

스냅샷은 첨부 파일 정책을 따르지만, 실시간 이벤트 전환과는 별도로 처리됩니다. 스냅샷은 삭제된 메시지나 누락된 중간 버전을 복원하지 않습니다. 일시 정지 상태에서 스냅샷을 요청할 수 있으며, 대기열에 추가된 첨부 파일은 관찰이 시작되고 다운로드 작업자가 실행될 때까지 대기합니다.

첨부 파일 처리#

첨부 파일 다운로드는 기본적으로 활성화되어 있으며, 사용 가능한 디스크 공간이 1 GiB 미만일 경우 일시 중지됩니다. 수집기는 메시지 관찰 및 다운로드 작업을 함께 처리합니다. 이 작업은 원본 미디어 설정 정보와 크기 정책을 유지하므로, 나중에 편집된 첨부 파일이 사용자 모르게 대체되는 일은 없습니다.

다운로드는 메시지 캡처 후 실행됩니다. 다운로드가 완료되면 SHA-256 및 바이트 수를 포함한 media.saved 레코드가 생성됩니다. 건너뛴 작업, 실패한 작업, 재시도된 작업 및 중단된 작업은 각각 별도의 결과를 생성합니다. 대기열에 등록된 작업이 있다고 해서 파일이 보존되었다는 증거는 아닙니다. 완료된 파일은 원래 관찰된 첨부 파일 설명자에 명시된 바이트 수와도 일치해야 합니다. 응답이 짧거나 예기치 않게 긴 경우, 보존된 미디어로 기록되지 않습니다.

제한은 유형별로 설정됩니다: 사진, 동영상, GIF 및 애니메이션, 원형 동영상 메시지, 음성 메시지, 음악 및 오디오, 스티커, 파일. 각 유형은 비활성화할 수 있으며, 1~2,000 MiB 범위의 개별 용량 제한이 적용됩니다. 새로 생성된 작업 공간의 초기 용량은 사진 20 MiB, 동영상 100 MiB, 파일·오디오·라운드 동영상 50 MiB, 음성 및 GIF 20 MiB, 스티커는 5 MiB로 설정됩니다. 최대 파일 크기를 설정하면 모든 유형에 동시에 적용됩니다. 유형별 제한이 적용되기 전에 저장된 정책은 모든 유형에 대해 단일 제한을 유지합니다. 비활성화된 유형은 'media.skipped' 레코드를 생성하며, 크기가 알려지지 않았거나 용량을 초과한 파일은 다운로드되지 않습니다. 대용량 파일의 경우 최소 256 KiB/s의 다운로드 속도가 보장됩니다. 작업은 시스템 재시작 후에도 유지되지만, 만료된 참조, 접근 권한 상실 또는 파일 삭제로 인해 복구가 불가능할 수 있습니다. 기존 작업은 해당 작업과 함께 저장된 정책을 유지합니다.

일시 중지, 잠금, 연결 해제 및 재시작#

이 수집기는 감지된 연결 끊김, 재시도, 오류, 시작/중지 및 하트비트를 기록합니다. 주기적인 연결 상태 확인으로는 짧은 중단 현상을 놓칠 수 있습니다. 재시작 후, 누락된 업데이트는 저장된 업데이트 위치부터 요청되며 관찰 대상 채팅은 주기적으로 재확인됩니다. 증거 형식을 참조하십시오. 스냅샷은 맥락을 제공하지만, 누락된 부분이 복구되었음을 증명하지는 않습니다.

계정 격리 및 검증#

각 작업 공간에는 고유한 저널, 권한, 서명 키, 정책 및 대기열이 있습니다. 활성 상태인 클라이언트만 실시간 관측 데이터를 기록할 수 있습니다. 거부된, 대기 중인, 대체된 클라이언트 및 연결 테스트 중인 클라이언트는 해당 저널에 실시간 업데이트를 기록할 수 없습니다. 서로 다른 계정이 동일한 그룹을 관찰할 수 있지만, 각 계정의 저널은 별도로 유지됩니다.

각 이벤트에는 이전 해시와 Ed25519 서명이 포함됩니다. 내보내기 파일은 고정된 시퀀스 번호를 통해 전체 작업 공간 로그를 포함합니다. 패널 필터는 내보내기 파일을 필터링하지 않으며, 내보내기 파일이 준비되는 동안에도 수집 작업은 해당 범위를 넘어 계속될 수 있습니다.

Verify 저널은 표시된 경계를 통해 이벤트 체인과 서명을 확인합니다. 작업 공간이 변경되면 결과가 초기화되며, 패널은 확인 후 추가된 새로운 기록을 식별합니다. ZIP 내보내기 기능은 수집된 미디어도 검증합니다.

유효한 서명은 텔레그램의 출처나 내용의 진실성과는 무관하게, 신뢰할 수 있는 키를 기준으로 무결성을 입증합니다. 지문과 체크포인트는 별도로 보관하십시오. 신뢰 및 전달 요건에 대해서는 증거 모델, 일상적인 운영 절차, 실시간 승인 절차를 참조하십시오.