텔레그램에서 활동하고 있는 딥 페이크 봇 - 위드네트웍스

 

2020년 대한민국의 N번 방 사건으로 많은 사람들이 텔레그램에 대해 알게 되셨을 것입니다.

텔레그램은 일반 대화, 비밀 대화의 2가지 방식으로 메시지를 전송할 수 있는데 비밀 대화의 경우 종단간 암호화를 적용하여 두 단말기 간에서만 복호화가 가능한 비밀키를 이용하게 된다. 이를 통해 높은 보안성으로 텔레그램으로 전세계에서 많은 사람들이 사용하고 있습니다.

 

현재 텔레그램 내에서는 수 만개의 여성들의 비합의된 사진들을 만들어내는 AI 봇이 활동하고 있는 것이 발견되었으며 이를 단속해야 한다는 압박을 받고 있습니다. 법 집행 기관은 미성년 여성들의 선정적인 가상 사진을 만드는데 사용된 것으로 추정되는 딥 페이크 봇의 활동을 조사하고 있습니다. 이탈리아에서는 데이터 보호 규제 기관에서 딥 페이크 봇이 사용되고 있는지에 대한 조사에 착수했으며 Apple의 iOS에서 해당 봇에 접근하지 못하도록 만들었습니다.

 

이러한 정밀한 조사들을 통해 일부 비밀 대화방에서 AI 봇으로 만든 사진이 아닌 실제 여성들의 합의 되지 않은 “리벤지 포르노” 사진과 비디오를 공유하고 있다는 것 또한 밝혀냈습니다. 마치 N번 방 처럼 말이죠. 한국 뿐 아니라 미국, 이탈리아, 이스라엘에서도 텔레그램 내에서 지난 몇 년 동안 이러한 악용 사진들이 공유되고 있었다는 것이 밝혀졌습니다.

 

 

 

 

<image source: https://brunchvirals.com/of/ai-bot-telegram/>

텔레그램에서 악용되고 있는 AI 봇은 2019년에 만들어진 DeepNude(딥누드) AI 툴 버전을 사용하며 여성의 사진에서 옷을 제거하고 신체 일부를 자동적으로 생성하여 가상 누드 사진들을 만들어내고 있습니다. 누구든지 쉽게 봇을 이용해 사진들을 만들 수 있었기 때문에 10만개 이상의 이러한 사진들이 여러 텔레그램 대화방에서 공유되고 있었습니다. 또한 각 대화방에는 수만 명의 멤버들이 참여하고 있었습니다.

 

한 연구원은 2020년부터 활동을 시장한 봇을 발견하한 뒤 이를 텔레그램 본사에 보고하였지만 텔레스램은 아무 조치도 취하지 않았습니다. 이 사실은 같은해, 10월에 공개가 되었고 그 이후 봇은 자취를 감췄습니다. 결국 봇을 사용하는 사람들이 감시망 아래에서 조용히 활동하게 되어 단속하는 것을 더욱 어렵게 만들었습니다. 여전히 딥페이크 봇은 존재하며 계속 작동하고 있습니다.

 

 

 

<image source: bit.ly/3fnTBek>

 

2020년 10월 말,  아이폰과 아이패드에서 텔레그램 봇에 대한 접근이 제한되었고 접근 시 Apple의 개발자 가이드라인의 1.1 섹션을 위반한다는 메시지를 표시했습니다.  "앱 스토어는 노골적인 성적 또는 포르노 자료들은 허용하지 않는다"고 정하고 있습니다. 또한 텔레그램  내에서는 봇을 표시할 수 없다는 경고로 대체되었습니다.

 

하지만 애플은 텔레그램에서 봇을 실행시키지 못하도록 조치했는지 묻는 질문에 응답하지 않았습니다. 왜냐하면 애플의 규정 상 타사 앱의 컨텐츠를 제한하거나 메시지를 띄우는 것은 불가능하고 개발자들에게 앱스토어의 규칙에 반하는 컨텐츠를 발견했다는 것은 알리는 정도까지만 할 수 있기 때문입니다. 앱스토터의 규칙은 다음과 같습니다.

'사람들이 업로드한 텍스트, 사진 또는 비디오가 포함된 앱은 게시되는 “불쾌한” 자료를 필터링 하는 방법을 포함해야 한다.'

iOS환경에서는 봇을 제한하려는 시도가 있었지만 봇은 안드로이드 기기와 텔레그램의 맥 애플리케이션에서는 여전히 사용되고 있습니다.

 

 

 

2013 년에 설립된 텔레그램은 전세계인이 자유롭게 대화할 수 있는 사적인 공간으로 자리 매김했으며, 개인 정보를 보호하고 검열을 피하기 위해 종단 간 암호화 모드를 사용하고 있습니다. 그러나 해당 메시징 앱은 문제가 있는 콘텐츠로 인해 위기를 맞이했습니다. 2017 년 7 월, 텔레그램은 인도네시아의 사용 금지령 이후 테러 관련 콘텐츠를 제거하기 위한 중재 팀을 구성할 것이라고 밝혔습니다. 또한 애플은 플랫폼에서 부적절한 콘텐츠를 발견한 후 2018 년에 앱 스토어에서 일시적으로 이를 제거하기도 했습니다.

 

한 이탈리아의 데이터 보호 기관은 딥페이크 봇이 생성한 누드 이미지가 피해자에게 “돌이킬 수없는 피해”를 줄 수 있다고 밝혔습니다. 또한 텔레그램 그룹 중 일부 비공개 그룹에서 합의되지 않은 여성 이미지들의 은밀한 사진들이 공유되고 있다는 것을 밝혔습니다. 여기에서 공유되는 사진에는 딥 페이크 기술로 만들어진 것들도 포함되어 있었습니다.  한 그룹은 30,000 명 이상의 회원이 있으며 공공 장소에서 여성들을 몰래 찍은 사진들이 공유되고 있긷도 했습니다.

 

 

 

텔레그램은 자체적으로 내부를 조사해 이에 대한 책임을 져야합니다. 법 규제를 통해 사용자를 보호하고 기술의 오용을 제한하도록 강제해야 합니다.  개발자에게 텔레그램 봇의 API가 계속 제공된다면, 이를 막기 위해 공식 봇 스토어를 구축하여 Apple, Google, Microsoft가 앱 스토어에서하는 것과 동일한 방식으로 봇을 인증하는 절차를 마련하는 것도 필요할 것입니다. 

 

딥 페이크 기술은 빠르게 발전하고 있으며 이러한 텔레그램 봇은 미래에 일어날 일의 시작일 뿐일 수 있습니다. 텔레그램 봇은 누구나 쉽게 사용할 수 있으며 전문 지식이 필요하지 않습니다.  이전에는 유명인과 유명 인사들이  AI 포르노의 표적이었던 것에 비해 점점 일반인들도 딥페이크 AI 봇의 표적이 되고 있습니다.  딥페이크 AI 기술이 점점 더 대중화됨에 따라 이러한 유형의 악용 사례가 더욱 많이 발견될 수 있으니 이에 대한 조치를 취해야 할 것입니다.

 

 

 

 

 

참고 기사: www.wired.com/story/telegram-still-hasnt-removed-an-ai-bot-thats-abusing-women/