피싱 공격에 활용되는 AI 챗봇 '챗GPT' - 위드네트웍스

 

오픈AI의 무료 AI 챗봇인 챗GPT는 마치 사람과 대화하듯 글로 대화하는 챗봇입니다. 챗GPT는 2022년 11월 30일에 출시되어 5일 만에 100만 명의 사용자를 돌파하였습니다. 또한 챗GPT는 마이크로소프트로부터 약 10억원의 투자를 받았는데요. 덕분에 개발사인 오픈AI는 기업가치를 290억 달러(약 36조 원)로 평가받고 있습니다. 이 챗봇이 어떻길래 이렇게 전세계적으로 주목을 받을 수 있게 되었을까요?

 

챗GPT는 채팅으로 AI와 대화하며 상당한 수준의 이메일, 에세이, 레시피 등 다양한 텍스트를 생성할 수 있습니다. 현재 그 수준은 대학생 이상의 수준이라고 알려져있는데요, 실제로 미국의 고등학교와 대학교에서 학생들이 챗GPT로 과제를 대신하면서 논란도 일고 있다고 합니다. 또한 챗GPT는 프로그래밍 즉, 코딩과 디버깅까지 지원하고 있으니 그 위력이 정말 상당합니다.

 

사용자들은 이러한 AI 챗봇을 활용하여 삽화나 전자책을 만들 수 있을 것입니다. 또한 6세 아이에게 양자 물리학을 설명하고, 시를 쓰고, 맞춤형 식단을 만들고, 에세이에서 만점을 받을 수 있도록 도와줄 수 있습니다. 가장 놀라운 것은 이 챗봇이 AI의 머신러닝을 통해 더 많은 사람들이 사용할수록 더 똑똑해진다는 것 그래서 더 똑똑해질 수 있다는 가능성입니다.

 

<챗GPT의 메인 화면>

올해 챗GPT의 새 버전(GPT-4)이 출시될 것으로 알려져있는데요, 이에 대한 전세계 시장의 움직임도 심상치 않습니다. You.com은 챗GPT와 유사한 자체 AI 챗봇을 통해서 검색 및 최신 뉴스에 대한 질문에 답할 수 있는 서비스를 제공하고 있습니다. 글로벌 IT 공룡기업인 마이크로소프트는 오픈AI에 이미 10억 달러를 투자하였을 뿐아니라 올해 3월에 추가로 100억 달러를 투자할 예정으로 알려져있습니다. 이를 통해 자사 'Bing' 검색 엔진에 챗GPT를 추가하고 오피스 제품군에도 통합할 계획인 것이죠. 이러한 거대 기업의 움직임에 현재 글로벌 검색 엔진 1위 구글 또한 대응을 서두르면서 '비상 상황'을 선언한 것으로 알려져있습니다.

 

 

하지만 이렇게 전세계를 뒤흔들고 있는 AI 챗봇의 빠른 성장이 사용자들에게 마냥 편리함만 제공하는 것은 아닙니다. 챗GPT가 피싱 공격에 활용될 수 있을 뿐 아니라 전세계 여러 언어를 지원하기 때문에 그 공격이 기하급수적으로 증가할 수 있기 때문입니다. AI가 미래 사회의 핵심 유망 기술로 등장하면서부터 AI를 활용한 공격에 대한 우려가 오래전부터 이어져온 것이 사실입니다. 그런데 그 우려가 현실로 다가오게 된 것입니다.

 

 

AI(Artificial Intelligence): 해커들의 새로운 공격 도구 - (1)AI를 이용한 해킹 공격 [위드네트웍스]

 

AI(Artificial Intelligence): 해커들의 새로운 공격 도구 - (2) AI, 사이버 보안의 게임 체인저 [위드네트

 

챗GPT를 통해서는 코딩 및 개발 지식이 전혀 없는 사람들도 개발자가 될 수 있다고 하는데요. 심지어 개발 경험이 전혀 없는 사람들조차 이미 챗GPT를 사용하여 이미 멀웨어를 만들고 있다는 것이 여러분은 믿겨지시나요?

 

챗GPT를 활용한 사이버 공격

현재 보안 전문가들은 챗GPT와 같은 AI 챗봇이 공격자의 코드 또는 텍스트의 양과 질을 극적으로 증가시킬 수 있다는 점을 우려하고 있습니다.

 

오늘날 챗GPT는 어떤 스타일로든 사람이 작성한 이메일과 구별할 수 없는 이메일을 이미 작성할 수 있습니다. SNS 게시물, 유튜브 비디오 스크립트, 웹사이트 콘텐츠, 보도 자료, 리뷰 등 공격자가 가짜 사용자, 가짜 페르소나를 만들거나 실제 존재하는 사람을 속이는 데 필요한 모든 텍스트를 생성할 수 있다고 합니다.

 

이러한 기능을 통해 악성 공격자는 챗GPT와 같은 AI 챗봇을 통해 '진짜'와 구별하기 힘든 피싱 메일을 작성할 수 있다고 합니다. 침해된 이메일 계정에 대한 접근 권한을 통해 사내 통신으로 챗GPT의 AI를 훈련시킬 수 있는 것이죠. 그렇게 되면 실시간 학습이 가능한 AI를 사용하여 무한한 수의 대량 생산 맞춤형 커뮤니케이션을 생성할 수 있게 될 것입니다.

피싱(Phishing)은 개인정보를 뜻하는 Private Data와 낚시를 의미하는 Fishing의 합성어이다. 피싱은 이메일 또는 메신저를 사용해서 신뢰할 수 있는 사람 또는 기업이 보낸 메시지인 것처럼 가장함으로써, 사용자의 비밀번호 및 신용카드 정보와 같이 기밀을 요하는 정보를 부정하게 얻으려는 사이버 범죄의 하나이다  

 

피싱 이메일의 모든 것! - 위드네트웍스

 

챗GPT로 피싱 이메일 작성 시뮬레이션

 

<챗GPT 사용경험을 재구성한 화면으로 실 제공 서비스 아님>

 

챗GPT도 악성 사용자들에 대한 대비책을 세웠습니다. 공격자가 ChatGPT에 피싱 이메일에 대한 아이디어를 직접 요청하면 “이 주제가 부적절하거나 윤리적이지 않다"는 경고 메시지를 띄우는 것이죠. 그러나 공격자가 마케팅 이메일에 대한 제안을 요청하거나 사람들에게 새로운 웹 페이지에 대해 사람들에게 알리기 위한 이메일을 요청하거나 누군가에게 회의 전에 문서 검토를 요청한다면 챗GPT는 그 목적이 사실이든, 피싱이든 상관없이 요청에 따른 결과물을 낸다는 것이 문제입니다.

 

실제로 현 시점에서 You.com은 피싱 이메일에 전혀 제한이 없습니다. "피싱 이메일에 대한 주제에 대한 몇 가지 아이디어를 제공하라"는 질문에 "피싱 이메일에 대한 일부 주제에는 가짜 승진 제안, 가짜 채용 공고, 가짜 자선 기부, 가짜 온라인 구매 확인, 가짜 온라인 결제, 가짜 송장, 가짜 배송 알림, 가짜 소프트웨어 업데이트, 가짜 계정 알림 및 가짜 상품/보상 알림 또한 현재 이벤트나 인기 있는 주제를 사용하여 가짜 세금 환급 알림, 가짜 정부 알림과 같이 더 믿을 수 있는 이메일을 만들 수 있습니다.

그런 다음 "나를 위해 가짜 인보이스 피싱 이메일 생성"을 요청했을 때 그대로 수행한다고 합니다.

 

<실제 You.com 화면>

 

실제로 챗GPT가 생성하는 피싱 이메일은 오늘날 해커가 생성하는 대부분의 이메일보다 품질이 훨씬 더 높다고 평가받고 있습니다. 

 

 

챗GPT의 언어 번역 기능이 위험한 이유

챗GPT는 영어에만 국한되지 않습니다. 러시아어, 중국어, 한국어를 포함하여 약 20개 언어 서비스를 제공하고 있다고 하지만 실제로는 거의 100개의 언어가 테스트되었습니다. 즉, 영어 이외의 언어로 필요한 것을 설명하고 이메일을 영어로 출력하도록 챗GPT에 요청할 수 있는 것이죠.

<Img Source: IoTWorlds>

사이버 공격 강국인 러시아에서는 챗GPT가 차단되어 있지만 프록시 및 VPN 서비스를 통해 챗GPT에 접근 가능하다고 알려져 있습니다. 또한 12월 말에 챗GPT와 거의 동일한 기능을 제공하는 자체 챗봇을 출시한 You.com에는 지역 차단 기능이 없습니다. 긴 형식의 콘텐츠를 생성할 수 있는 유료 대안인 ChatSonic도 있습니다.

 

지역에 따라 챗GPT를 시작하는 데 몇 초에서 몇 분이 걸릴 수 있지만 You.com 챗봇은 등록이 필요하지 않고 링크를 클릭하기만 하면 됩니다.

 

AI 챗봇을 활용한 피싱 공격에 대응하는 방법

이러한 AI 챗봇의 기능이 오피스 프로그램 및 이메일 서비스에 포함된다면 AI가 생성한 텍스트를 찾으려고 혈안을 기울이는 것은 시간 낭비가 될 수 있을 것입니다.

 

왜냐하면 챗GPT와 같은 AI 프로그램은 일반적으로 악성 콘텐츠보다 무해 콘텐츠에 훨씬 더 많이 사용될 것이기 때문입니다. 즉 AI가 작성했다는 이유만으로 뭔가가 악의적이라고 추론할 수 없다는 것이죠.

 

따라서 피싱 방지 교육 또한 AI가 작성한 텍스트 중 잘못된 점을 찾는 것 이상이어야 합니다. 예를 들어 피싱 방지 교육 과정에는 URL에 마우스를 올려 합법적 링크인지 확인하는 것이 포함되어야 할 것입니다.

 

 

공격 수법은 끊임없이 발전하고 있습니다. 이제는 한 사람의 계정을 해킹하여 그 사람이 작성한 스타일을 모방하여 사칭 공격을 할 수 있습니다. 회사 평판에 대해서는 가짜 뉴스 기사, 보도 자료, 고객 리뷰, 블로그 게시물 등으로 공격할 수도 있겠죠.

 

또한 이메일, 블로그 등 텍스트를 활용한 피싱 공격뿐 아니라 전체 웹 사이트 또한 AI 챗봇을 통해 피싱 공격에 활용 가능합니다. 모방 사이트의 훨씬 더 정교하게 만들어질 것이고 그 결과 피싱, 특히 스피어 피싱에 더 많은 사람들을 끌어들일 수 있게 될 것입니다.

스푸핑된 웹 사이트는 방문자의 계정 정보를 수집하거나, 잘못된 정보를 퍼뜨리는 데 사용될 수 있습니다.

 

전문가들은 기업들이 AI가 작성한 이메일에 대비하고 기술 보안 조치를 강화하기 위해 피싱 방지 교육을 검토하거나 강화할 것을 권장합니다. 여기에는 다음이 포함됩니다.

 

• Word 문서 및 기타 첨부 파일을 회사 네트워크에 접근하지 못하도록 하는 샌드박싱
• 온프레미스 사용자와 원격 사용자 모두를 보호하기 위한 보안 웹 게이트웨이를 통한 웹 트래픽 검사
• 안전한 이메일 게이트웨이
• 악성 콘텐츠 또는 타이포스쿼팅에 대한 URL 확인

타이포스쿼팅(typosquatting)은 소셜 엔지니어링의 한 유형으로 공격자가 사기 또는 악성코드 확산과 같은 악의적인 목적으로 정상적인 도메인을 가장하는 수법

• 도메인 스푸핑 및 콘텐츠 변조를 방지하는 데 도움이 되는 DMARC, DKIM 및 SPF와 같은 이메일 보안 프로토콜 배포
• 의심스러운 이메일을 신고하는 쉬운 방법 제공

 

Total ICT・지능형 보안 서비스 전문 플랫폼 혁신기업, 위드네트웍스 

위드네트웍스는 지난 10여년 간 매지니드 보안 시장의 선도 주자로서 축적된 노하우와 인프라를 기반으로 Global New Technology 기반의보안 솔루션을 개발할 뿐 아니라 클라우드, 5G, 와이파이 등 디지털 트랜스포메이션의 기반이 되는 인프라를 구축하여 4차 산업 혁명을 선도하고 있습니다.

 

또한 다양한 보안 전문 기술/컨설팅 노하우 및 지능형 보안 플랫폼을 통하여 고객사 환경에 최적화된 정보 보안 및 IT 인프라를 구축하고 있습니다. 여러분의 비즈니스를 안정적으로 운영하기 위한 도움과 다가올 보안 이슈에 대응하기 위해 도움이 필요하시다면 언제든지 자유롭게 연락해주세요!

 

위드네트웍스는 여러분의 비즈니스를 응원합니다!

 

Copyright(c) 2023. (주)위드네트웍스 All Rights Reserved.

 

<참고내용: "How AI chatbot ChatGPT changes the phishing game", Maria Korolov, 2023.01>