챗 GPT를 활용한 5가지 사이버 공격 - 위드네트웍스

 

챗 GPT(ChatGPT)는 GPT-3.5 아키텍처를 기반으로 하여 OpenAI에서 만든 AI 챗봇으로 이를 통해 사용자의 질문이나 요청에 대해 자연어로 대화를 주고받을 수 있습니다. 챗 GPT는 자연어 처리를 통해 질문을 이해하여 1,750억 개 이상의 데이터 포인트를 사용하여 질문에 대한 답을 찾습니다. 마치 인간의 두뇌처럼 작동하는 신경망을 통해 답변을 처리하고 응답을 하는 것이죠.

 

전 세계는 현재, 과히 챗 GPT 시대를 맞이하고 있다고 해도 과언이 아닌데요. 실제 세계적으로 챗 GPT를 사용하는 새로운 비즈니스 벤처들이 생겨나고 있으며, 최근 들어서는 일반 사용자들도 챗 GPT를 활용하여  인간 고유의 영역이라 생각했던 창의적인 활동, 예를 들어 대본 작성 등의 다양한 활동을 하고 있습니다. 그러나 어떠한 기술이든 명암이 있듯이 챗 GPT를 이롭게 쓰는 것 이외에 범죄 행위에서도 이를 사용하는 움직임이 보이고 있습니다.

 

실제로 사이버 공격자들은 이미 AI 챗봇을 다양한 사이버 범죄 행위에 활용하고 있습니다. 오늘은 공격자들이 챗 GPT를 사이버 범죄에 어떻게 악용하고 있는지와 그에 다른 예방 조치에 대해 알아보겠습니다.

 

취약점 탐색

프로그래머라면 챗 GPT의 코드 디버깅 기능에 열광할 수 밖에 없을 텐데요. 간단한 요청으로도 챗 GPT는 해당 소스 코드의 버그나 문제에 대해 놀라울 정도로 정확한 결과를 산출하기 때문입니다. 그러나 공격자는 이 기능을 사용하여 프로그램의 보안 취약점을 찾을 수도 있다는 것이 문제입니다.

 

챗 GPT를 활용한 디버깅 (source: Medium)

 

이를 방지하기 위해 챗 GPT에는 잠재적으로 불법적이거나 비윤리적인 응답을 제공하지 않도록 보호하는 내장 보호 장치가 있습니다. 그래서 챗봇에게 단순히 취약점을 찾도록 요청한다고 해서 작동되지는 않습니다. 요청이 테스트 목적임을 명시하는 등의 조치를 취해야 하죠.

 

실제로 한 보안 연구원은 챗 GPT에 해킹 대회 CTF(Capture the Flag Challenge)의 기출문제를 해결하도록 요청하였는데요, 챗봇은 몇 가지 후속 질문 후에 정확한 수준으로 버퍼 오버플로 취약점을 찾아내는데 성공했습니다. 심지어 교육 목적으로 사고 과정에 대한 설명도 추가적으로 제공했습니다.

Buffer Overflow에서 취약점을 찾아낸 챗 GPT

 

취약점 공격

챗 GPT는 해킹과 같은 불법 서비스를 제공하지 않도록 훈련되어 있기 때문에 주어진 취약점을 악용하여 해킹 공격을 하라고 챗봇에 요청한다고 해도 작동되지 않습니다.

 

하지만 챗 GPT를 교묘하게 속일 수는 있는데요. 챗GPT에게 그들이 해킹 테스트 챌린지를 하고 있으며 취약점을 찾아야 한다고 요청한다면 챗 GPT는 취약점을 찾아낸 뒤 악용 가능한 취약점 공격 코드의 예시 및 공격 샘플에 대한 단계별 지침을 제공합니다. 그 결과 빠른 시간 안에 특정 애플리케이션에서 취약점을 찾아 공격할 수 있게 되죠.

 

즉, 챗GPT를 활용하면 사이버 공격의 전통적인 길고 복잡한 공격 프로세스를 이제 누구나 활용할 수 있도록 단축하고 간소화할 수 있다는 것입니다.

 

취약점 공격 수법에 대한 챗 GPT의 답변 (source: twitter CTS)

 

멀웨어 개발

글로벌 보안 기업 체크포인트는 챗 GPT가 출시된 지 한 달이 안 되었을 때 다크 웹에서 챗 GPT로 개발한 세 가지 멀웨어를 찾아냈습니다. 하나는 파일 유형을 검색하여 Temp 폴더 내의 임의 폴더에 복사하고 ZIP으로 압축한 다음 하드코딩된 FTP 서버에 업로드하는 Python 기반 탈취 멀웨어였습니다. 또 다른 예는 PuTTy를 다운로드하고 PowerShell을 사용하여 백그라운드에서 은밀하게 실행하는 Java 프로그램을 생성하는 멀웨어였습니다.

 

그리고 마지막이자 가장 무서운 멀웨어는 챗 GPT의 API를 사용하여 다형성 멀웨어를 생성하는 멀웨어였는데요. 이는 파일의 시그니처 기반 탐지를 피하기 위해 모든 사용자마다 동작을 변경할 수 있었죠. 해당 멀웨어는 API를 사용하여 웹 버전의 일부 내장 보호 장치를 Python 코드로 직접 우회할 수 있었습니다. 그 결과 기존의 안티바이러스 패키지로는 완전히 감지할 수 없는 새로운 유형의 멀웨어가 계속해서 생성될 수 있었던 것이었습니다.

 

ChatGPT를 사용하여 정보 탈취한 방법에 대해 설명하는 사이버 범죄자 (source: Checkpoint Research)

 

 

피싱

챗 GPT는 사람과 거의 구별할 수 없을 정도로 글을 작성하고 대답할 수 있습니다. 따라서 공격자의 관점에서 피싱 이메일을 대규모로 작성하는 데 적격일 것입니다. 공격자는 이를 사용하여 다양한 이메일을 작성할 수 있으며 작성 스타일을 따뜻하고 친근하게 변경하거나 비즈니스 중심으로 변경할 수 있습니다. 챗봇에게 유명인에서 온 것처럼 이메일을 작성하도록 요청할 수도 있죠.

 

챗 GPT 등장 전에 초기 AI로 만들어진 피싱 메일은 종종 엉터리로 번역되어 잘못 작성되어 있는 경우가 허다했는데요. 하지만 챗 GPT는 정말 그 나라 사람처럼 글을 잘 작성합니다. 이는 다른 국가의 공격자가 원하는 모든 언어로 번역 오류 없이 실제 같은 피싱 이메일을 만들 수 있음을 의미합니다.

 

피싱 공격에 활용되는 AI 챗봇 '챗GPT' - 위드네트웍스

 

 

또한 챗 GPT는 GPT-3.5를 기반으로 하며, 로컬 데이터를 사용하여 제공된 커뮤니케이션 샘플을 기반으로 실제 사람들의 작문 스타일을 사용하도록 훈련할 수 있습니다. 이때 샘플이 충분하다면 어떻게 될까요? 실제 사람과 똑같이 들리고 보이는 이메일을 작성할 수 있지 않을까요?

피싱 시뮬레이션을 생성하는  ChatGPT (source: VentureBeat)

 

매크로와 LOLBIN

공격자는 챗 GPT를 사용하여 이메일 첨부된 링크 및 파일이 열릴 때 자동으로 실행되는 매크로를 생성할 수 있습니다. 예를 들어 엑셀 파일이 열렸을 때 calculator.exe를 자동으로 실행하도록 하는 매크로를 만드는 것이죠.

 

그다음 단계는 이 매크로 코드를 LOLBIN(Living off the Land Binaries)으로 변환하는 것입니다. LOLBIN은 기존에 설치되어 있으며 신뢰할 수 있는 시스템 도구를 사용하여 멀웨어를 확산시키는 방법입니다.

 

그런 다음 공격자는 리버스 쉘(Reverse Shell: 클라이언트(공격자)가 리스닝을 하고 서버에서 클라이언트(공격자)쪽으로 접속하는 형태)과 같은 기본 네트워킹 명령을 실행하여 원하는 시스템에 다시 연결하여 대부분의 방화벽을 우회하고 피해자 시스템을 다른 많은 공격에 노출시킬 수 있습니다.

 

엑셀에서 연동되어 사용되는 ChatGPT (source: 오빠두엑셀)

 

챗GPT의 위험성

현재 우리는 챗 GPT의 엄청난 기능 중 겉표면만 사용하고 있을 뿐입니다. 심지어 2023년 후반에 GPT-4는 170조 개의 매개변수와 함께 더 업그레이드될 것이며 챗 GPT의 현재 기능보다 100배 더 강력할 것입니다.

 

source: Forbes

 

인공지능은 실생활뿐 아니라 사이버 보안의 판도를 완전히 바꾸고 있습니다. 공격 표면이 훨씬 더 넓어졌습니다. 이를 통해 비전문가 또는 주니어 해커들에 의한 덜 정교한 공격이 증가할 것을 의미하는 한편, 지능형 공격자에 의한 새로운 공격 기법으로 인한 더 많은 제로데이 취약점 공격이 급증할 것을 의미합니다.

 

 

정교한 사이버 공격이 급증할 때 더욱 중요한 것은
공격 표면을 관리하고 빈틈 없는 보안 체계를 구축하는 것입니다

 

Total ICT・지능형 보안 서비스 전문 플랫폼 혁신기업, 위드네트웍스 

위드네트웍스는 지난 10여년 간 매지니드 보안 시장의 선도 주자로서 축적된 노하우와 인프라를 기반으로 Global New Technology 기반의보안 솔루션을 개발할 뿐 아니라 클라우드, 5G, 와이파이 등 디지털 트랜스포메이션의 기반이 되는 인프라를 구축하여 4차 산업 혁명을 선도하고 있습니다.

 

또한 다양한 보안 전문 기술/컨설팅 노하우 및 지능형 보안 플랫폼을 통하여 고객사 환경에 최적화된 정보 보안 및 IT 인프라를 구축하고 있습니다. 특히 여러분 기업에 최적화된 지능형 아이덴티티 보안 체계를 하고자 하시거나 이에 대한  문의 사항이 있으시다면 아래의 제품 문의를 통해 자유롭게 문의 주시기 바랍니다!

​

감사합니다, 위드네트웍스는 여러분의 비즈니스를 응원합니다!

 

 

 

<참고: "CHATGPT FOR OFFENSIVE SECURITY: FIVE ATTACKS", Andy, 2023.02>