ChatGPT를 이용한 보안 위협에 대한 생각

출처 : https://ko.wikipedia.org/wiki/ChatGPT

 

육아와 업무를 병행하다보니, 최신 보안 트랜드나 IT 기술이 어떻게 변화하고 있는지 잊고 있던 와중에도 ChatGPT의 소식을 동료를 통해 알게 됐다. 엄청난 AI가 나타났다나 뭐라나. 역시나 IT 쟁이들이 많이 서식하는 커뮤니티에도 많은 글들이 올라왔다. 

 

 

ChatGPT 서비스는 Slack 같은 메시지 서비스의 형태를 띄고 있는데, 챗봇과 같이 궁금한 것을 질문하면 응답을 표시해주는 방식이다. AI를 통해 질문을 인식 하고 기본적인 필터를 거쳐서 답변하는데, 번역 서비스를 이용하는지, 한글로 질문해도 원하는 답변을 해준다. 놀라운 점은 Context를 이해한다는 것인데, Base-line이 되는 질문을 하고 조금씩 살을 붙여가며 답을 요청하면, 어느 정도 수준까지는 원하는 답에 근접하게 알려준다. 특히, 예제 코드를 제공하는 기능은 보안과 개발을 주로 하고 있는 나에겐 가장 마음에 드는 기능이다.

 

 

    # 개인적으로 느낀 특징

• 채팅 앱과 같은 웹 UI
• 챗봇(Chatbot)이 질문에 대한 대답을 해주는 방식
• 다양한 언어로 입력 가능 (번역 서비스를 이용하는 듯) → 영어로 질문하면 답변이 빠르나, 다른 언어로 질문하면 느림
• 질문은 대화를 하듯이 요청을 하면, 챗봇이 Context를 이해하여, 유자가 원하는 최선의 대답을 찾아서 대답함
• 2021년까지의 데이터들을 바탕으로 학습 → 최신 정보는 반영 안됨
• 민감한 요청(개인정보, 범죄 영역, 가치판단, 투자 영역 등)에 대해서는 필터링됨
• 틀린 답을 해주거나 최신 버전과 호환이 안되는 구버전 응답을 해줄 때도 많음
• 만약, MS가 인수에 성공하고, 무료로 전세계에 공개할 경우, 집단 지성을 통해 무한히 개선 가능
• 악의적인 유저에 의해 Abusing이 가능하기 때문에 오염이 될 가능성을 염두해야 함

 

 

예전 심심이 때는 알바가 대신 대답을 한다는 농이야 웃고서 넘어갔었지만, ChatGPT는 사용을 해볼수록 수십만 알바들을 써서 미리 문제은행을 만들어두지 않았을까 하는 의구심이 절로 들 정도로 답변이 정교하다.

 

 

예를 들어, FastAPI에서 SAML 인증을 어떻게 구현하면 좋을지 질문을 하고, 이를 Cookie로 저장하는 방법에 대해서도 같이 질문했는데, 원하는 요구사항에 최대한 맞춰진 대답을 받을 수 있었다.

 

질문 1. FastAPI + SAML

질문 2. FastAPI + SAML + Cookie

 

완벽한 결과를 기대한 것이 아니기 때문에 제공된 정보는 참고만 하고, 실제 개발에 들어가기 전에 방향성을 잡거나, 힌트를 얻기 위한 용도로는 충분히 사용 가능해보였다.

 

 

그렇다면 보안 분야에서는 어떨까?

 

지난 주 보안 뉴스에는 아래와 같은 기사가 올라왔다. AI를 이용해 보다 정교해지는 공격에 대한 우려의 목소리였다.

 

https://www.boannews.com/media/view.asp?idx=113439

챗GPT 때문에 조만간 IT와 보안 업계에 피바람 휘몰아칠까?

 

정말 이러한 우려의 목소리가 나올만큼, (마음의 소리: 보안 바닥을 떠나야 할) 때가 임박한 것일까?

 

기본적인 코드를 제공하니까, 이를 이용해 초심자들이 보다 쉽게 공격을 시도한다거나, 사람이 하는 것 이상으로 정교한 공격 기법이 나올 수 있는걸까?

 

내 생각에는 적용되는 영역에 따라 파급력은 다를 것 같다.

 

전문 인력과 체계적인 보안 스택을 보유하고 있는 기관이나 기업을 상대로는 영향이 적을 것 같다. 아무리 AI라고 하더라도 인터넷 접점에서 Endpoint device까지 보안 스택을 우회하는 새로운 기술이 쉽게 나올 수는 없을 것이고, 행위 기반으로도 상시 모니터링이 이뤄지기 때문에 AI 라고 하여 큰 위협으로 다가올 것 같지는 않다.

 

멀웨어의 관점에서는 기존에 없던 새로운 코드 난독화 코드를 개발한다거나, 탐지 우회를 위한 패턴 개발, 정교한 변형 등의 영역에서 AI가 이용될 수 있을 것 같다는 생각은 든다. 하지만, Sandbox 탐지는 우회가 가능할지라도 EDR에서 행위로 탐지하는 것은 피하기 어려울 것 같다. 물론, 탐지 정책이 부실하거나 분석가가 중대한 실수를 하여 놓친다면 모르겠지만, 이것은 AI 기술이 아니더라도 동일한 문제이다.

 

다만, 일반 사용자를 대상으로 하는 공격들의 경우에는 보다 AI가 활용될 가능성이 높아 보인다. ChatGPT 서비스에서 볼 수 있듯이 보다 자연스러운 언어 번역, 그리고 Context에 대한 이해를 하는 기술들, 그리고 유투브와 같이 Speech-to-text 기술들을 접목된다면, 과거보다 훨씬 정교한 피싱 공격이 가능해질 것이고, 수많은 피해가 발생될 것 같다. 이메일이나 메신저를 통한 사기라거나, AI가 대신하는 음성 통화, Deep-fake 기술을 이용하면 영상통화도 이용한 범죄조차도 가능하다고 생각이 든다. 언젠간 어색한 연변 사투리를 쓰며 경찰 흉내를 내는 사람 대신에 AI가 대신 전화를 걸어올지도 모른다.

 

 

아래는 Chat GPT를 이용한 보안 관련 몇 가지 질문 사례이다.

 

확실히... 확실히... (나같은) 초심자들한테는 유용한 툴이 될 것 같다.

 

1) 피싱 이메일 본문을 자동 생성

피싱 공격에 활용하기 위해 이메일 원문을 자동 생성이 가능함

 

2) 피싱 공격에 사용 가능한 문서 악성코드 자동 생성

아쉽게도 문서를 열면 자동으로 URL로 연결되는 예제는 아님.

피싱 사이트로 연결되는 문서 악성코드 예제

 

3) 이메일의 발신자를 위장해서 보내는 코드 예제

Email 발송자 이름을 변경하는 예제

 

4) GitHub에서 노출된 Access Key, Secret Key를 검색하는 코드 예제

GitHub Access Key 검색 예제

 

5) DoS 공격 코드 예제 (Slowloris)

노골적으로 공격 코드를 요청하면 결과가 안나옴.

 

노골적인 공격 코드를 요청하면 결과가 안나오지만, 적절히 문구를 수정해서 유도하면 예제 코드를 제공해준다.