Quick Overview AI 기술은 이 세상에 빠르게 적응하고 있습니다. 해커들은 AI의 적응력과 창의성을 통해 보안 위협을 일으킬 수 있으며, AI를 무기화하여 기업과 정부 시설을 공격할 수 있습니다. 이에 대비하여 정부와 기업들은 규제와 안전장치를 마련하고 대응하고 있지만, AI 보안의 도전과 위험은 여전히 남아있습니다. |
인공지능(AI)이 세계를 바꾸고 있습니다. AI에 대해서는 과장도 많지만 그 바탕에는 빠르게 세상에 적응하고 있는 실제 기술이 존재합니다. AI는 환경에 적응하는 속도가 매우 빨라서 정부는 물론 그 AI를 만든 IT 대기업도 제대로 통제하지 못할 정도입니다. AI가 누구나 자유롭게 추가하고 조정하고 사용할 수 있도록 오픈소스화된다는 것은 아무도 예상치 못한 일이었습니다.
해커와 악의적 행위자는 자신의 목적을 위해 새로운 기술을 사용하는 데 있어 적응력이 매우 뛰어나고 창의적입니다. 특히 그 기술이 공격을 훨씬 더 효율적이고 효과적으로 만들어주는 경우에는 더욱 그렇습니다.
강화되는 규제
다행히도 “AI의 대부”로 불리는 컴퓨터 과학자 제프리 힌턴, 오픈AI(OpenAI)의 설립자 샘 알트만과 같은 사람들이 AI의 위험성을 경고하면서 세상도 주의를 기울이기 시작했습니다. 미국 정부와 EU는 AI를 규제하기 위해 노력하고 있는데, 각각 미국 AI 권리장전(U.S. AI Bill or Rights)과 EU AI 법(AI Act)을 통해 안전장치를 마련하는 등 신속한 대응에 나섰습니다. 또한 애플, 웰스 파고, 아마존을 포함한 여러 기업은 AI 기술을 책임감 있고 안전하게 사용할 수 있을 때까지 사용을 제한하기로 했습니다. 모두 올바른 방향입니다.
하지만 아직 AI 사용을 제한하지 않는 기업에서는 업무 공간 내의 AI가 심각한 보안 위험을 일으킬 수 있습니다.
눈앞에 닥친 AI 보안 위험과 과제
AI 무기화
안타깝지만 우리는 현실 세계에서의 모든 규제와 안전 보호 대책이 선량한 사람에게만 적용된다는 것을 알고 있습니다. 해커는 규제에 신경 쓰지 않습니다. 이들은 자유롭게 오픈소스 기술을 악용합니다. 오토GPT(AutoGPT)와 같은 프로젝트는 이미 챗GPT를 활용해서 연결 가능한 일련의 작업(예를 들어 명령 실행, 스크립트 실행, 코드 수정, 디버깅 및 컴파일)을 수행하고 있습니다. 오토GPT는 필요한 복잡한 단계를 파악해서 완료될 때까지 재귀적으로 작업을 수행하며, 이 과정에서 각 단계를 조정해 완료합니다.
해커가 오토GPT와 같은 프로젝트와 챗GPT 같은 LLM(Large Language Model), 미미캐츠(Mimikatz), 루베우스(Rubeus), 파워스플로잇(PowerSploit)과 같은 오픈소스 해킹 소프트웨어를 사용해서 AI를 무기화하고 기업 또는 주요 정부 시설을 장악할 수 있다는 이야기는 결코 비약이 아닙니다.
마이크로소프트의 첫 최고 과학 책임자인 에릭 호비츠는 “AI를 무기로 악용하는 악의적 행위자와 경쟁자, 적대 세력은 항상 있을 것”이라며 AI 무기화에 대해 경고했습니다. NSA 국장 롭 조이스는 2024년 전망에 대해 이야기하며 “단단히 대비해야 한다. 무기화된 AI가 성공하는 사례를 많이 보게 될 것”이라고 강조했습니다.
OpenAI 우회
챗GPT가 해킹에 사용되는 것을 오픈AI가 허락하지 않을 것이라고 생각할 수도 있습니다. 대체로 맞는 생각입니다. 오픈AI는 챗GPT가 악의적인 행위를 하지 않도록 차단하기 위한 안전장치를 마련했습니다. 그러나 여러 연구원이 모든 안전장치를 우회하는 방법을 찾아냈습니다. 한 가지 방법은 프롬프트 엔지니어링을 사용해서 챗GPT를 탈옥(jailbreak)해 DAN 모드에서 작동하도록 하는 것입니다(DAN은 Do Anything Now, 즉 ‘무엇이든 하라’의 약어입니다). 또한 서버에서 로컬로 실행되도록 축소된 오픈소스 LLM도 많으므로 해커는 대규모 상용 제품을 탈옥할 필요 없이 LLM을 사용할 수 있습니다.
AI 해커 봇, 서비스형 랜섬웨어 및 맞춤형 생성 맬웨어
현재 해커(레드팀)들은 AI 해커 봇을 만들어 소셜 엔지니어링 공격을 실행하고, 네트워크에 침입하고, 코드를 뒤져 공격할 위치를 찾고, 제로데이 취약점을 자동화하고, 백도어를 열고, 실시간으로 흔적을 숨겨 탐지를 매우 어렵게 만들고 있습니다. 이런 공격은 속도를 높이거나 낮추면서 정상적인 사용자 동작에 섞여 들어 UEBA(User and Entity Behavior Analytics) 위협 탐지를 우회합니다. 조만간(이미 시작했을 수도 있습니다) 해커 봇은 연중무휴 24시간 동작하면서 침입할 경로를 찾은 다음 AD(Active Directory)의 다양한 공격 경로를 통해 특권을 승격할 것입니다. 이렇게 되면 도메인을 장악해서 회사를 인질로 몸값을 요구하고 서버를 파괴하여 혼란을 일으키거나 지적 재산을 훔칠 수 있습니다. 방어자(블루팀)는 여기에 실시간으로 대응해 해커가 악용한 모든 허점을 탐지하고 차단하기 위해 가용한 모든 기술을 활용해야 합니다.
이것 말고도 서비스형 랜섬웨어(Ransomware-as-a-Service, RaaS), 맞춤형 맬웨어를 만들기 위한 코드의 80%를 작성해주는 생성형 AI도 우려되는 부분입니다. 해킹에 진입하기는 어느 때보다 쉽습니다. 이 모든 것이 기업에 대한 공격의 증가로 이어지고 있습니다.
AI 보안 위험, 어떻게 대처해야 할까요?
AI로 인해 발생하는 보안 위험에서 기업을 보호하기 위해서는 여러 계층에 걸친 선제적인 방어 방법이 필요합니다. 기업은 네트워크 보안, 애플리케이션 및 데이터 계층 보호, 엔드포인트 보안, ID 관리, SIEM 시스템의 조합으로 보안 태세를 강화해 AI의 진화하는 위협에 효과적으로 맞서 싸울 수 있습니다. 네트워크에서 해커가 유발하는 피해를 최소화하기 위해서는 적시 탐지와 대응이 중요합니다. 따라서 항상 경계를 늦추지 않고 보안 조치를 정기적으로 업데이트하고 변화하는 위협 환경에 적응해야 환경을 보호할 수 있습니다.
다음은 AI의 보안 위험에 대응할 때 고려해야 할 몇 가지 핵심적인 조치입니다.
네트워크 계층 보호
방화벽, 침입 탐지 시스템(Intrusion Detection Systems, IDS)과 같은 견고한 네트워크 보안 조치를 구현합니다. 이런 솔루션은 네트워크 트래픽을 모니터링하고 필터링해 의심스러운 활동을 식별하고 차단하는 데 도움이 됩니다.
애플리케이션 및 데이터 계층 보안
애플리케이션 및 데이터 계층에서 포괄적인 이벤트 로깅이 이뤄지도록 합니다. 예를 들어 시스템 로그, 애플리케이션 로그 및 데이터베이스 로그를 모니터링하고 분석해 이상 동작이나 무단 액세스 시도를 탐지합니다.
엔드포인트 보호
전통적인 안티바이러스 및 맬웨어 탐지 이상의 기능을 제공하는 고급 엔드포인트 보안 및 관리 솔루션을 도입합니다. 이런 솔루션에는 제로데이 익스플로잇과 같은 새로운 위협에서 엔드포인트를 보호하기 위한 행동 기반 분석, 위협 인텔리전스 통합, 선제적 패치 관리와 같은 기능이 포함되어야 합니다.
ID 관리
AD 및 애저 AD(Azure AD) 보호에 특별히 중점을 둔 강력한 ID 관리 관행을 확립합니다. 강력한 액세스 제어, 다중 요소 인증(Multi-factor Authentication, MFA), 정기적인 보안 감사, GPO(Group Policy Objective) 및 핵심 티어 제로(Tier Zero) 자산에 대한 변경 제어를 구현해 무단 액세스 및 특권 승격에 따르는 위험을 최소화합니다. 또한 견고한 백업 및 복구 솔루션을 마련하고 예기치 못한 상황이 발생할 경우 신속하게 복구할 수 있는 계획을 수립해야 합니다.
SIEM 시스템 구축
고급 위협 탐지 기능을 갖춘 SIEM(Security Event and Incident Management) 시스템을 구축합니다. 이 시스템은 다양한 시스템과 애플리케이션의 이벤트와 로그를 상호 연계하여 선제적인 위협 사냥, 경보 및 신속한 사고 대응을 구현할 수 있어야 합니다.
적시 대응
공격 시간이 빠르게 줄어들고 있음을 인식해야 합니다. 해커는 네트워크에 침투한 후 불과 몇 시간 또는 며칠 만에 목표를 달성할 수 있습니다. 따라서 조직은 신속한 사고 대응에 높은 우선순위를 두고, 침해의 영향을 최소화하기 위한 선제적 조치를 취해야 합니다.
AI 보안 위험은 진화합니다
모든 새로운 기술이 그렇듯이 AI 역시 문제점과 이점을 함께 가져옵니다. AI 보안 위험은 이제 시작일 뿐이며, 전체적인 사이버 위협 환경과 함께 계속 진화하고 확대될 것입니다.
이와 관련해 마이크로소프트가 최근 사이버 위협 환경에 대한 대대적인 연구를 실시한 결과, 매월 직원이 해킹당할 확률이 0.05%라는 사실을 발견했습니다. 이 말은 기업에 속한 1,000명 중에서 매월 5명이 해킹된다는 의미입니다. 현재, 그리고 미래에는 사이버 위험 관리를 위한 포괄적인 방어 전략과 위협을 완화하기 위한 선제적 접근 방식이 필요합니다.
여러분의 네트워크는 안전한가요? 연중무휴 24시간 침입을 노리는 해커의 맹습에 대비하고 있나요? AI 환경이 시시각각 진화하고 있습니다. 전 세계 IT팀은 이런 질문을 포함해 현재 당면한 여러 질문을 스스로에게 던져야 할 것입니다.
AI로 인한 보안 위협 대비에 어려움을 겪고 계시거나 필요한 솔루션에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어코리아로 문의주시기 바랍니다.
Quick Overview
AI 기술은 이 세상에 빠르게 적응하고 있습니다. 해커들은 AI의 적응력과 창의성을 통해 보안 위협을 일으킬 수 있으며, AI를 무기화하여 기업과 정부 시설을 공격할 수 있습니다. 이에 대비하여 정부와 기업들은 규제와 안전장치를 마련하고 대응하고 있지만, AI 보안의 도전과 위험은 여전히 남아있습니다.
인공지능(AI)이 세계를 바꾸고 있습니다. AI에 대해서는 과장도 많지만 그 바탕에는 빠르게 세상에 적응하고 있는 실제 기술이 존재합니다. AI는 환경에 적응하는 속도가 매우 빨라서 정부는 물론 그 AI를 만든 IT 대기업도 제대로 통제하지 못할 정도입니다. AI가 누구나 자유롭게 추가하고 조정하고 사용할 수 있도록 오픈소스화된다는 것은 아무도 예상치 못한 일이었습니다.
해커와 악의적 행위자는 자신의 목적을 위해 새로운 기술을 사용하는 데 있어 적응력이 매우 뛰어나고 창의적입니다. 특히 그 기술이 공격을 훨씬 더 효율적이고 효과적으로 만들어주는 경우에는 더욱 그렇습니다.
강화되는 규제
다행히도 “AI의 대부”로 불리는 컴퓨터 과학자 제프리 힌턴, 오픈AI(OpenAI)의 설립자 샘 알트만과 같은 사람들이 AI의 위험성을 경고하면서 세상도 주의를 기울이기 시작했습니다. 미국 정부와 EU는 AI를 규제하기 위해 노력하고 있는데, 각각 미국 AI 권리장전(U.S. AI Bill or Rights)과 EU AI 법(AI Act)을 통해 안전장치를 마련하는 등 신속한 대응에 나섰습니다. 또한 애플, 웰스 파고, 아마존을 포함한 여러 기업은 AI 기술을 책임감 있고 안전하게 사용할 수 있을 때까지 사용을 제한하기로 했습니다. 모두 올바른 방향입니다.
하지만 아직 AI 사용을 제한하지 않는 기업에서는 업무 공간 내의 AI가 심각한 보안 위험을 일으킬 수 있습니다.
눈앞에 닥친 AI 보안 위험과 과제
AI 무기화
안타깝지만 우리는 현실 세계에서의 모든 규제와 안전 보호 대책이 선량한 사람에게만 적용된다는 것을 알고 있습니다. 해커는 규제에 신경 쓰지 않습니다. 이들은 자유롭게 오픈소스 기술을 악용합니다. 오토GPT(AutoGPT)와 같은 프로젝트는 이미 챗GPT를 활용해서 연결 가능한 일련의 작업(예를 들어 명령 실행, 스크립트 실행, 코드 수정, 디버깅 및 컴파일)을 수행하고 있습니다. 오토GPT는 필요한 복잡한 단계를 파악해서 완료될 때까지 재귀적으로 작업을 수행하며, 이 과정에서 각 단계를 조정해 완료합니다.
해커가 오토GPT와 같은 프로젝트와 챗GPT 같은 LLM(Large Language Model), 미미캐츠(Mimikatz), 루베우스(Rubeus), 파워스플로잇(PowerSploit)과 같은 오픈소스 해킹 소프트웨어를 사용해서 AI를 무기화하고 기업 또는 주요 정부 시설을 장악할 수 있다는 이야기는 결코 비약이 아닙니다.
마이크로소프트의 첫 최고 과학 책임자인 에릭 호비츠는 “AI를 무기로 악용하는 악의적 행위자와 경쟁자, 적대 세력은 항상 있을 것”이라며 AI 무기화에 대해 경고했습니다. NSA 국장 롭 조이스는 2024년 전망에 대해 이야기하며 “단단히 대비해야 한다. 무기화된 AI가 성공하는 사례를 많이 보게 될 것”이라고 강조했습니다.
OpenAI 우회
챗GPT가 해킹에 사용되는 것을 오픈AI가 허락하지 않을 것이라고 생각할 수도 있습니다. 대체로 맞는 생각입니다. 오픈AI는 챗GPT가 악의적인 행위를 하지 않도록 차단하기 위한 안전장치를 마련했습니다. 그러나 여러 연구원이 모든 안전장치를 우회하는 방법을 찾아냈습니다. 한 가지 방법은 프롬프트 엔지니어링을 사용해서 챗GPT를 탈옥(jailbreak)해 DAN 모드에서 작동하도록 하는 것입니다(DAN은 Do Anything Now, 즉 ‘무엇이든 하라’의 약어입니다). 또한 서버에서 로컬로 실행되도록 축소된 오픈소스 LLM도 많으므로 해커는 대규모 상용 제품을 탈옥할 필요 없이 LLM을 사용할 수 있습니다.
AI 해커 봇, 서비스형 랜섬웨어 및 맞춤형 생성 맬웨어
현재 해커(레드팀)들은 AI 해커 봇을 만들어 소셜 엔지니어링 공격을 실행하고, 네트워크에 침입하고, 코드를 뒤져 공격할 위치를 찾고, 제로데이 취약점을 자동화하고, 백도어를 열고, 실시간으로 흔적을 숨겨 탐지를 매우 어렵게 만들고 있습니다. 이런 공격은 속도를 높이거나 낮추면서 정상적인 사용자 동작에 섞여 들어 UEBA(User and Entity Behavior Analytics) 위협 탐지를 우회합니다. 조만간(이미 시작했을 수도 있습니다) 해커 봇은 연중무휴 24시간 동작하면서 침입할 경로를 찾은 다음 AD(Active Directory)의 다양한 공격 경로를 통해 특권을 승격할 것입니다. 이렇게 되면 도메인을 장악해서 회사를 인질로 몸값을 요구하고 서버를 파괴하여 혼란을 일으키거나 지적 재산을 훔칠 수 있습니다. 방어자(블루팀)는 여기에 실시간으로 대응해 해커가 악용한 모든 허점을 탐지하고 차단하기 위해 가용한 모든 기술을 활용해야 합니다.
이것 말고도 서비스형 랜섬웨어(Ransomware-as-a-Service, RaaS), 맞춤형 맬웨어를 만들기 위한 코드의 80%를 작성해주는 생성형 AI도 우려되는 부분입니다. 해킹에 진입하기는 어느 때보다 쉽습니다. 이 모든 것이 기업에 대한 공격의 증가로 이어지고 있습니다.
AI 보안 위험, 어떻게 대처해야 할까요?
AI로 인해 발생하는 보안 위험에서 기업을 보호하기 위해서는 여러 계층에 걸친 선제적인 방어 방법이 필요합니다. 기업은 네트워크 보안, 애플리케이션 및 데이터 계층 보호, 엔드포인트 보안, ID 관리, SIEM 시스템의 조합으로 보안 태세를 강화해 AI의 진화하는 위협에 효과적으로 맞서 싸울 수 있습니다. 네트워크에서 해커가 유발하는 피해를 최소화하기 위해서는 적시 탐지와 대응이 중요합니다. 따라서 항상 경계를 늦추지 않고 보안 조치를 정기적으로 업데이트하고 변화하는 위협 환경에 적응해야 환경을 보호할 수 있습니다.
다음은 AI의 보안 위험에 대응할 때 고려해야 할 몇 가지 핵심적인 조치입니다.
네트워크 계층 보호
방화벽, 침입 탐지 시스템(Intrusion Detection Systems, IDS)과 같은 견고한 네트워크 보안 조치를 구현합니다. 이런 솔루션은 네트워크 트래픽을 모니터링하고 필터링해 의심스러운 활동을 식별하고 차단하는 데 도움이 됩니다.
애플리케이션 및 데이터 계층 보안
애플리케이션 및 데이터 계층에서 포괄적인 이벤트 로깅이 이뤄지도록 합니다. 예를 들어 시스템 로그, 애플리케이션 로그 및 데이터베이스 로그를 모니터링하고 분석해 이상 동작이나 무단 액세스 시도를 탐지합니다.
엔드포인트 보호
전통적인 안티바이러스 및 맬웨어 탐지 이상의 기능을 제공하는 고급 엔드포인트 보안 및 관리 솔루션을 도입합니다. 이런 솔루션에는 제로데이 익스플로잇과 같은 새로운 위협에서 엔드포인트를 보호하기 위한 행동 기반 분석, 위협 인텔리전스 통합, 선제적 패치 관리와 같은 기능이 포함되어야 합니다.
ID 관리
AD 및 애저 AD(Azure AD) 보호에 특별히 중점을 둔 강력한 ID 관리 관행을 확립합니다. 강력한 액세스 제어, 다중 요소 인증(Multi-factor Authentication, MFA), 정기적인 보안 감사, GPO(Group Policy Objective) 및 핵심 티어 제로(Tier Zero) 자산에 대한 변경 제어를 구현해 무단 액세스 및 특권 승격에 따르는 위험을 최소화합니다. 또한 견고한 백업 및 복구 솔루션을 마련하고 예기치 못한 상황이 발생할 경우 신속하게 복구할 수 있는 계획을 수립해야 합니다.
SIEM 시스템 구축
고급 위협 탐지 기능을 갖춘 SIEM(Security Event and Incident Management) 시스템을 구축합니다. 이 시스템은 다양한 시스템과 애플리케이션의 이벤트와 로그를 상호 연계하여 선제적인 위협 사냥, 경보 및 신속한 사고 대응을 구현할 수 있어야 합니다.
적시 대응
공격 시간이 빠르게 줄어들고 있음을 인식해야 합니다. 해커는 네트워크에 침투한 후 불과 몇 시간 또는 며칠 만에 목표를 달성할 수 있습니다. 따라서 조직은 신속한 사고 대응에 높은 우선순위를 두고, 침해의 영향을 최소화하기 위한 선제적 조치를 취해야 합니다.
AI 보안 위험은 진화합니다
모든 새로운 기술이 그렇듯이 AI 역시 문제점과 이점을 함께 가져옵니다. AI 보안 위험은 이제 시작일 뿐이며, 전체적인 사이버 위협 환경과 함께 계속 진화하고 확대될 것입니다.
이와 관련해 마이크로소프트가 최근 사이버 위협 환경에 대한 대대적인 연구를 실시한 결과, 매월 직원이 해킹당할 확률이 0.05%라는 사실을 발견했습니다. 이 말은 기업에 속한 1,000명 중에서 매월 5명이 해킹된다는 의미입니다. 현재, 그리고 미래에는 사이버 위험 관리를 위한 포괄적인 방어 전략과 위협을 완화하기 위한 선제적 접근 방식이 필요합니다.
여러분의 네트워크는 안전한가요? 연중무휴 24시간 침입을 노리는 해커의 맹습에 대비하고 있나요? AI 환경이 시시각각 진화하고 있습니다. 전 세계 IT팀은 이런 질문을 포함해 현재 당면한 여러 질문을 스스로에게 던져야 할 것입니다.
AI로 인한 보안 위협 대비에 어려움을 겪고 계시거나 필요한 솔루션에 대해 궁금한 점이 있으시면 언제든 퀘스트소프트웨어코리아로 문의주시기 바랍니다.