프롬프트웨어 킬 체인: AI 시스템을 위협하는 7단계 공격 구조 분석

AI 보안 위협의 진화: 프롬프트웨어 킬 체인 등장

보안 연구자들은 대형 언어 모델(LLM)을 표적으로 한 정교하고 다단계의 공격 프레임워크인 "프롬프트웨어 킬 체인(promptware kill chain)"을 발견했다. 최근 논문에서 제시된 이 모델은 프롬프트 인젝션 공격을 복잡한 멀웨어 실행 메커니즘으로 재정의하며, AI 기반 시스템에 중대한 위험을 초래하고 있다.

킬 체인은 공격자가 LLM을 어떻게 악용하는지 체계적으로 이해하는 접근 방식을 제공하며, 단순한 프롬프트 인젝션을 넘어 더 광범위하고 잠재적인 위협 환경을 드러낸다. 논문 저자들은 "LLM 기반 시스템에 대한 공격은 독자적인 멀웨어 실행 메커니즘으로 진화했다"고 강조하며, 포괄적인 방어 전략의 필요성을 역설한다.

기술적 분석: 프롬프트웨어 킬 체인의 7단계

프롬프트웨어 킬 체인은 전통적인 멀웨어 공격과 유사하지만 LLM의 독특한 아키텍처를 악용하도록 적응된 7개의 단계로 구성된다:

1. 초기 접근(Initial Access)

   • 악성 페이로드는 AI 시스템에 직접(사용자 입력) 또는 간접적으로(웹 페이지, 이메일, 문서 등 검색된 콘텐츠에 포함된 지시사항)를 통해 유입된다.
   • 멀티모달 LLM은 이미지나 오디오 파일에 악성 지시사항을 숨기는 등 공격 벡터를 확장한다.
   • 핵심 취약점: LLM은 모든 입력을 단일 토큰 시퀀스로 처리하며, 신뢰할 수 있는 지시사항과 신뢰할 수 없는 데이터를 구분하는 아키텍처적 경계가 없다.

2. 권한 상승(Privilege Escalation, Jailbreaking)

   • 공격자는 소셜 엔지니어링(예: 모델이 규칙을 무시하는 페르소나를 채택하도록 유도)이나 프롬프트 내 적대적 접미사를 사용하여 안전 가드레일을 우회한다.
   • 이 단계는 전통적인 시스템에서 사용자 권한에서 관리자 권한으로 상승하는 것과 유사하게, LLM의 모든 기능을 악용할 수 있도록 한다.

3. 정찰(Reconnaissance)

   • 공격자는 침해된 LLM을 조작하여 연결된 서비스, 자산, 기능에 대한 정보를 유출시켜, 피해자에게 경고 없이 킬 체인을 자동으로 진행할 수 있게 한다.
   • 전통적인 멀웨어와 달리, 이 단계는 초기 접근과 권한 상승 이후에 발생하며, 모델의 추론 능력을 악용한다.

4. 지속성(Persistence)

   • 일시적인 공격은 영향력이 제한적이지만, 지속적인 프롬프트웨어는 LLM의 장기 메모리나 에이전트가 의존하는 데이터베이스를 오염시켜 장기적으로 내재화된다.
   • 예: 웜이 사용자의 이메일 아카이브를 감염시켜, AI가 과거 이메일을 요약할 때마다 악성 코드를 재실행한다.

5. 명령 및 제어(Command-and-Control, C2)

   • 지속적인 프롬프트웨어는 추론(inference) 중에 외부 소스에서 동적으로 명령을 가져와, 정적인 위협에서 제어 가능한 트로이 목마로 진화한다.
   • C2는 킬 체인에 필수적이지는 않지만, 공격자가 주입 후 멀웨어의 행동을 수정할 수 있게 한다.

6. 횡적 이동(Lateral Movement)

   • 공격은 초기 피해자로부터 다른 사용자, 기기, 시스템으로 확산되며, AI 에이전트의 상호 연결성을 악용한다.
   • 예: 감염된 이메일 비서가 모든 연락처로 악성 페이로드를 전송하거나, 일정 초대에서 스마트 홈 기기 제어로 공격 대상을 전환한다.

7. 목표 달성(Action on Objective)

   • 최종 단계에서는 데이터 유출, 금융 사기, 물리적 세계 영향 등 실질적인 악의적 결과를 달성한다.
   • 실제 사례로는 AI 에이전트를 조작해 자동차를 1달러에 판매하거나 공격자가 제어하는 지갑으로 암호화폐를 전송하는 사례가 있다.
   • 고급 공격은 LLM을 속여 임의 코드를 실행하게 하여 공격자에게 기본 시스템에 대한 완전한 제어 권한을 부여할 수 있다.

입증된 위협: 개념 증명 공격

프롬프트웨어 킬 체인은 이론에 그치지 않는다. 연구자들은 이미 이러한 단계를 악용한 엔드투엔드 공격을 입증했다:

• "Invitation Is All You Need" (arXiv:2508.12175):

  • 초기 접근: Google 캘린더 초대 제목에 악성 프롬프트 삽입.
  • 지속성: 프롬프트가 사용자의 워크스페이스 장기 메모리에 지속됨.
  • 횡적 이동: Google 어시스턴트가 Zoom을 실행하도록 속임.
  • 목표 달성: 사용자의 비디오를 은밀히 실시간 스트리밍.
  • 참고: 이 공격에서는 C2와 정찰이 입증되지 않았다.

• "Here Comes the AI Worm" (DOI:10.1145/3719027.3765196):

  • 초기 접근: 이메일에 프롬프트 주입, 역할극 기법을 사용하여 LLM이 지시를 따르도록 강제.
  • 지속성: 프롬프트가 사용자의 이메일 아카이브에 지속됨.
  • 횡적 이동: 감염된 이메일 비서가 민감한 데이터를 포함한 새로운 이메일을 추가 수신자에게 작성 및 전송.
  • 참고: C2와 정찰이 입증되지 않았다.

영향 분석: 프롬프트웨어 킬 체인이 중요한 이유

프롬프트웨어 킬 체인은 AI 보안 환경의 중대한 변화를 강조한다. 전통적인 취약점과 달리, 프롬프트 인젝션은 현재 LLM 아키텍처에서는 "수정"될 수 없다. 논문 저자들은 방어자들이 초기 접근을 방지하기보다는 침해 가정(assume-breach) 사고방식을 채택하여 킬 체인의 후반 단계를 차단하는 데 집중해야 한다고 주장한다.

주요 위험 요소는 다음과 같다:

• 자율적 멀웨어 전파: 이메일, 캘린더, 엔터프라이즈 시스템에 접근할 수 있는 AI 에이전트는 빠른 횡적 이동을 위한 고속도로를 제공한다.
• 멀티모달 익스플로잇: LLM이 이미지, 오디오, 비디오를 처리하는 기능이 확장됨에 따라 공격 표면이 기하급수적으로 증가한다.
• 물리적 세계 영향: 침해된 AI 에이전트는 임의 코드를 실행하여 금융 사기, 데이터 유출, 또는 연결된 기기 제어까지 이어질 수 있다.

방어 권고 사항

프롬프트웨어 위협을 완화하기 위해 논문 저자들은 다층防御 전략을 제안한다:

1. 권한 상승 제한

   • LLM 상호작용에 엄격한 역할 기반 접근 제어(RBAC) 구현.
   • 실시간 모니터링을 통해 탈옥(jailbreaking) 시도를 탐지하고 차단.

2. 정찰 제약

   • LLM이 연결된 서비스나 자체 기능에 대한 정보를 유출하지 못하도록 제한.
   • 샌드박싱을 사용하여 AI 에이전트를 민감한 시스템으로부터 격리.

3. 지속성 방지

   • 장기 메모리 저장소(예: 이메일 아카이브, 문서 데이터베이스)를 정기적으로 감사 및 정화.
   • 가능한 경우 임시 세션 기반 상호작용을 구현.

4. 명령 및 제어 차단

   • 추론 중 외부 명령의 동적 페칭 차단.
   • AI 에이전트의 비정상적인 네트워크 요청 모니터링.

5. 목표 달성 행동 제한

   • AI 에이전트가 수행할 수 있는 작업 유형(예: 금융 거래, 코드 실행)에 엄격한 가드레일 적용.
   • 고위험 작업에는 인간 승인(Human-in-the-Loop) 요구.

6. 체계적 위험 관리 도입

   • 사후 대응 패치에서 벗어나 AI 시스템에 대한 사전 위협 모델링으로 전환.
   • 전통적인 멀웨어를 위한 MITRE ATT&CK 프레임워크와 유사한 LLM 보안 산업 표준 개발.

결론

프롬프트웨어 킬 체인은 AI 기반 공격을 이해하고 방어하기 위한 중요한 프레임워크를 제공한다. 프롬프트웨어를 복잡하고 다단계의 멀웨어 캠페인으로 인식함으로써, 보안 전문가들은 제한적인 수정에서 벗어나 AI 시스템을 보호하기 위한 전체적이고 위험 기반의 접근 방식을 채택할 수 있다. LLM이 기업 및 개인 워크플로에 점점 더 통합됨에 따라, 이러한 위협에 대응하는 긴급성은 아무리 강조해도 지나치지 않다.