악의적 도로 표지판으로 AI 명령 탈취 공격 시연한 연구진

시각적 프롬프트를 통한 AI 시스템 명령 탈취 취약점 발견

보안 연구진이 구현형 인공지능(Embodied AI) 시스템을 표적으로 한 새로운 공격 벡터를 발견했다. 이 공격은 **CHAI(Command Hijacking Against Embodied AI)**로 명명되었으며, **대규모 시각-언어 모델(LVLM, Large Visual-Language Models)**의 취약점을 악용해 자율주행차와 드론의 의사결정 프로세스를 무력화할 수 있음을 입증했다.

연구 주요 발견 사항

"CHAI: Command Hijacking Against Embodied AI" 논문에서는 공격자가 조작된 도로 표지판과 같은 기만적인 자연어 지시문을 시각적 입력에 삽입해 AI의 의도치 않은 행동을 유발할 수 있음을 밝혔다. 연구팀은 다음의 체계적인 접근법을 개발했다:

• LVLM의 토큰 공간 검색을 통해 악용 가능한 패턴 식별.
• AI 안전장치를 우회하는 적대적 프롬프트 사전 구축.
• AI 명령을 탈취할 수 있는 시각 공격 프롬프트(VAP, Visual Attack Prompts) 생성.

CHAI 공격의 기술적 세부사항

본 연구는 CHAI 공격을 네 가지 LVLM 기반 시스템에서 평가했다:

• 자율주행 플랫폼(실제 및 시뮬레이션 환경).
• 드론 긴급 착륙 프로토콜.
• 공중 객체 추적 시스템.
• 실제 로봇 차량을 통한 검증.

기존 적대적 공격이 픽셀 단위의 변조에 의존하는 반면, CHAI는 차세대 AI의 핵심 강점인 의미론적·다중모달 추론을 활용해 높은 성공률을 달성했다. 연구 결과, CHAI 공격은 기존 최신 기법을 능가하며 안전 필수 시스템에서 구현형 AI의 견고성에 대한 우려를 제기했다.

영향 및 보안 시사점

이번 연구는 기존 적대적 공격에 대한 방어 체계가 프롬프트 기반 조작 공격에는 취약할 수 있다는 중대한 보안 격차를 드러냈다. LVLM에 의존하는 자율주행차, 드론, 로봇 시스템은 다음과 같은 위험에 노출될 수 있다:

• 도로 표지판 오인식(예: "정지" 표지판을 "진행"으로 조작).
• 긴급 프로토콜 무시(예: 드론을 안전하지 않은 지점에 착륙하도록 강제).
• 경로 이탈(예: 배송 로봇을 악의적 목적지로 우회).

대응 방안 권고

연구진은 구체적인 대응책을 제시하지 않았지만, 다음과 같은 긴급 조치의 필요성을 강조했다:

• 적대적 프롬프트를 탐지하고 필터링하는 강화된 입력 검증.
• 시각 및 맥락 데이터 간의 불일치를 식별하는 다중모달 이상 탐지.
• 구현형 AI 시스템에 특화된 견고성 테스트 프레임워크.
• AI 개발자와 사이버보안 전문가 간의 협력을 통한 신종 위협 대응.

전체 논문은 arXiv에서 확인할 수 있으며, 추가 분석은 The Register의 보도에서 제공된다.

이 연구는 사이버보안 전문가 브루스 슈나이어(Bruce Schneier)에 의해 처음 소개되었다.