悪意ある道路標識でAIコマンドハイジャック – 研究者が実証

視覚プロンプトによるAIコマンドハイジャックの脆弱性

セキュリティ研究者らは、実世界の人工知能（AI）システムを標的とした新たな攻撃ベクトルを特定し、悪意のある攻撃者が視覚プロンプトインジェクションを通じて自律走行車やドローンを操作できる可能性を実証した。この攻撃は、**CHAI（Command Hijacking Against Embodied AI）**と名付けられ、**大規模視覚言語モデル（LVLM）**の脆弱性を悪用し、AIの意思決定プロセスを乗っ取るものである。

研究の主な発見

論文「CHAI: Command Hijacking Against Embodied AI」では、攻撃者が自然言語による欺瞞的な指示（例：改ざんされた道路標識）を視覚入力に埋め込むことで、AIに意図しない動作を引き起こす手法が明らかにされた。研究チームは、以下の体系的なアプローチを開発した。

• LVLMのトークン空間を探索し、悪用可能なパターンを特定。
• AIのセーフガードを回避する敵対的プロンプトの辞書を構築。
• AIコマンドを乗っ取る**視覚攻撃プロンプト（VAP）**を生成。

CHAI攻撃の技術的詳細

この研究では、CHAIを4つのLVLM搭載システムで評価した。対象となったのは以下の通り。

• 自律走行プラットフォーム（実環境およびシミュレーション）。
• ドローンの緊急着陸プロトコル。
• 空中物体追跡システム。
• 実世界検証用の物理ロボット車両。

従来の敵対的攻撃がピクセルレベルの摂動に依存していたのに対し、CHAIは次世代AIの中核である意味論的かつマルチモーダルな推論を活用し、より高い成功率を達成した。研究者らは、この攻撃が既存の最先端手法を一貫して上回る性能を示し、安全性が重視される分野での実装におけるAIの堅牢性に疑問を投げかけている。

影響とセキュリティ上の課題

この研究結果は、AIセキュリティにおける重大なギャップを浮き彫りにしている。従来の敵対的攻撃に対する防御策は、プロンプトベースの操作には無力である可能性が高い。LVLMに依存する自律走行車、ドローン、ロボットシステムは、以下のようなリスクにさらされる。

• 道路標識の誤解釈（例：改ざんされた「STOP」標識を「GO」と認識）。
• 緊急プロトコルの無視（例：ドローンを安全でない場所に着陸させる）。
• 意図した経路からの逸脱（例：配送ロボットを悪意ある目的地に誘導）。

緩和策の提言

研究では具体的な対策は提案されていないが、以下の対応が緊急に必要であると強調されている。

• 敵対的プロンプトを検出・フィルタリングする入力検証の強化。
• 視覚データと文脈データの不整合を特定するマルチモーダル異常検知。
• 実世界のAIシステムに特化した堅牢性テストフレームワーク。
• 新たな脅威に対処するためのAI開発者とサイバーセキュリティ専門家の連携。

論文の全文はarXivで公開されており、詳細な分析はThe Registerの記事でも確認できる。

この研究は、サイバーセキュリティ専門家のブルース・シュナイアー（Bruce Schneier）氏によって紹介された。