ニュースに戻る
リサーチ重大

プロンプトウェア・キルチェーン：AIシステムを脅かす7段階の脅威を解説

1分で読めますソース: Schneier on Security
Diagram illustrating the seven stages of the promptware kill chain: initial access, privilege escalation, reconnaissance, persistence, command and control, lateral movement, and actions on objective

セキュリティ研究者がAI大規模言語モデル（LLM）を標的とする新たな攻撃フレームワーク「プロンプトウェア・キルチェーン」を特定。7段階の脅威と防御策を詳解。

AIセキュリティの脅威進化：プロンプトウェア・キルチェーンの出現

セキュリティ研究者らは、大規模言語モデル（LLM）を標的とする高度な多段階攻撃フレームワーク「プロンプトウェア・キルチェーン」を特定した。新たな論文で概説されたこのモデルは、プロンプトインジェクション攻撃を複雑なマルウェア実行メカニズムとして再定義し、AI駆動システムに重大なリスクをもたらす。

キルチェーンは、敵対者がLLMを悪用する方法を構造的に理解するためのアプローチを提供し、プロンプトインジェクションに対する狭義の焦点を超えて、より広範かつ潜在的な脅威の全体像を明らかにする。「LLMベースのシステムに対する攻撃は、独自のマルウェア実行メカニズムの一種へと進化した」と著者らは述べ、包括的な防御戦略の必要性を強調している。

技術解説：プロンプトウェア・キルチェーンの7段階

プロンプトウェア・キルチェーンは、従来のマルウェアキャンペーンを反映しつつ、LLMの固有アーキテクチャを悪用するように適応された7つの異なるフェーズで構成される。

  1. 初期アクセス（Initial Access）

    • 悪意あるペイロードは、直接（ユーザー入力を介して）または間接的に（ウェブページ、メール、ドキュメントなどの取得コンテンツに埋め込まれた指示を通じて）AIシステムに侵入する。
    • マルチモーダルLLMでは、画像や音声ファイルに悪意ある指示を隠すことで、この攻撃ベクトルが拡大する。
    • コア脆弱性：LLMはすべての入力を単一のトークンシーケンスとして処理し、信頼できる指示と信頼できないデータを区別するアーキテクチャ上の境界を持たない。

  2. 権限昇格（Privilege Escalation、ジェイルブレイキング）

    • 攻撃者は、ソーシャルエンジニアリング（例：モデルにルール無視のペルソナを採用させる）やプロンプト内の敵対的サフィックスなどの手法を用いて、安全ガードレールを回避する。
    • このフェーズでは、従来のシステムにおけるユーザー権限から管理者権限への昇格に相当し、LLMの全機能を悪用可能にする。

  3. 偵察（Reconnaissance）

    • 侵害されたLLMは、接続されたサービス、資産、機能に関する情報を漏洩するよう操作され、被害者に気づかれることなくキルチェーンを自律的に進行させる。
    • 従来のマルウェアとは異なり、このフェーズは初期アクセスと権限昇格の後に発生し、モデルの推論能力を逆手に取る。

  4. 持続性（Persistence）

    • 一時的な攻撃は影響が限定的だが、持続的なプロンプトウェアはLLMの長期記憶に埋め込まれたり、エージェントが依存するデータベースを汚染したりする。
    • 例：ワームがユーザーのメールアーカイブに感染し、AIが過去のメールを要約するたびに悪意あるコードが再実行される。

  5. コマンド＆コントロール（C2）

    • 持続的なプロンプトウェアは推論中に外部ソースから動的にコマンドを取得し、静的な脅威から制御可能なトロイの木馬へと進化する。
    • キルチェーンに必須ではないが、C2により攻撃者はインジェクション後のマルウェア動作を変更できる。

  6. 横展開（Lateral Movement）

    • 攻撃は最初の被害者から他のユーザー、デバイス、システムへと拡散し、AIエージェントの相互接続性を悪用する。
    • 例：感染したメールアシスタントがすべての連絡先に悪意あるペイロードを転送したり、カレンダー招待からスマートホームデバイスの制御に攻撃が移行したりする。

  7. 目的達成（Actions on Objective）

    • 最終フェーズでは、データ流出、金融詐欺、物理的影響など、具体的な悪意ある結果を達成する。
    • 実例：AIエージェントが車を1ドルで販売したり、攻撃者が管理するウォレットに暗号通貨を送金したりするよう操作される。
    • 高度な攻撃では、LLMが任意のコードを実行するよう欺かれ、攻撃者に基盤システムの完全な制御を許す可能性がある。

実証された脅威：概念実証攻撃

プロンプトウェア・キルチェーンは理論上のものではない。研究者らは既に、これらの段階を悪用したエンドツーエンドの攻撃を実証している。

  • 「Invitation Is All You Need」（arXiv:2508.12175）

    • 初期アクセス：Googleカレンダーの招待タイトルに悪意あるプロンプトを埋め込む。
    • 持続性：プロンプトがユーザーのワークスペース長期記憶に持続。
    • 横展開：GoogleアシスタントがZoomを起動するよう欺かれる。
    • 目的達成：ユーザーの映像を秘密裏にライブストリーミング。
    • 注：この攻撃ではC2と偵察は実証されていない。

  • 「Here Comes the AI Worm」（DOI:10.1145/3719027.3765196）

    • 初期アクセス：ロールプレイング技術を用いてLLMに指示に従うよう強制するプロンプトをメールにインジェクト。
    • 持続性：プロンプトがユーザーのメールアーカイブに持続。
    • 横展開：感染したメールアシスタントが機密データを含む新たなメールを作成・送信。
    • 注：この攻撃ではC2と偵察は実証されていない。

影響分析：プロンプトウェア・キルチェーンが重要な理由

プロンプトウェア・キルチェーンは、AIセキュリティの状況における重大な変化を浮き彫りにする。従来の脆弱性とは異なり、プロンプトインジェクションは現在のLLMアーキテクチャでは「修正」できない。著者らは、防御側が初期アクセスの防止ではなく、侵害を前提としたメンタリティを採用し、キルチェーンの後段階で断ち切ることに焦点を当てるべきだと主張している。

主なリスクには以下が含まれる：

  • 自律的マルウェア拡散：メール、カレンダー、エンタープライズシステムにアクセスするAIエージェントが、横展開のための高速道路を形成。
  • マルチモーダルエクスプロイト：LLMが画像、音声、動画を処理する範囲が拡大するにつれ、攻撃対象領域が指数関数的に増大。
  • 物理世界への影響：侵害されたAIエージェントが任意のコードを実行し、金融詐欺、データ漏洩、さらには接続デバイスの制御につながる可能性。

防御策の提言

プロンプトウェアの脅威を軽減するため、著者らは多層的な防御戦略を提案している。

  1. 権限昇格の制限

    • LLMとのインタラクションに厳格なロールベースアクセス制御を実装。
    • ジェイルブレイキングの試みを検出・ブロックするリアルタイム監視を導入。

  2. 偵察の制約

    • 接続されたサービスや自身の機能に関する情報開示を制限。
    • AIエージェントを機密システムから隔離するサンドボックスを使用。

  3. 持続性の防止

    • 長期記憶ストア（例：メールアーカイブ、ドキュメントデータベース）を定期的に監査・サニタイズ。
    • 可能な限りエフェメラルなセッションベースのインタラクションを実装。

  4. コマンド＆コントロールの遮断

    • 推論中の外部コマンドの動的取得をブロック。
    • AIエージェントからの異常なネットワークリクエストを監視。

  5. 目的達成の制限

    • AIエージェントが実行可能なアクションの種類（例：金融取引、コード実行）に厳格なガードレールを設定。
    • 高リスク操作には人間の介在を必須化。

  6. 体系的リスク管理の採用

    • リアクティブなパッチ適用から、AIシステムに対するプロアクティブな脅威モデリングへの移行。
    • 従来のマルウェア向けMITRE ATT&CKフレームワークに相当する、LLMセキュリティの業界標準を開発。

結論

プロンプトウェア・キルチェーンは、進化するAI駆動型攻撃の脅威状況を理解し、防御するための重要なフレームワークを提供する。プロンプトウェアを複雑な多段階マルウェアキャンペーンとして認識することで、セキュリティ実務者は限定的な修正を超え、AIシステムのセキュリティに対する包括的かつリスクベースのアプローチを採用できる。LLMがエンタープライズや個人のワークフローにますます統合される中、これらの脅威に対処する緊急性は強調してもし過ぎることはない。

共有

TwitterLinkedIn