研究揭示恶意路标可劫持AI系统指令 潜在安全风险引关注

AI系统易受视觉提示注入攻击影响

安全研究人员发现了一种针对具身人工智能（AI）系统的新型攻击向量，展示了恶意行为者如何通过视觉提示注入操纵自动驾驶汽车和无人机。这种攻击被命名为CHAI（Command Hijacking Against Embodied AI，针对具身AI的指令劫持），利用**大型视觉-语言模型（LVLMs）**中的漏洞，覆盖AI的决策过程。

研究的主要发现

题为《CHAI：针对具身AI的指令劫持》的论文揭示了攻击者如何将欺骗性的自然语言指令（如篡改的路标）嵌入视觉输入，以触发非预期的行为。研究团队开发了一套系统化方法，用于：

• 搜索LVLM的token空间，识别可利用的模式。
• 构建对抗性提示词典，绕过AI的安全防护。
• 生成可劫持AI指令的视觉攻击提示（VAPs）。

CHAI攻击的技术细节

该研究在四种基于LVLM的系统上评估了CHAI攻击，包括：

• 自动驾驶平台（真实环境与模拟环境）。
• 无人机紧急降落协议。
• 空中目标跟踪系统。
• 用于真实环境验证的物理机器人车辆。

与依赖像素级扰动的传统对抗性攻击不同，CHAI利用了语义和多模态推理——这是下一代AI的核心优势——从而实现了更高的攻击成功率。研究发现，该攻击方法始终优于现有的最先进技术，引发了对具身AI在安全关键应用中鲁棒性的担忧。

影响与安全隐患

研究结果凸显了AI安全的一项关键漏洞：为传统对抗性攻击设计的防御措施可能无法抵御基于提示的操纵。依赖LVLM的自动驾驶汽车、无人机和机器人系统可能被诱导：

• 误解路标（如将“STOP”标志篡改为“GO”）。
• 忽略紧急协议（如强制无人机在不安全区域降落）。
• 偏离预定路径（如将配送机器人引导至恶意目的地）。

缓解建议

虽然研究未提出具体的对策，但强调了以下迫切需求：

• 增强输入验证，以检测和过滤对抗性提示。
• 多模态异常检测，识别视觉与上下文数据之间的不一致性。
• 针对具身AI系统的鲁棒性测试框架。
• AI开发者与网络安全专家的协作，以应对新兴威胁。

完整论文可在arXiv查阅，更多分析可参考《The Register》的报道。

本研究最初由网络安全专家Bruce Schneier推荐。