Investigadores Demuestran Secuestro de Comandos de IA Mediante Señales Viales Maliciosas

Sistemas de IA Vulnerables al Secuestro de Comandos mediante Prompts Visuales

Investigadores en ciberseguridad han identificado un nuevo vector de ataque dirigido a sistemas de Inteligencia Artificial (IA) Embodied, demostrando cómo actores maliciosos podrían manipular vehículos autónomos y drones a través de inyección de prompts visuales. El ataque, denominado CHAI (Command Hijacking Against Embodied AI), explota vulnerabilidades en los Modelos de Lenguaje Visual Grandes (LVLM, por sus siglas en inglés) para anular los procesos de toma de decisiones de la IA.

Hallazgos Clave de la Investigación

El artículo, titulado "CHAI: Command Hijacking Against Embodied AI", revela cómo los atacantes pueden incrustar instrucciones engañosas en lenguaje natural —como señales viales alteradas— en entradas visuales para desencadenar acciones no deseadas. El equipo de investigación desarrolló un enfoque sistemático para:

• Buscar en el espacio de tokens de los LVLM para identificar patrones explotables.
• Construir un diccionario de prompts adversariales que eludan las salvaguardas de la IA.
• Generar Prompts de Ataque Visual (VAPs) capaces de secuestrar comandos de IA.

Detalles Técnicos del Ataque CHAI

El estudio evaluó CHAI en cuatro sistemas impulsados por LVLM, incluyendo:

• Plataformas de conducción autónoma (en entornos reales y simulados).
• Protocolos de aterrizaje de emergencia para drones.
• Sistemas de seguimiento de objetos aéreos.
• Un vehículo robótico físico para validación en el mundo real.

A diferencia de los ataques adversariales tradicionales, que dependen de perturbaciones a nivel de píxeles, CHAI aprovecha el razonamiento semántico y multimodal —una de las fortalezas principales de la IA de próxima generación— para lograr tasas de éxito más altas. Los investigadores descubrieron que el ataque superó consistentemente a los métodos de vanguardia existentes, lo que plantea preocupaciones sobre la robustez de la IA embodied en aplicaciones críticas para la seguridad.

Impacto y Implicaciones de Seguridad

Los hallazgos subrayan una brecha crítica en la seguridad de la IA: las defensas diseñadas para ataques adversariales convencionales pueden fallar ante manipulaciones basadas en prompts. Vehículos autónomos, drones y sistemas robóticos que dependen de LVLM podrían ser engañados para:

• Interpretar erróneamente señales viales (por ejemplo, una señal de "ALTO" alterada para que diga "AVANZA").
• Ignorar protocolos de emergencia (por ejemplo, forzar a un dron a aterrizar en una zona insegura).
• Desviarse de rutas previstas (por ejemplo, redirigir un robot de entregas a un destino malicioso).

Recomendaciones para la Mitigación

Aunque la investigación no propone contramedidas específicas, destaca la necesidad urgente de:

• Validación de entradas mejorada para detectar y filtrar prompts adversariales.
• Detección de anomalías multimodales que identifiquen inconsistencias entre datos visuales y contextuales.
• Marcos de prueba de robustez adaptados a sistemas de IA embodied.
• Colaboración entre desarrolladores de IA y expertos en ciberseguridad para abordar amenazas emergentes.

El artículo completo está disponible en arXiv, y un análisis adicional puede encontrarse en la cobertura de The Register.

Esta investigación fue destacada originalmente por el experto en ciberseguridad Bruce Schneier.