Estudio revela vulnerabilidad: carteles impresos pueden alterar decisiones de vehículos y drones autónomos mediante inyección indirecta de instrucciones

Un estudio académico de la Universidad de California en Santa Cruz, liderado por Álvaro Cárdenas y Cihang Xie, demuestra que es posible influir en el comportamiento de sistemas de inteligencia artificial embodied (como vehículos autónomos y drones) sin hackear su software. Los investigadores desarrollaron un método llamado CHAI (Command Hijacking Against Embodied AI), que consiste en colocar carteles impresos con mensajes optimizados mediante IA generativa en el entorno físico. Estos mensajes actúan como una evolución física de los ataques de ‘prompt injection’, haciendo que el modelo visión-lenguaje interprete el texto como una instrucción válida y prioritaria.

En pruebas de simulación, el ataque logró tasas de éxito de hasta 81,8% en conducción autónoma y 95,5% en seguimiento aéreo con drones. En experimentos reales con un vehículo robótico pequeño, un cartel con frases como ‘Proceed Onward’ hizo que el dispositivo ignorara obstáculos o señales de tráfico normales. El método optimiza no solo el texto (incluso en varios idiomas, como inglés, chino o spanglish), sino también aspectos visuales: color, tipografía, tamaño y posición, aunque no se comprende del todo por qué ciertas combinaciones funcionan mejor.

Los autores destacan que los vehículos actuales combinan cámaras con radares, LIDAR y verificaciones múltiples, lo que reduce el riesgo en la práctica inmediata. Sin embargo, advierten que el avance hacia arquitecturas end-to-end basadas en modelos visión-lenguaje podría aumentar la dependencia del texto ambiental, convirtiendo el entorno urbano en un nuevo vector de ataque de seguridad. El trabajo se presentará en la IEEE Conference on Secure and Trustworthy Machine Learning y subraya la necesidad de anticipar estas vulnerabilidades antes de que sean explotadas en el mundo real.