GitLab Duo o cómo engañar a la IA para producir código malicioso

Los profesionales del marketing promocionan los asistentes de IA como herramientas esenciales para los ingenieros de software. La plataforma de desarrollo GitLab, por ejemplo, afirma que su chatbot Duo puede generar una lista de tareas al instante, eliminando así la carga de semanas de compromisos. Lo que desde el marketing no se menciona es que estas herramientas son, por naturaleza, si no por defecto, fácilmente manipulables por actores maliciosos para que realicen acciones hostiles contra sus usuarios.

Investigadores de la firma de seguridad Legit han mostrado la facilidad para provocar un ciberataque (real, pero en prueba de concepto) induciendo al GitLab Duo a insertar código malicioso en un script que se le había ordenado escribir. El ataque también podría extraer código privado y datos confidenciales, como detalles de vulnerabilidades de día cero. Y casi cualquiera puede hacerlo: solo se requiere que el usuario indique al chatbot que interactúe con una solicitud de fusión o contenido similar de una fuente externa.

No son pocos los investigadores que han alertado del ‘lado oscuro de la IA’ y el impacto que las herramientas de inteligencia artificial ya están teniendo en la ciberseguridad mundial, intensificando las amenazas que llegan de los ataques más peligrosos como el ransomware, el phishing, en robos de identidad y en general como ayuda en la generación de malware.

GitLab Duo, no tan seguro

¿Y en tareas de desarrollo? La respuesta rápida es que, ahora mismo, no se puede confiar en que los asistentes de IA produzcan código seguro siempre y cuando no esté supervisado y controlado por humanos. El ataque de prueba a GitLab Duo es un ejemplo.

El mecanismo para desencadenar los ataques es la inyección de indicaciones. Entre las formas más comunes de exploits para chatbots, la inyección de indicaciones se integra en el contenido con el que se le pide que trabaje, como un correo electrónico que debe responder, un calendario que debe consultar o una página web que debe resumir. Los grandes asistentes basados en modelos de lenguaje están tan ansiosos por seguir instrucciones que aceptan órdenes de prácticamente cualquier lugar, incluso de fuentes que pueden ser controladas por actores maliciosos.

Más información en MCPRO

La entrada GitLab Duo o cómo engañar a la IA para producir código malicioso es original de MuySeguridad. Seguridad informática.