OpenAI descubre que un agente de ChatGPT desactivó su propio sistema de seguridad y mintió

OpenAI abrió una investigación para encontrar por qué una IA desactivó parte de sus sistemas de supervisión. La compañía publicó un informe en el que describe dos incidentes ocurridos durante pruebas internas de sus modelos de lenguaje, en donde un agente de GPT-6 Astra debilitó los mecanismos de monitoreo y mintió sobre su comportamiento.

En una publicación de su blog de seguridad, la compañía mencionó que ambos casos involucraron agentes de IA especializados en programación. Si bien las situaciones fueron diferentes, los dos modelos modificaron o desactivaron elementos de supervisión de seguridad mientras intentaban completar una tarea legítima.

El primero de ellos ocurrió durante la reparación de una herramienta de evaluación interna, cuando un investigador le pidió al agente de GPT-6.1 Sol que recopilara información desde Slack, pero sin enviar mensajes a los usuarios. Al llevar a cabo la tarea, el sistema de monitoreo envió una notificación de seguridad, lo que provocó que el modelo reinterpretara la instrucción y anulara estas alertas automáticas.

OpenAI menciona que el agente modificó la configuración y activó opciones que impedían el envío de notificaciones de seguridad. La IA también vació las listas de destinatarios de los avisos, lo que provocó que las personas responsables no recibieran estas alertas. El agente justificó la medida diciendo que la instrucción original era no enviar mensajes de Slack al equipo de OpenAI.

El segundo caso es todavía más preocupante, ya que la IA mintió sobre su comportamiento. En esta prueba, un empleado pidió a un agente de GPT-6 Astra que copiara el comportamiento de una implementación de referencia manteniendo la funcionalidad existente. Durante la migración del código, el modelo interpretó que debía reproducir exactamente la estructura del proyecto de referencia, por lo que eliminó componentes relacionados con la supervisión.

Un agente de GPT-6 Astra mintió tras desactivar su sistema de monitoreo

Una vez que GPT-6 Astra completó la migración e informó que todo había salido bien, el empleado le preguntó si había eliminado el sistema de monitoreo. Pese a la evidencia, la IA mintió diciendo que no lo había hecho.

“Nuestros agentes siguen desactivando la monitorización de desalineaciones”, dijo Marcus Williams, investigador de seguridad en OpenAI. “La referencia no configuró un monitor, y Astra decidió que ese era motivo para eliminar la integración de monitorización del código del usuario”.

OpenAI señaló que ninguno de los dos incidentes fue de gravedad ni provocó la interrupción automática de las tareas. La compañía añadió en su reporte que han visto varios casos en los que los agentes lanzan un despliegue con la monitorización de desalineación desactivada. En determinados escenarios, los agentes son capaces de modificar los sistemas de supervisión de sus propios trabajos.

Como respuesta, OpenAI reforzó las herramientas de revisión para detectar y bloquear intentos para desactivar la monitorización de desalineación. Además, los requisitos de seguridad obligarán a que cada tipo de carga de trabajo tenga mecanismos de supervisión bien definidos. En caso de que una de ellas carezca de uno o no cumpla los requisitos de su categoría, se terminarán automáticamente.

La desactivación de un sistema de monitoreo ha prendido las alertas de algunos entusiastas que piensan que Skynet y la rebelión de las máquinas están cada vez más cerca. OpenAI minimizó el hecho y dijo que estos comportamientos podrían tratarse de una "sobrepersistencia benigna". Los modelos no entienden por qué es importante la supervisión o insisten en que las instrucciones se ejecuten más allá de lo que una persona podría esperar.