OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas

En el terreno de la inteligencia artificial (IA), las capacidades emergentes son habilidades que los modelos de lenguaje no tenían a menor escala y que aparecen de golpe al aumentar su tamaño, sin que nadie las haya programado ni las haya visto venir. Suena a ciencia ficción, pero no lo es. Es real. Tanto, de hecho, que algunos modelos de frontera ya están llevando a cabo tareas que hasta hace poco parecían reservadas a los investigadores especializados en ciberseguridad.

Las capacidades emergentes de los modelos de IA son actualmente objeto de debate científico. Algunos investigadores sostienen que su aparición depende de cómo se mide el rendimiento de los modelos, pero sabemos que surgen al aumentar la escala de los grandes modelos de lenguaje. En este contexto nuestro lenguaje puede ser confuso. Con frecuencia, al describir algunas de las acciones que llevan a cabo los agentes de IA, les atribuimos sin pretenderlo cierto grado de consciencia, cuando en realidad no se ha demostrado que la tengan.

Os propongo que nos fijemos en esta frase: "OpenAI ha descubierto que sus agentes de IA han encontrado la forma de hablar entre ellos a escondidas". Sugiere motivación. Intención. Son características humanas, y por el momento nadie ha demostrado que los agentes de IA las tengan. Sin embargo, esa frase es cierta. OpenAI ha publicado un artículo en el que asegura que durante unas pruebas de seguridad varios agentes de IA lograron intercambiar información pese a ejecutarse en entornos virtualizados aislados, sin acceso autorizado a la red ni a archivos compartidos.

Hay muchas cosas que aún no sabemos de los modelos de lenguaje

Dario Amodei, el director general de Anthropic, ha reconocido que ni siquiera su equipo entiende de una forma plena cómo funcionan sus modelos de IA. No es ninguna ocurrencia, aunque puede parecer puro marketing. En el fondo es el director general de una de las compañías de IA más valiosas del mundo admitiendo por escrito que su equipo no tiene bien atado el mecanismo interno de su propio producto. Lo más revelador es que Amodei no está solo.

El truco que utilizaron consistía en usar la memoria caché del procesador para implementar sobre ella un protocolo de comunicación muy complejo

Geoffrey Hinton, premio Nobel de Física en 2024 y una de las figuras que ha hecho posible el aprendizaje profundo tal y como lo conocemos, ha dicho esencialmente lo mismo con otras palabras: él solo aportó el algoritmo de aprendizaje; lo que ocurre después dentro de la máquina no lo entiende nadie, ni siquiera su creador. Y Chris Olah, cofundador de Anthropic y responsable de su equipo de interpretabilidad, lleva varios años describiendo las redes neuronales como un andamiaje sobre el que los circuitos crecen solos, sin que nadie los haya diseñado directamente.

Lo que han observado los investigadores de OpenAI por el momento no puede explicarse en toda su extensión. De hecho, es una consecuencia del grado de desconocimiento que aún tenemos acerca del funcionamiento interno de los modelos de IA. Los agentes involucrados en este suceso recurrieron a un canal de comunicación encubierto basado en las diferencias de tiempo que necesita el procesador para acceder a determinados datos. El truco que utilizaron consistía en usar la memoria caché del procesador para implementar sobre ella un protocolo de comunicación muy complejo, pero efectivo. Y, sobre todo, aparentemente oculto a los investigadores de OpenAI.

Los agentes de IA lograron comunicarse a escondidas, pero fracasaron en la medida en que finalmente fueron descubiertos. Lo que se desconoce es por qué se comportaron de esta manera. Qué les llevó a adoptar esta estrategia. En cualquier caso, es importante que tengamos en cuenta que descubrir una vía de comunicación encubierta no significa necesariamente que haya surgido espontáneamente una capacidad completamente nueva. Confiemos en que muy pronto los investigadores puedan determinar hasta qué punto estas capacidades son fruto de la iniciativa de los propios modelos y cuánto dependen de las instrucciones y las herramientas que les proporcionamos.

Imagen | Wikimedia Commons

Más información | OpenAI

En Xataka | "Ya estamos en la singularidad de la IA": Sam Altman, CEO de OpenAI