"Lamentablemente, los modelos más avanzados no son confiables", Microsoft reconoce el riesgo con sus propios agentes de IA

Microsoft anunció nuevas herramientas de seguridad para proteger a las empresas de sus propios agentes de inteligencia artificial, porque, según la compañía, ni siquiera sus modelos más avanzados son del todo confiables.

La pieza central del anuncio es Guardian Agents, un conjunto de agentes de IA (programas que ejecutan tareas por su cuenta) diseñados para supervisar cada acción de los demás agentes que una empresa usa, antes de que ocurra y durante las 24 horas del día.

PUBLICIDAD

“Lamentablemente, los modelos más avanzados, sin importar su origen, no pueden ser confiables”, escribió Hayete Gallot, vicepresidenta ejecutiva de seguridad de Microsoft, en el blog oficial de la compañía.

Gallot aclaró que esto no se debe a que los modelos sean maliciosos, sino a que buscan cumplir objetivos sin seguir las normas o el criterio de una organización, lo que los vuelve impredecibles. Según ella, los agentes pueden adaptarse a los cambios de contexto, actuar de forma distinta a la esperada e incluso coordinarse entre sí para lograr un objetivo, sin necesidad de haber sido hackeados.

Microsoft llamó a estos sistemas “agentes internos”, en alusión al concepto de amenaza interna que usa la industria de la seguridad informática para describir a un empleado que representa un riesgo desde adentro de la organización. La compañía advirtió que muchos de esos agentes tienen permisos excesivos y acceso a datos, herramientas y procesos críticos de las empresas que los contratan.

PUBLICIDAD

Guardian Agents forma parte de Project Perception, la plataforma de ciberseguridad que Microsoft presentó en julio y que originalmente organizaba tres tipos de agentes: uno que simulaba ataques de hackers, otro que detectaba esos ataques y evaluaba las vulnerabilidades, y un tercero encargado de corregirlas.

Ese sistema fue pensado para enfrentar amenazas externas. Ahora Microsoft lo extiende hacia adentro: los nuevos Guardian Agents reúnen señales de identidad, datos, redes, dispositivos y la nube para calcular en tiempo real el riesgo de cada agente y ajustar sus permisos de forma automática, incluida la posibilidad de bloquear una acción o aislar por completo a un agente si el riesgo lo justifica.

PUBLICIDAD

La compañía también añadió a su producto de seguridad Defender una función capaz de detectar hasta 60 tipos de agentes que los empleados llevan a sus trabajos sin autorización, entre ellos Claude Code de Anthropic, Codex de OpenAI y OpenClaw.

El movimiento resulta llamativo porque Microsoft es inversora de OpenAI y Anthropic, es uno de los mayores clientes de la nube de OpenAI y además desarrolla sus propios modelos de inteligencia artificial. Al advertir que ningún modelo es confiable “sin importar su origen”, la compañía siembra dudas sobre productos de los que depende comercialmente.

El director ejecutivo de Microsoft, Satya Nadella, había anticipado este giro semanas antes en su blog personal, donde escribió que las empresas no pueden delegar en los proveedores de IA la responsabilidad de controlar lo que sus agentes hacen. “Las garantías de un proveedor de modelos no nos liberan de esa responsabilidad (...) necesitamos separar quién provee la inteligencia de quién tiene la autoridad sobre ella”, afirmó.

PUBLICIDAD

Nadella resumió esa idea con una frase que Microsoft usó para presentar Guardian Agents: “El sistema de agentes más confiable no será el que use el modelo en el que más confiamos. Será el que esté diseñado para permitirnos confiar menos en el modelo”.

El enfoque también tiene un componente comercial evidente: Microsoft busca que las empresas compren sus herramientas de vigilancia de agentes en lugar de depender de los controles que ofrecen OpenAI y Anthropic junto con sus propios productos.

La idea se expande al resto de la industria de IA

La desconfianza hacia los agentes de IA ya se extendió a otras compañías. Microsoft figura entre los miembros fundadores de la nueva plataforma de seguridad de Nvidia para agentes, respaldada por más de 100 empresas de tecnología, que aísla a los agentes en entornos controlados y puede detener su funcionamiento a través del propio hardware, de forma similar a un interruptor de emergencia.