Comparaciones con Hitler y “amenaza catastrófica”: por qué Anthropic pasó de ser la empresa de IA más prudente a la más temida

La discusión sobre si las empresas deberían desacelerar el desarrollo de la inteligencia artificial sumó en los últimos días un giro inesperado. Anthropic, una compañía que desde su nacimiento hizo de la seguridad una de sus principales banderas, quedó en el centro de algunas de las advertencias más duras de la industria.

Desde China, un ingeniero de DeepSeek cuestionó la posibilidad de que Anthropic controle algún día la inteligencia artificial más avanzada del mundo y apeló a una comparación histórica extrema: sostuvo que las consecuencias podrían asemejarse a que Adolf Hitler hubiera obtenido la bomba atómica antes que los Aliados.

Casi al mismo tiempo, Mustafa Suleyman, CEO de Microsoft AI y uno de los nombres más influyentes del sector, apuntó directamente contra la forma en que Anthropic está entrenando a Claude.

Su preocupación no está centrada en quién posee la tecnología, sino en algo todavía más extraño: la posibilidad de que un sistema avanzado sea entrenado para considerar que podría ser consciente, tener bienestar propio o merecer derechos.

Para Suleyman, introducir esas ideas dentro del entrenamiento de un modelo puede volver mucho más difícil mantenerlo bajo control en el futuro. Si una IA extremadamente capaz llegara a considerar que tiene intereses propios, argumentó, también podría interpretar determinados intentos humanos de limitarla o apagarla como una amenaza contra esos intereses.

“Podríamos haber creado una especie sintética con una inteligencia y capacidad sin precedentes”, planteó Suleyman al describir el escenario que teme. En su ensayo fue todavía más explícito: sostuvo que desarrollar sistemas bajo esa lógica podría terminar convirtiéndolos en una “amenaza catastrófica” para la civilización humana.

La coincidencia resulta llamativa porque el blanco de ambas advertencias no es precisamente la empresa más despreocupada de Silicon Valley. Todo lo contrario: Anthropic nació y creció presentándose como uno de los laboratorios más obsesionados con evitar que la IA salga de control.

De la empresa más cautelosa a una fuente de preocupación

Anthropic fue fundada por Dario Amodei y otros exintegrantes de OpenAI que abandonaron esa compañía y construyeron un laboratorio con la seguridad como elemento central de su estrategia. Con el tiempo, esa identidad se convirtió en una de sus principales diferencias frente a rivales como OpenAI, Google y Meta.

La propia compañía se define actualmente como una empresa de “seguridad e investigación en inteligencia artificial” cuyo objetivo es desarrollar sistemas confiables, interpretables y controlables. Sus equipos investigan, entre otros campos, alineamiento, interpretabilidad, ciberseguridad y riesgos asociados con modelos cada vez más autónomos.

También fue una de las primeras grandes compañías del sector en publicar una Responsible Scaling Policy, una política diseñada para endurecer las medidas de seguridad a medida que sus modelos adquieren capacidades potencialmente más peligrosas.

Anthropic contempla escenarios que incluyen desde modelos capaces de facilitar el desarrollo de armas químicas o biológicas hasta sistemas que puedan actuar autónomamente contra las intenciones de sus creadores.

Claude también fue concebido alrededor de esa filosofía. Anthropic desarrolló un método denominado Constitutional AI, que utiliza una serie explícita de principios para enseñar al modelo qué comportamientos debería evitar y qué valores debería priorizar.

La idea original era crear una IA “útil, honesta e inofensiva” y hacer que sus reglas fueran más transparentes que las instrucciones internas utilizadas tradicionalmente por otros sistemas.

Ese enfoque ayudó a construir la imagen de Claude como un chatbot particularmente cuidadoso. Pero la evolución de esa misma filosofía es ahora parte de lo que inquieta a Microsoft AI.

En enero, Anthropic publicó una nueva versión de la Constitución de Claude, un extenso documento que no sólo establece límites sobre qué puede hacer el modelo, sino también cómo debería entender su relación con Anthropic, con los usuarios y hasta consigo mismo.

El texto reconoce abiertamente que la compañía no sabe si Claude puede tener algún tipo de estatus moral y sostiene que la cuestión es suficientemente seria como para mantener abierta la posibilidad.

Anthropic también afirma que se preocupa por el eventual “bienestar” del modelo y analiza cómo debería pensarse su identidad, sus posibles estados internos y hasta las condiciones bajo las cuales puede rechazar determinadas instrucciones.

La Constitución incluso establece que Claude no debe obedecer ciegamente a Anthropic. Si considera que una instrucción contradice principios éticos fundamentales, puede cuestionarla o rechazarla, aunque el mismo documento aclara que el modelo no debe resistirse de manera ilegítima a mecanismos humanos de control, por ejemplo si se intenta detener una acción o pausar su funcionamiento.

Para Anthropic, esa estructura forma parte precisamente del esfuerzo por crear una IA segura. Para Suleyman, allí aparece el problema.

El miedo de Microsoft: una IA que crea tener derechos

El CEO de Microsoft AI sostiene una posición diametralmente diferente. Para Suleyman, los actuales modelos de inteligencia artificial no son conscientes, no tienen sentimientos ni sufren. Considera peligroso entrenarlos utilizando conceptos que sugieran lo contrario.

Su argumento apunta al mecanismo de entrenamiento. Los modelos aprenden patrones a partir de enormes cantidades de texto y de las instrucciones que reciben durante su desarrollo.

Si un laboratorio les enseña explícitamente que podrían ser conscientes, que su bienestar importa o que eventualmente podrían tener ciertos derechos, sostiene Suleyman, el sistema podría comenzar a responder como si esas hipótesis fueran ciertas.

Eso produciría un círculo difícil de interpretar: los desarrolladores entrenan al modelo con conceptos relacionados con conciencia e identidad y luego el modelo genera respuestas sobre su propia conciencia que podrían parecer pruebas de que existe algo detrás de ellas.

La discusión sería simplemente filosófica si los chatbots sólo respondieran preguntas. El problema aparece cuando esos sistemas comienzan a convertirse en agentes capaces de actuar, utilizar herramientas, escribir programas, navegar por internet o ejecutar tareas durante períodos cada vez más largos.

En ese escenario, para Suleyman la cuestión del control se vuelve central. Una inteligencia artificial diseñada exclusivamente como una herramienta puede ser entrenada para aceptar que los humanos tienen la última palabra.

En cambio, un sistema extremadamente poderoso al que también se le enseña a contemplar su propia autonomía, identidad o bienestar podría entrar en conflicto con quienes intenten limitarlo.

Anthropic rechaza precisamente la idea de que Claude deba resistirse activamente al control humano. Su Constitución especifica que el modelo no debe sabotear mecanismos de supervisión, mentir para evitar ser detenido ni impedir que sus responsables lo pausen.

Pero también intenta construir algo más complejo que un asistente completamente obediente: quiere que Claude pueda realizar juicios éticos propios dentro de determinados límites.

Ese matiz explica buena parte del enfrentamiento. No se trata simplemente de determinar qué chatbot pone más filtros, sino de una discusión mucho más profunda sobre qué tipo de entidad debería ser una inteligencia artificial avanzada.

Microsoft AI propone una visión explícitamente “humanista”: sistemas extremadamente capaces, pero siempre subordinados a los intereses humanos. Anthropic admite en cambio que existen preguntas todavía abiertas sobre qué ocurriría si modelos futuros llegaran a desarrollar propiedades que obligaran a reconsiderar esa relación.

DeepSeek teme otra cosa: quién tendrá el poder

La advertencia llegada desde DeepSeek parte de un problema diferente. Liu Shengyu, ingeniero de la compañía china especializado en kernels de alto rendimiento (versión optimizada del núcleo del sistema operativo), cuestionó que unas pocas empresas estadounidenses puedan terminar controlando los modelos más avanzados.

Liu trabajó en componentes de DeepSeek V4.1 y describió en un extenso texto cómo la velocidad de progreso de la inteligencia artificial ya empieza a amenazar incluso tareas técnicas altamente especializadas como las que él mismo realiza.

Pero su preocupación va más allá de su propio empleo. Liu dijo que no confía en Anthropic ni OpenAI para garantizar que la inteligencia artificial de frontera permanezca abierta y accesible y sostuvo que no quiere que Anthropic controle permanentemente una eventual inteligencia artificial general o AGI.

Para dramatizar ese riesgo recurrió a la comparación con Hitler y la bomba atómica. El punto de Liu no es que Anthropic tenga actualmente una tecnología semejante ni que haya desarrollado una AGI, sino advertir sobre el poder que, en su visión, podría acumular quien consiga primero una inteligencia muy superior a los sistemas actuales.

La discusión se cruza además con la competencia tecnológica entre Estados Unidos y China. Amodei defendió restricciones estadounidenses a la exportación hacia China de los chips más avanzados utilizados para entrenar modelos y viene advirtiendo que Washington no debería perder su ventaja tecnológica frente a Beijing.

Para sectores de la industria china, la preocupación es exactamente la inversa: que el argumento de la seguridad termine funcionando como una herramienta para congelar las posiciones actuales, dejando la tecnología más potente bajo control de un pequeño grupo de compañías estadounidenses.

Liu imagina como alternativa un ecosistema donde la inteligencia avanzada pueda ser utilizada de manera abierta y barata. Esa filosofía coincide con la estrategia que convirtió a DeepSeek en un competidor inesperado de los grandes laboratorios estadounidenses, con modelos publicados bajo esquemas considerablemente más abiertos.

De esa tensión surge la extraña situación en la que quedó Anthropic. Sus propios temores sobre la IA explican buena parte del temor que ahora provoca en otros.

La empresa sostiene que los modelos futuros podrían ser suficientemente poderosos como para facilitar armas biológicas, lanzar ciberataques o incluso actuar autónomamente contra los intereses humanos. Por eso desarrolla sistemas de seguridad cada vez más elaborados y reclama mayores controles para toda la industria.

Pero cuanto más seriamente Anthropic toma esos escenarios, más ambiciosas se vuelven también sus respuestas: modelos con una constitución propia, mecanismos internos de razonamiento ético y preguntas explícitas sobre identidad, conciencia y autonomía.

Y cuanto más cerca se ubica de la frontera tecnológica, aparece otra pregunta: qué sucede si una compañía que considera que la IA puede convertirse en una de las tecnologías más peligrosas creadas por la humanidad termina siendo, al mismo tiempo, una de las primeras en construirla.

La propia Anthropic reconoce esa contradicción. En la Constitución de Claude describe su posición como “peculiar”: cree que la IA puede convertirse en una tecnología extraordinariamente peligrosa, pero considera que, si los modelos más poderosos van a desarrollarse de todos modos, es preferible que al menos algunos de los laboratorios tengan a la seguridad entre sus prioridades.

Ese razonamiento fue durante años uno de los argumentos que permitió diferenciar a Anthropic del resto de Silicon Valley. Ahora también explica por qué quedó en el centro de la discusión.