El miedo a la IA nace de nuestra incapacidad para entender cómo funciona. Un científico cree estar a punto de resolverlo

Geoffrey Hinton, Yoshua Bengio, Leo Gao, Stephen Wolfram y Dario Amodei tienen al menos dos cosas en común. Todos ellos, junto a muchos otros científicos, han contribuido a que la inteligencia artificial (IA) alcance el grado de desarrollo que tiene actualmente. Y, además, todos han reconocido abiertamente que no comprenden por completo cómo los modelos de lenguaje organizan y utilizan internamente lo que han aprendido durante su entrenamiento. De alguna forma, se comportan como cajas negras cuyo contenido es relativamente inaccesible.

"Personalmente, no creo que lleguemos a interpretar nunca lo que sucede dentro de las redes neuronales por razones fundamentales, aunque podemos obtener algunas pistas interesantes. Mi esperanza reside más bien en conseguir que el proceso por el que la IA llega a sus respuestas pueda descomponerse en partes interpretables". Yoshua Bengio pronunció estas palabras durante una charla organizada por el Instituto para el Futuro de la Vida, en octubre de 2024. Geoffrey Hinton fue más breve en una entrevista con Wired de 2019: "No, realmente no sabemos cómo funcionan".

Ya han pasado varios años desde que estos dos científicos hicieron estas declaraciones, pero en fechas mucho más recientes Sam Altman, Dario Amodei y otras personas relevantes de la industria de la IA han confesado que existen limitaciones a la hora de comprender el funcionamiento interno de los grandes modelos de lenguaje. Nick Cammarata está decidido a resolver este gigantesco problema. Este investigador trabajó en OpenAI como parte del equipo de desarrollo de técnicas para explicar qué representan las neuronas de los modelos de lenguaje. Y también ha contribuido a este campo con trabajos pioneros de visualización de circuitos neuronales.

"¡Me alegra mucho ver esto de Nick!"

Actualmente Nick Cammarata trabaja como investigador especializado en interpretabilidad mecanicista de la IA en Goodfire, una empresa que se dedica a investigar cómo funcionan internamente los modelos de IA. El pasado 15 de octubre publicó en la página web de esta compañía un artículo titulado "Las redes neuronales ya son transparentes" (Neural Networks Are Already Clean) en el que sostiene que, en realidad, la IA es mucho más comprensible de lo que creíamos.

Cammarata no propone una demostración definitiva de la resolución de la interpretabilidad de los grandes modelos de lenguaje, pero presenta una hipótesis de investigación muy ambiciosa que está respaldada por experimentos con redes de visión computacional y modelos de lenguaje. Su propósito es entender con todo el detalle posible cómo funcionan las redes neuronales, y su punto de partida es el análisis de la polisemia neuronal (polysemanticity) entendida como la capacidad de algunas neuronas de responder a conceptos que en apariencia son inconexos.

Cammarata no propone una demostración definitiva de la resolución de la interpretabilidad de los grandes modelos de lenguaje, pero presenta una hipótesis de investigación muy ambiciosa

Hasta ahora la explicación dominante recurría a la superposición, que sostiene que una red neuronal puede codificar características diferentes en una única neurona porque tiene un número limitado de ellas. Sin embargo, Cammarata cree que en la mayor parte de los escenarios esa interpretación es incorrecta. Su tesis defiende que las neuronas no mezclan arbitrariamente conceptos, sino que responden a patrones visuales compartidos. Una misma neurona podría, por ejemplo, activarse tanto ante caras de gatos como de frontales de coches, dos objetos que aparentemente no tienen nada que ver, debido a que en ambos casos podría percibir un patrón en forma de V.

Otra idea interesante con la que coquetea Cammarata en su artículo es el concepto de generalización recursiva. Según esta aproximación una neurona puede comenzar detectando un patrón y, a medida que el modelo aprende, incorporar variantes relacionadas. Una neurona capaz de responder a una secuencia de letras podría llegar a identificar palabras y expresiones que contienen esa secuencia. La propuesta de Cammarata es que esta agrupación no es arbitraria: es la consecuencia de las relaciones que ha establecido la propia red neuronal. Por este motivo entender mejor las neuronas puede ayudarnos a comprender cómo construyen abstracciones los modelos de lenguaje.

Una de las conclusiones más interesantes a las que llega Nick Cammarata en su artículo es que las redes neuronales actuales podrían ser mucho más fáciles de interpretar que las de las primeras generaciones. No parece razonable si tenemos presente que las actuales son más complejas, pero Cammarata atribuye las dificultades iniciales a problemas de diseño y arquitectura que perjudicaban el aprendizaje de las capas más profundas, a herramientas de visualización imperfectas y a métodos de evaluación que podían confundir una explicación plausible con una explicación correcta.

Las reacciones a las propuestas de este investigador no han tardado en llegar. Poco después de la publicación de su artículo, Sam Altman, su antiguo jefe en OpenAI, publicó un tuit en X en el que alabó el trabajo de Cammarata de una manera bastante elocuente: "¡Me alegra mucho ver esto de Nick!". Ojalá tenga razón. Ojalá las redes neuronales sean comprensibles muy pronto. Es el mejor camino que podemos seguir para incrementar la seguridad de la IA y garantizar la correcta alineación de los modelos de frontera.

Imagen | Antoni Shkraba

Más información | Goodfire

En Xataka | Los dos ajustes invisibles que deciden si tu IA acierta o desvaría

En Xataka | "Ya estamos en la singularidad de la IA": Sam Altman, CEO de OpenAI