Pourquoi les IA les plus puissantes échouent encore sur des tâches simples, le chercheur Jean-Claude Heudin répond

Le paradoxe de Moravec, formulé dans les années 1980 par Hans Moravec, Rodney Brooks et Marvin Minsky, est la constatation que ce qui est facile pour un humain est difficile pour une IA et inversement. Ainsi, par exemple, les IA sont efficaces pour faire des calculs et du raisonnement abstrait, mais elles peinent à réaliser des tâches simples dans le monde réel.

Dans ses conférences, Yann LeCun, l'un des pionniers du Deep Learning, lauréat du prix Turing, illustre ce paradoxe avec plusieurs exemples : n'importe quel enfant de 10 ans peut débarrasser la table et remplir le lave-vaisselle sans aucun apprentissage préalable. N'importe quelle personne peut apprendre à conduire en seulement quelques heures de pratique. Malgré les progrès des IA basés sur les LLM, où sont les robots et les voitures autonomes capables de faire cela ?

Paradoxe de Moravec : ce qui est facile pour un humain est difficile pour une IA et inversement

La voie qui consiste à augmenter la taille d'un LLM avec toujours plus de données, de puissance de calcul, et donc d'investissement, est une impasse. Certes, les grands modèles de langage ont une utilité très importante et la conserveront dans le futur, mais il leur manque la compréhension du monde physique. Ils élaborent bien une représentation latente du monde basée sur le langage, mais permettre un raisonnement physique applicable dans le monde réel constitue un défi d'une tout autre nature. Ainsi, lorsque nous marchons, ou conduisons un véhicule, nous n'utilisons pas le langage, mais notre perception sensorielle et l'apprentissage physique du monde réel.

Les carnets de Jean-Claude Heudin : le plafond de verre des grands modèles de langage

Actuellement, la stratégie des principales entreprises de l’IA repose sur un accroissement de la taille de leurs modèles de langage pour augmenter leur performance. Est-ce la bonne voie vers une super-intelligence ?... Lire la suite

S'attaquer à ce problème est l'objectif de JEPA (Joint-Embedding Predictive Architecture) afin d'obtenir un modèle latent du monde physique permettant des prédictions, comme la position approximative d'un objet afin de l'attraper.

C'est la différence entre réagir et rattraper un objet qui vous échappe des mains avant qu'il ne tombe, et décrire verbalement la situation puis la réaction que vous auriez dû adopter

À priori, on pourrait en conclure que l'approche JEPA n'est pas optimisée pour le langage, mais plutôt pour des applications nécessitant un traitement visuel, comme la robotique, la conduite autonome ou le contrôle de processus industriels. JEPA ne traite pas le langage comme le ferait un LLM, il traite des pixels. C'est vrai, mais son domaine d'application n'est pas limité à la robotique.

« L'IA accélère la recherche, mais pas forcément les découvertes » : le paradoxe qui devrait nous faire réfléchir

Alors que les transhumanistes croyaient que l’IA enclencherait une croissance exponentielle d’innovations et de découvertes scientifiques, celles-ci restent limitées. Dans ce contexte, on peut se demander quel est l’impact réel des grands modèles de langage (LLM) sur la science.... Lire la suite

En effet, un article récent, à lire sur ArXiv, montre qu'un « petit » modèle de langage à 109 millions de paramètres, mais associé à un modèle du monde, est plus efficace et plus précis que des modèles de langage à 72 milliards de paramètres, 660 fois plus volumineux.

Un modèle du monde permet à un LLM d’être plus efficace

Un modèle du monde n'est pas un modèle génératif, contrairement à ChatGPT ou Stable Diffusion. L'enjeu n'est donc pas de représenter les données de manière à permettre leur reconstruction, mais de les représenter de façon à ce qu'elles servent à prédire d'autres représentations. Celles-ci peuvent ensuite être transmises à un décodeur ou à un autre modèle, comme un LLM, chargé de générer des sorties. Il semble donc plus pertinent de décrire JEPA comme un composant fondamental, plutôt que comme une alternative aux modèles génératifs.

Un LLM doté de JEPA est-il suffisant pour obtenir une AGI ?

Non, comme le déclare Yann LeCun lui-même : un tel système est encore inférieur à un humain au niveau de ses capacités de raisonnement et de planification, ainsi que son manque de mémoire persistante, sans oublier la nécessité d'un respect absolu des impératifs de sécurité et d'alignement. L'IA en tant que domaine de recherche a encore beaucoup de défis à relever.