Quand l’IA disparaît, les résultats s’effondrent : ce que révèle une étude sur ChatGPT et la persévérance

Si l’IA s’impose dans de nombreux usages du quotidien, ses effets à long terme sur nos capacités intellectuelles restent mal connus, par manque de recul. Une étude présentée début octobre montre pourtant qu’une dizaine de minutes d’usage suffit à entamer notre capacité à persévérer face à un problème.

Comment réagit notre cerveau face à l’intelligence artificielle (IA) ? La question se pose alors que cette technologie promet de nous faciliter le quotidien en nous assistant dans nos recherches, nos écrits, et diverses interrogations. Dans une étude portant sur 1 222 participants, on apprend qu’utiliser une IA plus de 10 minutes pourrait justement nous faire perdre une faculté : celle de persévérer face à un problème.

Le papier est signé par cinq chercheurs, dont Grace Liu (université Carnegie Mellon), première autrice, et Brian Christian, chercheur à l’université d’Oxford, auteur de The Alignment Problem (2020), qui réfléchit aux effets de l’IA sur nos esprits depuis une vingtaine d’années.

L’étude a été présentée à San Francisco lors de la Conference on Language Modeling (COLM), qui s’est tenue du 6 au 9 octobre. Pour y être acceptée, elle a été relue par des spécialistes extérieurs à l’équipe, ce qu’on appelle la relecture par les pairs (peer review). Elle est disponible dans la forme présentée lors de la conférence via le serveur arXiv.

Pour aller plus loin

Première expérience : on résout des fractions

Dans un premier temps, les auteurs ont recruté 354 personnes à travers les États-Unis pour leur demander de résoudre 15 calculs de fractions, de plus en plus difficiles, en une quinzaine de minutes. Recrutés en ligne via la plateforme Prolific, ils étaient payés quel que soit leur nombre de bonnes réponses et devaient simplement faire de leur mieux. La moitié d’entre eux pouvaient avoir recours à un assistant IA, basé sur GPT-5 et présenté comme ChatGPT, en cas de problème, et étaient encouragés à l’utiliser. Ils pouvaient alors lui demander conseil, ou simplement réclamer directement la réponse. L’autre moitié du groupe n’y avait pas accès.

Ensuite, les chercheurs ont retiré, sans prévenir, l’assistant IA et ont soumis trois problèmes supplémentaires. Le groupe qui avait eu accès à l’assistant a alors moins bien réussi (57 % de bonnes réponses, contre 73 % pour le groupe sans IA) et a passé presque deux fois plus souvent les questions sans chercher à y répondre (20 % contre 11 %). Une possibilité dont chaque participant disposait, et qui n’avait aucune conséquence sur une quelconque récompense.

Deuxième expérience : un protocole plus solide

Pour la deuxième partie de l’expérience, les chercheurs ont rassemblé cette fois 667 participants pour un test similaire, avec une petite différence : trois essais préliminaires, sans assistance, après chacun desquels la bonne réponse était affichée, afin de s’assurer qu’il n’y avait pas de différence de niveau entre les groupes testés. 82 participants, qui n’avaient résolu aucune des trois questions préliminaires ou avaient échoué à un test d’attention, ont été écartés des résultats.

Au niveau des résultats, les courbes sont un peu plus serrées, mais les participants qui avaient accès à l’IA décrochent toujours dès qu’on la leur retire, avec 71 % de bonnes réponses contre 77 % pour le groupe témoin. L’écart est plus faible que dans la première expérience, et la hausse des abandons n’y est pas statistiquement significative. Le groupe sans IA, lui, réussit mieux ces trois derniers problèmes que ceux de la fin de l’entraînement.

Troisième expérience : la compréhension écrite

Enfin, une troisième expérience rassemblant 201 participants fonctionnait sur le même principe, mais avec des exercices de compréhension écrite tirés d’annales du SAT, l’examen standardisé utilisé pour l’entrée à l’université aux États-Unis. Cette fois, il fallait lire un texte et répondre à des questions pour vérifier que le tout avait été bien compris. Une fois encore, l’assistant IA disponible pour une partie du groupe a été retiré lors des dernières questions. Ces participants ont alors vu leur taux de bonnes réponses chuter (76 % contre 89 % pour le groupe témoin) et ils ont plus souvent passé les questions sans y répondre (8 % contre 1 %), tandis que le groupe témoin a gardé un niveau stable.

À ce stade, la conclusion pourrait être logique : utiliser l’IA nous encourage à moins réfléchir par nous-mêmes, de la même façon qu’une calculatrice va se substituer à de gros efforts en calcul. Mais les auteurs de l’étude y voient une menace plus grande et qui n’est pas comparable à l’utilisation d’internet ou d’un GPS. Selon eux, la différence tient au fait que les systèmes d’IA « peuvent tout résoudre, refusent rarement d’aider et donnent les réponses instantanément. »

Les auteurs ajoutent que si quelques minutes d’utilisation de l’IA ont pu émousser le niveau de persévérance et de réflexion des participants, ce mécanisme pourrait être bien plus fort et difficile à corriger au bout de plusieurs mois ou années d’utilisation. L’étude ne porte toutefois que sur des sessions d’un quart d’heure, menées en ligne auprès d’Américains rémunérés quelques dollars et sans enjeu sur le résultat. Ses effets après des mois d’usage quotidien n’ont pas été mesurés, et les auteurs appellent à des études de long terme, en conditions réelles.

Pour aller plus loin

Toute l'actu tech en un clin d'œil

Ajoutez Numerama à votre écran d'accueil et restez connectés au futur !