Les détecteurs d’IA au crible d’une étude scientifique

Impossible de l’ignorer : le Québécois Thélyson Orélien est suspecté d’avoir utilisé l’intelligence artificielle pour écrire son livre “C’était ça ou mourir” (Grasset), lequel a depuis été retiré de la liste du Goncourt. L’écrivain d’origine haïtienne a été accusé sur la foi des résultats d’un logiciel de détection des textes générés par l’IA, Pangram.

Le logiciel est-il fiable ? La réponse est oui… selon Pangram ! Sur son site web, la société avance des capacités remarquables : il identifie 99,66% des textes générés par IA qui lui sont soumis. Quant au taux de faux positifs (un texte humain pris pour de l’IA), il est de 0,0041%. Cela représente une erreur tous les 24.000 documents.

Les résultats de Pangram sont-ils crédibles ?

Épatant, mais invérifiable. "Le secteur du logiciel de détection de textes écrits par IA est l’objet de beaucoup d’attentes économiques", commente Guillaume Wisniewski, maître de conférences à l’université Paris Cité. Chaque éditeur qui se risque sur ce terrain veut sortir du lot en claironnant des taux de détection meilleurs que ceux de son concurrent. "Seule une expertise extérieure, sur le principe de la validation par les pairs de la recherche scientifique, permettrait de corroborer les taux de réussite annoncés", reprend le linguiste et informaticien, auteur de “Faire parler les ordinateurs” (Dunod).

De tels travaux sont rares : le rythme de la recherche est dépassé par celui des sorties des différentes versions des logiciels. Néanmoins, des scientifiques américains, de l’université de Notre-Dame-du-Lac (Indiana, Etats-Unis) se sont récemment confrontés à la question. Leur étude a été révélée à l’occasion de l’AI Leadership Summit, un sommet international sur l’IA qui s’est déroulé du 30 août au 2 septembre à Atlanta, en Georgie (Etats-Unis).

Les auteurs ont testé deux détecteurs d'IA, Pangram (la version 3.2, l’avant-dernière, pas la version 4 à propos de laquelle Pangram donne les chiffres évoqués ci-dessus) et GPTZero, sur des “abstracts” d'articles scientifiques, les résumés qui introduisent les papiers des chercheurs.

Les effets de la réécriture "humanisante"

Leur constat : ces outils repèrent bien un texte écrit directement par une IA, mais ils sont faciles à contourner. Il suffit de passer le texte dans un logiciel de “réécriture humanisante” : à l’instar de “Humanizer”, vendu quelques euros par mois, un tel programme fait d’une phrase longue deux phrases courtes, casse des constructions trop symétriques… Bref, il gomme les régularités statistiques des textes générés par IA. Selon les chercheurs de Notre-Dame-du-Lac, il suffit d’“humaniser” les textes pour que plus de 96% de ceux générés par IA passent inaperçus.

À l'inverse, un auteur qui fait simplement reformuler son propre texte par une IA sera signalé dans la majorité des cas. "Le paradoxe est donc que ces détecteurs attrapent surtout les personnes qui utilisent l'IA de façon naïve ou transparente, et laissent passer celles qui cherchent délibérément à tricher", relève Guillaume Wisniewski.

S’agissant de Pangram, ”la dernière version est extraordinairement fiable, à en croire ses développeurs ; l'avant-dernière, pas terrible selon les chercheurs de Notre-Dame-du-Lac, résume Guillaume Wisniewski. De manière générale, les performances de ces modèles paraissent être très variables d'une version à l'autre ou selon le type de documents traités”. Si l’étude de Notre-Dame-du-Lac peut être critiquée - elle a été faite sur des textes courts, uniquement sur des sujets académiques et de recherche… - , elle suggère néanmoins que les programmes détecteurs d’IA ne sont pas encore la baguette magique brandie par certains…