Controverse Thélyson Orélien : ce qu’il faut savoir sur Pangram

Pour des textes littéraires, Pangram a un taux de faux positifs beaucoup plus bas, très proche de 0%, contrairement à d’autres textes, comme des recettes, des blogs ou des articles de nouvelles ou encore des articles scientifiques, explique-t-elle. Les textes littéraires divergent beaucoup plus dans leur forme les uns des autres que d’autres textes, comme des articles de journaux. Or, l’IA a tendance à toujours reproduire les mêmes schèmes, ce qui fait en sorte que ses textes sont plus faciles à détecter.

Plusieurs médias ont soumis des portions du roman C’était ça ou mourir de l’écrivain québécois d’origine haïtienne Thélyson Orélien à Pangram ainsi qu’à d’autres détecteurs d’IA. Ils ont constaté que les résultats divergeaient grandement.

Mme Karpinska soutient toutefois que Pangram est fondamentalement différent des autres détecteurs d’IA. Pour l’entraîner, ses concepteurs ont pris des millions de textes écrits par des humains, puis ont demandé à plusieurs modèles d’IA de reformuler ces mêmes textes. Ils ont ensuite entraîné Pangram sur ces exemples. Cela permet à l’IA de mesurer statistiquement comment des textes humains divergent de ceux composés par l’IA.

J’ai beaucoup de confiance envers Pangram, en particulier pour des textes plus longs, dit-elle, en ajoutant que plus un texte est long, moins il est probable que Pangram donne un faux positif.

Un professeur d’analyse de données à l’université Vrije Universiteit Brussel, Filip van Droogenbroeck, a tenu des propos semblables dans un récent article de Libération.

Le professeur Droogenbroeck a mené un travail comparant des textes humains à des textes modifiés par l’IA, comme le fait Pangram, et en vient au même constat que Marzena Karpinska : les faux positifs sont extrêmement rares, a-t-il déclaré au quotidien français.

Plusieurs explications ont été émises, à la fois par Thélyson Orélien lui-même, par ses éditeurs et sur les réseaux sociaux, pour tenter de discréditer les résultats de Pangram. La rédaction de Radio-Canada a demandé à Mme Karpinska ce qu’elle en pensait.

M. Orélien émet l’hypothèse que son style caribéen aurait pu fausser les résultats de Pangram. C’est difficile à croire, juge la chercheuse. Elle fait remarquer que, même lorsqu’on traduit le texte en anglais, Pangram détermine qu’il a été écrit par l’IA. Or, ce n’est pas le cas pour des textes écrits par des humains qu’on traduit de la même façon, selon ses recherches.

Même son de cloche du côté de Filip van Droogenbroeck, dans Libération : Pangram a délibérément entraîné son détecteur sur des données multilingues, y compris des langues sous-représentées, a-t-il expliqué au journal.

Les Décrypteurs ont soumis huit livres écrits par des auteurs d’origine haïtienne (Lyonel Trouillot, Marie-Célie Agnant et Jacques Roumain, entre autres) et par un auteur canadien d’origine africaine (Blaise Ndala), au détecteur Pangram. Toutes ces œuvres ont été détectées comme 100% humains.

Grasset, l’éditeur de C’était ça ou mourir en France, a affirmé dans un communiqué diffusé mardi que les détecteurs d’IA identifient des textes humains, comme la Bible, comme étant de l’IA. Selon la maison d’édition, cela démontrerait leur manque de fiabilité.

Marzena Karpinska explique qu’il est possible, si on soumet de très courts extraits de vieux textes, comme la Bible ou la Déclaration de l’indépendance des États-Unis, que certains détecteurs les identifient comme étant générés par l’IA.

La raison est simple : ces textes apparaissent maintes fois dans les banques d’entraînement des grands modèles de langage, puisqu’ils ont été cités d’innombrables fois dans de nombreuses œuvres. Certains détecteurs déterminent alors que le texte ressemble à de l’IA. Mais ce n’est pas un problème avec Pangram, selon Mme Karpinska.

Les Décrypteurs ont effectué le test en soumettant des chapitres entiers de la Bible à Pangram. Résultat : 100% humain. La rédaction canadienne a aussi soumis une sélection de neuf titres classiques de la littérature française à Pangram, de Maupassant à Baudelaire, en passant par Boris Vian et Michel Foucault. Là encore, 100% humain, dans tous les cas