L’IA pour détecter l’IA dans un roman, est-ce fiable?

Le phénomène littéraire C’était ça ou mourir, de l’auteur canado-haïtien Thélyson Orélien, est pris dans la tourmente cette semaine, accusé d’avoir été rédigé grâce à une machine. Mais, peut-on vraiment se fier à l’intelligence artificielle pour mettre en doute l’intégrité intellectuelle d’une œuvre? Les experts sont unanimes: non, les outils ne sont pas fiables.

Lundi, soit le jour où Thélyson Orélien a reçu le prix Fnac du meilleur roman en France, le compte anonyme « Balance ton Claude » a accusé l’auteur d’avoir eu recours à l’IA pour écrire son œuvre primée. Le scandale a éclaté sur plateforme X et a pris de l’ampleur dans la sphère publique, ici comme outre-mer. L’écrivain canado-haïtien dément présentement les allégations.

« Balance ton Claude » mentionne avoir mis le roman dans Pangram, un outil de détection de l’IA qui, selon ses dires, est extrêmement fiable et approuvé par des universités, des écoles et des entreprises du monde entier. Le logiciel a conclu que C’était ça ou mourir avait été rédigé par l’intelligence artificielle.

« Malheureusement, on ne peut pas se fier à 100 % à ces systèmes parce qu’il y a de faux positifs et de faux négatifs », indique Dominic Martin, professeur au Département d’organisation et de ressources humaines à l’UQAM. Il s’intéresse à l’éthique de l’intelligence artificielle.

M. Martin comprend les motivations des gens de vouloir vérifier l’authenticité d’un texte, il croit toutefois qu’il ne faut pas tirer de conclusions hâtives avec cet outil technologique, car « ça pourrait avoir des conséquences perverses ».

Un appel à la prudence

« Je vois un pattern : les [romans] d’auteurs racisés, comme les productions intellectuelles des étudiants issus de l’immigration dans les universités, attirent beaucoup plus les suspicions », constate Dave Anctil, chercheur affilié à l’Observatoire international sur les impacts sociétaux de l’intelligence artificielle et du numérique de l’Université Laval.

« Le danger est alors de transformer un biais humain de suspicion en une accusation faussement objective » fondé sur un système faillible, ajoute M. Anctil.

« Dans le milieu [scolaire], même quand on a quelque chose qui détecte l’IA à près de 100 %, on ne peut pas s’y fier nécessairement », mentionne Hugo G. Lapierre, professeur adjoint à la Faculté des sciences de l’éducation de l’UdeM.

La seule manière, selon lui, d’avoir une certitude est de confronter la personne sur son utilisation de l’IA. Sans aveu, ça ne reste qu’un doute, dit-il.

M. Lapierre, qui s’intéresse notamment à l’usage de l’IA en éducation, illustre que même si Pangram se vante d’avoir un taux de fiabilité de 99,7 %, le logiciel a tout de même une marge d’erreur et qu’il ne faut pas la négliger.

« Le diable est dans les détails », fait valoir le professeur Dominic Martin, arborant dans le même sens que Hugo G. Lapierre.

Bien, mais pas parfait

Jean-Hugues Roy, professeur à l’École des médias de l’UQAM a fait un test avec le logiciel Pangram.

Il lui a soumis 300 textes. Cent d’entre eux sont des articles journalistiques rédigés par des humains, cent autres sont les mêmes articles, mais générés en partie par ChatGPT et les cent derniers sont entièrement produits par l’IA.

M. Roy a mis ce corpus de textes datant de 2023 dans Pangram et c’était « presque un match parfait ». Il souligne que c’est la première fois qu’un outil de détection parvient à identifier avec une telle précision la contribution de la machine dans chaque production.

Toutefois, ce n’est pas parce qu’un logiciel s’avère « meilleur que plusieurs autres » que « ça autorise les gens à juger de l’authenticité d’un roman », insiste Jean-Hugues Roy. « C’est dangereux d’accuser quelqu’un à tort », plaide-t-il.

Surtout que les logiciels comme Pangram ne détectent pas la présence d’intelligence artificielle comme telle, mais plutôt les textes qui, selon ses données, semblent être générés par l’IA, explique Dave Anctil.

Il soutient aussi que ces outils de détection, souvent développés par des entreprises américaines, ont peu de chances d’avoir été entraînés avec des œuvres francophones dont le profil de l’auteur correspond à Thélyson Orélien.

Dave Anctil trouve toute cette histoire « très grave pour M. Orélien, mais aussi pour toutes les personnes comme lui qui aspirent à publier des œuvres ».