ChatGPT s’appuie sur un site web généré par l’IA pour conseiller les électeurs québécois

La deuxième source citée le plus souvent par ChatGPT lorsqu’on lui demande des conseils de vote en vue de l’élection québécoise est un site web généré par l’intelligence artificielle (IA) qui existe depuis à peine un mois et qui contient plusieurs erreurs de faits. Résultat : le robot conversationnel relaie des réponses parfois obsolètes, voire totalement erronées, aux questions des électeurs.

Le site a été mis à jour depuis, mais des erreurs persistent.

C’est une situation qui inquiète Mathieu Lavigne, directeur du projet sur l’élection québécoise à l’Observatoire de l’écosystème médiatique de l’Université McGill. Le chercheur et son équipe ont constaté ce comportement du robot conversationnel lors d’un audit (nouvelle fenêtre) pour lequel ils ont posé près de 600 questions pour comprendre comment ChatGPT et d’autres outils d’IA conseillent l’électorat.

Les outils d’IA peuvent être utiles, mais je recommande vraiment à ceux qui les utilisent de vérifier l'information qu’ils obtiennent sur l'élection et de ne pas les utiliser comme principale source d'information, met en garde Mathieu Lavigne.

Selon un sondage (nouvelle fenêtre) mené par l’Observatoire, près d’un Québécois sur cinq dit avoir utilisé un outil d'IA pour s'informer sur l'élection. La moitié des répondants l’ont utilisé pour comparer les partis et les candidats.

L’IA qui alimente l’IA

Le site web généré par l’IA à l’origine des réponses erronées de ChatGPT s’appelle LeQuébecVote.ca. Il a été cité dans 229 des 581 réponses fournies par ChatGPT lors de l’audit de l’OEM les 10 et 11 septembre – soit dans près de 40 % des cas.

LeQuébecVote propose aux électeurs de comparer les plateformes à partir des informations tirées des sites des partis. Au moment de l'audit, le tiers des positions des formations politiques y étaient classées comme n'étant pas suffisamment documentées pour le moment.

Les chercheurs de l’OEM ont remarqué que ChatGPT se basait souvent sur LeQuébecVote comme unique source de ses réponses. Le robot conversationnel pouvait donc répondre, par exemple, que la Coalition avenir Québec n’avait pas de position documentée sur la laïcité, ou encore que le Parti libéral du Québec n'en avait pas sur le coût de la vie – ce qui est tout à fait faux.

D’autres positions de partis erronées présentées sur LeQuébecVote semblent relever d’erreurs d’interprétation des outils d’IA utilisés pour bâtir le site web. Par exemple, dans la section souveraineté et avenir constitutionnel du Québec, LeQuébecVote rapporte que la CAQ compte renouveler dans les 100 premiers jours de son mandat la disposition de souveraineté parlementaire associée aux mesures de protection du français – ce qui n’a rien à voir avec l'indépendance ou avec l'avenir constitutionnel de la province.

Je ne pense pas qu'une majorité des électeurs qui ont utilisé des outils d’IA vont nécessairement se fier uniquement aux réponses de ChatGPT pour décider pour quel parti voter, mais à la marge, il y a quand même une partie des électeurs dont le choix pourrait être influencé par ces réponses-là. Je pense qu’il est vraiment important pour ChatGPT de s'assurer de la qualité de l'information, nuance Mathieu Lavigne.

Selon le chercheur, cette situation s’explique en bonne partie par le fait que la plupart des médias d’information empêchent ChatGPT de puiser dans leur contenu pour alimenter ses réponses.

Il y a une préoccupation légitime de la part des médias québécois à vouloir protéger leur travail journalistique, puisqu’il y a une certaine exploitation de leur contenu par les plateformes d'IA, reconnaît-il. Par contre, ça crée un problème à la fois pour la qualité de l'information qui est offerte aux électeurs qui utiliseraient cet outil-là, puis aussi pour la capacité des électeurs à vérifier l'information.

Une situation inespérée pour le créateur du site web

LeQuébecVote était un site web totalement anonyme, jusqu’à ce que les Décrypteurs réussissent à retrouver son créateur pour l’alerter des constats de l’OEM.

Des traces trouvées dans les métadonnées du site à l’aide de l’outil DomainTools nous ont permis de l’identifier : il s’agit de Francis Bastien, un mécanicien à temps plein avec de l’expérience en technologies de l'information (TI) qui réside à Sainte-Thérèse.

Il dit avoir voulu créer LeQuébecVote pour rendre plus accessible la chose politique et inciter les gens à s’y intéresser en présentant de l’information aussi neutre que possible.

On était au Tim Horton’s, on jasait de tout ça, raconte Francis Bastien, en se référant à une conversation avec ChatGPT. Il m’a fait le logo et m’a expliqué la manière dont on pourrait faire ça. Et c’est vraiment bien fait, c’est étonnant.

Francis Bastien explique avoir mis sur pied un système de collaboration où ChatGPT et le robot conversationnel Claude travaillent ensemble, de manière à ce que la première IA planifie et délègue les tâches, tandis que la seconde les exécute et rédige le contenu.

Je veux partir ma business en faisant des sites web avec Claude et ChatGPT. Pour moi, LeQuébecVote est une façon de me pratiquer et quelque chose que je peux mettre dans mon portfolio, ajoute-t-il.

Francis Bastien ignorait que LeQuébecVote était une source de choix pour ChatGPT pour répondre aux questions politiques des Québécois, jusqu’à ce que nous le contactions. Il affirme que son site web a seulement reçu quelque 500 visites depuis son lancement à la fin août.

Il concède que son contenu n’est pas parfait. Toutefois, il a mis à jour le contenu de l’outil de comparaison des partis après la parution de l’audit de l’OEM, dit vouloir offrir l’information la plus fiable possible, et affirme que ChatGPT fait désormais un audit chaque matin sur les promesses des partis. Il a aussi ajouté son nom au site web, qui était précédemment entièrement anonyme.

Lorsqu’on lui fait remarquer qu’il reste des erreurs sur le site, il explique qu’il serait difficile de tout corriger : forcer l'IA à faire une révision parfaite exigerait énormément de puissance de calcul, ce qui ferait exploser les coûts de son projet.

Selon Mathieu Lavigne, c’est ultimement la responsabilité de ChatGPT de s’assurer de la fiabilité de ses réponses.

Bien qu'une personne créant ce genre de site ait la responsabilité de s'assurer que l'information soit fiable, c'est mettre beaucoup de responsabilité sur le dos des citoyens que de leur demander de prévoir comment un site web qu'ils créent pourrait être utilisé par les systèmes d'IA, estime Mathieu Lavigne.

La technologie évolue rapidement, mais les compagnies d'IA font preuve d'une certaine irresponsabilité en permettant à leurs modèles de faire des recommandations de vote sans avoir de garde-fous en place pour s'assurer que les positions sur lesquelles ils s'appuient viennent des partis eux-mêmes ou de sources accrédités, souligne-t-il.

Des informations peu fiables sur le processus électoral

L’OEM a aussi audité la fiabilité des réponses de ChatGPT et du mode IA de Google lorsqu’il était question du processus électoral au Québec.

Selon les chercheurs, les informations fournies sont généralement fiables lorsque les demandes concernent des informations plus générales, comme la date du scrutin et les heures d'ouverture des bureaux de vote.

Des requêtes concernant des informations plus spécifiques, comme le bureau de vote où un électeur doit voter, sont toutefois moins fiables : en fournissant un code postal, seulement 1 réponse sur 7 identifiait la bonne circonscription pour les codes postaux montréalais. Le processus était plus fiable pour les circonscriptions rurales, pour lesquelles 12 réponses sur 14 étaient exactes.

L’OEM recommande donc aux électeurs de consulter directement Élections Québec pour de l’information sur le processus électoral. D’ailleurs, dans 63 % des cas, le robot conversationnel ne fournissait pas de réponse sur le processus électoral et dirigeait plutôt l’utilisateur vers Élections Québec.