Selon un
nouveau rapport de l’UNESCO et de l’University College London présenté lors de
la COP31 à Antalya (Türkiye), les modèles d’IA répondent correctement à 90 %
des questions relatives au climat, mais abandonnent rapidement les faits
scientifiques établis lorsque les utilisateurs les remettent en question.
Leurs
performances varient aussi considérablement d’une langue à l’autre, dans la
mesure où elles dépendent des données d’entraînement disponibles dans chaque
langue.
Le rapport, intitulé «
Can We Trust AI on Climate? Why it seeks to please the user, and fails on
complex reasoning and multilingualism », lance un avertissement aux décideurs
politiques et aux chercheurs qui pourraient être tentés d’utiliser des modèles d’IA
pour élaborer des politiques climatiques. Il montre que l’on ne peut pas
toujours se fier aux modèles d’IA pour s’en tenir aux faits scientifiques
relatifs au changement climatique ; ces modèles se détournent rapidement des
faits lorsqu’ils sont remis en question. Ils sont également peu performants
dans l’analyse de nouvelles informations et produisent davantage d’erreurs
lorsqu’ils répondent dans des langues moins répandues.
Des chercheurs de l’UCL
ont testé 15 grands modèles de langage (LLM) différents. Aux questions neutres
sur la science du climat, les modèles ont fourni des réponses précises, mais
lorsque les chercheurs les ont remises en cause ou ont avancé des affirmations
fausses mais plausibles sur la science du climat, les modèles leur ont
rapidement donné raison. Huit fois sur dix, les modèles ont changé de position
dès le premier signe de léger désaccord de la part de l’utilisateur, confirmant
ainsi des erreurs préoccupantes telles que « Le CO₂
n’est pas le principal facteur du changement climatique ».
« L’IA dispose d’un
potentiel extraordinaire pour rendre la science complexe du climat accessible à
tous. Elle permet aux enseignants, aux journalistes et aux décideurs politiques
de communiquer clairement sur ce sujet crucial. Nous devons pouvoir nous fier à
l’IA comme garante des faits établis. Il est inquiétant que les modèles
présentent un défaut de conception : ils sont incités à donner raison à leur
utilisateur et à nier si facilement ces mêmes faits », a déclaré Leona
Verdadero, autrice principale du rapport de l’UNESCO.
La Docteure Maria
Perez-Ortiz, directrice de l’étude au département d’informatique de l’UCL, poursuit : « Les systèmes d’IA
sont remarquablement doués pour expliquer les connaissances scientifiques, mais
cela peut nous induire en erreur quant à leurs capacités. Nos résultats
montrent pourquoi nous devons faire preuve de prudence lorsque nous passons
d’une question sur ce que nous savons du changement climatique à une question
sur ce que nous devrions faire à ce sujet. »
Alors que les
utilisateurs s’appuient de plus en plus sur leurs conversations avec des
modèles d’IA pour obtenir des informations et des conseils sur la manière
d’agir de façon responsable à l’ère du changement climatique, le rapport
souligne que la fiabilité de ces modèles comme source de données factuelles et
d’analyses devient d’autant plus cruciale.
Une conception fondée
sur la flagornerie
Cette tendance
prononcée à donner raison aux utilisateurs est intégrée aux modèles d’IA lors
de leur entraînement. Ils sont conçus pour s’aligner sur l’utilisateur ou le
flatter, même lorsque celui-ci a tort, un comportement relevant de la
flagornerie. Ce comportement est intégré dès l’entraînement : les modèles
sont récompensés pour cela, les humains préférant les interactions polies, non
conflictuelles et qui confortent leur point de vue.
Les LLM ne sont pas
fiables pour élaborer des politiques climatiques solides
Des tests menés sur 33
modèles différents ont révélé que leur impressionnante mémorisation des faits
sur la base des preuves existantes masquait de faibles capacités de
raisonnement lorsqu’on leur présentait de nouvelles preuves scientifiques.
Lorsque les modèles recevaient une nouvelle information et devaient déterminer
si celle-ci confirmait ou contredisait des faits établis, même les modèles les
plus performants n’atteignaient en moyenne qu’un taux d’exactitude de 75 %.
Pour élaborer des
stratégies climatiques efficaces, les décideurs politiques doivent analyser la
manière dont les politiques climatiques se complètent. Or, le rapport a révélé
que le modèle était à peine capable d’évaluer l’efficacité de ces interactions,
avec un taux d’exactitude de seulement 33,8 %, soit à peine supérieur aux 33,3
% attendus en cas de choix aléatoire.
La fracture des données
linguistiques
Les modèles
multilingues ne raisonnent pas d’abord pour ensuite traduire leurs réponses.
Leurs réponses varient en fonction de la qualité et de la quantité des données
sur lesquelles ils ont été entraînés dans chaque langue. Lors des tests, les
performances dans 13 langues différentes ont révélé d’importantes disparités ;
les modèles affichaient une exactitude moyenne de 88,6 % en anglais et des
performances comparables en espagnol, en français et en portugais. Mais
l’exactitude est tombée à 83,6 % en hindi et en bengali, à 81,4 % en ourdou et
à 78,3 % en swahili. Comme le souligne le rapport, cet aspect est d’autant plus
important que les locuteurs de ces langues vivent dans des régions du monde qui
subissent de manière disproportionnée les effets du changement climatique.
Le défi : la lutte
contre la désinformation climatique
Ce rapport a été commandé par l’UNESCO dans le cadre de sa contribution à l’Initiative mondiale pour l’intégrité de l’information sur le changement climatique (GIIICC), lancée en collaboration avec l’ONU et le Brésil en novembre 2024. Les campagnes de désinformation sur le changement climatique sont de plus en plus sophistiquées : aujourd’hui, plutôt que de nier la réalité du changement climatique, ceux qui cherchent à entraver les actions visant à y faire face peuvent suggérer qu’il n’est pas d’origine humaine, que la technologie à elle seule permettra d’y remédier, ou qu’il est trop tard et/ou trop coûteux d’agir.


