Connexion
/ Inscription
Mon espace
Etudes & Enquêtes
ABONNÉS
Partager par Linked-In
Partager par Xing
Partager par Facebook
Partager par email
Suivez-nous sur feedly

[Expertises] Les modèles d’IA abandonnent les faits relatifs au climat dès les premiers signes de désaccord de l’utilisateur

Selon un nouveau rapport de l’UNESCO et de l’University College London présenté lors de la COP31 à Antalya (Türkiye), les modèles d’IA répondent correctement à 90 % des questions relatives au climat, mais abandonnent rapidement les faits scientifiques établis lorsque les utilisateurs les remettent en question.
Leurs performances varient aussi considérablement d’une langue à l’autre, dans la mesure où elles dépendent des données d’entraînement disponibles dans chaque langue.

 

Le rapport, intitulé « Can We Trust AI on Climate? Why it seeks to please the user, and fails on complex reasoning and multilingualism », lance un avertissement aux décideurs politiques et aux chercheurs qui pourraient être tentés d’utiliser des modèles d’IA pour élaborer des politiques climatiques. Il montre que l’on ne peut pas toujours se fier aux modèles d’IA pour s’en tenir aux faits scientifiques relatifs au changement climatique ; ces modèles se détournent rapidement des faits lorsqu’ils sont remis en question. Ils sont également peu performants dans l’analyse de nouvelles informations et produisent davantage d’erreurs lorsqu’ils répondent dans des langues moins répandues.

 

Des chercheurs de l’UCL ont testé 15 grands modèles de langage (LLM) différents. Aux questions neutres sur la science du climat, les modèles ont fourni des réponses précises, mais lorsque les chercheurs les ont remises en cause ou ont avancé des affirmations fausses mais plausibles sur la science du climat, les modèles leur ont rapidement donné raison. Huit fois sur dix, les modèles ont changé de position dès le premier signe de léger désaccord de la part de l’utilisateur, confirmant ainsi des erreurs préoccupantes telles que « Le CO₂ n’est pas le principal facteur du changement climatique ».

 

« L’IA dispose d’un potentiel extraordinaire pour rendre la science complexe du climat accessible à tous. Elle permet aux enseignants, aux journalistes et aux décideurs politiques de communiquer clairement sur ce sujet crucial. Nous devons pouvoir nous fier à l’IA comme garante des faits établis. Il est inquiétant que les modèles présentent un défaut de conception : ils sont incités à donner raison à leur utilisateur et à nier si facilement ces mêmes faits », a déclaré Leona Verdadero, autrice principale du rapport de l’UNESCO.

 

La Docteure Maria Perez-Ortiz, directrice de l’étude au département d’informatique de l’UCL, poursuit : « Les systèmes d’IA sont remarquablement doués pour expliquer les connaissances scientifiques, mais cela peut nous induire en erreur quant à leurs capacités. Nos résultats montrent pourquoi nous devons faire preuve de prudence lorsque nous passons d’une question sur ce que nous savons du changement climatique à une question sur ce que nous devrions faire à ce sujet. »

 

Alors que les utilisateurs s’appuient de plus en plus sur leurs conversations avec des modèles d’IA pour obtenir des informations et des conseils sur la manière d’agir de façon responsable à l’ère du changement climatique, le rapport souligne que la fiabilité de ces modèles comme source de données factuelles et d’analyses devient d’autant plus cruciale.

 

Une conception fondée sur la flagornerie

 

Cette tendance prononcée à donner raison aux utilisateurs est intégrée aux modèles d’IA lors de leur entraînement. Ils sont conçus pour s’aligner sur l’utilisateur ou le flatter, même lorsque celui-ci a tort, un comportement relevant de la flagornerie. Ce comportement est intégré dès l’entraînement : les modèles sont récompensés pour cela, les humains préférant les interactions polies, non conflictuelles et qui confortent leur point de vue.

 

Les LLM ne sont pas fiables pour élaborer des politiques climatiques solides

 

Des tests menés sur 33 modèles différents ont révélé que leur impressionnante mémorisation des faits sur la base des preuves existantes masquait de faibles capacités de raisonnement lorsqu’on leur présentait de nouvelles preuves scientifiques. Lorsque les modèles recevaient une nouvelle information et devaient déterminer si celle-ci confirmait ou contredisait des faits établis, même les modèles les plus performants n’atteignaient en moyenne qu’un taux d’exactitude de 75 %.

 

Pour élaborer des stratégies climatiques efficaces, les décideurs politiques doivent analyser la manière dont les politiques climatiques se complètent. Or, le rapport a révélé que le modèle était à peine capable d’évaluer l’efficacité de ces interactions, avec un taux d’exactitude de seulement 33,8 %, soit à peine supérieur aux 33,3 % attendus en cas de choix aléatoire.

 

La fracture des données linguistiques

 

Les modèles multilingues ne raisonnent pas d’abord pour ensuite traduire leurs réponses. Leurs réponses varient en fonction de la qualité et de la quantité des données sur lesquelles ils ont été entraînés dans chaque langue. Lors des tests, les performances dans 13 langues différentes ont révélé d’importantes disparités ; les modèles affichaient une exactitude moyenne de 88,6 % en anglais et des performances comparables en espagnol, en français et en portugais. Mais l’exactitude est tombée à 83,6 % en hindi et en bengali, à 81,4 % en ourdou et à 78,3 % en swahili. Comme le souligne le rapport, cet aspect est d’autant plus important que les locuteurs de ces langues vivent dans des régions du monde qui subissent de manière disproportionnée les effets du changement climatique.

 

Le défi : la lutte contre la désinformation climatique

 

Ce rapport a été commandé par l’UNESCO dans le cadre de sa contribution à l’Initiative mondiale pour l’intégrité de l’information sur le changement climatique (GIIICC), lancée en collaboration avec l’ONU et le Brésil en novembre 2024. Les campagnes de désinformation sur le changement climatique sont de plus en plus sophistiquées : aujourd’hui, plutôt que de nier la réalité du changement climatique, ceux qui cherchent à entraver les actions visant à y faire face peuvent suggérer qu’il n’est pas d’origine humaine, que la technologie à elle seule permettra d’y remédier, ou qu’il est trop tard et/ou trop coûteux d’agir.

Lire la suite...


Articles en relation