Par Anne-Angélique de Tourtier, Head of Customer Success & Privacy Operations chez Adequacy.
L’intelligence artificielle s’installe partout dans les organisations, des
administrations aux plateformes en ligne. Derrière cette accélération se cache
une question moins spectaculaire que les promesses de l’IA générative mais
beaucoup plus sensible pour les dirigeants européens. Où s’arrête l’innovation
légitime et où commence le risque jugé inacceptable par le nouveau règlement
sur l’IA.
Quand l’IA franchit la
ligne rouge
Entré en vigueur à
l’été 2024, l’AI Act classe les systèmes d’IA en plusieurs catégories de risque
et réserve un traitement particulier à certains usages considérés comme
incompatibles avec les valeurs de l’Union. Ces pratiques ne relèvent pas du
débat entre bonne ou mauvaise IA. Elles sont purement et simplement interdites
et ne peuvent pas être mises en conformité, à la différence des systèmes à haut
risque qui restent autorisés sous conditions.
Le périmètre des
interdictions tient moins à la technologie employée qu’aux effets concrets sur
les personnes. Le règlement vise d’abord les manipulations cognitives. Un jeu
en ligne qui utilise des mécanismes cachés pour pousser des enfants à acheter
des options payantes, rester connectés plus longtemps ou céder davantage de
données personnelles entre dans cette catégorie. L’AI Act cible aussi
l’exploitation de vulnérabilités, comme une campagne qui s’appuie sur la
fragilité financière de certaines populations pour les orienter vers des
produits risqués.
Notation sociale,
surveillance et inférence des émotions
Le secteur public se
voit lui aussi imposer des lignes rouges claires. La notation sociale de
citoyens en fonction de leurs comportements, même présentée comme un levier de
bonne conduite, fait partie des usages prohibés. L’idée de classer les
individus en “bons” ou “mauvais” citoyens à partir d’un score calculé par l’IA
se heurte frontalement aux principes européens.
De la même manière, la
reconnaissance faciale en temps réel dans l’espace public ne peut pas devenir
un outil ordinaire de gestion de la sécurité. Le règlement ne prévoit que des
exceptions strictement encadrées pour des situations graves et limitées dans le
temps.
D’autres interdictions
visent des technologies déjà présentes dans certaines entreprises. L’inférence
des émotions des salariés ou des élèves à l’école à partir de leurs expressions
faciales ou de leur voix sort désormais du cadre autorisé, sauf motif médical
ou de sécurité très spécifique. La catégorisation biométrique qui cherche à déduire
l’origine, la religion, l’orientation sexuelle ou les opinions politiques d’une
personne à partir de données physiques est également considérée comme un risque
inacceptable. La constitution de bases de visages à partir d’images collectées
sur internet ou via la vidéosurveillance sans consentement explicite cumule
enfin les dérives en matière de surveillance de masse, de souveraineté et de
protection des données.
Repérer les signaux
d’alerte dès l’idéation
Pour les organisations
qui explorent l’IA, la première étape consiste à repérer ces signaux d’alerte
le plus tôt possible. Avant de parler performance, expérience utilisateur ou
retour sur investissement, il devient indispensable de cartographier les cas
d’usage, d’identifier les modèles utilisés et de vérifier s’ils peuvent tomber,
même indirectement, dans l’une des catégories interdites.
Un système peut
paraître utile en surface et pourtant reposer sur un mécanisme de scoring
social ou sur une analyse émotionnelle des salariés qui le fait basculer dans
la zone rouge. Une fonctionnalité présentée comme un simple outil
d’optimisation commerciale peut, en pratique, exploiter la vulnérabilité
psychologique ou financière de certains publics. Sans grille de lecture claire,
ces dérives passent facilement sous le radar.
Documenter les
renoncements, une nouvelle exigence de gouvernance
L’AI Act ne laisse pas
la porte ouverte à une mise en conformité progressive pour ces usages.
Lorsqu’un projet est qualifié de risque inacceptable, il doit être abandonné.
Les entreprises ne peuvent ni le commercialiser, ni le déployer en interne, ni
le tester en conditions réelles, même avec le consentement apparent des
utilisateurs.
En revanche, elles
doivent être capables de démontrer qu’elles ont identifié ce risque, qu’elles y
ont renoncé et qu’elles ont documenté cette décision dans leur dispositif de
conformité IA et dans leur registre des systèmes déployés ou écartés. Cette obligation
de traçabilité change la façon d’aborder l’innovation. Les directions métiers,
les équipes innovation et les DPO doivent travailler ensemble pour instaurer
des filtres dès la phase d’idéation, sensibiliser les équipes aux interdictions
et intégrer ces questions dans les revues de projets.
Une charte IA
d’entreprise, articulée avec les politiques RGPD existantes, devient l’outil de
référence pour rappeler les lignes rouges, organiser les arbitrages et garder
une trace de ce qui a été autorisé ou refusé.
Tracer des frontières
nettes pour innover durablement
De nombreux points
restent encore à préciser, en particulier l’articulation avec les modèles d’IA
à usage général développés hors d’Europe, l’encadrement des usages émergents
dans les jeux vidéo ou les réseaux sociaux et les marges de manœuvre des forces
de l’ordre dans les situations d’urgence.
Pour les dirigeants,
l’enjeu immédiat est double. Comprendre ce qui est désormais interdit afin de
ne pas investir dans des impasses techniques et juridiques. Montrer aussi que
l’entreprise sait dire non à certaines promesses de l’IA lorsque le prix à payer
serait la manipulation des individus, la surveillance permanente ou la
discrimination systémique.
Alors que les premières interdictions de l’AI Act sont déjà applicables, cette capacité à tracer des frontières nettes entre innovation utile et risque inacceptable devient un marqueur de gouvernance responsable. Les organisations qui assument ces choix en amont prennent un avantage clair. Elles sécurisent leur trajectoire d’innovation tout en préservant la confiance de leurs clients, de leurs salariés et des régulateurs.