Commentaire de Guillaume Moigneu, Field CTO chez Upsun.
« Le mois de la
sensibilisation à la cybersécurité a commencé et le récent incident impliquant
Claude Code, qui a entraîné la suppression d’environ 48 000 fichiers, nous
rappelle les agents IA sont capables d’effectuer des actions à fort impact,
voire irréversibles. La conception actuelle de l’humain dans la boucle est
actuellement trop simpliste. Il ne suffit pas d’intégrer une validation humaine
à un moment donné d’un processus complexe pour considérer qu’un agent IA est
sécurisé. Certains processus ne nécessitent aucune intervention, tandis que
d’autres exigent des contrôles beaucoup plus stricts. Corriger une faute de
frappe et supprimer des milliers de fichiers ne présentent évidemment pas le
même niveau de risque, le degré de supervision ne devrait donc pas être le même
non plus.
Un détail m’a
particulièrement interpellé dans le cas de Claude, il avait été demandé à
l’agent de ne pas toucher aux fichiers de travail d’origine. C’est précisément
là que se situe le cœur du problème. Une IA génère ses propres résultats et ne
suit pas un script prédéfini. Une instruction formulée dans un prompt agit
davantage comme une consigne forte que comme un véritable mécanisme de
contrôle. S’il existe une action qu’un agent ne doit absolument jamais
effectuer, lui demander de ne pas le faire ne suffit pas. L’environnement dans
lequel il évolue doit rendre cette action impossible ou à défaut, réversible.
Il s’agit donc autant d’un problème d’infrastructure que d’un problème lié à l’IA. Nous devons devenir beaucoup plus efficaces pour identifier les moments où le jugement humain est réellement nécessaire, notamment lorsqu’une action peut avoir des conséquences importantes ou être difficile à annuler.
Et lorsque les agents commettent des erreurs, leur environnement doit permettre d’en limiter l’impact.
Il faut leur accorder davantage d’autonomie à mesure qu’ils démontrent leur capacité à la gérer, tout en imposant des limites techniques strictes aux actions susceptibles d’avoir des conséquences importantes.»