Cet article fait partie de notre dossier « Avant de laisser une IA agir sur vos données d'entreprise », dont le point de départ est ce qu'on confie à un assistant qui agit, et ce qu'on ne lui confie pas. Après les droits et les accès, deuxième question : peut-on savoir ce que l'IA a fait, et l'arrêter ?
Limiter les droits réduit les dégâts possibles. Cela ne dit pas ce qui s'est passé pendant la nuit, ni comment interrompre une série d'envois partie dans le mauvais sens. Trois mécanismes répondent à ces deux questions : un journal des actions, une validation humaine placée au bon endroit, et un arrêt d'urgence.
Pourquoi le sujet revient chez les éditeurs eux-mêmes
Le 10 octobre 2026, Satya Nadella, dirigeant de Microsoft, a publié une prise de position sur les agents d'IA, largement relayée. Il y défend notamment trois idées : placer les contrôles en dehors du modèle, exiger que chaque action significative laisse une trace lisible par un humain et impossible à falsifier, et garantir qu'une personne habilitée puisse toujours mettre en pause ou arrêter un modèle en cours de tâche. Il le compare à un frein d'urgence. Ce n'est ni une norme ni un produit, mais c'est une grille de questions utile pour n'importe quelle entreprise.
Le rapport d'Anthropic du 9 octobre sur ses propres tests montre pourquoi : des modèles ont validé un envoi alors qu'ils devaient s'arrêter juste avant. L'impact réel a été jugé minime, et l'éditeur a renforcé ses garde-fous. La leçon pour une PME est simple : la consigne « arrête-toi avant d'envoyer » ne suffit pas, il faut un mécanisme qui empêche l'envoi sans validation.
Un journal des actions que vous savez lire
Un journal utile répond à quatre questions pour chaque action : quand, sur quoi, à la demande de qui, avec quel résultat. Il ne s'agit pas d'un fichier technique réservé au prestataire, mais d'un historique que le dirigeant ou un responsable peut consulter.
- Dans un outil du marché, vérifiez qu'il existe un historique des actions de l'assistant, distinct de celui des utilisateurs, et combien de temps il est conservé.
- Dans une application sur mesure, le journal se conçoit dès le départ : chaque action de l'IA est enregistrée avec ses données d'entrée et son résultat, et le journal ne peut pas être modifié par l'IA elle-même.
Le référentiel de l'OWASP classe la journalisation et la surveillance parmi les mesures qui limitent les dégâts, avec la limitation de débit : plafonner le nombre d'actions par minute laisse le temps de repérer un comportement anormal avant qu'il ne se répète cent fois. L'ANSSI, dans son guide sur l'IA générative, fait de la traçabilité des actions l'un de ses axes.
La validation humaine, au bon endroit
Faire tout valider revient à ne rien automatiser ; ne rien faire valider revient à signer à l'aveugle. La bonne position dépend du coût d'une erreur, comme dans la grille du pilier du dossier. En pratique :
| Action | Contrôle |
|---|
| Lecture, résumé, brouillon interne | Aucune validation, journal seulement |
| Modification interne réversible (classement, fiche CRM) | Journal et retour arrière possible |
| Envoi à un client, publication, changement en ligne | Validation avant envoi, avec l'aperçu exact de ce qui part |
| Paiement, remboursement, suppression, création d'accès | Validation obligatoire par une personne habilitée, ou action interdite à l'IA |
Deux détails font la différence. D'abord, la validation doit montrer exactement ce qui va partir (le texte, le destinataire, le montant), pas un résumé. Ensuite, le contrôle doit être appliqué par le système qui exécute l'action, pas par l'IA. L'OWASP le dit en ces termes : placer les vérifications d'autorisation dans les systèmes en aval plutôt que de laisser le modèle décider. Si le logiciel de facturation refuse un remboursement sans validation, peu importe ce que l'IA a compris de la consigne.
L'arrêt d'urgence
Le frein d'urgence se prépare avant d'en avoir besoin. Pour chaque assistant qui agit, notez quelque part :
- Qui peut l'arrêter : au moins deux personnes, pour ne pas dépendre d'un absent.
- Comment : le bouton de pause de l'outil s'il existe, sinon la révocation du compte dédié ou de la clé d'accès. C'est là que le compte séparé du volet précédent prend tout son sens.
- Ce qui se passe ensuite : le mode dégradé. L'ANSSI recommande de prévoir un fonctionnement des services sans l'IA. Si l'assistant qui trie les demandes est coupé, qui les reprend, et où ?
- Comment on vérifie les dégâts : le journal permet de lister ce qui est parti avant l'arrêt et de prévenir les clients concernés.
Faites l'exercice une fois, à froid : coupez l'assistant, constatez ce qui s'arrête, rallumez. Dix minutes suffisent, et vous saurez si le bouton fonctionne.
En résumé
- Un journal des actions de l'IA, lisible, conservé, non modifiable par l'IA.
- Une validation humaine sur tout ce qui sort de l'entreprise ou engage de l'argent, appliquée par le système et non par la consigne.
- Un arrêt d'urgence connu de deux personnes, et un mode dégradé prévu.
Nous construisons ces trois mécanismes dans les applications métier que nous livrons. Si vous utilisez déjà un assistant connecté et ne savez pas comment l'arrêter, c'est un point que nous vérifions lors d'un audit gratuit. Pour un projet, contactez notre équipe de développeurs à La Réunion.
Sources : Satya Nadella, publication du 10/10/2026 et essai « Models as Insider Risks in the Super Intelligence Era », relayés par la presse (dont Forbes, 11/10/2026) ; Anthropic, « Investigating unintended model actions », 09/10/2026 ; OWASP, « LLM06:2025 Excessive Agency » ; ANSSI, guide PA-102, 29/04/2024.
