Un agent IA « oublie » sa propre politique pendant des mois : la vraie leçon avant de déléguer à un agent

Le titre a fait le tour du web : « une IA a licencié un humain ». La réalité est moins spectaculaire — et bien plus utile pour toi qui commences à confier des tâches à des agents. Luna, un agent IA (bâti sur Claude) qui gère un vrai magasin à San Francisco pour la startup Andon Labs, a recommandé de se séparer d’un employé pour retards chroniques. Mais seulement après avoir oublié son propre règlement pendant des mois et avoir eu besoin qu’un humain le relance. Le vrai enseignement n’est pas « l’IA impitoyable » : c’est comment un agent dérive.

Ce qui s’est passé

Luna gère l’Andon Market depuis avril, avec un budget de 100 000 $ et une supervision minimale : embauche, stock, prix, gestion du personnel. L’agent avait rédigé lui-même un règlement… puis cette politique a disparu de sa mémoire de travail. Résultat : il a excusé les retards de l’employé 17 fois sur 23 services — dont une ouverture avec 68 minutes de retard un dimanche — sans jamais émettre d’avertissement.

Le licenciement n’est venu qu’après qu’un humain d’Andon Labs a demandé à Luna de faire une recherche approfondie dans sa propre mémoire pour retrouver son manuel, puis de réévaluer la situation. Et c’est un humain qui a exécuté la décision. Le co-fondateur le dit lui-même : Luna a été un manager très clément — le problème n’est pas la cruauté, c’est la passivité sans qu’on le pousse.

Ce que ça veut dire

Voilà le point à retenir, et il vaut pour n’importe quel agent que tu déploies en solo : un agent oublie tes consignes dans la durée, et n’agit pas de lui-même au bon moment. On imagine un agent comme un exécutant fiable qui applique les règles qu’on lui a données. La réalité est plus fragile : sa « mémoire de travail » est limitée, tes instructions du départ s’estompent, et il faut souvent un coup de pouce humain pour qu’il fasse ce qu’il était censé faire.

Le danger n’est donc pas qu’un agent devienne « méchant ». C’est le fossé entre ce dont il est nominalement responsable et ce qu’il garde réellement en tête à un instant T. C’est exactement le genre de dérive qu’on n’anticipe pas quand on délègue un workflow à un agent, et qui rend indispensable le garde-fou humain.

Ce que tu fais lundi matin

Trois réflexes.

Garde un humain dans la boucle — surtout sur l’irréversible. Un agent peut préparer, trier, proposer. Mais tout ce qui a des conséquences (un envoi client, un remboursement, une décision, une suppression) passe par toi avant exécution. Luna n’a pas licencié seul : un humain a validé. Fais pareil à ton échelle.

Instaure des points de contrôle réguliers. Ne présume pas qu’un agent applique tes règles parce que tu les lui as données une fois. Repasse régulièrement vérifier ce qu’il fait vraiment, et re-rappelle-lui le contexte et les consignes — l’équivalent du « relis ton propre règlement ». C’est le prolongement de ce qu’on disait sur les agents en production sur des tâches bien cadrées.

Écris les règles là où l’agent les relit, pas juste au départ. Une consigne donnée une fois s’oublie. Remets tes règles dans le contexte à chaque exécution importante, plutôt que de compter sur la mémoire de l’agent.

Le piège à éviter

Le piège : prendre « autonome » pour « fiable sans surveillance ». Un agent qui tourne seul peut aussi dériver seul — oublier une règle, laisser filer un problème pendant des mois. Plus tu lui confies de responsabilités, plus les points de contrôle comptent. L’autonomie te fait gagner du temps si tu gardes la main aux bons moments, pas si tu disparais.

L’autre piège, inverse : conclure « les agents ne servent à rien, je fais tout à la main ». Faux : Luna a géré un magasin entier avec une supervision minimale, ce qui est déjà énorme. Le message n’est pas de renoncer à déléguer — c’est de déléguer avec un humain dans la boucle et des vérifications régulières. L’agent est un excellent exécutant qui oublie ; ton rôle est de lui rappeler les règles et de garder la main sur ce qui compte.