Agents IA en production : ce qui marche vraiment (et ce qui échoue)

Les agents IA sont entrés dans la phase d'ingénierie. Après deux ans de démonstrations spectaculaires, la question des dirigeants de PME n'est plus « est-ce que ça marche ? » mais « qu'est-ce qui tient en production, à quel coût, et avec quels garde-fous ? ». Ce texte ne s'appuie pas sur des impressions : il synthétise des sources primaires — les publications d'ingénierie d'Anthropic, des benchmarks académiques (τ-bench, GAIA, METR), et des référentiels de sécurité (OWASP, NIST). Objectif : séparer, sans hype, ce qui fonctionne réellement de ce qui échoue.

La distinction fondatrice : workflow ou agent

Anthropic, dans son guide « Building effective agents » (2024), pose une distinction simple mais décisive. Un workflow est une chaîne où l'orchestration des étapes est écrite à l'avance dans le code : le modèle de langage exécute chaque étape, mais ne décide pas de la séquence. Un agent, à l'inverse, reçoit un objectif et décide lui-même des étapes, des outils à appeler et du moment de s'arrêter.

La recommandation centrale du guide tient en une phrase : commencer par la solution la plus simple, et n'ajouter de l'autonomie que lorsqu'elle apporte un gain démontré. C'est un principe d'ingénierie, pas une préférence esthétique. Un workflow est prévisible, testable, peu coûteux et facile à auditer. Un agent est flexible, coûteux et difficile à évaluer. Une part importante des projets qui échouent ont choisi l'agent là où un workflow déterministe de trois étapes aurait suffi.

L'interface agent-machine compte autant que le modèle

Anthropic insiste sur un point souvent négligé : l'ACI (Agent-Computer Interface), c'est-à-dire la façon dont les outils sont décrits, nommés et contraints. Une ACI bien conçue — documentation claire de chaque outil, paramètres sans ambiguïté, erreurs exploitables — influence directement le taux de réussite, parfois davantage qu'un changement de modèle. Avant de changer de modèle, il faut donc regarder du côté de l'outillage et de la qualité des instructions système.

Ce que mesurent vraiment les benchmarks

τ-bench (2024, arXiv:2406.12045) évalue des agents en situation d'usage réaliste, avec des outils et des règles métier. Résultat contre-intuitif : les meilleurs agents à *function-calling* réussissent moins de 50 % des tâches. Plus préoccupant encore, le score *pass^8* — qui exige de réussir huit fois de suite — tombe sous 25 % dans le domaine du commerce de détail. Traduction pour un dirigeant : les agents ne se contentent pas d'échouer parfois, ils sont inconstants. C'est la différence entre « ça a marché en démo » et « on peut s'y fier ».

GAIA (2023, arXiv:2311.12983) documente le même écart sous un autre angle : il existe un monde entre un modèle qui *répond* à une question et un assistant qui *agit* sur des sources et des outils. C'est précisément ce monde — celui de l'action fiable — que les entreprises financent, et c'est là que se concentrent les difficultés.

Ces deux benchmarks disent la même chose de deux façons : la démonstration et la production ne mesurent pas la même chose. Une démo réussit une fois ; un système de production doit réussir à chaque fois, sur des cas qu'on n'a pas choisis.

Le coût caché des agents

Anthropic, en décrivant son système de recherche multi-agents (2025), chiffre le coût énergétique de l'autonomie : un agent simple consomme environ 4 fois les tokens d'un simple échange de chat ; un système multi-agents grimpe à environ 15 fois. Ce même système multi-agents a amélioré la performance de 90,2 % sur une évaluation interne de recherche.

Mais le détail qui compte est ailleurs : la consommation de tokens explique à elle seule environ 80 % de la variance de performance. Autrement dit, une bonne part de ce que l'on attribue à la « magie » des architectures multi-agents est un effet de budget de calcul. Ce n'est pas un argument contre les agents — c'est un argument pour piloter le coût comme une variable de premier plan, au même titre que la qualité.

Fiabilité : le vrai goulot d'étranglement

Les enquêtes récentes sur l'évaluation des agents (arXiv:2507.21504 et arXiv:2503.16416, 2025) convergent sur une définition opérationnelle : la fiabilité, c'est un comportement répétable. Leur formule est nette — « *un succès occasionnel ne suffit pas* ». Un système qui réussit une fois sur trois n'est pas un système, c'est une démonstration. Cela déplace le centre de gravité de l'évaluation : on ne mesure plus seulement la meilleure performance atteignable (le *pass@k*, qui laisse au modèle de nombreuses tentatives), mais la performance garantie (le *pass^k*, qui exige la réussite systématique).

METR (arXiv:2503.14499, 2025) apporte une mesure de tendance : l'horizon de tâche qu'un agent peut accomplir seul avec 50 % de réussite double environ tous les 7 mois. C'est une observation historique sur des modèles passés, pas une prédiction : extrapoler cette courbe serait une erreur méthodologique. La leçon pour un dirigeant est de bâtir des systèmes pour le présent mesuré, et de revoir les hypothèses à intervalles réguliers — pas de planifier sur une extrapolation.

Sécurité : injection de prompt et agence excessive

Le classement OWASP GenAI Top 10 for LLM Applications 2025 identifie deux risques centraux pour les systèmes d'agents. LLM01 — Prompt Injection : une instruction malveillante dissimulée dans un document, un courriel ou une page web consultée par l'agent peut détourner son comportement. LLM06 — Excessive Agency : un agent doté de trop de permissions et de trop peu de supervision peut agir à une échelle disproportionnée, y compris de manière destructive.

La contre-mesure est un classique de la sécurité logicielle, transposé : principe du moindre privilège (l'agent n'a que les droits strictement nécessaires), validation par un humain des actions irréversibles (envoi d'argent, suppression, envoi d'e-mails externes), et journalisation complète des appels d'outils.

Ce qui marche réellement en production

• Workflows pour le prévisible, agents pour le flou. Si la séquence est connue, codez-la.
• Simplicité d'abord. N'ajoutez de l'autonomie que sur preuve de besoin.
• ACI soignée. Investissez dans la description des outils autant que dans le prompt.
• Observabilité et évaluation en continu. Sans mesure du *pass^k*, impossible de piloter.
• Garde-fous et moindre privilège. Un agent est une surface d'attaque autant qu'un outil.
• Humain dans la boucle pour l'irréversible. L'automatisation totale des décisions sensibles reste prématurée.

Le marché opère d'ailleurs son propre tri. Selon Gartner, 30 % des projets de GenAI seront abandonnés après la phase de preuve de concept d'ici fin 2025. Ce n'est pas un verdict sur la technologie, mais un verdict sur le cadrage : on a financé des agents là où il fallait des workflows, et des autonomies où il fallait des garde-fous.

Un signe encourageant, toutefois : les organisations qui réussissent ne sont pas celles qui déploient le plus d'agents, mais celles qui savent dire « non » à une autonomie mal placée. La maturité en IA ressemble moins à une course à l'outil le plus avancé qu'à une discipline de conception.

Conclusion : une grille de décision

Avant de valider un projet d'agents, posez ces cinq questions à votre équipe technique :

1. Workflow ou agent ? La séquence est-elle réellement imprévisible ?
2. Quel coût en tokens par tâche ? Et quel est le budget mensuel cible ?
3. Quelle fiabilité mesurée ? Avez-vous un *pass^k* chiffré, pas une démo ?
4. Quels droits pour l'agent ? Moindre privilège appliqué ?
5. Quelles actions exigent un humain ? Liste explicite des gestes irréversibles.

Si les réponses sont floues, ce n'est pas un problème de modèle : c'est un problème de conception. La bonne nouvelle, c'est que ce sont des problèmes résolvables avec une discipline d'ingénierie ordinaire — et beaucoup de sobriété.

Le réflexe à installer durablement est simple : traiter chaque agent comme un nouveau collègue à qui l'on confie des responsabilités. On lui donne des outils précis, des droits limités, une supervision au début, et on mesure son travail avant de lui laisser de l'autonomie. Appliquée avec constance, cette posture transforme les promesses des agents en résultats vérifiables.