Les chercheurs de Microsoft découvrent que les modèles et les agents d’IA ne peuvent pas gérer des tâches de longue durée

Les entreprises qui explorent des flux de travail automatisés feraient bien de tenir leurs agents IA en laisse.

Les chercheurs de Microsoft ont découvert que même les modèles frontières les plus chers introduisent des erreurs dans les longs flux de travail, ce pour quoi les logiciels d’IA ont été proposés.

Anthropic, par exemple, déclare : « Claude Cowork gère les tâches de manière autonome. Donnez-lui un objectif et Claude travaille sur votre ordinateur, vos fichiers locaux et vos applications pour vous renvoyer un livrable terminé. »

Redmond promeut une utilisation similaire, vantant la capacité de Microsoft 365 Copilot à « entreprendre des recherches complexes et en plusieurs étapes sur vos données professionnelles et sur le Web ».

Les scientifiques du fabricant de Windows n’en sont pas si sûrs.

Philippe Laban, Tobias Schnabel et Jennifer Neville de Microsoft Research ont entrepris d’étudier ce qui se passe lorsqu’on demande à de grands modèles de langage (LLM) d’effectuer des tâches en plusieurs étapes.

Ils ont récemment publié leurs conclusions dans un article préimprimé avec un titre spoiler : « Les LLM corrompent vos documents lorsque vous déléguez ».

Pour tester la manière dont les LLM gèrent les tâches de travail de connaissances de longue durée, les chercheurs ont conçu un benchmark appelé DELEGATE-52.

Il simule des flux de travail en plusieurs étapes dans 52 domaines professionnels, tels que l’écriture de code, la cristallographie et la notation musicale. Il s’agit d’un test plus éprouvant que de trier une feuille de calcul, une tâche qui devrait être un enjeu de table pour tout aspirant agent de flux de travail.

Dans le domaine comptable, par exemple, le défi concerne un document de départ qui représente le grand livre comptable du Hack Club, une organisation à but non lucratif. Il est demandé au modèle de diviser le document de départ en fichiers distincts basés sur des catégories, puis de les fusionner chronologiquement en un seul fichier.

« Nos résultats montrent que les LLM actuels introduisent des erreurs substantielles lors de l’édition de documents de travail, avec des modèles frontières (Gemini 3.1 Pro, Claude 4.6 Opus et GPT 5.4) perdant en moyenne 25 pour cent du contenu du document sur 20 interactions déléguées, et une dégradation moyenne de 50 pour cent sur tous les modèles », rapportent les auteurs.

Les auteurs ont constaté que les LLM réussissaient mieux dans les tâches de programmation et moins bien dans les tâches en langage naturel.

Pour être considérés comme « prêts » pour un domaine de travail donné, les chercheurs ont placé la barre à 98 % ou plus après 20 interactions. Ils n’ont trouvé qu’un seul domaine qualifié : la programmation Python. Pour tous les autres domaines, les auteurs ont constaté que les LLM n’étaient pas « prêts ».

« Une analyse par domaine des scores de fin de simulation révèle que les modèles ne sont pas prêts pour les flux de travail délégués dans la grande majorité des domaines, les modèles corrompant gravement les documents (dégradation d’au moins -20 %) dans 80 % de nos conditions simulées », déclarent les auteurs.

L’étude a révélé que la « corruption catastrophique », c’est-à-dire un score de référence de 80 % ou moins, s’est produite dans plus de 80 % des combinaisons modèle/domaine. Le modèle le plus performant, Google Gemini 3.1 Pro, n’était prêt que pour 11 des 52 domaines.

Dans les modèles les plus faibles, la dégradation prenait la forme d’une suppression de contenu ; dans les modèles frontières, cela prenait la forme d’une corruption de contenu.

Et lorsque des erreurs se produisaient, elles avaient tendance à se produire d’un seul coup, entraînant une perte de 10 à 30 points en une seule interaction aller-retour, plutôt que de s’accumuler sur l’ensemble du test.

« Les modèles les plus puissants (Gemini 3.1 Pro, Claude 4.6, GPT 5.4) n’évitent pas mieux les petites erreurs, ils retardent les échecs critiques aux cycles ultérieurs et les subissent avec moins d’interactions », observent les chercheurs dans leur article.

Les auteurs de Microsoft ont ensuite testé comment les agents – des LLM ayant accès à la lecture, à l’écriture et à l’exécution de code via un harnais de base – gèrent le benchmark DELEGATE-52.

Les outils dans ce cas n’ont pas aidé. « Les quatre modèles testés fonctionnent moins bien lorsqu’ils sont utilisés de manière agentive avec des outils que sans, entraînant une dégradation supplémentaire moyenne de 6 % à la fin de la simulation », observent les auteurs, en référence aux GPT-5.4, 5.2, 5.1 et 4.1.

Étant donné que la délégation de tâches est tout l’intérêt d’un agent IA – si vous vouliez le faire vous-même, vous n’auriez pas essayé d’automatiser la tâche – cela jette une ombre sur le battage médiatique de l’IA.

Un stagiaire qui aurait corrompu un quart d’un document au cours d’un long flux de travail se verrait mettre à la porte. Pourtant, les entreprises donnent de l’argent à l’IA : selon Deloitte, les organisations consacrent en moyenne 36 % de leur budget numérique à l’automatisation de l’IA.

Cela pourrait avoir du sens si doter les LLM des outils nécessaires pour fonctionner comme des agents à part entière signifiait moins de dégradation des documents. Mais ce n’est pas le cas. Les auteurs ont constaté que « l’utilisation d’un harnais agent de base n’améliore pas les performances des LLM » en ce qui concerne le test DELEGATE-52 et que les performances du LLM après deux interactions ne reflètent pas la façon dont les modèles fonctionnent après 20, ce qui, selon eux, souligne la nécessité d’une évaluation à long terme.

« Les LLM actuels sont prêts pour les flux de travail délégués dans certains domaines tels que le codage Python, mais pas dans d’autres domaines moins courants », concluent les auteurs. « En général, les utilisateurs doivent toujours surveiller de près les systèmes LLM lorsqu’ils fonctionnent et accomplissent des tâches en leur nom. »

Pourtant, ils notent également que les LLM se sont améliorés, soulignant les performances de la famille de modèles GPT d’OpenAI, qui ont vu leurs performances de référence augmenter sur 16 mois, passant de 14,7 % à 71,5 %. ®