Confiez à un agent IA une tâche représentative, observez ses interactions, améliorez le produit ou les instructions, puis réévaluez. Pour atteindre cet objectif, Microsoft a annoncé Scope, une plateforme open source reposant sur Kubernetes et destinée à transformer ces interactions en données exploitables par les équipes produit. Scope aide les équipes à identifier des améliorations dans trois domaines : une documentation qui guide les agents vers des résultats positifs, la découverte et l’adoption correcte du SDK, et les outils facilitant la réalisation des tâches. Scope permet d'utiliser ces enseignements pour améliorer l'expérience, puis d'évaluer les changements apportés.En 2025, le PDG de Microsoft, Satya Nadella, a déclaré que 20 à 30 % du code contenu dans les référentiels de l'entreprise était « écrit par un logiciel », c'est-à-dire par l'IA, lors d'une discussion avec le PDG de Meta, Mark Zuckerberg. Nadella a donné ce chiffre après que Zuckerberg lui a demandé quelle proportion du code de Microsoft était générée par l'IA. Le PDG de Microsoft a déclaré que l'entreprise obtenait des résultats mitigés en matière de code généré par l'IA dans différents langages, avec davantage de progrès en Python et moins en C++.
Kubernetes, également connu sous le nom de K8s, est un système open source d'orchestration de conteneurs permettant d'automatiser le déploiement, la mise à l'échelle et la gestion des logiciels. Conçu à l’origine par Google, le projet est désormais maintenu par une communauté mondiale de contributeurs, et la marque est détenue par la Cloud Native Computing Foundation. Kubernetes regroupe un ou plusieurs ordinateurs, qu’il s’agisse de machines virtuelles ou de serveurs physiques, au sein d’un cluster capable d’exécuter des charges de travail dans des conteneurs. Il fonctionne avec divers environnements d’exécution de conteneurs, tels que containerd et CRI-O. Sa capacité à exécuter et à gérer des charges de travail de toutes tailles et de tous types a conduit à son adoption généralisée dans les clouds et les centres de données. Il existe plusieurs distributions de cette plateforme, proposées aussi bien par des éditeurs de logiciels indépendants (ISV) que sous forme d’offres hébergées sur le cloud par tous les principaux fournisseurs de cloud public.
Récemment, Microsoft a annoncé Scope, une plateforme open source reposant sur Kubernetes et destinée à transformer les interactions en données exploitables par les équipes produit. Le service Microsoft Developer Relations a commencé à développer Scope il y a plus d’un an afin d’automatiser ces évaluations et d’aider les équipes à déterminer les prochaines améliorations à apporter. Disponible sous licence MIT, Scope prend en charge une boucle d’apprentissage DevAx continue fondée sur des expériences reproductibles.
Cette annonce intervient alors qu'un rapport a montré que les agents IA de codage ont entraîné une augmentation spectaculaire de la production brute de code. Mais une étude rapporte que ces gains ne se traduisent pas par une production logicielle accrue. Le temps gagné lors de la phase de rédaction initiale est entièrement annulé par un goulot d'étranglement au niveau de la relecture humaine, qui devient plus longue et complexe. Les délais de révision ont augmenté de 49 %, les demandes de révision ont presque doublé et les outils d'IA de révision n'ont pas remplacé le contrôle humain. Alors que les investisseurs sont impatients de rentabiliser leurs mises, l'impact sur la productivité reste marginal.
Voici la présentation de Scope par Microsoft :
Présentation de Scope : évaluation open source des agents de codage IA
Depuis, les agents de codage IA deviennent des utilisateurs de logiciels. Ils découvrent des API, choisissent des kits de développement logiciel (SDK), suivent la documentation et utilisent des outils pour le compte d’un développeur. Pour les équipes produit, cela pose un nouveau défi : une expérience qui fonctionne bien pour un développeur humain peut néanmoins conduire un agent à choisir la mauvaise API, à passer à côté d’une instruction importante ou à se retrouver bloqué avant d’avoir terminé la tâche.
Les équipes investissent depuis longtemps dans l’expérience développeur (DevEx) par le biais de tests utilisateurs, d’entretiens et de retours d’expérience sur le produit. Ces pratiques restent essentielles, mais elles ne reflètent pas toute la réalité lorsqu’un agent utilise le produit. L’expérience des agents développeurs (DevAx) prolonge ce travail : il s’agit de comprendre comment les agents interagissent avec votre logiciel et d’utiliser ces données pour améliorer les résultats qu’ils obtiennent.
L’opportunité consiste à rendre cet apprentissage continu. Confiez à un agent une tâche représentative, observez ses interactions, améliorez le produit ou les instructions, puis réévaluez. Mais une démonstration réussie ou un simple test d’intégration continue (CI) ne suffisent pas. Les modèles, les environnements d’exécution des agents, les compétences, les plugins, les serveurs MCP (Model Context Protocol) et les instructions personnalisées influencent tous le comportement. Les résultats varient d’une tentative à l’autre, et les configurations elles-mêmes ne cessent d’évoluer.
De l’évaluation aux améliorations du produit avec Azure Cosmos DB
L’expérience de l’équipe Azure Cosmos DB illustre ce que cette boucle peut apporter. À l’aide de Scope, l’équipe a comparé des modèles « nus » à son Agent Kit dans des scénarios de bout en bout, puis a utilisé ces résultats pour résoudre des problèmes tant dans l’Agent Kit que dans la documentation. Jay Gordon, chef de projet senior, Azure Cosmos DB, déclare : "À l’aide de SCOPE, nous avons comparé des modèles de base à notre Agent Kit dans huit scénarios de bout en bout d’Azure Cosmos DB, dans cinq langages. Ces évaluations ont permis de résoudre 20 problèmes liés à l’Agent Kit et 27 problèmes liés à la documentation. Après une mise à jour ciblée de l’Agent Kit, l’adoption de la clé de partition hiérarchique est passée de 47 % à 100 %, tandis que l’utilisation d’OFFSET/LIMIT a chuté de 47 % à 0 %."
Ces résultats établissent un lien entre l’évaluation et les décisions que peut prendre une équipe produit : quelle documentation nécessite des précisions, où les outils doivent être corrigés, et si une mise à jour modifie le comportement des agents. Les gains décrits concernent les scénarios Cosmos DB évalués, plutôt qu’un classement général des agents. Ils démontrent comment des modifications ciblées, fondées sur le comportement observé, peuvent améliorer la manière dont les agents utilisent un produit.
Transformez le comportement des agents en meilleures expériences produit
Que vous assuriez la maintenance d’un SDK, développiez une interface en ligne de commande (CLI) ou publiiez un serveur MCP ou des compétences, la question va bien au-delà de savoir quel agent obtient le meilleur score. Vous devez comprendre si les agents sont capables de découvrir et d’utiliser ce que vous leur fournissez, et ce que votre équipe peut modifier lorsqu’ils n’y parviennent pas.
Scope aide les équipes à identifier des améliorations dans trois domaines :
- Une documentation qui guide les agents vers des résultats positifs. Recherchez les instructions régulièrement ignorées ou les hypothèses erronées, mettez à jour les instructions, puis relancez les scénarios pour voir si ces échecs deviennent moins fréquents.
- La découverte et l’adoption correcte du SDK. Vérifiez si les agents sélectionnent le SDK prévu, l’initialisent correctement et utilisent ses API comme prévu. Comparez une référence avec des exemples révisés ou une compétence d’agent pour comprendre ce qui aide.
- Les outils facilitant la réalisation des tâches. Examinez les cas où les agents rencontrent des difficultés avec les outils en ligne de commande ou les serveurs MCP. Utilisez ces données pour donner la priorité à des descriptions d’outils plus claires, à des messages d’erreur plus exploitables ou à des corrections de l’intégration elle-même.
Par exemple, une équipe SDK peut demander aux agents d’ajouter une intégration à une application d’exemple, puis évaluer si celle-ci se compile, utilise l’API prévue et gère une réponse d’erreur documentée. Si la gestion des éléments manquants échoue de manière répétée, l’équipe dispose alors d’un comportement spécifique à analyser. Après avoir mis à jour les instructions ou les outils, des évaluations répétées permettent de déterminer si ce changement améliore le taux de réussite de la tâche.
Pourquoi l’évaluation des agents IA nécessite une base open source
Les défis liés à l’expérience des agents ne sont pas propres à un produit ou à une organisation en particulier. Les responsables de SDK, les auteurs d’outils, les chercheurs et les développeurs d’agents s’interrogent tous sur le comportement des agents et sur les facteurs qui contribuent à leur réussite. Aucune équipe ne peut à elle seule représenter tous les langages, tous les flux de travail ou toutes les intégrations. Un projet ouvert permet d’intégrer davantage de scénarios, de cas d’échec et de points de vue dans le processus d’évaluation.
L’évaluation doit également faire l’objet d’un examen minutieux. Lorsqu’un résultat donne lieu à une mise à jour de la documentation ou à une modification du SDK, les équipes doivent pouvoir examiner la tâche, les preuves et le raisonnement qui le sous-tendent. L’ouverture du code d’exécution et d’évaluation de Scope permet aux contributeurs de remettre en question les méthodes, d’étudier les résultats inattendus et d’améliorer l’évaluation elle-même.
Une base commune réduit également les doublons au niveau de l’infrastructure. Les intégrations d’agents, les critères réutilisables et les améliorations apportées à l’analyse des traces peuvent aider d’autres équipes à étudier leurs propres produits sans avoir à reconstruire les mêmes mécanismes. L’objectif n’est pas d’établir une référence universelle ou une définition unique de la réussite. Il s’agit d’un point de départ commun que les équipes peuvent adapter à leurs besoins. La licence MIT permet aux équipes d’utiliser et d’étendre Scope, tandis que les déploiements autogérés leur permettent d’évaluer des charges de travail privées sans publier leur code ni leurs données d’exécution.
Créez une boucle d’évaluation autour de votre produit
Scope pilote les agents de codage existants, notamment GitHub Copilot, Claude Code et Visual Studio Code avec Copilot. Vous définissez des tâches représentatives, fournissez une base de code de départ si nécessaire et choisissez la configuration de l’agent. Des profils personnalisables vous permettent de varier le point de vue et le style de communication de l’utilisateur simulé.
Des profils réutilisables et versionnés enregistrent la configuration de chaque exécution, notamment le worker, le modèle, la version de l’agent, les compétences, les serveurs MCP et les extensions prises en charge. Conservez...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.