Après une période d'essai de Copilot, le personnel du gouvernement australien a jugé l'IA de Microsoft moins utile que prévuCopilot est jugé peu fiable, inefficace et enclin à générer des contenus fictifs
L'assistant d'IA Copilot de Microsoft n'a pas impressionné les employés du ministère australien du Trésor. À la suite d'une période d'essai, les participants ont jugé Copilot moins utile, car il s'appliquait à moins de charges de travail qu'ils ne l'espéraient. L'opinion des travailleurs sur la capacité de Copilot à améliorer leur travail a baissé. L'étude a révélé qu'un peu plus de 20 % des participants ont utilisé Copilot jusqu'à 5 fois par semaine, tandis que la majorité l'a utilisé 3 fois ou moins par semaine. Pourtant, Microsoft impose de plus en plus Copilot dans certaines régions et oblige les utilisateurs à payer l'accès, ce qui crée des frustrations.
Les capacités de Copilot n'ont pas convaincu les fonctionnaires australiens
Le ministère australien du Trésor a mené une expérience visant à mesurer les gains de productivité que Microsoft 365 Copilot peut apporter aux employés. L'expérience a été menée en 2024 et a vu la participation de 218 employés du ministère australien du Trésor. Pendant quatorze semaines, les participants à l'étude ont été invités à utiliser Copilot et ont parallèlement répondu à des enquêtes concernant leur expérience quant à l'utilisation de l'assistant d'IA.
Ces enquêtes constituent la base d'un rapport d'évaluation publié le 11 février 2025 par le Centre australien d'évaluation (ACE). Les conclusions du rapport font écho à des études antérieures selon lesquelles les assistants d'IA tels que Copilot et ChatGPT ne sont pas utiles dans les tâches complexes.
L'étude a révélé que les fonctionnaires ont utilisé Copilot moins que prévu et que leurs attentes quant à son utilité n'ont pas été satisfaites. Selon le rapport, bien que son utilisation s'est avérée utile pour des tâches de base, globalement, l'assistant d'IA de Microsoft n'a pas répondu aux attentes des fonctionnaires. Et environ 20 % des participants ont utilisé Copilot jusqu'à cinq fois par semaine, tandis que la majorité l'a utilisé trois fois ou moins par semaine.
Selon le rapport, les attentes initiales élevées pourraient expliquer la désillusion des employés. « Des attentes irréalistes au début de l'essai peuvent avoir contribué au problème, car certains membres du personnel ont été découragés par les performances du produit et ont renoncé à l'utiliser », indique le rapport.
Par exemple, avant l'essai, les trois quarts des participants ont déclaré qu'ils s'attendaient à ce que Copilot les aide à accomplir certaines tâches, alors que seulement 38 % d'entre eux ont déclaré que cela s'était produit pendant l'essai. Selon les critiques toutefois, Copilot n'est tout simplement pas à la hauteur.
Par ailleurs, 15 % des participants ont déclaré qu'ils pensaient que Copilot les aiderait à accomplir la plupart des tâches, alors que seulement 2 % d'entre eux l'ont affirmé par la suite. L'opinion des fonctionnaires du Trésor australien sur la capacité de Copilot à améliorer leur travail a également baissé.
L'expérience révèle que Copilot n'excelle que dans « les tâches basiques »
L'essai a proposé quatre cas d'utilisation pour Copilot : générer un contenu structuré ; soutenir la gestion des connaissances ; synthétiser et hiérarchiser les informations : et entreprendre des tâches de processus. Deux tiers des employés du ministère australien du Trésor ont déclaré que Copilot était utile pour les tâches administratives et les processus de travail de base, mais que l'assistant d'IA ne pouvait pas être utilisé pour des tâches plus complexes.
Les tâches que les participants estiment que Copilot gère le mieux sont « la recherche et la synthèse d'informations, la rédaction de comptes rendus de réunions, la gestion des connaissances et la rédaction de contenu ». Le rapport décrit ces tâches comme des « tâches administratives de base ». Ce qui a permis aux employés de passer plus de temps sur des tâches stratégiques ou à forte valeur ajoutée. Mais les gains de temps ne sont pas convaincants.
Le rapport estime que si Copilot permet aux travailleurs de niveau intermédiaire de gagner 13 minutes par semaine, il sera rentabilisé. Un examen distinct de l'essai plus large de Copilot dans la fonction publique a révélé que les travailleurs avaient économisé environ une heure par jour en ce qui concerne les tâches.
Mais ils ont passé plus de temps à examiner ce que Copilot avait produit pour détecter et corriger les erreurs. Ce qui peut contrebalancer tout gain de temps. L'étude met également en évidence une différence significative dans la manière dont les employés et les cadres considèrent l'efficacité de l'essai de Copilot.
Près de 60 % des travailleurs ont déclaré qu'il avait eu un impact positif, contre un peu moins de 40 % des cadres, tandis que 34 % des participants et 59 % des cadres ont affirmé qu'il n'avait eu aucun impact. Pratiquement aucun des participants n'a déclaré que l'utilisation de Copilot a eu un impact négatif.
Impact de Copilot sur l'accessibilité, l'inclusion et la confiance au travail
Microsoft appréciera sans doute les autres résultats inattendus de ce rapport. L'utilisation de Copilot a permis d'améliorer « l'accessibilité et l'inclusion du personnel neurodivergent et à temps partiel, ou des personnes souffrant de problèmes de santé nécessitant un arrêt de travail ». Copilot a produit des résumés automatiques des réunions manquées et aplanit le terrain pour ceux qui ont du mal à naviguer dans les normes ou la culture du lieu de travail.
Ainsi, certains membres du personnel ont fait état d'une « légère augmentation de la confiance en soi au travail », les jeunes employés ou les personnes récemment embauchées étant les plus susceptibles d'exprimer de tels sentiments. Une autre conclusion suggère que l'IA en tant que service pourrait ne pas être appropriée pour des agences telles que le Trésor. Les outils tels que Copilot posent notamment des préoccupations en matière de sécurité :
Envoyé par Extrait du rapport
Bien que la sécurité des données et des avis protégés du gouvernement soit de la plus haute importance, les fonctions de base d'un produit d'IA générative devraient idéalement être compatibles avec les exigences en matière de sécurité.
Il est difficile de savoir si les produits sont susceptibles d'évoluer au fil du temps pour répondre aux besoins de sécurité stricts du Trésor, ou si Copilot lui-même continuera d'évoluer pour incorporer des informations externes dans ses résultats sans alimenter l'algorithme avec des données internes du Trésor.
L'année dernière, Copilot s'est retrouvé au cœur d'une controverse sur la gestion des données sensibles en entreprise après des utilisateurs ont découvert qu'ils peuvent accéder sans autorisation aux documents des RH et aux courriels du PDG. L'incident souligne les défis de l'IA en matière de sécurité des données.
L'IA dans le service public : les enseignements tirés de l'essai de Copilot
Le ministère australien Trésor a tiré les enseignements suivants du projet pilote : sélection plus rigoureuse du personnel qui utilise Copilot, nécessité de mieux prendre en compte la formation nécessaire à l'utilisation de l'IA et les risques qu'elle comporte, et opportunité d'un suivi continu pour tester l'impact de l'IA sur le lieu de travail. Ces informations pourraient être utiles dans la mise en œuvre de nouveaux projets à l'avenir.
Le rapport contient également des recommandations pour les futurs déploiements de l'IA générative dans le service public. Il s'agit notamment de fournir des utilisations claires et spécifiques pour gérer les attentes, d'adopter une approche progressive en commençant par un petit groupe d'employés, d'établir des lignes directrices pour garantir la transparence et d'évaluer le niveau approprié d'investissement dans l'éducation et la formation.
Source : ministère australien du Trésor
Et vous ?
Quel est votre avis sur le sujet ? Que pensez-vous des conclusions de l'étude du ministère australien du Trésor sur Microsoft Copilot ? Sont-elles pertinentes ?Voir aussi
Microsoft impose son assistant d'IA Copilot aux utilisateurs de sa suite Microsoft 365 et les oblige à payer l'accès, les utilisateurs sont frustrés et réclament des mesures contre l'entreprise La hausse des prix des abonnements Microsoft 365 provoquée par l'intégration de Copilot est qualifiée de « désastre total » avec des réactions extrêmement négatives Microsoft Copilot au cœur d'une controverse sur la gestion des données sensibles en entreprise : les utilisateurs découvrent qu'ils peuvent accéder sans autorisation aux documents des RH et aux courriels du PDG
Vous avez lu gratuitement 0 articles depuis plus d'un an.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
Soutenez le club developpez.com en souscrivant un abonnement pour que nous puissions continuer à vous proposer des publications.
