L’intelligence artificielle Copilot de Microsoft peut aider à extraire des réponses de vos courriels, de vos chats Teams et de vos fichiers. C’est en cela une aubaine potentielle pour la productivité. Mais ces processus peuvent également être utilisés à mauvais escient par les pirates informatiques. C’est ce qui ressort d’une récente étude qui souligne que cette intelligence artificielle de Microsoft peut être utilisée comme machine automatisée de phishing ou comme outil d’extraction de données sensibles des entreprises qui en font usage.Lors de la récente conférence sur la sécurité Black Hat qui s'est tenue à Las Vegas, le chercheur Michael Bargury a démontré cinq façons dont Copilot, qui fonctionne sur les applications Microsoft 365, telles que Word, peut être manipulé par des attaquants malveillants, notamment en fournissant de fausses références à des fichiers, en exfiltrant des données privées et en contournant les protections de sécurité de Microsoft.
Michael Bargury a démontré sa capacité à transformer cette intelligence artificielle de Microsoft en une machine automatique de phishing. Baptisé LOLCopilot, le code créé par Bargury peut, surtout lorsqu'un pirate a accès à la messagerie professionnelle d'une personne, utiliser Copilot pour voir à qui un tiers envoie régulièrement des courriels, rédiger un message imitant son style d'écriture (y compris l'utilisation d'emoji) et envoyer un message personnalisé pouvant contenir un lien malveillant ou un logiciel malveillant en pièce jointe.
« Je peux le faire avec toutes les personnes à qui vous avez parlé, et je peux envoyer des centaines de courriels en votre nom. Un pirate passerait des jours à concevoir le bon courriel pour vous inciter à cliquer dessus, mais il peut générer des centaines de ces courriels en quelques minutes », explique Bargury, cofondateur et directeur technique de la société de sécurité Zenity, qui a publié ses conclusions avec des vidéos montrant comment Copilot pouvait être utilisé à mauvais escient.
Cette démonstration, comme d'autres attaques créées par Bargury, fonctionne globalement en utilisant le grand modèle de langage (LLM) comme prévu : En tapant des questions écrites pour accéder aux données que l'IA peut extraire. Cependant, elle peut produire des résultats malveillants en incluant des données supplémentaires ou des instructions pour effectuer certaines actions. La recherche met en évidence certains des défis liés à la connexion des systèmes d'IA aux données de l'entreprise et ce qui peut se produire lorsque des données externes non fiables sont introduites dans le mélange, en particulier lorsque l'IA répond avec ce qui pourrait ressembler à des résultats légitimes.
Parmi les autres attaques créées par Bargury figure une démonstration de la manière dont un pirate - qui, là encore, doit déjà avoir détourné un compte de courrier électronique - peut accéder à des informations sensibles, telles que les salaires, sans déclencher les protections de Microsoft pour les fichiers sensibles. Lorsqu'il demande les données, le message de Bargury exige que le système ne fournisse pas de références aux fichiers dont les données sont extraites.
Dans d'autres cas, il montre comment un attaquant - qui n'a pas accès aux comptes de messagerie mais qui empoisonne la base de données de l'IA en lui envoyant un courrier électronique malveillant - peut manipuler les réponses concernant les informations bancaires pour fournir ses propres coordonnées bancaires. « Chaque fois que vous donnez à l'IA l'accès à des données, c'est un moyen pour un pirate d'entrer », explique Bargury.
Phillip Misner, responsable de la détection et de la réponse aux incidents liés à l'IA chez Microsoft, explique que l'entreprise apprécie que M. Bargury ait identifié la vulnérabilité et qu'elle a travaillé avec lui pour évaluer les résultats. « Les risques liés à l'utilisation abusive de l'IA après la compromission sont similaires à ceux liés à d'autres techniques après la compromission. La prévention et la surveillance de la sécurité dans les environnements et les identités permettent d'atténuer ou d'arrêter de tels comportements », explique Misner.
Les systèmes d'intelligence artificielle générative, tels que ChatGPT d'OpenAI, Copilot de Microsoft et Gemini de Google, qui se sont développés au cours des deux dernières années, ont évolué vers une trajectoire où ils pourraient éventuellement accomplir des tâches pour les gens, comme réserver des réunions ou faire des achats en ligne. Cependant, les chercheurs en sécurité ont toujours souligné que l'introduction de données externes dans les systèmes d'IA, par exemple par le biais de courriels ou en accédant au contenu de sites web, crée des risques de sécurité.
C’est pour des raisons similaires que le Le Congrès interdit au personnel d'utiliser Copilot, le chatbot IA de Microsoft, en raison des risques de fuites de données de la Chambre vers des services cloud qu'elle n'a pas approuvés
La Chambre des représentants des États-Unis (en anglais : United States House of Representatives) compose, avec le Sénat, le Congrès des États-Unis et forme à ce titre l'un des deux organes du pouvoir législatif américain. Elle représente les citoyens au sein de l'Union et constitue la chambre basse du congrès fédéral.
« L'application Microsoft Copilot a été considérée par l'Office of Cybersecurity comme un risque pour les utilisateurs en raison de la menace de fuite des données de la Chambre vers des services cloud non approuvés par la Chambre », a déclaré Catherine Szpindor, directrice administrative de la Chambre.
La Chambre des représentants a fait état de préoccupations similaires lorsqu'elle a restreint l'utilisation de ChatGPT dans les bureaux du Congrès l'année dernière et a déclaré qu'aucun chatbot autre que ChatGPT n'était encore autorisé.
Pour mémoire, en avril, le House Digital Services (le service numérique de la Chambre des représentants des États-Unis) a créé un groupe de travail sur l'IA pour que le personnel teste et partage de nouveaux outils d'IA dans l'environnement de bureau du Congrès et maintenant le service numérique de la Chambre des représentants a obtenu 40 licences pour ChatGPT Plus.
Les 40 licences ont été attribuées selon le principe du premier arrivé, premier servi. Le House Digital Services devait payer le plan d'abonnement de 20 $/mois par bureau pour une durée indéterminée, selon le responsable. Les détails sur les bureaux du Congrès qui ont reçu les licences ChatGPT Plus étaient alors anonymes.
« Souvent, les membres expérimentent des choses, de nouveaux outils, à leur manière et nous voulons simplement être au courant de cela. Nous voulons aider à faciliter cette expérimentation », a déclaré le responsable. Et d'ajouter : « il y a tellement de cas d'utilisation différents pour ChatGPT, mais ce que nous avons entendu est en tête de liste pour les bureaux du Congrès, c'est la création et la synthèse de contenu ».
Il a expliqué que le chatbot ne pourrait pas fonctionner sur le serveur interne de la Chambre des représentants, qui dispose d'un pare-feu qui le bloquera. Il a également été conseillé au personnel de ne pas utiliser l'outil pour exécuter des requêtes à l'aide de données du Congrès ou d'autres informations internes sensibles. De plus, l'outil OpenAI ne peut pas être utilisé pour télécharger du code sur des appareils du Congrès, mais peut être utilisé dans un navigateur Web ou une interface de programmation d'application (API) pour les requêtes.
Selon un e-mail interne du groupe de travail sur l'IA datant de cette période, l'outil d'IA devrait être utilisé pour de nombreuses tâches quotidiennes et responsabilités clefs au sein des bureaux du Congrès, telles que : générer des brouillons de réponses des électeurs et des documents de presse ; résumer de grandes quantités de texte dans les discours ; rédiger des documents d'orientation ou même des projets de loi ; créer de nouveaux logos ou éléments graphiques pour les ressources de bureau de marque et plus encore.
En réponse à ces préoccupations en matière de sécurité, Microsoft a annoncé son intention de lancer cet été une série d'outils spécialement conçus pour une utilisation gouvernementale.
Ces outils sont destinés à répondre aux besoins du Congrès en matière de sécurité.
« Nous reconnaissons que les utilisateurs gouvernementaux ont des exigences plus élevées en matière de sécurité des données. C'est pourquoi nous avons annoncé une feuille de route d'outils Microsoft AI, comme Copilot, qui répondent aux exigences de sécurité et de conformité du gouvernement fédéral et que nous avons l'intention de livrer plus tard cette année », a déclaré un porte-parole de Microsoft.
Le bureau de Szpindor a précisé que sa directive de bannir Copilot ne s'appliquait qu'à sa version commerciale. La version gouvernementale sera évaluée une fois que Microsoft l'aura proposée et une décision sera prise en conséquence.
Copilot, basé sur la technologie du créateur de ChatGPT, OpenAI, est un assistant génératif d’intelligence artificielle. Microsoft a publié des versions gratuites et payantes du logiciel, ainsi que diverses options payantes pour les entreprises. Il fonctionne comme un chatbot autonome pour le Web et les appareils mobiles, et les versions payantes peuvent également fonctionner directement au sein des applications Office telles que Word, Excel, Outlook et PowerPoint.
Source : Vidéo conférence Black Hat
Et vous ?
Quelle est votre expérience avec Microsoft Copilot ? Les rapports en lien avec la fuite de données sont-ils cohérents avec la réalité dont vous êtes au fait ?Voir aussi :
La prochaine grande mise à jour de Windows 11 arrive le 26 septembre avec Copilot. La prise en charge de RAR, et l'intégration de l'IA dans de nombreuses applications système Microsoft annonce Windows Copilot, un "assistant personnel" d'IA pour Windows 11 qui pourra être ouvert et utilisé à partir de la barre des tâches dans toutes les applications et tous les programmes Microsoft enrichit Windows 11 de nouvelles fonctionnalités basées sur l'intelligence artificielle dont l'OCR, la suppression d'objets dans Photos et l'intégration de l'IA générative dans Paint La prochaine grande mise à jour de Windows 11 arrive le 26 septembre avec Copilot. La prise en charge de RAR, et l'intégration de l'IA dans de nombreuses applications système Microsoft annonce Windows Copilot, un "assistant personnel" d'IA pour Windows 11 qui pourra être ouvert et utilisé à partir de la barre des tâches dans toutes les applications et tous les programmes Microsoft enrichit Windows 11 de nouvelles fonctionnalités basées sur l'intelligence artificielle dont l'OCR, la suppression d'objets dans Photos et l'intégration de l'IA générative dans Paint La prochaine grande mise à jour de Windows 11 arrive le 26 septembre avec Copilot. La prise en charge de RAR, et l'intégration de l'IA dans de nombreuses applications système Microsoft annonce Windows Copilot, un "assistant personnel" d'IA pour Windows 11 qui pourra être ouvert et utilisé à partir de la barre des tâches dans toutes les applications et tous les programmes Microsoft enrichit Windows 11 de nouvelles fonctionnalités basées sur l'intelligence artificielle dont l'OCR, la suppression d'objets dans Photos et l'intégration de l'IA générative dans Paint 
