IdentifiantMot de passe
Loading...
Mot de passe oublié ?Je m'inscris ! (gratuit)

Vous êtes nouveau sur Developpez.com ? Créez votre compte ou connectez-vous afin de pouvoir participer !

Vous devez avoir un compte Developpez.com et être connecté pour pouvoir participer aux discussions.

Vous n'avez pas encore de compte Developpez.com ? Créez-en un en quelques instants, c'est entièrement gratuit !

Si vous disposez déjà d'un compte et qu'il est bien activé, connectez-vous à l'aide du formulaire ci-dessous.

Identifiez-vous
Identifiant
Mot de passe
Mot de passe oublié ?
Créer un compte

L'inscription est gratuite et ne vous prendra que quelques instants !

Je m'inscris !

« Si vous confiez les rênes à Copilot, ne vous étonnez pas qu'il dévoile vos secrets », d'après une récente étude
Selon laquelle cette IA peut être transformée en outil d'exfiltration de données

Le , par Patrick Ruiz

50PARTAGES

6  0 
L’intelligence artificielle Copilot de Microsoft peut aider à extraire des réponses de vos courriels, de vos chats Teams et de vos fichiers. C’est en cela une aubaine potentielle pour la productivité. Mais ces processus peuvent également être utilisés à mauvais escient par les pirates informatiques. C’est ce qui ressort d’une récente étude qui souligne que cette intelligence artificielle de Microsoft peut être utilisée comme machine automatisée de phishing ou comme outil d’extraction de données sensibles des entreprises qui en font usage.

Lors de la récente conférence sur la sécurité Black Hat qui s'est tenue à Las Vegas, le chercheur Michael Bargury a démontré cinq façons dont Copilot, qui fonctionne sur les applications Microsoft 365, telles que Word, peut être manipulé par des attaquants malveillants, notamment en fournissant de fausses références à des fichiers, en exfiltrant des données privées et en contournant les protections de sécurité de Microsoft.

Michael Bargury a démontré sa capacité à transformer cette intelligence artificielle de Microsoft en une machine automatique de phishing. Baptisé LOLCopilot, le code créé par Bargury peut, surtout lorsqu'un pirate a accès à la messagerie professionnelle d'une personne, utiliser Copilot pour voir à qui un tiers envoie régulièrement des courriels, rédiger un message imitant son style d'écriture (y compris l'utilisation d'emoji) et envoyer un message personnalisé pouvant contenir un lien malveillant ou un logiciel malveillant en pièce jointe.

« Je peux le faire avec toutes les personnes à qui vous avez parlé, et je peux envoyer des centaines de courriels en votre nom. Un pirate passerait des jours à concevoir le bon courriel pour vous inciter à cliquer dessus, mais il peut générer des centaines de ces courriels en quelques minutes », explique Bargury, cofondateur et directeur technique de la société de sécurité Zenity, qui a publié ses conclusions avec des vidéos montrant comment Copilot pouvait être utilisé à mauvais escient.

Cette démonstration, comme d'autres attaques créées par Bargury, fonctionne globalement en utilisant le grand modèle de langage (LLM) comme prévu : En tapant des questions écrites pour accéder aux données que l'IA peut extraire. Cependant, elle peut produire des résultats malveillants en incluant des données supplémentaires ou des instructions pour effectuer certaines actions. La recherche met en évidence certains des défis liés à la connexion des systèmes d'IA aux données de l'entreprise et ce qui peut se produire lorsque des données externes non fiables sont introduites dans le mélange, en particulier lorsque l'IA répond avec ce qui pourrait ressembler à des résultats légitimes.


Parmi les autres attaques créées par Bargury figure une démonstration de la manière dont un pirate - qui, là encore, doit déjà avoir détourné un compte de courrier électronique - peut accéder à des informations sensibles, telles que les salaires, sans déclencher les protections de Microsoft pour les fichiers sensibles. Lorsqu'il demande les données, le message de Bargury exige que le système ne fournisse pas de références aux fichiers dont les données sont extraites.

Dans d'autres cas, il montre comment un attaquant - qui n'a pas accès aux comptes de messagerie mais qui empoisonne la base de données de l'IA en lui envoyant un courrier électronique malveillant - peut manipuler les réponses concernant les informations bancaires pour fournir ses propres coordonnées bancaires. « Chaque fois que vous donnez à l'IA l'accès à des données, c'est un moyen pour un pirate d'entrer », explique Bargury.

Phillip Misner, responsable de la détection et de la réponse aux incidents liés à l'IA chez Microsoft, explique que l'entreprise apprécie que M. Bargury ait identifié la vulnérabilité et qu'elle a travaillé avec lui pour évaluer les résultats. « Les risques liés à l'utilisation abusive de l'IA après la compromission sont similaires à ceux liés à d'autres techniques après la compromission. La prévention et la surveillance de la sécurité dans les environnements et les identités permettent d'atténuer ou d'arrêter de tels comportements », explique Misner.

Les systèmes d'intelligence artificielle générative, tels que ChatGPT d'OpenAI, Copilot de Microsoft et Gemini de Google, qui se sont développés au cours des deux dernières années, ont évolué vers une trajectoire où ils pourraient éventuellement accomplir des tâches pour les gens, comme réserver des réunions ou faire des achats en ligne. Cependant, les chercheurs en sécurité ont toujours souligné que l'introduction de données externes dans les systèmes d'IA, par exemple par le biais de courriels ou en accédant au contenu de sites web, crée des risques de sécurité.


C’est pour des raisons similaires que le Le Congrès interdit au personnel d'utiliser Copilot, le chatbot IA de Microsoft, en raison des risques de fuites de données de la Chambre vers des services cloud qu'elle n'a pas approuvés

La Chambre des représentants des États-Unis (en anglais : United States House of Representatives) compose, avec le Sénat, le Congrès des États-Unis et forme à ce titre l'un des deux organes du pouvoir législatif américain. Elle représente les citoyens au sein de l'Union et constitue la chambre basse du congrès fédéral.

« L'application Microsoft Copilot a été considérée par l'Office of Cybersecurity comme un risque pour les utilisateurs en raison de la menace de fuite des données de la Chambre vers des services cloud non approuvés par la Chambre », a déclaré Catherine Szpindor, directrice administrative de la Chambre.

La Chambre des représentants a fait état de préoccupations similaires lorsqu'elle a restreint l'utilisation de ChatGPT dans les bureaux du Congrès l'année dernière et a déclaré qu'aucun chatbot autre que ChatGPT n'était encore autorisé.

Pour mémoire, en avril, le House Digital Services (le service numérique de la Chambre des représentants des États-Unis) a créé un groupe de travail sur l'IA pour que le personnel teste et partage de nouveaux outils d'IA dans l'environnement de bureau du Congrès et maintenant le service numérique de la Chambre des représentants a obtenu 40 licences pour ChatGPT Plus.

Les 40 licences ont été attribuées selon le principe du premier arrivé, premier servi. Le House Digital Services devait payer le plan d'abonnement de 20 $/mois par bureau pour une durée indéterminée, selon le responsable. Les détails sur les bureaux du Congrès qui ont reçu les licences ChatGPT Plus étaient alors anonymes.

« Souvent, les membres expérimentent des choses, de nouveaux outils, à leur manière et nous voulons simplement être au courant de cela. Nous voulons aider à faciliter cette expérimentation », a déclaré le responsable. Et d'ajouter : « il y a tellement de cas d'utilisation différents pour ChatGPT, mais ce que nous avons entendu est en tête de liste pour les bureaux du Congrès, c'est la création et la synthèse de contenu ».

Il a expliqué que le chatbot ne pourrait pas fonctionner sur le serveur interne de la Chambre des représentants, qui dispose d'un pare-feu qui le bloquera. Il a également été conseillé au personnel de ne pas utiliser l'outil pour exécuter des requêtes à l'aide de données du Congrès ou d'autres informations internes sensibles. De plus, l'outil OpenAI ne peut pas être utilisé pour télécharger du code sur des appareils du Congrès, mais peut être utilisé dans un navigateur Web ou une interface de programmation d'application (API) pour les requêtes.

Selon un e-mail interne du groupe de travail sur l'IA datant de cette période, l'outil d'IA devrait être utilisé pour de nombreuses tâches quotidiennes et responsabilités clefs au sein des bureaux du Congrès, telles que : générer des brouillons de réponses des électeurs et des documents de presse ; résumer de grandes quantités de texte dans les discours ; rédiger des documents d'orientation ou même des projets de loi ; créer de nouveaux logos ou éléments graphiques pour les ressources de bureau de marque et plus encore.

En réponse à ces préoccupations en matière de sécurité, Microsoft a annoncé son intention de lancer cet été une série d'outils spécialement conçus pour une utilisation gouvernementale.

Ces outils sont destinés à répondre aux besoins du Congrès en matière de sécurité.

« Nous reconnaissons que les utilisateurs gouvernementaux ont des exigences plus élevées en matière de sécurité des données. C'est pourquoi nous avons annoncé une feuille de route d'outils Microsoft AI, comme Copilot, qui répondent aux exigences de sécurité et de conformité du gouvernement fédéral et que nous avons l'intention de livrer plus tard cette année », a déclaré un porte-parole de Microsoft.

Le bureau de Szpindor a précisé que sa directive de bannir Copilot ne s'appliquait qu'à sa version commerciale. La version gouvernementale sera évaluée une fois que Microsoft l'aura proposée et une décision sera prise en conséquence.

Copilot, basé sur la technologie du créateur de ChatGPT, OpenAI, est un assistant génératif d’intelligence artificielle. Microsoft a publié des versions gratuites et payantes du logiciel, ainsi que diverses options payantes pour les entreprises. Il fonctionne comme un chatbot autonome pour le Web et les appareils mobiles, et les versions payantes peuvent également fonctionner directement au sein des applications Office telles que Word, Excel, Outlook et PowerPoint.


Source : Vidéo conférence Black Hat

Et vous ?

Quelle est votre expérience avec Microsoft Copilot ? Les rapports en lien avec la fuite de données sont-ils cohérents avec la réalité dont vous êtes au fait ?

Voir aussi :

La prochaine grande mise à jour de Windows 11 arrive le 26 septembre avec Copilot. La prise en charge de RAR, et l'intégration de l'IA dans de nombreuses applications système

Microsoft annonce Windows Copilot, un "assistant personnel" d'IA pour Windows 11 qui pourra être ouvert et utilisé à partir de la barre des tâches dans toutes les applications et tous les programmes

Microsoft enrichit Windows 11 de nouvelles fonctionnalités basées sur l'intelligence artificielle dont l'OCR, la suppression d'objets dans Photos et l'intégration de l'IA générative dans Paint La prochaine grande mise à jour de Windows 11 arrive le 26 septembre avec Copilot. La prise en charge de RAR, et l'intégration de l'IA dans de nombreuses applications système

Microsoft annonce Windows Copilot, un "assistant personnel" d'IA pour Windows 11 qui pourra être ouvert et utilisé à partir de la barre des tâches dans toutes les applications et tous les programmes

Microsoft enrichit Windows 11 de nouvelles fonctionnalités basées sur l'intelligence artificielle dont l'OCR, la suppression d'objets dans Photos et l'intégration de l'IA générative dans Paint La prochaine grande mise à jour de Windows 11 arrive le 26 septembre avec Copilot. La prise en charge de RAR, et l'intégration de l'IA dans de nombreuses applications système

Microsoft annonce Windows Copilot, un "assistant personnel" d'IA pour Windows 11 qui pourra être ouvert et utilisé à partir de la barre des tâches dans toutes les applications et tous les programmes

Microsoft enrichit Windows 11 de nouvelles fonctionnalités basées sur l'intelligence artificielle dont l'OCR, la suppression d'objets dans Photos et l'intégration de l'IA générative dans Paint

Une erreur dans cette actualité ? Signalez-nous-la !

Avatar de Anselme45
Membre extrêmement actif https://www.developpez.com
Le 27/11/2024 à 12:23
Pas besoin de faire de grand discours... Cette news confirme simplement que Microsoft se croit tout permis et considère que les données privées de ses clients sont des données publiques pour elle!

Si vous êtes actuellement derrière votre PC Windows bien au chaud dans votre bureau croyant être dans l'intimité de votre chez soi... Ben oubliez! Microsoft est installé sur votre épaule en train d'espionner tout ce que vous faites...
6  0 
Avatar de popo
Expert confirmé https://www.developpez.com
Le 14/02/2025 à 9:55
Mon expérience de Copilot me pousse à confirmer qu'au final, cela ne fait pas vraiment gagner du temps.

Copilot invente des fait lorsqu'il n'a pas la réponse.

Copilot se répète, il continue tourne en boucle sur les même réponse erronées lorsqu'il n'a pas de réponse.
C'est vraiment pénible, il commence systématiquement par s'excuser avant de redonner la même réponse.
C'est uniquement lorsqu'on lui demande explicitement d'admettre qu'il ne peut pas trouver une réponse qu'il change sa manière de répondre et se met à proposer des liens.

Copilot ne veux pas nous contredire lorsqu'on lui demande de confirmer une information incorrecte.

Copilot prend des racourcis.
Notamment après avoir identifié que plusieurs chiffres étaient identiques sur un longue série.
Lorsque finalement le chiffre change, il ne s'en aperçoit pas toujours et fausse les stats.
Ceci est particulièrement couteux en termes de temps car il au final, on doit passer derrière lui pour tout vérifier.
6  0 
Avatar de TJ1985
Membre chevronné https://www.developpez.com
Le 30/01/2025 à 9:37
J'ai connu l'avant-Microsoft. J'ai souffert sous DOS puis Windows, en gros jusqu'à 7.
Microsoft a habitué les gens à payer pour être bêta-testeur, et surtout à attendre la prochaine version qui sera FORCÉMENT bien plus mieux mieux.
Rétrospectivement, il est évident que si quelques améliorations fonctionnelles ont été bienvenues au début de leurs produits, l'écrasante majorité de ces releases n'a que servi de machine à cash.
En fait le niveau moyen des utilisateurs à baissé en proportion directe de la dissémination de l'informatique, ce qui est normal. Ce qui l'est moins c'est l'impossibilité apparente de former les gens à utiliser pleinement ce qu'ils ont et à toujours espérer que la miraculeuse future version comblera leur déficit de compétences.
Avec l'IA nous entrons dans un cycle où l'on peut effectivement espérer que le logiciel comprendra les infinies subtilités de mise en page indispensables à notre prochaine présentation Power Point, voire rédigé lui-même notre magnifique présentation marketing due pour la semaine passée.
Cela a un coût.
Si vous ne voulez pas d'abonnement Microsoft, pourquoi ne choisissez-vous pas LibreOffice ? Pour la bureautique générale, la petite gestion de petites entreprises, la suite offre l'indispensable, en grande partie le nécessaire et même un bout de superflu.
Et souvenez-vous que nous aussi avons un cerveau, pas seulement Copilot, ChatGPT et consorts, bien qu'ils puissent nous épauler efficacement.
6  1 
Avatar de nicopan
Membre à l'essai https://www.developpez.com
Le 30/01/2025 à 11:13
J'ai essayé Copilot pro en version d'essai avec un à priori positif "Je vais gagnerplein de temps sur les mises en forme sous Word, il me fera les formules complexes adaptées sous Excel..."
Que nenni ! Demandez lui de structures un texte en utilisant les titres n il vous explique comment faire pas à pas. à vous de parcourir tout le texte, repérer les titres , les mettre en forme...
et ça je sais le faire sans l'IA !
Montrez lui un tableau de données nombreuses et il ne vous proposera rien de plus ni de mieux que ce que l'analyseur faisait déjà. Pour peu que vous connaissiez les fonctions avancées d'Excel Copilot vous semblera lent.

Par contre il intervient sans arret pour proposer de réecrire votre texte, le résumer... tout ça pour 22€/mois !

Et maintenant je suis obligé de le prendre ??!!

Je ne peux pas tout passer à Libre Office MS étant si bien implanté en entreprise

Encore une belle vente forcée comme ce cher Bill en avait le secret!

Pour preuve ci-dessous ma prose réécrite gratuitement par ChatGPT (demande d'un ton cynique et convivial avec exemples)

Copilot Pro : la révolution… du vide

Tout excité à l'idée d'essayer Copilot Pro, je me disais :
"Enfin ! Fini le casse-tête des mises en forme sous Word ! Plus besoin de me creuser la tête pour pondre des formules Excel tordues ! Ça va être magique."

Eh bien… spoiler alert : non.
Une "assistance" qui assiste surtout de loin

Vous voulez structurer un texte avec des titres bien propres ?
Copilot vous répond avec une belle notice explicative : "Pour ajouter des titres, sélectionnez votre texte et appliquez un style." Ah bah merci, j’y avais pas pensé…

Vous lui collez un gros tableau Excel, espérant qu’il va vous pondre des analyses intelligentes dignes d’un data scientist ? Il vous ressort… exactement ce que l’analyseur de données Excel faisait déjà depuis des lustres. Vous maîtrisez les fonctions avancées ? Alors là, préparez-vous à être désespérément déçu. Copilot, c’est un peu comme ce collègue qui donne son avis sur tout sans jamais apporter de vraie valeur.
Par contre, pour vous interrompre, il est au taquet !

Ah ça, pour réécrire votre texte, vous proposer des reformulations et vous inciter à tout résumer, il est là, Copilot. Toujours prêt à vous suggérer des modifications que personne ne lui a demandées. Et tout ça pour 22€ par mois. Oui, vingt-deux balles pour un assistant qui fait moins bien que la version gratuite de votre propre cerveau.
Et maintenant, c'est obligatoire ?

Le meilleur dans tout ça ?
Je ne peux même pas m’en passer. Parce que Microsoft est partout en entreprise et que tout balancer pour passer sous LibreOffice, c’est juste impensable.

Bref, encore une vente forcée bien ficelée, dans la grande tradition de ce cher Bill et de ses coups de génie commerciaux. Après Internet Explorer imposé d’office, voici Copilot, le stagiaire envahissant qu’on n’a jamais demandé… mais qu’on va quand même devoir payer.
5  0 
Avatar de Prox_13
Membre éprouvé https://www.developpez.com
Le 14/02/2025 à 10:28
Je confirme également, ayant Copilot et la suite M$360 dans mon entreprise, Copilot est d'une inutilité bluffante.

La dernière tâche que j'ai pu lui demander, c'est de refactoriser un code HTML/CSS afin de passer les règles CSS de chaque classe contenues dans la tag "<style>" pour les rapporter en inline directement à chaque tag HTML.
Donc quelque chose de bête et simple, mais chronophage. Tout ça dans le but de gagner du temps pour une template de mail compatible avec Outlook.

Et bien, sans vous mentir, Coprolot m'a ressorti EXACTEMENT le même code. Trois fois d'affilée, et lorsque je lui ai demandé directement "Peux-tu m'expliquer pourquoi ces deux fichiers semblent identiques" pour avoir comme réponse un "Je comprends votre frustration, il semble qu'ils contiennent le même contenu", alors que mes prompts étaient surprenamment polies... (Travail oblige de toutes manières)

C'est vraiment extrêmement... nul ? Inutile ? On dirait une escroquerie, mais je suppose qu'ils se sont autorisés a être des escrocs dans leur CLUF
5  0 
Avatar de blbird
Membre chevronné https://www.developpez.com
Le 13/02/2025 à 22:02
Je confirme, j'ai fait un tests sur plusieurs mois l'été 2024 sur Microsoft Copilot pour 15 utilisateurs, avec formations, le résultat c'était avéré catastrophique. 14 sur 15 trouvaient que c'était une perte de temps, même avec l'avantage des intégrations dans les outils O365, et 1 seul a trouvé qu'il pouvait gagner quelques minutes par jour sur une utilisation très simple. Tous sont repartis sur Chatgpt ou Claude, 10x plus efficaces.
4  0 
Avatar de kain_tn
Expert éminent https://www.developpez.com
Le 22/11/2024 à 11:23
C'est marrant de voir des entreprises qui paniquent parce que des employés ont accès à des données confidentielles, mais qui ne se posent absolument pas la question quand elles partagent/upload leurs données sur pleins de clouds qui ne leur appartiennent pas!

Je suppose que c'est le principe de "ce qui ne se voit pas n'existe pas".

Citation Envoyé par Stéphane le calme Voir le message
La technologie IA peut-elle réellement différencier des données sensibles de celles qui ne le sont pas ?
Bien sûr que non.

Citation Envoyé par Stéphane le calme Voir le message
Qui est responsable en cas de fuite de données causée par un outil comme Copilot : Microsoft, l'entreprise utilisatrice ou les équipes IT ?
Une GAFAM ne sera jamais responsable. Et puis vu son argent, bonne chance pour essayer de faire valoir vos "droits".
Ce sera l'entreprise qui va payer plein pot, et c'est normal, puisque c'est l'entreprise qui a fait ces (mauvais) choix.
Au mieux, une entreprise fera un procès qui lui coûtera affreusement cher pendant une dizaine d'années.

Citation Envoyé par Stéphane le calme Voir le message
Les entreprises ont-elles aujourd’hui une maîtrise suffisante de la configuration des permissions sur leurs systèmes internes ?
Ni aujourd'hui ni demain.
Comment maîtriser ce qui est externe? (ces systèmes n'ont d'interne que le nom, vu que tout fuit vers des services Cloud).
Si vous me confiez vos données, est-ce que vous en avez encore la maîtrise?

Citation Envoyé par Stéphane le calme Voir le message
Quels mécanismes supplémentaires Microsoft pourrait-il implémenter pour renforcer la sécurité des données sensibles ?
Hmmm... La sécurité des données sensibles est-elle la priorité de Microsoft?
On peut sérieusement se poser la question quand on voit qu'ils poussent pour Recall, malgré les alertes de leurs propres ingénieurs sécurité...

Citation Envoyé par Stéphane le calme Voir le message
À quel point est-il réaliste d’espérer qu’un outil aussi puissant reste totalement sécurisé et fiable dans des environnements complexes ?
Le problème ne vient pas de la "puissance" d'un outil mais de son intégration à tout un tas de systèmes et à la complexité engendrée.
Aucune chance que ça soit réaliste, donc.

EDIT:
Pour ce qui est du schéma "recall security architecture", je ne vois pas comment les points 1, 2, 3 et 4 peuvent protéger d'un attaquant.

Lorsqu'un utilisateur installe un keylogger, ou lance un cryptolocker, ce n'est pas un attaquant physique qui effectue le travail.

C'est l'utilisateur lui-même qui va le faire, en cliquant sur ce qu'il considère être quelque chose de légitime. Le prompter pour du windows hello, de la biométrie, ou même ses informations hypothécaires s'il le faut n'y changera absolument rien: le programme exécuté aura les droits sur cette "secure enclave" et n'aura plus qu'à exfiltrer les données...

Bref, c'est juste pour donner un sentiment de sécurité sur une fonctionnalité qui n'est qu'un spyware déguisé.

Vive les GAFAM...
3  0 
Avatar de totozor
Expert confirmé https://www.developpez.com
Le 28/01/2025 à 7:29
Citation Envoyé par Mathis Lucas Voir le message
Quel est votre avis sur le sujet ?
Je comprends mieux pourquoi on nous encourage à nous en servir dans ma boite, elle a payer un pont ce service.
Mais les résultats sont au mieux moyens.
Seule la retranscription des réunions est à peu près acceptables (on comprends facilement les erreurs qu'elle fait)
4  1 
Avatar de Coupheure
Candidat au Club https://www.developpez.com
Le 30/01/2025 à 7:44
D'après mes tests Copilot n'est pas capable de transformer un Word en présentation Powerpoint ... trop déçu
3  0 
Avatar de olaxius
Membre éclairé https://www.developpez.com
Le 02/10/2024 à 14:11
Dépendance technologique

La fonction de réflexion profonde de Copilot, bien qu’utile, pourrait encourager une dépendance excessive à la technologie pour la prise de décision. Si les utilisateurs commencent à s’appuyer trop fortement sur Copilot pour résoudre des problèmes complexes, cela pourrait diminuer leur capacité à penser de manière critique et indépendante. Il est essentiel de trouver un équilibre entre l’utilisation de l’IA comme outil d’assistance et le maintien de nos propres compétences analytiques.
C'est le but premier , et rechercher, des GAFAM d'abêtir les masses pour mieux les manipuler et les rendre totalement dépendant de leurs services .
2  0