L'IA Copilot Vision de Microsoft peut désormais scanner tout ce qui se trouve sur votre écran et l'ensemble des fenêtres d'applications spécifiques, et vous offrir une aide en temps réel

L'IA Copilot Vision de Microsoft peut désormais scanner tout ce qui se trouve sur votre écran et l'ensemble des fenêtres d'applications spécifiques, et vous offrir une aide en temps réel

Microsoft a déployé une mise à jour majeure de Copilot Vision qui lui permet de visualiser l'ensemble de votre bureau, d'offrir une assistance en temps réel et de répondre aux invites vocales en utilisant le contexte à l'écran. Cet outil d'IA offre une aide en temps réel pendant toute activité sur le bureau. Cette fonctionnalité est actuellement déployée auprès des Windows Insiders via une mise à jour de l'application.

En novembre 2024, Microsoft a annoncé l'arrivée d'une nouvelle fonctionnalité IA "Copilot Vision". La fonction Copilot Vision de Microsoft serait capable de voir exactement ce que vous voyez, de prendre le contrôle de votre navigateur, de répondre à des questions sur son contenu et de faire des suggestions. L'assistant IA aide les utilisateurs à comprendre les pages web et à répondre aux questions qui s'y rapportent. Les sessions sont facultatives et temporaires, et les données ne seraient pas conservées une fois la session terminée.

Récemment, Microsoft a commencé à déployer une nouvelle mise à jour de son application Copilot pour Windows qui permet à l'assistant IA de visualiser et d'analyser tout ce qui se trouve sur votre écran. Cette nouvelle fonctionnalité, qui fait partie d'une mise à niveau de Copilot Vision, signifie que l'outil peut désormais scanner l'intégralité de votre bureau ou des fenêtres d'applications spécifiques et offrir une aide en temps réel, à l'instar d'un copilote numérique très attentif.

Selon le blog officiel Windows de Microsoft, la fonctionnalité Desktop Share permet aux utilisateurs de partager activement leur travail avec Copilot en cliquant sur une icône en forme de lunettes dans le compositeur. Qu'il s'agisse d'aide pour réécrire un CV, de conseils pour éditer un projet créatif ou d'astuces pour jouer à un nouveau jeu, Copilot Vision peut désormais voir ce que vous voyez et vous guider.

"Lorsque vous partagez votre bureau (ou toute fenêtre de navigateur ou d'application spécifique), Copilot peut voir ce que vous voyez et vous en parler en temps réel", explique Microsoft dans son article de blog. "Il peut vous aider à analyser le contenu, vous fournir des informations et répondre à vos questions, en vous guidant à voix haute."

Cette fonctionnalité fonctionne également dans le cadre d'interactions vocales. Si vous parlez à Copilot et que vous souhaitez qu'il « voie » ce sur quoi vous travaillez pour obtenir plus de contexte, il vous suffit d'activer Vision en cliquant sur l'icône en forme de lunettes au milieu de la conversation.


Cette fonctionnalité diffère de la fonctionnalité controversée Recall de Microsoft, qui était conçue pour prendre automatiquement des instantanés réguliers de l'écran d'un utilisateur en arrière-plan. En revanche, l'affichage du bureau de Copilot Vision s'apparente davantage à un partage d'écran lors d'un appel vidéo, où les utilisateurs doivent l'activer activement et peuvent arrêter le partage à tout moment en cliquant sur « Arrêter » ou sur le bouton « X ».

La mise à jour, version 1.25071.125 ou supérieure, est déployée via le Microsoft Store aux utilisateurs du programme Windows Insider. Microsoft indique qu'elle est initialement disponible sur les marchés où Windows Vision est activé, et que tous les utilisateurs ne l'obtiendront pas immédiatement, car le déploiement est progressif. Actuellement, Copilot Vision n'est disponible que pour les utilisateurs américains disposant d'un appareil fonctionnant sous Windows 10 ou Windows 11. Cette fonctionnalité n'est actuellement pas disponible en Inde.

Microsoft teste Copilot Vision depuis l'année dernière, en le limitant à l'origine à l'analyse des pages web dans le navigateur Edge. Avec ce déploiement plus large, la société positionne Copilot comme un assistant IA plus pratique, avec l'ambition de l'intégrer profondément à l'ensemble de l'expérience Windows, y compris le travail sur ordinateur de bureau et la saisie par caméra mobile.

Pour rappel, en 2025, Microsoft se positionne comme l’un des leaders mondiaux de l’intelligence artificielle, aussi bien sur le plan technologique qu’économique. Mais derrière les annonces triomphales de gains de productivité et d’optimisation des processus, une autre réalité émerge : celle de milliers d’emplois supprimés. Alors que la firme vante plus de 500 millions de dollars d’économies annuelles grâce à l’IA, elle procède parallèlement à des vagues de licenciements massives qui alimentent un débat croissant sur les véritables conséquences de l'automatisation à grande échelle.


Voici les informations partagées par Microsoft concernant Copilot Vision :

Qui peut accéder à Copilot Vision ?

Microsoft a étendu Copilot Vision sur Microsoft Edge, iOS, Android et l’application Windows. Les utilisateurs gratuits âgés de 18 ans ou plus qui sont connectés à Copilot avec un compte Microsoft peuvent désormais essayer Copilot Vision sur Edge, iOS, Android et l’application Windows, tandis que les abonnés à Copilot Pro bénéficieront de limites d’utilisation plus élevées. Copilot Vision est actuellement disponible aux États-Unis (à l’exception de l’Illinois et du Texas) et sera bientôt déployé sur d’autres marchés.

Comment accéder à Copilot Vision dans Edge ?

Ouvrez le navigateur Edge sur votre bureau. Vérifiez que vous êtes connecté à votre compte Microsoft personnel. Dans votre fenêtre de navigateur Edge, cliquez sur l’icône Copilot dans le coin supérieur droit pour ouvrir Copilot dans le volet latéral. Ensuite, appuyez sur l’icône de microphone en bas du volet latéral pour commencer une session avec Vision. Le compositeur Copilot affiche une icône de lunettes indiquant que Vision est désormais active. Veuillez noter qu’il n’existe plus de point d’entrée inférieur pour Vision dans votre navigateur Edge.

Comment accéder à Copilot Vision dans une application Android ou iOS ?

Vérifiez que vous êtes connecté à votre compte Microsoft personnel. À partir de votre appareil Android ou iOS, vous pouvez accéder à Copilot Vision via le mode Voice de l’application Copilot. Lorsque vous commencez une conversation vocale avec Copilot, l’icône de lunettes s’affiche pour vous permettre de lancer Copilot Vision.

Comment accéder à Copilot Vision dans Windows ?

Copilot Vision est accessible depuis le compositeur dans l’application Copilot sur Windows. Cliquez sur l’icône des lunettes Vision pour sélectionner une fenêtre d’application ouverte à partager avec Copilot Vision. Après avoir partagé une fenêtre d’application ouverte, vous pouvez interroger Copilot sur le contenu de l’application ou demander « montre-moi comment » pour effectuer une tâche à l’aide de la fonctionnalité de mise en surbrillance.

Copilot Vision est-elle toujours activée ? Est-ce qu’elle regarde toujours ce qui se trouve dans ma fenêtre de navigateur Edge, mon écran de bureau ou mon flux de caméra ?

Microsoft affirme que Non. Copilot Vision n’est pas toujours activée. Vision n’est active que lorsque vous lancez une session Vision. Lorsqu’une session Vision est en cours, le compositeur Copilot affiche une icône de lunettes indiquant que vous êtes dans une session Vision active. La session prend fin si vous y mettez fin dans le compositeur, fermez l’application Copilot, fermez la fenêtre partagée ou restez inactif pendant un certain temps. Pour utiliser à nouveau Vision, cliquez sur l’icône de lunettes dans le compositeur pour lancer une autre session.

Copilot Vision stocke-t-elle ou consigne-t-elle des entrées utilisateur ?

Les réponses du modèle de Copilot sont enregistrées afin de superviser des interactions et résultats dangereux. Les images de l’utilisateur, l’audio vocal et le contexte ne sont pas enregistrés ni stockés. Votre conversation vocale avec Vision est transcrite dans le cadre de votre historique des conversations. Vous pouvez à tout moment supprimer l’historique des conversations.

Copilot Vision capture et stocke-t-elle des images de ce que je visionne ?

Selon Microsoft, Non. Aucune image ni aucun contexte n’est conservé, transcrit ou consigné. Une fois la session terminée, toutes ces données sont supprimées.

Comment sont utilisées les images partagées avec Copilot ?

Que vous utilisiez Copilot Vision ou que vous téléchargiez une image, Copilot vous aide à protéger vos données et votre vie privée. Les images que vous chargez ou capturez avec Vision sont traitées uniquement pour répondre à votre demande. Elles ne sont pas utilisées pour entraîner des modèles d’IA ou personnaliser votre expérience. Les captures d’écran et les images de caméra partagées avec Vision ne sont pas conservées après la fin de votre session.

Si vous partagez une image dans la conversation ou si vous l’utilisez pour générer ou modifier une image, elle est traitée afin de répondre à votre demande et peut être conservée pendant 30 jours maximum, ou jusqu’à ce que vous la supprimiez, selon la première éventualité.

Les transcriptions de texte de vos interactions peuvent être enregistrées afin que vous puissiez les consulter ultérieurement et pour aider à surveiller les abus. Ces transcriptions ne sont pas utilisées à des fins de personnalisation et vous pouvez les supprimer à tout moment.

Microsoft insiste sur le fait que Copilot indique clairement lorsque Vision est actif, et vous gardez toujours le contrôle. Vous pouvez supprimer les images chargées ou l’historique de votre activité via les paramètres de votre compte Microsoft.

Comment Copilot traite-t-il les images montrant des personnes ?

Copilot peut vous demander votre autorisation pour traiter des données biométriques, telles que des visages ou des mains, lorsque vous utilisez des fonctionnalités telles que Copilot Vision ou le chargement d’images. Le consentement au traitement biométrique s’applique chaque fois que vous chargez ou capturez une image ou une vidéo lorsque vous utilisez Copilot. Cela inclut votre utilisation de Copilot Vision, ainsi que des outils de génération et de modification d’images. Vous n’avez besoin de donner votre consentement qu’une seule fois, et celui-ci s’applique à toutes les expériences Copilot qui impliquent la saisie et la capture d’images ou de vidéos.

Les données biométriques ne sont traitées que si vous les chargez ou les capturez, et elles sont utilisées uniquement pour répondre à votre demande. Par exemple, si vous prenez un selfie et demandez à Copilot de vous aider à choisir une nouvelle coiffure ou à apprendre à siffler, il peut analyser les traits de votre visage pour vous aider à formuler une réponse.

Selon Microsoft, vous gardez toujours le contrôle sur ce que vous partagez. Si vous préférez que vos données biométriques ne soient pas traitées, il vous suffit de ne pas utiliser ces fonctionnalités. Ne partagez pas d’images d’autres personnes sans leur consentement.

Lorsqu’on utilise Copilot Vision, Microsoft utilise-t-il les données du site web affiché à des fins d’apprentissage ?

Non. Microsoft ne capturait, stockerait, ni utiliserait aucune de ces données pour entraîner ses modèles. Une fois la session Copilot Vision terminée, toutes les images, tout l’audio et tout le contexte sont supprimés. Les réponses du modèle sont stockées pour permettre la supervision d’interactions dangereuses. Une transcription de votre conversation est conservée dans votre historique pour améliorer la mémoire de Copilot. Elle n’est pas utilisée pour l’apprentissage ou la personnalisation. Vous pouvez à tout moment supprimer l’historique des conversations.

Peut-on refuser cette nouvelle expérience ?

Oui. Si vous souhaitez revenir à l’expérience précédente de Copilot sur Edge sans Copilot Vision, vous pouvez le faire depuis vos paramètres Edge. Accéder à l’onglet Copilot et à la barre latérale, puis désactivez « Autoriser Copilot Vision à voir votre page web »

Copilot Vision pour appareils mobiles est une fonctionnalité optionnelle disponible en mode vocal.

Copilot Vision pour Windows est une fonctionnalité optionnelle accessible depuis l’icône en forme de lunettes dans le compositeur Copilot.

Cette fonctionnalité est-elle désactivée lorsque vous accédez à la page web suivante ou lorsque vous commencez à utiliser une autre application ?

Non. Vision reste activée jusqu’à ce que vous mettiez fin à la session en fermant la fenêtre Edge ou l’application partagée, ou en quittant l’expérience dans le compositeur Copilot. Elle ne voit que la fenêtre que vous avez partagée. Vous pouvez vérifier si Vision est activée en recherchant l’icône de lunettes dans le compositeur.

Copilot Vision fonctionne-t-il avec tous les sites web ou toutes les applications ?

Copilot Vision fonctionne avec la plupart des sites web. Il ne fonctionne pas sur certains sites et est bloqué sur ceux qui contiennent du contenu inapproprié ou réservé aux adultes. Lorsque vous visitez un site qui n’est pas actuellement activé, Copilot Composer affiche un œil barré et le modèle refuse de discuter du contenu.

Oui. Copilot Vision fonctionne avec n’importe quelle application sur Windows. Toutefois, si le contenu inclut des éléments délétères ou protégés par DRM, Copilot ne peut pas l’analyser.

Copilot Vision prendra-t-il le contrôle de mon navigateur ou effectuera-t-il des actions à ma place ?

Copilot Vision n’interagit pas directement sur le web à votre place. Il est uniquement là pour répondre à vos questions et ne peut pas effectuer d’actions. Copilot peut mettre en surbrillance le contenu de la page pour vous aider à trouver les informations pertinentes. Il ne pourra pas cliquer, saisir du texte ou faire défiler la page à votre place.

Qu’est-ce qui empêche Copilot Vision d’être utilisé à des fins délétères, choquantes ou illégales ?

La sécurité et la sûreté numérique sont les principales priorités de Microsoft. Copilot Vision n’est pas accessible sur des sites choquants et dangereux. Elle ne peut pas être utilisée pour des sujets délétères, choquants ou illégaux.

Peut-on utiliser Copilot Vision dans des environnements commerciaux ou d’entreprise ?

Pour l’instant, Vision est proposée uniquement dans l’offre Copilot pour les consommateurs. Vous devez vous connecter avec un compte Microsoft personnel pour utiliser ces fonctionnalités.

Et vous ?

Pensez-vous que cette annonce est crédible ou pertinente ?
Quel est votre avis sur le sujet ?

Voir aussi

Microsoft Copilot peut désormais lire ce qui est affiché sur votre écran pour vous donner des réponses contextuelles. Vous parler à voix haute et résoudre des problèmes complexes

Microsoft met à jour Copilot avec les plus grands succès des autres IA pour en faire l'assistant dont vous avez toujours rêvé, Copilot dispose désormais d'une mémoire et peut réaliser des tâches sur le Web

Un modèle d'IA de recherche a modifié de façon inattendue son propre code pour étendre son temps d'exécution, soulevant des préoccupations quant à l'utilisation d'IA non supervisées