Un développeur prouve que la fonctionnalité d'IA Windows Recall n'a pas besoin d'un PC Copilot+ équipé d'un matériel NPU pour fonctionner

Malgré les recommandations systèmes de Microsoft

Lors de son récent événement de lancement, Microsoft a dévoilé Windows Recall, une fonctionnalité qui stocke des instantanés de l’écran de l’utilisateur toutes les quelques secondes et permet à l’utilisateur d’effectuer des recherches dans leur historique à l’aide de requêtes en langage naturel. Cependant, la controverse entourant cette fonctionnalité, qualifiée par certains de « cauchemar pour la vie privée », a menacé de faire de l’ombre au matériel lancé simultanément.

Il y a quelques jours, Microsoft a dévoilé ses nouveaux PC « Copilot+ » dotés d'une intelligence artificielle, dont le lancement est prévu pour cet été. Ces appareils, équipés de fonctions d'IA de nouvelle génération, devront répondre à de nouvelles exigences matérielles pour accéder à toutes les fonctions d'IA, comme l'inclusion d'un NPU d'une puissance d'au moins 45 TOPS, les puces Snapdragon X Series de Qualcomm étant les premières à répondre à cette exigence.

Ces PC Copilot+ offriront une nouvelle fonction d'IA appelée « Recall », qui permet essentiellement aux utilisateurs de rechercher des activités passées dans n'importe quelle application à l'aide de requêtes en langage naturel, ainsi qu'une interface Timeline qui permet aux utilisateurs de faire défiler des instantanés capturés par Windows en fonction de leurs critères de recherche.

La future fonction Recall de Windows 11 peut « se souvenir » des applications et des contenus auxquels un utilisateur a accédé sur son PC il y a plusieurs semaines, voire plusieurs mois, en l'aidant par exemple à retrouver un chat Discord où il discutait de vêtements qu'il envisageait d'acheter. Les utilisateurs peuvent utiliser la chronologie de Recall pour faire « défiler » ce sur quoi ils travaillaient récemment et explorer des fichiers tels que des présentations PowerPoint pour faire remonter des informations potentiellement pertinentes pour leurs recherches.

Microsoft affirme que Recall peut créer des associations entre des couleurs, des images et d'autres éléments pour permettre aux utilisateurs de rechercher pratiquement n'importe quoi sur leur PC en langage naturel (ce qui n'est pas sans rappeler la technologie de la startup Rewind). L'entreprise affirme que toutes les données des utilisateurs associées à Recall restent privées et conservées sur l'appareil - et qu'elles ne sont pas utilisées pour entraîner des modèles d'intelligence artificielle, ce qui est important.


Pas besoin de ce matériel pour fonctionner

Windows Recall est la dernière tentative de Microsoft pour persuader les utilisateurs qu'ils doivent vraiment mettre à niveau leur matériel pour profiter de la magie de l'IA locale. Il stocke un instantané de l'écran de l'utilisateur toutes les quelques secondes et permet à l'utilisateur d'utiliser des requêtes en langage naturel pour remonter dans sa chronologie.

Selon les spécifications système de Microsoft, Windows Recall nécessite 16 Go de RAM et un PC Copilot+ équipé d’un matériel NPU (unité de traitement neuronal). Cependant, un bidouilleur Windows du nom d’Albacore a réussi à faire fonctionner Recall sur un chipset Snapdragon 7c+ Gen3 avec seulement 3,4 Go de RAM et sans NPU en vue. L’ingénieur Windows, célèbre pour ses critiques envers Microsoft, a déclaré : « C’est étonnamment bon même sur un matériel aussi peu performant ».


L'ingénieur a également publié des vidéos sur X montrant la fonctionnalité en marche. Les utilisateurs qui s'inquiètent du risque d'ingurgitation de données seront soulagés d'apprendre que, d'après ce qu'a découvert Albacore, tout le traitement et le stockage s'effectuent sans recours au cloud de Microsoft : « Je suis en mesure d'enregistrer des instantanés, d'en faire l'OCR, d'accéder à la chronologie et d'y effectuer des recherches textuelles et visuelles, le tout hors ligne ».

Making great progress enabling Recall on current Arm64 hardware, no fancy X Elite in sight! ✨
Should theoretically work on Intel/AMD too, OEMs only received Arm64 specific ML model bundles so there's not much I can do yet.

Here's a small demo video showing off screenray 🪄 pic.twitter.com/w57fF1LxiN

— Albacore ☁️ (@thebookisclosed) May 23, 2024

Si l'exécution de Recall sur du matériel ne figurant pas dans la liste des exigences de Microsoft est amusante et sera familière aux utilisateurs qui esquivent les exigences strictes de l'entreprise pour Windows 11, la fonctionnalité elle-même reste controversée. Bien qu'elle soit encore en avant-première, les experts en cybersécurité et les régulateurs ont réagi avec inquiétude à cette fonctionnalité.

Le chercheur en cybersécurité Kevin Beaumont a noté qu'il avait également réussi à faire fonctionner Recall sur un PC non-Copilot+ sans NPU.

Beaumont a écrit sur Mastodon :

« Si vous voulez savoir où en sont les entreprises technologiques en matière de sécurité de l'IA, sachez que Microsoft Recall n'enregistrera pas de captures d'écran de films protégés par DRM... mais enregistrera des captures d'écran de vos dossiers financiers et de vos messages WhatsApp, car les intérêts de l'entreprise ont été privilégiés par rapport à la sécurité de l'utilisateur. Et il est activé par défaut. »


Microsoft fait l'objet d'une enquête sur la nouvelle fonction d'IA

Imaginez en tant qu’utilisateur de Windows 11 que tout ce que vous avez fait au cours des trois derniers mois soit enregistré. C’est le genre de possibilités qu’offre la nouvelle fonctionnalité Microsoft Recall qui enregistre et maintient une chronologie des activités informatiques de l’utilisateur du système d’exploitation et lui permet de localiser instantanément le contenu sur lequel il a travaillé. Microsoft Recall effectue des captures d’écran à une certaine fréquence et les stocke sur l’appareil. C’est la raison pour laquelle les autorités britanniques ont décidé d’y voir plus clair au travers d’une investigation.

« Nous attendons des organisations qu'elles soient transparentes avec les utilisateurs sur la manière dont leurs données sont utilisées et qu'elles ne traitent les données personnelles que dans la mesure où cela est nécessaire pour atteindre un objectif spécifique. L'industrie doit prendre en compte la protection des données dès le départ et évaluer et atténuer rigoureusement les risques pour les droits et libertés des personnes avant de mettre des produits sur le marché.

Nous nous renseignons auprès de Microsoft pour comprendre les garanties mises en place pour protéger la vie privée des utilisateurs », écrit l'ICO (« Information Commissioner's Office ») – l'autorité en charge du respect de la règlementation applicable aux données personnelles au Royaume Uni.


Quels sont les risques potentiels auxquels Microsoft Recall expose les utilisateurs de Windows 11 ?

• Vous utilisez un ordinateur public : disons que vous faites des achats ou des opérations bancaires en ligne sur un ordinateur de la bibliothèque. Vous n'avez pas réalisé que Recall était actif. Cela permettrait à la personne qui utilise l'ordinateur après vous vient d'aller dans les archives de Recall pour récupérer toutes vos coordonnées bancaires, votre adresse et vos mots de passe. C'est comme remettre les clés de votre maison à un cambrioleur avant de lui dire que vous partez en vacances pour la semaine.
• Vous utilisez un ordinateur portable professionnel : Votre patron, votre équipe informatique et toute personne ayant accès à votre appareil pourront voir quel usage vous faites de l’appareil. Ils peuvent s'en servir pour suivre votre rendement au travail et même lire les messages privés que vous envoyez à d'autres personnes.
• Vous utilisez un PC familial : si vous utilisez l'ordinateur familial et que vous n'avez pas de profil protégé par un mot de passe, n'importe qui peut entrer et ouvrir votre historique de rappel. Si vous avez fait quelque chose de peu recommandable, cela va se voir, même si vous avez supprimé l'historique de vos recherches
• Vous êtes victime d'un piratage ou votre ordinateur portable est volé : si quelqu'un vole votre ordinateur portable et que vous ne disposez pas d'un mot de passe fort pour le verrouiller, un cybercriminel peut utiliser Microsoft Recall pour entrer en possession de vos données et informations personnelles.

Pourquoi ces risques sont-ils de l’ordre du plausible ?

Parce que Microsoft souligne dans la Foire Aux Questions relative à cette fonctionnalité que « Recall n'effectue pas de modération de contenu. Il ne cache pas les informations telles que les mots de passe ou les numéros de comptes financiers. Ces données peuvent se trouver dans des instantanés stockés sur votre appareil, en particulier lorsque les sites ne respectent pas les protocoles Internet standard tels que la dissimulation de la saisie du mot de passe. »

En d’autres termes, Microsoft Recall est un outil qui stocke vos mots de passe, vos informations, les détails de votre compte, etc. et qui est visible par tous les utilisateurs de votre profil. Si vous n'avez qu'un seul profil pour votre appareil, cela signifie que toutes les personnes ayant accès à ce PC pourront voir vos données Recall.

Sources : recommandations systèmes de Recall, Albacore, Kevin Beaumont

Et vous ?

Pensez-vous que le stockage d’instantanés d’écran toutes les quelques secondes est une atteinte à la vie privée ?
Comment évaluez-vous le compromis entre la commodité de rechercher dans l’historique et la protection de vos données personnelles ?
Quels sont les risques potentiels liés à la collecte et au stockage local d’informations sensibles ?
Comment Microsoft pourrait-il renforcer la sécurité de cette fonctionnalité pour éviter les abus ?
Devrions-nous laisser les utilisateurs décider s’ils “peuvent” utiliser une fonctionnalité, même si cela va à l’encontre des recommandations du fabricant ?
Pensez-vous que Windows Recall est une innovation utile ou simplement un gadget ?
Quelles autres applications pourriez-vous imaginer pour cette technologie de capture d’instantanés ?