MAI-1 : Microsoft prépare un nouveau modèle d'IA pour concurrencer Google et OpenAI.Supervisée par Mustafa Suleyman, co-fondateur de Google DeepMind, l'équipe décrit MAI-1 comme étant « bien plus grand » que les précédents modèles open source de Microsoft
Microsoft a annoncé le développement d’un nouveau modèle d’IA, nommé MAI-1, qui promet de rivaliser avec les géants du secteur tels que Google et OpenAI. Ce nouveau modèle, supervisé par Mustafa Suleyman, co-fondateur de Google DeepMind et ancien PDG de la startup Inflection, représente une avancée significative pour Microsoft dans la course à l’IA. MAI-1 est décrit comme étant « bien plus grand » que les précédents modèles open source développés par Microsoft, selon un rapport, ce qui implique une puissance de calcul et des coûts accrus.
Avec environ 500 milliards de paramètres, MAI-1 sera nettement plus grand que les modèles open source précédents de Microsoft (tels que Phi-3), ce qui nécessitera plus de puissance de calcul et de données d'entraînement. Cela place MAI-1 dans une ligue similaire à GPT-4 d'OpenAI, qui aurait plus de 1 000 milliards de paramètres (dans une configuration de mélange d'experts) et bien au-dessus de modèles plus petits comme Meta et les modèles de 70 milliards de paramètres de Mistral.
Pour mémoire, le mois dernier, Microsoft a présenté Phi-3-mini, un modèle de langage de 3,8 milliards de paramètres entraîné sur 3,3 trillions de tokens, dont les performances globales, mesurées à la fois par des benchmarks académiques et des tests internes, rivalisent avec celles de modèles tels que Mixtral 8x7B et GPT-3.5 (par exemple, Phi-3-mini atteint 69 % sur MMLU et 8,38 sur MT-bench), bien qu'il soit suffisamment petit pour être déployé sur un téléphone.
L'innovation réside entièrement dans l'ensemble de données pour l'entraînement de Microsoft, une version agrandie de celle utilisée pour Phi-2, composée de données web fortement filtrées et de données synthétiques. Le modèle est également aligné en termes de robustesse, de sécurité et de format de discussion. Microsoft fournit également quelques résultats initiaux de mise à l'échelle des paramètres avec des modèles 7B et 14B entraînés pour 4,8T tokens, appelés Phi-3-small et Phi-3-medium, tous deux significativement plus performants que Phi-3-mini (par exemple, respectivement 75 % et 78 % sur MMLU, et 8,7 et 8,9 sur MT-bench).
Le développement de MAI-1 suggère une double approche de l'IA au sein de Microsoft, qui se concentre à la fois sur de petits modèles de langage exécutés localement pour les appareils mobiles et sur de plus grands modèles de pointe alimentés par le cloud. Apple serait en train d'explorer une approche similaire. Il souligne également la volonté de l'entreprise d'explorer le développement de l'IA indépendamment d'OpenAI, dont la technologie alimente actuellement les fonctions d'IA générative les plus ambitieuses de Microsoft, y compris un chatbot intégré à Windows.
Le but exact de MAI-1 n’a pas encore été déterminé et dépendra de ses performances lors des tests. Microsoft pourrait présenter ce nouveau modèle lors de sa conférence pour développeurs Build, plus tard ce mois-ci.
Des courriels révèlent que l'investissement d'un milliard de dollars de Microsoft dans OpenAI a été déclenché par les craintes de Google
Microsoft a investi 1 milliard de dollars dans OpenAI en 2019 parce qu'elle était « très inquiète » que Google ait des années d'avance dans l'intensification de ses efforts en matière d'IA. Un courriel interne, intitulé « Thoughts on OpenAI », entre le directeur technique de Microsoft Kevin Scott, le PDG Satya Nadella et le cofondateur Bill Gates révèle certaines des discussions de haut niveau autour d'une opportunité d'investissement dans les mois qui ont précédé la révélation du partenariat par Microsoft.
L'email a été publié mardi dans le cadre de l'affaire antitrust en cours du ministère américain de la Justice contre Google.
« Nous avons plusieurs années de retard sur la concurrence en termes d'échelle d'apprentissage automatique », a écrit Scott dans son courriel du 12 juin 2019 à Nadella et Gates. Il détaille comment il a fallu six mois aux ingénieurs de Microsoft pour reproduire le modèle linguistique BERT de Google et l'entraîner « parce que notre infrastructure n'était pas à la hauteur de la tâche. »
Microsoft a été impressionné par l'utilisation précoce de l'IA par Google. Scott explique qu'il a d'abord été déçu par les efforts d'OpenAI et de Google DeepMind en matière d'IA, lorsque les entreprises étaient en concurrence pour savoir qui « pouvait réaliser le jeu le plus impressionnant » - une référence claire aux démonstrations d'AlphaGo Zero de Google DeepMind. Scott a rapidement été plus impressionné lorsque les choses ont évolué vers des modèles de traitement du langage naturel. « Alors que j'essayais de comprendre où se situaient les écarts de capacité entre Google et nous pour la formation des modèles, j'ai commencé à être très, très inquiet », a écrit Scott.
Certains des premiers modèles d'IA de Google l'ont aidé à avoir un avantage concurrentiel sur Bing, a déclaré Scott, et il a même fait l'éloge des fonctionnalités d'autocomplétion de Google dans Gmail qui « devenaient effrayantes » en 2019.
Nadella a répondu aux réflexions de Scott sur OpenAI en les transmettant à la directrice financière de Microsoft, Amy Hood, notant que c'est « la raison pour laquelle je veux faire cela ». Amy Hood est un membre clé de l'équipe dirigeante de Microsoft et a pour mission de superviser les objectifs financiers de l'entreprise et de contrôler régulièrement les dépenses de Microsoft.
Le message électronique, que vous pouvez lire ci-dessous, est fortement expurgé et semble être une réponse à Nadella ou à Gates. Bien que Gates ait quitté le conseil d'administration de Microsoft en 2020 à la suite d'une enquête sur une liaison avec une employée, il aurait toujours joué un rôle important dans la relation entre Microsoft et OpenAI. Ce courriel interne ne permet pas de savoir qui a initié la discussion sur OpenAI en 2019, mais Business Insider a rapporté la semaine dernière que Gates rencontrait régulièrement OpenAI depuis 2016 et qu'il avait aidé à négocier l'accord.
Microsoft AI, l'équipe dédiée à l'IA, est dirigée par le cofondateur de Deepmind de Google
Mustafa Suleyman, un entrepreneur britannique qui a cofondé DeepMind à Londres en 2010 et qui était directeur général de la start-up d'intelligence artificielle Inflection, a pris le rôle de vice-président exécutif et PDG de Microsoft AI, rejoignant l’équipe de direction senior et rapportant directement à Satya Nadella, PDG de Microsoft.
Cette initiative intervient après que Microsoft ait dirigé un tour de financement de 1,3 milliard de dollars dans Inflection AI l’année dernière, soulignant l’importance croissante de l’IA dans les produits grand public et la recherche. L’équipe d’Inflection AI, connue pour ses contributions significatives dans le domaine de l’IA, apportera son expertise et son talent à Microsoft.
Il s'agit de la dernière mesure prise par Microsoft pour tirer parti de l'essor de l...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
