Microsoft a annoncé le développement d’un nouveau modèle d’IA, nommé MAI-1, qui promet de rivaliser avec les géants du secteur tels que Google et OpenAI. Ce nouveau modèle, supervisé par Mustafa Suleyman, co-fondateur de Google DeepMind et ancien PDG de la startup Inflection, représente une avancée significative pour Microsoft dans la course à l’IA. MAI-1 est décrit comme étant « bien plus grand » que les précédents modèles open source développés par Microsoft, selon un rapport, ce qui implique une puissance de calcul et des coûts accrus.Avec environ 500 milliards de paramètres, MAI-1 sera nettement plus grand que les modèles open source précédents de Microsoft (tels que Phi-3), ce qui nécessitera plus de puissance de calcul et de données d'entraînement. Cela place MAI-1 dans une ligue similaire à GPT-4 d'OpenAI, qui aurait plus de 1 000 milliards de paramètres (dans une configuration de mélange d'experts) et bien au-dessus de modèles plus petits comme Meta et les modèles de 70 milliards de paramètres de Mistral.
Pour mémoire, le mois dernier, Microsoft a présenté Phi-3-mini, un modèle de langage de 3,8 milliards de paramètres entraîné sur 3,3 trillions de tokens, dont les performances globales, mesurées à la fois par des benchmarks académiques et des tests internes, rivalisent avec celles de modèles tels que Mixtral 8x7B et GPT-3.5 (par exemple, Phi-3-mini atteint 69 % sur MMLU et 8,38 sur MT-bench), bien qu'il soit suffisamment petit pour être déployé sur un téléphone.
L'innovation réside entièrement dans l'ensemble de données pour l'entraînement de Microsoft, une version agrandie de celle utilisée pour Phi-2, composée de données web fortement filtrées et de données synthétiques. Le modèle est également aligné en termes de robustesse, de sécurité et de format de discussion. Microsoft fournit également quelques résultats initiaux de mise à l'échelle des paramètres avec des modèles 7B et 14B entraînés pour 4,8T tokens, appelés Phi-3-small et Phi-3-medium, tous deux significativement plus performants que Phi-3-mini (par exemple, respectivement 75 % et 78 % sur MMLU, et 8,7 et 8,9 sur MT-bench).
Le développement de MAI-1 suggère une double approche de l'IA au sein de Microsoft, qui se concentre à la fois sur de petits modèles de langage exécutés localement pour les appareils mobiles et sur de plus grands modèles de pointe alimentés par le cloud. Apple serait en train d'explorer une approche similaire. Il souligne également la volonté de l'entreprise d'explorer le développement de l'IA indépendamment d'OpenAI, dont la technologie alimente actuellement les fonctions d'IA générative les plus ambitieuses de Microsoft, y compris un chatbot intégré à Windows.
Le but exact de MAI-1 n’a pas encore été déterminé et dépendra de ses performances lors des tests. Microsoft pourrait présenter ce nouveau modèle lors de sa conférence pour développeurs Build, plus tard ce mois-ci.
Des courriels révèlent que l'investissement d'un milliard de dollars de Microsoft dans OpenAI a été déclenché par les craintes de Google
Microsoft a investi 1 milliard de dollars dans OpenAI en 2019 parce qu'elle était « très inquiète » que Google ait des années d'avance dans l'intensification de ses efforts en matière d'IA. Un courriel interne, intitulé « Thoughts on OpenAI », entre le directeur technique de Microsoft Kevin Scott, le PDG Satya Nadella et le cofondateur Bill Gates révèle certaines des discussions de haut niveau autour d'une opportunité d'investissement dans les mois qui ont précédé la révélation du partenariat par Microsoft.
L'email a été publié mardi dans le cadre de l'affaire antitrust en cours du ministère américain de la Justice contre Google.
« Nous avons plusieurs années de retard sur la concurrence en termes d'échelle d'apprentissage automatique », a écrit Scott dans son courriel du 12 juin 2019 à Nadella et Gates. Il détaille comment il a fallu six mois aux ingénieurs de Microsoft pour reproduire le modèle linguistique...
La fin de cet article est réservée aux abonnés. Soutenez le Club Developpez.com en prenant un abonnement pour que nous puissions continuer à vous proposer des publications.
