Facebook : l’IA de Mark Zuckerberg se fait battre à plate couture par le modèle de cette startup française

La startup française Mistral AI a dévoilé un nouveau modèle de langage qui compte bien faire souffler un vent nouveau sur le petit monde de l’IA, actuellement dominé par les grands noms de la technologie tels que Microsoft et Google.

À l’heure où la puissance et l’efficacité des grands modèles linguistique se mesurent aux nombres de paramètres, qui constituent en quelque sorte les données d’apprentissage qu’utilise un modèle pour faire ses prédictions, les ingénieurs de Mistral AI ont pris le parti de concevoir Mistral 7B, une IA formée avec moins de paramètres (7 milliards en l’occurrence), mais tout de même plus efficace que certains LLM d’OpenAI ou de Meta.

Mistral AI prend d’ailleurs LLaMA, le grand modèle de langage de Facebook, comme point de comparaison lors de l’exposé des capacités de son IA. Les ingénieurs de la startup ont ainsi mesuré les performances de Mistral 7B et celles de LLaMA 2 7B, 13B, et même LLaMA 1 34B. Le Mistral 7B ne s’est pas frotté au modèle le plus performant de Meta, LLaMA 2 70B, mais les résultats obtenus face aux autres LLM sont véritablement impressionnants.

L’IA de cette startup française est plus performante que des modèles 3 fois plus gros

Les modèles de Meta et de Mistral AI se confrontent sur des catégories comme le raisonnement, la compréhension, mais aussi les maths, la programmation ou encore le MMLU (qui mesurer la compréhension des langues en mode multitâche massif). De ces benchmarks, il ressort que l’Intelligence artificielle française est bien supérieure à LLaMA sur tous ces critères. À nombre égal de paramètres, Mistral 7B se révèle bien meilleur que les modèles de Facebook formés avec trois fois plus de données. Grâce à ces résultats, la compagnie peut donc se targuer de proposer « le meilleur modèle 7B à ce jour ».

Mistral 7B n’est qu’un début pour la compagnie. Elle compte concevoir un LLM encore plus large afin de, pourquoi pas, aller titiller ChatGPT et les 1700 milliards de paramètres de GPT-4. Cerise sur le gâteau : si vous êtes tenté par l'expérience, vous pouvez installer Mistral 7B sur votre PC. Ses concepteurs le mettent gratuitement à la disposition des utilisateurs, sous licence Apache 2.

Source : Mistral AI