Le cofondateur de Facebook, Mark Zuckerberg, a annoncé le vendredi 24 fevrier 2023 la publication imminente de Meta Platforms aux chercheurs d’un nouveau grand modèle de langage appelé LLaMA (Large Language Model Meta AI).
Le modèle, développé par l’équipe FAIR (Fundamental AI Research) de Meta, est destiné à aider les scientifiques et les ingénieurs à explorer les applications et les fonctions de l’IA telles que répondre aux questions et résumer des documents.
La sortie de LLaMA intervient alors que les entreprises technologiques s’efforcent de promouvoir les progrès des techniques d’IA et d’intégrer la technologie dans leurs produits commerciaux. Comme le note CNBC, la version de Meta se distingue des modèles concurrents car elle sera disponible dans une sélection de tailles, de 7 milliards de paramètres à 65 milliards de paramètres.
En outre, Zuckerberg a déclaré que la nouvelle technologie LLM de son entreprise – qui pourrait éventuellement résoudre des problèmes mathématiques et mener des recherches scientifiques – sera disponible pour la communauté des chercheurs, et Meta accepte maintenant les demandes d’accès. Il s’agit d’un changement par rapport aux modèles sous-jacents LaMDA de Google et ChatGPT, qui ne sont pas accessibles au public.
Reuters souligne que Meta rejoint une course de plus en plus intense pour dominer la technologie de l’IA, qui a commencé sérieusement à la fin de 2022 avec ChatGPT d’OpenAI. En ce qui concerne Meta, le lancement de LLaMA représente également son engagement envers la science ouverte – d’où le choix de publier publiquement le modèle fondamental de grand langage de pointe, tout en permettant aux chercheurs une ressource ouverte pour faire progresser leurs travaux.
Meta pense que contrairement aux modèles plus finement réglés conçus à des fins spécifiques, le leur s’avérera polyvalent, avec de multiples cas d’utilisation.
Une autre façon dont LLaMA est différent, selon Meta: il nécessite « beaucoup moins » de puissance de calcul que les offres précédentes et est formé dans 20 langues, en se concentrant sur celles basées sur les alphabets latin et cyrillique.
Avec ses 13 milliards de paramètres, LLaMA devrait surpasser GPT-3, le modèle sur lequel ChatGPT est construit. Meta a également attribué la performance de LLaMA à des données « plus propres » et à des « améliorations architecturales » dans le modèle qui ont amélioré la stabilité de la formation.
Pour maintenir l’intégrité du modèle et prévenir les abus, Meta le publiera sous une licence non commerciale axée sur les cas d’utilisation de recherche. Les chercheurs universitaires, le gouvernement, la société civile, les établissements universitaires et les laboratoires de recherche de l’industrie se verront accorder un accès au modèle au cas par cas.
Le lancement de LLaMA par Meta pourrait marquer un développement majeur dans les modèles de langage d’IA. L’engagement du géant des médias sociaux en faveur de la science ouverte et le fait de permettre aux chercheurs d’étudier sous licence non commerciale limiteront l’utilisation abusive du modèle.
La polyvalence et le potentiel de résolution de problèmes de LLaMA peuvent donner un aperçu des avantages potentiels substantiels de l’IA pour des milliards de personnes à grande échelle.