Les capacités émergentes des grands modèles de langage sont un mirage
Une nouvelle étude suggère que les compétences soudaines des grands modèles de langage (LLM) ne sont ni surprenantes ni imprévisibles, mais plutôt la conséquence de la façon dont nous mesurons les capacités de l’IA.
Points clés
- Une étude publiée en août 2022 a décrit les capacités émergentes des LLM comme “surprenantes” et “imprévisibles”.
- Une nouvelle étude de l’Université de Stanford affirme que ces capacités ne sont ni surprenantes ni imprévisibles, mais plutôt le résultat de la façon dont nous mesurons les performances des LLM.
- Les auteurs de l’étude ont testé les capacités des LLM à effectuer des tâches d’addition à trois chiffres, en utilisant différentes métriques pour mesurer leur performance.
- Les résultats montrent que les capacités émergentes des LLM ne sont pas une conséquence de leur complexité croissante, mais plutôt de la façon dont nous mesurons leur performance.
- Les auteurs concluent que les capacités émergentes des LLM sont un mirage, et que leur performance est plus prévisible que ce que l’on pensait auparavant.
A retenir
Les capacités émergentes des grands modèles de langage ne sont pas aussi surprenantes et imprévisibles qu’on le pensait auparavant. En réalité, leur performance est plus prévisible que ce que l’on pensait, et dépend largement de la façon dont nous mesurons leurs capacités. Les chercheurs devraient donc être plus prudents dans leurs affirmations concernant les capacités émergentes des LLM, et se concentrer sur la compréhension des mécanismes sous-jacents à leur fonctionnement.
