La croissance du calcul des modèles d’IA de pointe augmente de 4-5x par an

Une analyse de la tendance de la croissance du calcul dans l’IA

Cet article analyse la tendance de la croissance du calcul utilisé pour entraîner les modèles d’IA de pointe. Les auteurs ont constaté que le calcul a augmenté d’environ 4-5 fois par an ces dernières années, tant pour les modèles notables que pour les modèles de pointe. Cette tendance s’applique également aux principaux modèles développés par les entreprises leaders comme OpenAI, Google DeepMind et Meta AI. Les auteurs recommandent d’utiliser cette estimation comme référence pour les attentes de croissance future, tout en tenant compte des éventuels goulots d’étranglement ou accélérations.

Points clés

Le calcul utilisé pour entraîner les modèles d’IA notables a augmenté d’environ 4,1 fois par an entre 2010 et mai 2024
Pour les modèles de pointe (top 10), la croissance a été d’environ 5,3 fois par an sur la même période
La tendance de croissance des modèles de pointe a ralenti pour atteindre environ 4,2 fois par an après 2018
Les modèles de langage ont connu une croissance encore plus rapide, jusqu’à 9,5 fois par an entre juin 2017 et mai 2024
Après avoir rattrapé la frontière de l’IA vers mi-2020, la croissance des modèles de langage de pointe s’est ralentie à environ 5 fois par an
Les principaux modèles d’OpenAI, Google DeepMind et Meta AI ont suivi une tendance similaire, avec une croissance d’environ 5 fois par an
Cette tendance de 4-5 fois par an permet de prédire avec précision la taille des plus grands modèles actuels comme GPT-4 et Gemini Ultra

À retenir

Avec ces prévisions alarmantes de la croissance du calcul dans l’IA, il est clair que le rythme de développement des modèles d’IA de pointe ne montre aucun signe de ralentissement. Au contraire, il semble même s’accélérer d’année en année. Bien sûr, cela soulève de nombreuses questions sur les conséquences à long terme de cette évolution. Mais bon, je suis sûr que les experts de l’IA ont tout sous contrôle et qu’il n’y a aucune raison de s’inquiéter. Après tout, qu’est-ce qui pourrait mal tourner ?

Sources