Démocratiser l’entraînement des modèles d’IA à grande échelle
Prime Intellect présente OpenDiLoCo, une implémentation open-source et évolutive de la méthode Distributed Low-Communication (DiLoCo) de DeepMind. OpenDiLoCo permet l’entraînement collaboratif de modèles d’IA à l’échelle mondiale sur des ressources de calcul distribuées. L’article détaille les principales contributions du projet, notamment la reproduction et la mise à l’échelle des expériences DiLoCo d’origine, ainsi que la démonstration d’un entraînement décentralisé à l’échelle mondiale avec un taux d’utilisation du calcul élevé.
Points clés
- OpenDiLoCo est une implémentation open-source et évolutive de la méthode DiLoCo de DeepMind pour l’entraînement distribué à faible communication
- Le projet a répliqué les résultats expérimentaux originaux de DiLoCo et les a étendus à des modèles de 1,1 milliard de paramètres
- OpenDiLoCo a démontré un entraînement décentralisé à l’échelle mondiale avec 4 travailleurs répartis sur 2 continents et 3 pays, atteignant 90-95% d’utilisation du calcul
- Les études d’ablation ont fourni des informations précieuses sur l’évolutivité et l’efficacité du calcul de l’algorithme DiLoCo
- L’intégration d’OpenDiLoCo à la bibliothèque Hivemind permet des fonctionnalités telles que l’ajout/retrait dynamique de ressources, la tolérance aux pannes et une communication pair-à-pair
- Le code d’OpenDiLoCo est publié en open-source pour favoriser la collaboration dans la démocratisation de l’IA
- OpenDiLoCo peut être facilement déployé sur la plateforme de calcul PI grâce à une image Docker préconçue
À retenir
Avec OpenDiLoCo, Prime Intellect fait un pas de plus vers la démocratisation de l’entraînement des modèles d’IA à grande échelle. En rendant cette technologie accessible et évolutive, ils ouvrent la voie à une participation plus large dans le développement de l’IA. Bien que des défis restent à relever, comme l’optimisation de l’utilisation du calcul, ce projet montre le potentiel des approches décentralisées pour faire progresser l’innovation dans le domaine de l’IA.
Sources
