Groq’s LPUs : une alternative performante aux GPUs d’Nvidia
Dans la course aux modèles de langage généralistes (LLM), la vitesse est essentielle. La start-up californienne Groq s’impose rapidement avec ses puces de traitement du langage (LPU) capables d’exécuter les tâches d’inférence 10 fois plus rapidement que les matériels IA traditionnels. Groq pourrait ainsi devenir un acteur clé du développement des modèles IA à l’avenir.
Points clés
- Groq est une start-up IA qui développe des unités de traitement du langage (LPU) pouvant exécuter l’inférence IA 10 fois plus rapidement que les GPUs
- Les LPU de Groq permettent d’augmenter la vitesse d’inférence tout en réduisant les coûts, ce qui en fait un concurrent de choix face à OpenAI
- Groq peut être combiné à des modèles open-source puissants comme Llama 3 pour offrir des performances comparables à GPT-4 mais à des vitesses extrêmement élevées
- Llama 3 couplé à Groq atteint un débit de 877 tokens par seconde sur le modèle 8B et 284 tokens par seconde sur le modèle 70B, contre seulement 18,2 tokens/s pour GPT-4
- Groq offre des tarifs compétitifs, à 0,27 $ par million de tokens pour le modèle Mixtral 8x7B, soit parmi les plus bas du marché
- Groq est adapté à des cas d’usage comme l’inférence haute performance, la génération et l’exécution de programmes en temps réel, et la prise en charge de modèles de langage de grande taille
À retenir
Avec ses performances d’inférence impressionnantes et ses tarifs compétitifs, Groq s’impose comme une alternative de choix aux solutions d’Nvidia dans le domaine des puces IA. Reste à convaincre les entreprises de délaisser les GPUs traditionnels au profit de cette technologie innovante. Mais avec la course effrénée à l’IA générative, Groq a de beaux jours devant lui.
Sources
