Risques de l’entraînement des LLM avec des données IA
Une étude récente de l’Université d’Oxford met en lumière les dangers de former des modèles d’intelligence artificielle (IA) sur des données générées par d’autres IA, soulignant des défauts irréversibles dans les performances des modèles. Les chercheurs insistent sur l’importance de préserver l’accès à des données humaines authentiques pour garantir la qualité des futurs modèles de langage. Ce phénomène, qualifié d’effondrement du modèle, pourrait avoir des conséquences significatives sur l’intégrité du contenu en ligne.
Points clés
- Des chercheurs de l’Université d’Oxford et de Cambridge ont publié une étude dans Nature sur les modèles d’IA.
- L’étude révèle que l’entraînement de modèles comme GPT-4 sur des données générées par d’autres IA entraîne des défauts irréversibles.
- L’effet d’effondrement du modèle affecte également les auto-encodeurs variationnels (VAE) et les modèles de mélange gaussien (GMM).
- Les attaques d’empoisonnement à long terme sur les modèles de langage ne sont pas nouvelles, mais leur échelle a considérablement augmenté avec les LLM.
- Google et DuckDuckGo ont déjà modifié leurs algorithmes pour contrer le contenu de mauvaise qualité provenant de fermes à clics.
- Les chercheurs soulignent l’importance de conserver les données humaines authentiques pour l’entraînement des LLM.
- La provenance du contenu généré par les LLM soulève des questions cruciales pour l’avenir de l’apprentissage automatique.
À retenir
Alors, si vous pensez que l’avenir de l’IA repose sur des données générées par d’autres IA, détrompez-vous ! Il semblerait que nous devrions revenir à nos bonnes vieilles données humaines pour éviter que nos modèles ne deviennent aussi intelligents qu’une pierre. Une petite dose de bon sens, ça ne fait jamais de mal, n’est-ce pas ?
Sources
