Exploration des échecs des LLMs face à des tâches simples
Les modèles de langage, bien qu’impressionnants dans leurs capacités, montrent des limites significatives lorsqu’il s’agit de résoudre des problèmes apparemment simples, comme le sudoku ou le jeu de mots. Cet article examine les échecs récurrents des LLMs, mettant en lumière des concepts tels que la “malédiction de l’inversion” et le “dérive des objectifs”. En analysant ces défaillances, nous pouvons mieux comprendre les véritables capacités et les lacunes des intelligences artificielles modernes.
Points clés
- Les LLMs échouent à créer des grilles de mots, même dans des formats simples comme 3×3, 4×4 et 5×5.
- La “malédiction de l’inversion” empêche les modèles de généraliser correctement les relations, comme celle entre “Valentina Tereshkova” et “première femme dans l’espace”.
- Les LLMs ne peuvent pas effectuer de calculs itératifs nécessaires pour des problèmes comme le “Jeu de la Vie” de Conway.
- Victor Taelin a affirmé que les LLMs ne peuvent jamais résoudre des problèmes nécessitant un raisonnement à long terme.
- Les erreurs des LLMs sont souvent plus instructives que leurs succès, révélant des lacunes dans leur capacité de généralisation.
À retenir
Alors, que retenir de tout cela ? Si même un enfant peut réussir à jouer à Wordle, mais que des modèles de langage sophistiqués échouent, on pourrait se demander si ce ne sont pas les LLMs qui devraient retourner à l’école ! Peut-être qu’ils devraient se concentrer sur des problèmes plus simples avant de prétendre à la sagesse d’un Albert Einstein. Après tout, il n’y a pas de honte à demander de l’aide pour résoudre des mots croisés, n’est-ce pas ?
Sources
