Une nouvelle technique pour des modèles plus performants et transparents
Des chercheurs du MIT et d’ailleurs ont développé une nouvelle approche appelée “programmes intégrés en langage naturel” (NLEPs) qui permet aux modèles de langage comme ChatGPT d’améliorer leurs performances dans des tâches nécessitant du raisonnement symbolique et numérique. Cette technique consiste à générer un programme Python que le modèle exécute pour résoudre la requête de l’utilisateur, offrant ainsi plus de transparence et de fiabilité.
Points clés
- Les modèles de langage actuels ont du mal avec les tâches impliquant du raisonnement numérique ou symbolique
- La nouvelle technique des NLEPs permet aux modèles de langage de générer et d’exécuter un programme Python pour résoudre une requête
- Les NLEPs ont permis d’obtenir plus de 90% de précision sur une variété de tâches de raisonnement symbolique et de classification de texte
- Les NLEPs offrent plus de transparence car l’utilisateur peut vérifier le programme généré par le modèle
- Les NLEPs peuvent également améliorer la protection de la vie privée des données en effectuant les calculs localement
- Les NLEPs permettent à des modèles de langage plus petits d’avoir de meilleures performances sans avoir besoin d’un réentraînement coûteux
À retenir
Cette nouvelle technique des NLEPs semble être une avancée prometteuse pour rendre les modèles de langage plus performants et plus transparents dans leurs raisonnements. Bien qu’il n’y ait pas de “magie” derrière cette approche, elle ouvre la voie à de nombreuses possibilités d’amélioration des capacités des IA, tout en offrant plus de contrôle et de confiance aux utilisateurs. Reste à voir maintenant comment cette technique pourra être adaptée à des modèles de plus petite taille.
Sources
