Le Watermarking, un nouvel outil de régulation pour les LLM
La bibliothèque Transformers a récemment ajouté la prise en charge du watermarking des modèles de langage de grande taille (LLM). Cette technique permet d’intégrer des signaux dans la sortie des LLM afin de permettre leur détection algorithmique sans nuire à la qualité de la génération. Cela ouvre la voie à de nouvelles applications de régulation des LLM, notamment dans le cadre de la lutte contre la désinformation.
Points clés
- Le watermarking consiste à booster artificiellement les scores de certains tokens dans le vocabulaire d’un LLM, créant ainsi une “empreinte” détectable
- L’algorithme de watermarking divise le vocabulaire en deux listes (verte et rouge), et booste les tokens de la liste verte lors de la génération
- Cette technique n’affecte pas la qualité du texte généré, car elle n’intervient que lorsqu’il y a plusieurs options possibles pour le token suivant
- Le watermarking pourrait permettre de détecter plus facilement le contenu généré par un LLM, ouvrant la voie à de nouvelles réglementations
- La bibliothèque Transformers a intégré le code source permettant d’appliquer le watermarking aux modèles développés avec cette librairie
À retenir
Avec cette nouvelle fonctionnalité de watermarking, les LLM gagnent en transparence et en traçabilité. Cela pourrait permettre de mieux encadrer leur utilisation, notamment dans la lutte contre la désinformation. Cependant, on peut se demander si les régulateurs seront vraiment capables de suivre le rythme effréné de l’innovation dans le domaine de l’IA. Après tout, les LLM évoluent à la vitesse de l’éclair, et les lois mettent toujours du temps à s’adapter !
Sources
- Pramodith B. on LinkedIn: The Transformers library now supports Watermarking LLMs! 💦 Watermarking…
- Text Generation Documentation
