Les hallucinations dans les LLM se produisent lorsque le mod\u00e8le produit un contenu qui est factuellement incorrect, absurde ou compl\u00e8tement sans rapport avec la t\u00e2che d’entr\u00e9e. La plupart des recherches actuelles se sont principalement concentr\u00e9es sur les hallucinations dans les t\u00e2ches classiques de g\u00e9n\u00e9ration et de pr\u00e9diction du langage naturel, telles que la traduction automatique, le r\u00e9sum\u00e9 et l’intelligence artificielle conversationnelle. Cependant, l’\u00e9quipe de recherche s’est concentr\u00e9e sur les hallucinations de paquets, qui se produisent lorsqu’un LLM g\u00e9n\u00e8re ou recommande l’utilisation d’une biblioth\u00e8que logicielle tierce qui n’existe pas. Ce qui fait des hallucinations de paquets un domaine de recherche fascinant, c’est la fa\u00e7on dont quelque chose d’aussi simple – une simple commande de tous les jours – peut entra\u00eener de graves risques de s\u00e9curit\u00e9.<\/p>\n
Joe Spracklen, doctorant en informatique \u00e0 l’UTSA, a dirig\u00e9 l’\u00e9tude sur la mani\u00e8re dont les grands mod\u00e8les de langage (LLM) g\u00e9n\u00e8rent fr\u00e9quemment des codes non s\u00e9curis\u00e9s. \u00ab\u00a0Il n’y a pas besoin d’un ensemble de circonstances alambiqu\u00e9es ou d’une chose obscure pour que cela se produise\u00a0\u00bb, a d\u00e9clar\u00e9 M. Spracklen. \u00ab\u00a0Il suffit de taper une commande que la plupart des personnes travaillant dans ces langages de programmation tapent quotidiennement. C’est tout ce qu’il faut. C’est tr\u00e8s direct et tr\u00e8s simple\u00a0\u00bb.<\/p>\n
\u00ab\u00a0Il est \u00e9galement omnipr\u00e9sent\u00a0\u00bb, a-t-il ajout\u00e9. \u00ab\u00a0Vous pouvez faire tr\u00e8s peu de choses avec votre langage de codage Python de base. Il vous faudrait beaucoup de temps pour \u00e9crire le code vous-m\u00eame, il est donc universel de s’appuyer sur des logiciels libres pour \u00e9tendre les capacit\u00e9s de votre langage de programmation afin d’accomplir des t\u00e2ches sp\u00e9cifiques\u00a0\u00bb.<\/p>\n
Les LLM sont de plus en plus populaires aupr\u00e8s des d\u00e9veloppeurs pour les aider \u00e0 assembler des programmes. Selon l’\u00e9tude, jusqu’\u00e0 97 % des d\u00e9veloppeurs de logiciels int\u00e8grent l’IA g\u00e9n\u00e9rative dans leur flux de travail, et 30 % du code \u00e9crit aujourd’hui est g\u00e9n\u00e9r\u00e9 par l’IA. En outre, de nombreux langages de programmation populaires, comme PyPI pour Python et npm pour JavaScript, s’appuient sur un d\u00e9p\u00f4t de paquets centralis\u00e9. Ces r\u00e9f\u00e9rentiels \u00e9tant souvent ouverts, des acteurs malveillants peuvent t\u00e9l\u00e9charger des codes malveillants d\u00e9guis\u00e9s en paquets l\u00e9gitimes.<\/p>\n
Depuis des ann\u00e9es, les pirates utilisent diverses astuces pour inciter les utilisateurs \u00e0 installer leurs logiciels malveillants. Les hallucinations de colis sont la derni\u00e8re tactique en date.<\/p>\n
Selon l’un des chercheurs, le professeur associ\u00e9 Murtuza Jadliwala, directeur du SPriTELab (Security, Privacy, Trust, and Ethics in Computing Research Lab) : \u00ab\u00a0Supposons que je demande \u00e0 ChatGPT de m’aider \u00e0 \u00e9crire un code et qu’il le fasse. Maintenant, disons que le code g\u00e9n\u00e9r\u00e9 inclut un lien vers un paquetage, que je lui fais confiance et que j’ex\u00e9cute le code, mais que le paquetage n’existe pas, qu’il s’agit d’un paquetage hallucin\u00e9. Un adversaire\/hacker astucieux pourrait voir ce comportement (du LLM) et r\u00e9aliser que le LLM dit aux gens d’utiliser ce paquet inexistant, ce paquet hallucin\u00e9. L’adversaire peut alors cr\u00e9er trivialement un nouveau paquet avec le m\u00eame nom que le paquet hallucin\u00e9 (recommand\u00e9 par le LLM) et y injecter du mauvais code. La prochaine fois que le LLM recommande le m\u00eame paquet dans le code g\u00e9n\u00e9r\u00e9 et qu’un utilisateur peu m\u00e9fiant ex\u00e9cute le code, ce paquet malveillant est t\u00e9l\u00e9charg\u00e9 et ex\u00e9cut\u00e9 sur la machine de l’utilisateur\u00a0\u00bb, a expliqu\u00e9 M. Jadliwala.<\/p>\n
Les chercheurs de l’UTSA ont \u00e9valu\u00e9 l’occurrence des hallucinations de paquets dans diff\u00e9rents langages de programmation, r\u00e9glages et param\u00e8tres, en explorant la probabilit\u00e9 de recommandations erron\u00e9es de paquets et en identifiant les causes profondes.<\/p>\n
Les chercheurs de l’UTSA ont effectu\u00e9 30 tests diff\u00e9rents et ont d\u00e9couvert que 440 445 des 2,23 millions d’\u00e9chantillons de code g\u00e9n\u00e9r\u00e9s en Python et en JavaScript \u00e0 l’aide de mod\u00e8les LLM faisaient r\u00e9f\u00e9rence \u00e0 des paquets hallucin\u00e9s. Parmi les LLM test\u00e9s, l’\u00e9tude note que \u00ab\u00a0les mod\u00e8les de la s\u00e9rie GPT sont quatre fois moins susceptibles de g\u00e9n\u00e9rer des paquets hallucin\u00e9s que les mod\u00e8les open-source, avec un taux d’hallucination de 5,2 % contre 21,7 %\u00a0\u00bb. Les chercheurs ont \u00e9galement constat\u00e9 que le code Python \u00e9tait moins sujet aux hallucinations que le code JavaScript.<\/p>\n
Bien que le recoupement des paquets g\u00e9n\u00e9r\u00e9s avec une liste ma\u00eetresse puisse contribuer \u00e0 att\u00e9nuer les hallucinations, les chercheurs de l’UTSA affirment que la meilleure solution consiste \u00e0 s’attaquer aux fondements des LLM au cours de leur propre d\u00e9veloppement. L’\u00e9quipe a partag\u00e9 ses conclusions avec des fournisseurs de mod\u00e8les, notamment OpenAI, Meta, DeepSeek et Mistral AI.<\/p>\n
Trois autres chercheurs de l’UTSA ont particip\u00e9 \u00e0 cette collaboration multi-institutionnelle : le doctorant A.H.M. Nazmus Sakib, le chercheur postdoctoral Raveen Wijewickrama et le professeur associ\u00e9 Murtuza Jadliwala, directeur du SPriTELab (laboratoire de recherche sur la s\u00e9curit\u00e9, la vie priv\u00e9e, la confiance et l’\u00e9thique en informatique). Les autres collaborateurs \u00e9taient Anindya Maita de l’universit\u00e9 d’Oklahoma (ancien chercheur postdoctoral de l’UTSA) et Bimal Viswanath de Virginia Tech.<\/p>\n