Le principal probl\u00e8me des moteurs de r\u00e9ponse puissants de l’IA est qu’ils fournissent des r\u00e9ponses parfaites et des absurdit\u00e9s \u00e9videntes avec la m\u00eame facilit\u00e9. L’un des principaux d\u00e9fis r\u00e9side dans la mani\u00e8re dont les grands mod\u00e8les de langage (LLM) qui sous-tendent l’IA g\u00e8rent l’incertitude. Jusqu’\u00e0 pr\u00e9sent, il a \u00e9t\u00e9 difficile de d\u00e9terminer si les mod\u00e8les linguistiques con\u00e7us pour le traitement et la g\u00e9n\u00e9ration de textes fondent leurs r\u00e9ponses sur une base de donn\u00e9es solide ou sur un terrain incertain.<\/p>\n
\u00ab\u00a0Notre algorithme peut enrichir le mod\u00e8le linguistique g\u00e9n\u00e9ral de l’IA avec des donn\u00e9es suppl\u00e9mentaires concernant le domaine pertinent d’une question. En combinaison avec la question sp\u00e9cifique, nous pouvons alors extraire des profondeurs du mod\u00e8le et des donn\u00e9es d’enrichissement pr\u00e9cis\u00e9ment les connexions qui sont les plus susceptibles de g\u00e9n\u00e9rer une r\u00e9ponse correcte\u00a0\u00bb, explique Jonas H\u00fcbotter du groupe \u00ab\u00a0Apprentissage et syst\u00e8mes adaptatifs\u00a0\u00bb, qui a d\u00e9velopp\u00e9 la nouvelle m\u00e9thode dans le cadre de ses \u00e9tudes de doctorat.<\/p>\n
\u00ab\u00a0La m\u00e9thode est particuli\u00e8rement adapt\u00e9e aux entreprises, aux scientifiques et aux autres utilisateurs qui souhaitent utiliser l’IA g\u00e9n\u00e9rale dans un domaine sp\u00e9cialis\u00e9 qui n’est que partiellement ou pas du tout couvert par les donn\u00e9es d’entra\u00eenement de l’IA\u00a0\u00bb, ajoute Andreas Krause, chef du groupe de recherche et directeur du Centre d’IA de l’ETH.<\/p>\n
Les utilisateurs peuvent introduire leurs donn\u00e9es stock\u00e9es localement dans un LLM tel que Llama. L’algorithme SIFT (Selecting Informative data for Fine-Tuning), d\u00e9velopp\u00e9 par les informaticiens de l’ETH, peut alors utiliser les donn\u00e9es suppl\u00e9mentaires fournies pour s\u00e9lectionner les informations sp\u00e9cifiques les plus \u00e9troitement li\u00e9es \u00e0 la question.<\/p>\n
L’algorithme utilise la structure selon laquelle les informations linguistiques sont organis\u00e9es dans le LLM pour trouver des informations connexes. Les mod\u00e8les divisent les informations linguistiques de leurs donn\u00e9es d’apprentissage en parties de mots. Les relations s\u00e9mantiques et syntaxiques entre les parties de mots sont ensuite organis\u00e9es sous forme de fl\u00e8ches de connexion – connues dans le domaine sous le nom de vecteurs – dans un espace multidimensionnel. Les dimensions de l’espace, qui peuvent se compter en milliers, proviennent des param\u00e8tres de relation que le LLM identifie ind\u00e9pendamment pendant la formation \u00e0 l’aide des donn\u00e9es g\u00e9n\u00e9rales.<\/p>\n
Les fl\u00e8ches relationnelles pointant dans la m\u00eame direction dans cet espace vectoriel indiquent une forte corr\u00e9lation. Plus l’angle entre deux vecteurs est grand, moins les deux unit\u00e9s d’information sont li\u00e9es l’une \u00e0 l’autre. L’algorithme SIFT d\u00e9velopp\u00e9 par les chercheurs de l’ETH utilise d\u00e9sormais la direction du vecteur de relation de la requ\u00eate d’entr\u00e9e (invite) pour identifier les relations d’information qui sont \u00e9troitement li\u00e9es \u00e0 la question mais qui se compl\u00e8tent simultan\u00e9ment en termes de contenu. \u00ab\u00a0L’angle entre les vecteurs correspond \u00e0 la pertinence du contenu, et nous pouvons utiliser les angles pour s\u00e9lectionner des donn\u00e9es sp\u00e9cifiques qui r\u00e9duisent l’incertitude\u00a0\u00bb, explique H\u00fcbotter.<\/p>\n
En revanche, la m\u00e9thode la plus couramment utilis\u00e9e \u00e0 ce jour pour s\u00e9lectionner les informations adapt\u00e9es \u00e0 la r\u00e9ponse, la m\u00e9thode du plus proche voisin, tend \u00e0 accumuler les informations redondantes qui sont largement disponibles.<\/p>\n
Par exemple, pour r\u00e9pondre \u00e0 la question en deux parties \u00ab\u00a0Quel est l’\u00e2ge de Roger Federer et combien d’enfants a-t-il ?\u00a0\u00bb, la m\u00e9thode du plus proche voisin consid\u00e8re que des informations similaires telles que \u00ab\u00a0Roger Federer a 43 ans\u00a0\u00bb et \u00ab\u00a0Roger Federer est n\u00e9 le 8 ao\u00fbt 1981\u00a0\u00bb sont tout aussi pertinentes. Les informations sur ses enfants, qui sont pertinentes pour la deuxi\u00e8me partie de la question, sont parfois manquantes. Elles sont recouvertes par les informations relatives \u00e0 la date de naissance, qui apparaissent beaucoup plus fr\u00e9quemment dans les donn\u00e9es d’apprentissage de l’IA. L’algorithme SIFT prend toutefois en compte la compl\u00e9mentarit\u00e9 des informations incluses, c’est-\u00e0-dire que les vecteurs d’information pointent dans des directions diff\u00e9rentes. Cela permet d’identifier les informations pertinentes pour les deux aspects de la question.<\/p>\n
Toutefois, une s\u00e9lection cibl\u00e9e des informations permet non seulement d’am\u00e9liorer la qualit\u00e9 des r\u00e9ponses, mais aussi de r\u00e9duire la puissance de calcul toujours croissante requise par les applications d’IA. En mesurant indirectement l’incertitude, le mod\u00e8le peut d\u00e9terminer combien de donn\u00e9es suppl\u00e9mentaires sont n\u00e9cessaires pour fournir une r\u00e9ponse suffisamment fiable. Par cons\u00e9quent, la surcharge de calcul requise par un LLM peut \u00eatre syst\u00e9matiquement ajust\u00e9e en fonction de la complexit\u00e9 de la question et de la disponibilit\u00e9 des informations pertinentes.<\/p>\n
\u00c9tant donn\u00e9 que SIFT adapte en permanence la pond\u00e9ration des directions des fl\u00e8ches \u00e0 ses calculs pendant la recherche de donn\u00e9es, le mod\u00e8le enrichi devient de plus en plus fiable au fur et \u00e0 mesure qu’il est utilis\u00e9. C’est ce que l’on appelle l’entra\u00eenement en fonction du temps d’essai, qui permet d’obtenir les m\u00eames performances avec des mod\u00e8les plus petits. \u00ab\u00a0Lors de tests effectu\u00e9s avec des ensembles de donn\u00e9es standard, nous avons utilis\u00e9 l’accord SIFT pour surpasser m\u00eame les meilleurs mod\u00e8les d’IA actuels avec des mod\u00e8les jusqu’\u00e0 40 fois plus petits\u00a0\u00bb, souligne M. H\u00fcbotter.<\/p>\n
D’autres applications de l’algorithme SIFT s’ouvrent \u00e0 l’\u00e9valuation des donn\u00e9es, comme l’explique M. Krause : \u00ab\u00a0Nous pouvons suivre les donn\u00e9es d’enrichissement s\u00e9lectionn\u00e9es par SIFT. Elles sont \u00e9troitement li\u00e9es \u00e0 la question et donc particuli\u00e8rement pertinentes pour ce domaine. Par exemple, cela pourrait \u00eatre utilis\u00e9 en m\u00e9decine pour d\u00e9terminer quelles analyses de laboratoire ou quelles valeurs de mesure sont significatives pour un diagnostic sp\u00e9cifique et lesquelles le sont moins.<\/p>\n