MENU

Algorithme open source pour réduire les besoins en DRAM de l’IA

Algorithme open source pour réduire les besoins en DRAM de l’IA

Nouveaux produits |
Par Peter Clarke



Le fabricant de mémoires Kioxia Inc. propose sa technologie AiSAQ sous forme de logiciel libre à la communauté des concepteurs, affirmant qu’elle réduira les besoins de l’IA générative en matière de DRAM.

Si cette technologie est couronnée de succès, elle pourrait stimuler l’utilisation des disques SSD pour les applications d’intelligence artificielle et, par conséquent, l’utilisation de la mémoire flash NAND, dont l’offre est actuellement supérieure à la demande.

Le logiciel améliore à la fois la mise à l’échelle des bases de données vectorielles et la précision des flux de travail RAG (retrieval-augmented generation), et permet l’utilisation directe de disques SSD (solid-state drives), a déclaré la société.

Un document technique sur l’approche – AiSAQ : All-in-Storage ANNS with Product Quantization for DRAM-free Information Retrieval (ANNS tout-en-stockage avec quantification des produits pour la recherche d’informations sans DRAM) – a été publié en avril 2024 et le logiciel est disponible sur github à l’adresse https://github.com/kioxiaamerica/aisaq-diskann.

La recherche ANNS (approximate nearest neighbour search) est optimisée pour rechercher des données dans les disques SSD et permet d’effectuer la recherche RAG sans placer les données d’indexation dans la DRAM, mais en effectuant la recherche directement sur les disques SSD. Le RAG est une phase de l’IA qui affine les grands modèles de langage (LLM) à l’aide de données spécifiques à une entreprise ou à une application.

RAG identifie les vecteurs qui améliorent le modèle sur la base de la similarité entre les vecteurs accumulés et les vecteurs cibles. Pour que RAG soit efficace, il faut qu’il récupère les informations les plus pertinentes pour une requête suffisamment rapidement.

Traditionnellement, les algorithmes ANNS sont déployés dans la mémoire vive (DRAM) afin d’obtenir les performances à grande vitesse requises pour ces recherches, a déclaré l’entreprise.

Kioxia affirme que sa technologie AiSAQ est un ANNS évolutif et efficace pour les ensembles de données à l’échelle du milliard, avec une « utilisation négligeable de la mémoire et des capacités de changement d’index rapide ».

« La solution Kioxia AiSAQ ouvre la voie à une mise à l’échelle quasi infinie des applications RAG dans les systèmes d’IA générative basés sur des disques SSD à mémoire flash », a déclaré Axel Stoermann, directeur technique de Kioxia Europe GmbH. « En utilisant des ANNS basés sur des SSD, nous réduisons la dépendance à l’égard de la DRAM coûteuse tout en répondant aux besoins de performance des principales solutions en mémoire – ce qui améliore considérablement la gamme de performances des applications RAG à grande échelle. »

Liens et articles connexes :

www.kioxia.com

Articles de presse :

Le prix de l’introduction en bourse de Kioxia valorise l’entreprise à 5 milliards d’USD

L’offre excédentaire de flashes NAND devrait entraîner des réductions de production en 2025

SK Hynix prévoit l’introduction en bourse de sa filiale Solidigm spécialisée dans les disques SSD

Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :    ECI sur Google News

Partager:

Articles liés
10s