Carte accélératrice facilitant le déploiement des modèles de Deep Learning
L’accélérateur ML à format PCIe double largeur, GroqCard, de BittWare, proposé par Mouser, offre des chemins de déploiement faciles pour les modèles d’apprentissage profond (deep learning) entraînés par PyTorch, TensorFlow et ONNX.
Il est doté de neuf connexions puce à puce RealScale pour assurer le déploiement de plusieurs cartes aussi efficacement qu’une seule carte. L’accélérateur offre une évolutivité quasi-linéaire, multi-serveurs et multi-racks sans commutateurs externes. Le code de correction d’erreur (ECC) assure une protection contre la corruption des données pour améliorer le temps de fonctionnement et la fiabilité.
L’accélérateur est doté du processeur GroqChip entièrement déterministe pour une meilleure évolutivité. En réduisant les mouvements de données, le GroqChip garantit des performances prévisibles, sans goulot d’étranglement et à faible latence.
La suite GroqWare, une pile logicielle complète et polyvalente, est composée du compilateur Groq, de l’API Groq et d’utilitaires. Elle simplifie le processus d’intégration et de configuration et est compatible avec les frameworks d’IA et de ML les plus courants du secteur. La chaîne d’outils GroqFlow, intégrée à la suite GroqWare, permet à une seule ligne de code Pytorch ou TensorFlow d’importer et de transformer des modèles existants.
L’accélérateur GroqCard offre jusqu’à 750 TOPS et 188 TFLOPS à une fréquence de 900 MHz pour les opérations INT8 et FP16. Il dispose de 230 Mo de SRAM par puce et d’une bande passante mémoire sur matrice allant jusqu’à 80 To/s pour permettre un accès et un traitement des données à grande vitesse.
L’accélérateur GroqCard représente un choix polyvalent pour accélérer les charges de travail d’intelligence artificielle (IA), de calcul haute performance (HPC) et d’apprentissage automatique (machine learning, ML) pour les applications financières, gouvernementales, industrielles, d’IA générative, et d’énergie.
Suivre ECInews sur Google news
Si vous avez apprécié cet article, vous aimerez les suivants : ne les manquez pas en vous abonnant à :
