NVIDIA H100 - Processeur de calcul - NVIDIA H100 Tensor Core - 80 Go HBM3 - PCI Express 5.0 - san ventilateu... (R9S41C)

Les atouts

• Mise en œuvre d'une IA transformationnelle
• Les GPU NVIDIA H100 intègrent des coeurs Tensor de quatrième génération et un moteur de transformation à précision FP8 permettant un entraînement jusqu'à 9 fois plus rapide qu'avec les modèles MoE (Mixture of Experts) de génération précédente. Des petites infrastructures d'entreprise aux grands clusters de GPU unifiés, vous pouvez bénéficier d'un maximum de performance et d'évolutivité grâce à la combinaison de la technologie NVlink de quatrième génération (offrant une interconnexion GPU-vers-GPU à 900 Go/s), du système de commutation NVLink (qui accélère les communications entre chaque GPU sur tous les nœuds) et de la norme PCIe Gen5. Le déploiement des GPU H100 à l'échelle des Data Centers offre des performances de calcul exceptionnelles et fait entrer les chercheurs dans la nouvelle ère du HPC Exascale, avec des modèles d'IA incluant des billions de paramètres.
• Inférences Deep Learning en temps réel
• L'IA permet de relever une multitude de défis commerciaux en mettant à profit un grand nombre de réseaux de neurones. Un bon accélérateur d'inférences IA doit permettre d'améliorer les performances de calcul tout en s'avérant suffisamment polyvalent pour accélérer l'ensemble de ces réseaux de neurones. Le GPU H100 met en œuvre plusieurs avancées technologiques qui accélèrent jusqu'à 30 fois les workflows d'inférence tout en réduisant la latence. Les coeurs Tensor de quatrième génération accélèrent les calculs à tous les niveaux de précision (FP64, TF32, FP32, FP16 et INT8), tandis que le moteur de transformation utilise des opérations FP8 et FP16 pour réduire l'utilisation de la mémoire et augmenter les performances tout en maximisant la précision relative aux modèles de langage les plus complexes.
• Calcul haute performance Exascale
• La plateforme de NVIDIA pour Data Center offre des gains constants de performance qui vont bien au-delà de la loi de Moore. Les capacités du GPU H100 amplifient les capacités de l'IA et du HPC pour accélérer les projets des scientifiques et des chercheurs qui cherchent à relever les défis les plus importants au monde. Le H100 triple le nombre d'opérations en virgule flottante par seconde (FLOPs) avec les coeurs Tensor en double précision, fournissant ainsi une puissance totale de 60 téraflops pour les calculs FP64 dans les applications HPC. Les applications HPC avec IA intégrée peuvent également tirer parti du niveau de précision TF32 du GPU H100 pour atteindre un pétaflop de rendement afin d'accélérer les opérations de multiplication matricielle en simple précision, sans le moindre changement de code. H100 intègre en outre des instructions DPX qui contribuent à fournir des performances 7 fois plus élevées qu'avec les GPU NVIDIA A100 Tensor Core et 40 fois plus rapides qu'avec les serveurs CPU Dual-Socket pour les algorithmes de programmation dynamique tels que Smith-Waterman, servant à l'alignement des séquences ADN.
• Accélération de l'analyse de données
• L'analyse de données peut prendre beaucoup de temps lors du développement de nouvelles applications d'IA. Étant donné que des jeux de données volumineux sont hébergés sur de multiples serveurs, les solutions Scale-Out des serveurs CPU génériques sont aujourd'hui impactées par un manque de performance et d'évolutivité. Les serveurs accélérés par les GPU H100 fournissent une puissance de calcul exceptionnelle ainsi qu'une bande passante de 3 To/s par GPU, sans oublier une évolutivité incomparable grâce aux technologies NVLink et NVSwitch. Vous pouvez ainsi traiter les tâches d'analyse de données avec des performances et une évolutivité sans précédent, mais aussi prendre en charge des jeux de données d'une grande complexité. Associée à la technologie NVIDIA Quantum-2 Infiniband, à la solution Spark 3.0 accélérée par GPU et aux bibliothèques logicielles NVIDIA RAPIDS, la plateforme de NVIDIA pour Data Center a été spécialement conçue pour accélérer vos workflows de manière significative avec des performances et une efficacité incomparables.
• Conçu pour une utilisation en entreprise
• Les responsables informatiques cherchent à optimiser l'utilisation maximale et moyenne des ressources de calcul sur les Data Centers. Pour ce faire, ils ont le plus souvent recours à une technique de reconfiguration dynamique pour adapter les ressources de calcul aux charges de travail en cours d'utilisation. La technologie de GPU multi-instances (MIG) de seconde génération intégrée au H100 maximise l'utilisation de chaque GPU en le partitionnant en sept instances distinctes, de manière entièrement sécurisée. Grâce au support de la technologie Confidential Computing, le H100 permet une utilisation multi-utilisateurs de bout en bout totalement sécurisée, ce qui en fait la solution idéale pour les environnements des fournisseurs de services Cloud. Le H100 avec MIG permet aux gestionnaires informatiques de standardiser leur infrastructure accélérée par GPU tout en disposant de suffisamment de polyvalence pour procéder à une allocation des ressources GPU avec une granularité accrue, de manière à offrir aux développeurs des capacités de calcul adéquates et à garantir une utilisation optimale de toutes les ressources GPU.
• Calcul confidentiel intégré
• Aujourd'hui, les solutions de calcul confidentiel reposent encore sur le traitement CPU, ce qui met un frein à leur adoption pour les workflows de calcul intensif en matière d'IA et de HPC. NVIDIA Confidential Computing est une fonctionnalité de sécurité intégrée de l'architecture NVIDIA Hopper, qui fait du GPU NVIDIA H100 le tout premier accélérateur au monde doté de capacités de calcul confidentiel. Les utilisateurs peuvent ainsi protéger la confidentialité et renforcer l'intégrité de leurs données et de leurs modèles d'IA en cours d'utilisation, tout en bénéficiant des capacités d'accélération sans précédent des GPU H100. Cette technologie crée un environnement d'exécution de confiance (TEE) basé sur le matériel, qui permet de sécuriser et d'isoler l'intégralité de la charge de travail exécutée sur un seul GPU H100, sur plusieurs GPU H100 au sein d'un nœud ou sur des instances MIG individuelles. Les applications accélérées par GPU peuvent fonctionner sans modification dans le TEE et n'ont pas besoin d'être partitionnées. Les utilisateurs peuvent ainsi combiner toute la puissance des logiciels de NVIDIA pour l'IA et le HPC avec la sécurité renforcée de la racine de confiance matérielle mise en œuvre par la technologie NVIDIA Confidential Computing.