…
H100 NVL vs H100 SXM
Prix de location cloud, calcul par dollar et caractéristiques, côte à côte.
Ouvrir dans le comparateur interactif →
H100 NVL$2.59le plus bas à la demande par GPU·h
$3.10 par PFLOP·h · 5 fournisseursH100 SXM$1.66le plus bas à la demande par GPU·h
$1.68 par PFLOP·h · 28 fournisseursCe qui les distingue vraiment
- Le H100 SXM offre 1.2× plus de débit FP16/BF16 dense que le H100 NVL (0.835 PF vs 0.989 PF).
- Le H100 NVL offre 1.2× plus de bande passante mémoire que le H100 SXM (3,900 vs 3,350 GB/s), ce qui limite généralement la génération de tokens des LLM. Mémoire : 94 GB vs 80 GB.
- Le H100 SXM est 36 % moins cher à l'heure que le H100 NVL aux prix à la demande les plus bas ($2.59 vs $1.66).
- Par unité de calcul, le H100 SXM est le plus avantageux : $1.68 vs $3.10 par PFLOP-heure en FP16/BF16 dense.
| Caractéristique / prix | H100 NVL | H100 SXM |
|---|---|---|
| Mémoire | 94 GB HBM3meilleur | 80 GB HBM3 |
| Bande passante mémoire | 3,900 GB/smeilleur | 3,350 GB/s |
| FP16 / BF16 (dense) | 0.835 PF | 0.989 PFmeilleur |
| FP8 (dense) | 1.67 PF | 1.98 PFmeilleur |
| FP4 (dense) | — | — |
| INT8 (dense) | 1.67 PF | 1.98 PFmeilleur |
| TF32 (dense) | 0.417 PF | 0.495 PFmeilleur |
| FP32 (dense) | 0.06 PF | 0.067 PFmeilleur |
| FP64 (dense) | 0.06 PF | 0.067 PFmeilleur |
| Consommation | 400 W | 700 W |
| Architecture | Hopper (2023) | Hopper (2022) |
| Le plus bas à la demande | $2.59 | $1.66meilleur |
| Médiane à la demande | $2.92meilleur | $3.19 |
| Le plus bas en spot | $1.29 | $0.79meilleur |
| FP16/BF16 $ par PFLOP·h | $3.10 | $1.68meilleur |
| Fournisseurs | 5 | 28 |
H100 NVL vs H100 SXM : questions
Le H100 NVL est-il plus rapide que le H100 SXM ?
Le H100 SXM offre 1.2× plus de calcul FP16/BF16 dense que le H100 NVL. Le H100 NVL offre 1.2× plus de bande passante mémoire que le H100 SXM. Les gains réels dépendent de la charge de travail : l'entraînement et le prefill évoluent avec la puissance de calcul, tandis que le décodage des LLM dépend surtout de la bande passante mémoire.
Lequel est le moins cher par FLOP, le H100 NVL ou le H100 SXM ?
Actuellement, le H100 SXM est le moins cher par unité de calcul : $1.68 vs $3.10 par PFLOP-heure aux prix à la demande les plus bas.
Combien coûte la location d'un H100 NVL vs un H100 SXM pendant un mois ?
Faire tourner un GPU en continu au prix à la demande le plus bas coûte environ $1,891 par mois pour le H100 NVL et $1,212 pour le H100 SXM.
Lequel a le plus de mémoire, le H100 NVL ou le H100 SXM ?
Le H100 NVL a plus de mémoire : 94 GB vs 80 GB.