…
H100 NVL vs H100 SXM
Prezzo di noleggio cloud, capacità di calcolo per dollaro e specifiche a confronto.
Apri nel comparatore interattivo →
H100 NVL$2.59on demand più basso per GPU·h
$3.10 per PFLOP·h · 5 providerH100 SXM$1.66on demand più basso per GPU·h
$1.68 per PFLOP·h · 28 providerCosa cambia davvero
- La H100 SXM ha throughput FP16/BF16 denso 1.2× superiore alla H100 NVL (0.835 PF vs 0.989 PF).
- La H100 NVL ha banda di memoria 1.2× superiore alla H100 SXM (3,900 vs 3,350 GB/s), che di solito limita la generazione di token degli LLM. Memoria: 94 GB vs 80 GB.
- La H100 SXM costa il 36% in meno all'ora rispetto alla H100 NVL ai prezzi on demand più bassi ($2.59 vs $1.66).
- Per unità di calcolo, la H100 SXM è l'affare migliore: $1.68 vs $3.10 per PFLOP-ora in FP16/BF16 denso.
| Specifica / prezzo | H100 NVL | H100 SXM |
|---|---|---|
| Memoria | 94 GB HBM3migliore | 80 GB HBM3 |
| Banda di memoria | 3,900 GB/smigliore | 3,350 GB/s |
| FP16 / BF16 (denso) | 0.835 PF | 0.989 PFmigliore |
| FP8 (denso) | 1.67 PF | 1.98 PFmigliore |
| FP4 (denso) | — | — |
| INT8 (denso) | 1.67 PF | 1.98 PFmigliore |
| TF32 (denso) | 0.417 PF | 0.495 PFmigliore |
| FP32 (denso) | 0.06 PF | 0.067 PFmigliore |
| FP64 (denso) | 0.06 PF | 0.067 PFmigliore |
| Potenza | 400 W | 700 W |
| Architettura | Hopper (2023) | Hopper (2022) |
| On demand più basso | $2.59 | $1.66migliore |
| Mediana on demand | $2.92migliore | $3.19 |
| Spot più basso | $1.29 | $0.79migliore |
| FP16/BF16 $ per PFLOP·h | $3.10 | $1.68migliore |
| Provider | 5 | 28 |
H100 NVL vs H100 SXM: domande
La H100 NVL è più veloce della H100 SXM?
La H100 SXM ha calcolo FP16/BF16 denso 1.2× superiore alla H100 NVL. La H100 NVL ha banda di memoria 1.2× superiore alla H100 SXM. Gli incrementi di velocità reali dipendono dal carico di lavoro: training e prefill scalano con la capacità di calcolo, mentre il decoding degli LLM scala soprattutto con la banda di memoria.
Quale costa meno per FLOP, la H100 NVL o la H100 SXM?
In questo momento la H100 SXM costa meno per unità di calcolo: $1.68 vs $3.10 per PFLOP-ora ai prezzi on demand più bassi.
Quanto costa noleggiare una H100 NVL rispetto a una H100 SXM per un mese?
Far girare una GPU 24 ore su 24 al prezzo on demand più basso costa circa $1,891 al mese per la H100 NVL e $1,212 per la H100 SXM.
Quale ha più memoria, la H100 NVL o la H100 SXM?
La H100 NVL ha più memoria: 94 GB vs 80 GB.