…
H100 PCIe vs H100 SXM
Prix de location cloud, calcul par dollar et caractéristiques, côte à côte.
Ouvrir dans le comparateur interactif →
H100 PCIe$1.98le plus bas à la demande par GPU·h
$2.62 par PFLOP·h · 6 fournisseursH100 SXM$1.66le plus bas à la demande par GPU·h
$1.68 par PFLOP·h · 28 fournisseursCe qui les distingue vraiment
- Le H100 SXM offre 1.3× plus de débit FP16/BF16 dense que le H100 PCIe (0.756 PF vs 0.989 PF).
- Le H100 SXM offre 1.7× plus de bande passante mémoire que le H100 PCIe (2,000 vs 3,350 GB/s), ce qui limite généralement la génération de tokens des LLM. Mémoire : 80 GB vs 80 GB.
- Le H100 SXM est 16 % moins cher à l'heure que le H100 PCIe aux prix à la demande les plus bas ($1.98 vs $1.66).
- Par unité de calcul, le H100 SXM est le plus avantageux : $1.68 vs $2.62 par PFLOP-heure en FP16/BF16 dense.
| Caractéristique / prix | H100 PCIe | H100 SXM |
|---|---|---|
| Mémoire | 80 GB HBM2e | 80 GB HBM3 |
| Bande passante mémoire | 2,000 GB/s | 3,350 GB/smeilleur |
| FP16 / BF16 (dense) | 0.756 PF | 0.989 PFmeilleur |
| FP8 (dense) | 1.51 PF | 1.98 PFmeilleur |
| FP4 (dense) | — | — |
| INT8 (dense) | 1.51 PF | 1.98 PFmeilleur |
| TF32 (dense) | 0.378 PF | 0.495 PFmeilleur |
| FP32 (dense) | 0.051 PF | 0.067 PFmeilleur |
| FP64 (dense) | 0.051 PF | 0.067 PFmeilleur |
| Consommation | 350 W | 700 W |
| Architecture | Hopper (2022) | Hopper (2022) |
| Le plus bas à la demande | $1.98 | $1.66meilleur |
| Médiane à la demande | $2.75meilleur | $3.19 |
| Le plus bas en spot | $2.00 | $0.79meilleur |
| FP16/BF16 $ par PFLOP·h | $2.62 | $1.68meilleur |
| Fournisseurs | 6 | 28 |
H100 PCIe vs H100 SXM : questions
Le H100 PCIe est-il plus rapide que le H100 SXM ?
Le H100 SXM offre 1.3× plus de calcul FP16/BF16 dense que le H100 PCIe. Le H100 SXM offre 1.7× plus de bande passante mémoire que le H100 PCIe. Les gains réels dépendent de la charge de travail : l'entraînement et le prefill évoluent avec la puissance de calcul, tandis que le décodage des LLM dépend surtout de la bande passante mémoire.
Lequel est le moins cher par FLOP, le H100 PCIe ou le H100 SXM ?
Actuellement, le H100 SXM est le moins cher par unité de calcul : $1.68 vs $2.62 par PFLOP-heure aux prix à la demande les plus bas.
Combien coûte la location d'un H100 PCIe vs un H100 SXM pendant un mois ?
Faire tourner un GPU en continu au prix à la demande le plus bas coûte environ $1,445 par mois pour le H100 PCIe et $1,212 pour le H100 SXM.
Lequel a le plus de mémoire, le H100 PCIe ou le H100 SXM ?
Les deux ont 80 GB de VRAM ; le H100 SXM dispose de plus de bande passante.