…
H100 SXM vs Instinct MI300X
Prix de location cloud, calcul par dollar et caractéristiques, côte à côte.
Ouvrir dans le comparateur interactif →
H100 SXM$1.66le plus bas à la demande par GPU·h
$1.68 par PFLOP·h · 28 fournisseurs
Instinct MI300X$1.71le plus bas à la demande par GPU·h
$1.31 par PFLOP·h · 10 fournisseursCe qui les distingue vraiment
- Le Instinct MI300X offre 1.3× plus de débit FP16/BF16 dense que le H100 SXM (0.989 PF vs 1.31 PF).
- Le Instinct MI300X offre 1.6× plus de bande passante mémoire que le H100 SXM (3,350 vs 5,300 GB/s), ce qui limite généralement la génération de tokens des LLM. Mémoire : 80 GB vs 192 GB.
- Les deux coûtent à peu près autant à l'heure aux prix à la demande les plus bas ($1.66 vs $1.71).
- Par unité de calcul, le Instinct MI300X est le plus avantageux : $1.31 vs $1.68 par PFLOP-heure en FP16/BF16 dense.
| Caractéristique / prix | H100 SXM | Instinct MI300X |
|---|---|---|
| Mémoire | 80 GB HBM3 | 192 GB HBM3meilleur |
| Bande passante mémoire | 3,350 GB/s | 5,300 GB/smeilleur |
| FP16 / BF16 (dense) | 0.989 PF | 1.31 PFmeilleur |
| FP8 (dense) | 1.98 PF | 2.61 PFmeilleur |
| FP4 (dense) | — | — |
| INT8 (dense) | 1.98 PF | 2.61 PFmeilleur |
| TF32 (dense) | 0.495 PF | 0.654 PFmeilleur |
| FP32 (dense) | 0.067 PF | 0.163 PFmeilleur |
| FP64 (dense) | 0.067 PF | 0.163 PFmeilleur |
| Consommation | 700 W | 750 W |
| Architecture | Hopper (2022) | CDNA 3 (2023) |
| Le plus bas à la demande | $1.66meilleur | $1.71 |
| Médiane à la demande | $3.19 | $2.99meilleur |
| Le plus bas en spot | $0.79meilleur | $1.11 |
| FP16/BF16 $ par PFLOP·h | $1.68 | $1.31meilleur |
| Fournisseurs | 28 | 10 |
H100 SXM vs Instinct MI300X : questions
Le H100 SXM est-il plus rapide que le Instinct MI300X ?
Le Instinct MI300X offre 1.3× plus de calcul FP16/BF16 dense que le H100 SXM. Le Instinct MI300X offre 1.6× plus de bande passante mémoire que le H100 SXM. Les gains réels dépendent de la charge de travail : l'entraînement et le prefill évoluent avec la puissance de calcul, tandis que le décodage des LLM dépend surtout de la bande passante mémoire.
Lequel est le moins cher par FLOP, le H100 SXM ou le Instinct MI300X ?
Actuellement, le Instinct MI300X est le moins cher par unité de calcul : $1.31 vs $1.68 par PFLOP-heure aux prix à la demande les plus bas.
Combien coûte la location d'un H100 SXM vs un Instinct MI300X pendant un mois ?
Faire tourner un GPU en continu au prix à la demande le plus bas coûte environ $1,212 par mois pour le H100 SXM et $1,248 pour le Instinct MI300X.
Lequel a le plus de mémoire, le H100 SXM ou le Instinct MI300X ?
Le Instinct MI300X a plus de mémoire : 192 GB vs 80 GB.