…
Cloud-Mietpreis, Rechenleistung pro Dollar und technische Daten im direkten Vergleich.
Im interaktiven Vergleich öffnen →| Daten / Preis | V100 SXM2 32GB | A100 SXM 40GB |
|---|---|---|
| Speicher | 32 GB HBM2 | 40 GB HBM2besser |
| Speicherbandbreite | 900 GB/s | 1,555 GB/sbesser |
| FP16 / BF16 (dense) | 0.125 PF | 0.312 PFbesser |
| FP8 (dense) | — | — |
| FP4 (dense) | — | — |
| INT8 (dense) | — | 0.624 PF |
| TF32 (dense) | — | 0.156 PF |
| FP32 (dense) | 0.0157 PF | 0.0195 PFbesser |
| FP64 (dense) | 0.0078 PF | 0.0195 PFbesser |
| Leistungsaufnahme | 300 W | 400 W |
| Architektur | Volta (2018) | Ampere (2020) |
| Niedrigster On-Demand-Preis | $0.15besser | $0.54 |
| Median On-Demand | $2.03 | $1.99besser |
| Niedrigster Spot-Preis | $0.42besser | $0.55 |
| FP16/BF16 $ pro PFLOP·h | $1.19besser | $1.71 |
| Anbieter | 2 | 8 |
Die A100 SXM 40GB hat 2.5× mehr dichte FP16/BF16-Rechenleistung als die V100 SXM2 32GB. Die A100 SXM 40GB hat 1.7× mehr Speicherbandbreite als die V100 SXM2 32GB. Der reale Geschwindigkeitsgewinn hängt von der Last ab: Training und Prefill skalieren mit der Rechenleistung, LLM-Decoding dagegen vor allem mit der Speicherbandbreite.
Derzeit ist die V100 SXM2 32GB pro Einheit Rechenleistung günstiger: $1.19 vs. $1.71 pro PFLOP-Stunde zu den niedrigsten On-Demand-Preisen.
Eine GPU rund um die Uhr zum niedrigsten On-Demand-Preis kostet etwa $109 pro Monat für die V100 SXM2 32GB und $391 für die A100 SXM 40GB.
Die A100 SXM 40GB hat mehr Speicher: 40 GB vs. 32 GB.