…
RTX 4090 vs. A100 SXM 80GB
Cloud-Mietpreis, Rechenleistung pro Dollar und technische Daten im direkten Vergleich.
Im interaktiven Vergleich öffnen →
RTX 4090$0.29niedrigster On-Demand-Preis pro GPU·h
$1.78 pro PFLOP·h · 6 AnbieterA100 SXM 80GB$0.81niedrigster On-Demand-Preis pro GPU·h
$2.60 pro PFLOP·h · 17 AnbieterWas sich wirklich unterscheidet
- Die A100 SXM 80GB hat 1.9× mehr dichte FP16/BF16-Leistung als die RTX 4090 (0.165 PF vs. 0.312 PF).
- Die A100 SXM 80GB hat 2.0× mehr Speicherbandbreite als die RTX 4090 (1,008 vs. 2,039 GB/s), was meist die Token-Generierung von LLMs begrenzt. Speicher: 24 GB vs. 80 GB.
- Nur die RTX 4090 hat native FP8-Tensor-Cores.
- Die RTX 4090 ist pro Stunde 64 % günstiger als die A100 SXM 80GB, gemessen an den niedrigsten On-Demand-Preisen ($0.29 vs. $0.81).
- Pro Einheit Rechenleistung ist die RTX 4090 das bessere Angebot: $1.78 vs. $2.60 pro PFLOP-Stunde dense FP16/BF16.
| Daten / Preis | RTX 4090 | A100 SXM 80GB |
|---|---|---|
| Speicher | 24 GB GDDR6X | 80 GB HBM2ebesser |
| Speicherbandbreite | 1,008 GB/s | 2,039 GB/sbesser |
| FP16 / BF16 (dense) | 0.165 PF | 0.312 PFbesser |
| FP8 (dense) | 0.33 PF | — |
| FP4 (dense) | — | — |
| INT8 (dense) | 0.661 PFbesser | 0.624 PF |
| TF32 (dense) | 0.0826 PF | 0.156 PFbesser |
| FP32 (dense) | 0.0826 PFbesser | 0.0195 PF |
| FP64 (dense) | 0.0013 PF | 0.0195 PFbesser |
| Leistungsaufnahme | 450 W | 400 W |
| Architektur | Ada Lovelace (2022) | Ampere (2020) |
| Niedrigster On-Demand-Preis | $0.29besser | $0.81 |
| Median On-Demand | $0.39besser | $2.35 |
| Niedrigster Spot-Preis | $0.16besser | $0.90 |
| FP16/BF16 $ pro PFLOP·h | $1.78besser | $2.60 |
| Anbieter | 6 | 17 |
RTX 4090 vs. A100 SXM 80GB: Fragen
Ist die RTX 4090 schneller als die A100 SXM 80GB?
Die A100 SXM 80GB hat 1.9× mehr dichte FP16/BF16-Rechenleistung als die RTX 4090. Die A100 SXM 80GB hat 2.0× mehr Speicherbandbreite als die RTX 4090. Der reale Geschwindigkeitsgewinn hängt von der Last ab: Training und Prefill skalieren mit der Rechenleistung, LLM-Decoding dagegen vor allem mit der Speicherbandbreite.
Welche ist pro FLOP günstiger, die RTX 4090 oder die A100 SXM 80GB?
Derzeit ist die RTX 4090 pro Einheit Rechenleistung günstiger: $1.78 vs. $2.60 pro PFLOP-Stunde zu den niedrigsten On-Demand-Preisen.
Was kostet es, eine RTX 4090 bzw. eine A100 SXM 80GB einen Monat lang zu mieten?
Eine GPU rund um die Uhr zum niedrigsten On-Demand-Preis kostet etwa $215 pro Monat für die RTX 4090 und $591 für die A100 SXM 80GB.
Welche hat mehr Speicher, die RTX 4090 oder die A100 SXM 80GB?
Die A100 SXM 80GB hat mehr Speicher: 80 GB vs. 24 GB.