TF32

GPUs mit TF32, bestes Preis-Leistungs-Verhältnis zuerst

Sortiert nach $ pro PFLOP-Stunde dense TF32 zum jeweils niedrigsten On-Demand-Preis jeder GPU.

1. 1Instinct MI300X192 GB$1.85/h$2.83/PFLOP·h
2. 2RTX A500024 GB$0.16/h$2.88/PFLOP·h
3. 3B200 SXM180 GB$3.20/h$2.91/PFLOP·h
4. 4Instinct MI325X256 GB$2.00/h$3.06/PFLOP·h
5. 5RTX 4070 SUPER12 GB$0.12/h$3.28/PFLOP·h
6. 6RTX 6000 Ada48 GB$0.65/h$3.57/PFLOP·h
7. 7H100 SXM80 GB$1.82/h$3.67/PFLOP·h
8. 8RTX 5000 Ada32 GB$0.49/h$3.75/PFLOP·h

Verwandte Begriffe

• PräzisionWie viele Bits jede Zahl belegt. Weniger Bits bedeuten mehr Durchsatz und weniger Speicherbedarf, kosten aber etwas Genauigkeit. Dieselbe GPU hat für jede Präzision einen anderen Spitzenwert.
• FP16 und BF1616-Bit-Formate und der Standard für Training und Betrieb von LLMs. BF16 behält den Wertebereich von FP32 bei geringerer Genauigkeit, was das Training stabiler macht; es setzt Ampere, CDNA 2 oder neuer voraus.
• Tensor Cores / Matrix CoresRecheneinheiten, die kleine Matrizen in einem Schritt multiplizieren; aus ihnen stammt fast der gesamte KI-Durchsatz einer GPU. NVIDIA nennt sie Tensor Cores, AMD Matrix Cores.

Rechenleistung

• FLOPS, TFLOPS, PFLOPSGleitkommaoperationen pro Sekunde: wie viel Rechenarbeit ein Chip leisten kann. 1 TFLOPS sind eine Billion pro Sekunde, 1 PFLOPS (PetaFLOPS) sind tausend TFLOPS. PetaPrice gibt alle Rechenleistung in PFLOPS an.
• Dense vs. sparse FLOPSHersteller geben den Tensor-Durchsatz oft mit 2:4-Structured-Sparsity an, was den beworbenen Wert verdoppelt. Training und Inferenz nutzen das so gut wie nie, daher zeigt PetaPrice immer dichte Werte.
• $ pro PFLOP-StundeDer Preis einer GPU-Stunde geteilt durch die dichten Spitzen-PFLOPS der GPU bei der gewählten Präzision. Er zeigt, wie viel Rechenleistung ein Dollar kauft, sodass sich schnelle teure und langsame günstige GPUs direkt vergleichen lassen. Niedriger ist besser.
• FP88-Bit-Gleitkomma für Training und Inferenz, mit etwa doppeltem Durchsatz gegenüber FP16. Nativ auf Hopper, Ada, Blackwell sowie AMD CDNA 3 und neuer.
• FP44-Bit-Gleitkomma für quantisierte Inferenz. Nur Blackwell und AMD CDNA 4 führen es nativ aus.
• INT8 und TOPS8-Bit-Ganzzahlen für quantisierte Inferenz. Der Durchsatz wird in TOPS (Billionen Operationen pro Sekunde) statt in FLOPS gemessen.
• MFU (Model FLOPS Utilization)Der Anteil der Spitzen-FLOPS, den eine reale Last tatsächlich erreicht. Große Trainingsläufe kommen meist auf 30–60 %, daher dienen Datenblatt-Spitzenwerte zum Vergleich von GPUs, nicht zur Vorhersage der Laufzeit.