FP4

GPUs mit FP4, bestes Preis-Leistungs-Verhältnis zuerst

Sortiert nach $ pro PFLOP-Stunde dense FP4 zum jeweils niedrigsten On-Demand-Preis jeder GPU.

1. 1Instinct MI355X288 GB$2.59/h$0.26/PFLOP·h
2. 2B200 SXM180 GB$3.20/h$0.36/PFLOP·h
3. 3RTX 509032 GB$0.69/h$0.41/PFLOP·h
4. 4RTX 508016 GB$0.39/h$0.43/PFLOP·h
5. 5B300 SXM288 GB$6.60/h$0.49/PFLOP·h
6. 6RTX PRO 6000 Blackwell96 GB$1.25/h$0.62/PFLOP·h
7. 7GB300288 GB$9.72/h$0.65/PFLOP·h
8. 8Instinct MI350X288 GB$6.16/h$0.67/PFLOP·h

Verwandte Begriffe

• PräzisionWie viele Bits jede Zahl belegt. Weniger Bits bedeuten mehr Durchsatz und weniger Speicherbedarf, kosten aber etwas Genauigkeit. Dieselbe GPU hat für jede Präzision einen anderen Spitzenwert.
• FP88-Bit-Gleitkomma für Training und Inferenz, mit etwa doppeltem Durchsatz gegenüber FP16. Nativ auf Hopper, Ada, Blackwell sowie AMD CDNA 3 und neuer.
• INT8 und TOPS8-Bit-Ganzzahlen für quantisierte Inferenz. Der Durchsatz wird in TOPS (Billionen Operationen pro Sekunde) statt in FLOPS gemessen.

Rechenleistung

• FLOPS, TFLOPS, PFLOPSGleitkommaoperationen pro Sekunde: wie viel Rechenarbeit ein Chip leisten kann. 1 TFLOPS sind eine Billion pro Sekunde, 1 PFLOPS (PetaFLOPS) sind tausend TFLOPS. PetaPrice gibt alle Rechenleistung in PFLOPS an.
• Dense vs. sparse FLOPSHersteller geben den Tensor-Durchsatz oft mit 2:4-Structured-Sparsity an, was den beworbenen Wert verdoppelt. Training und Inferenz nutzen das so gut wie nie, daher zeigt PetaPrice immer dichte Werte.
• $ pro PFLOP-StundeDer Preis einer GPU-Stunde geteilt durch die dichten Spitzen-PFLOPS der GPU bei der gewählten Präzision. Er zeigt, wie viel Rechenleistung ein Dollar kauft, sodass sich schnelle teure und langsame günstige GPUs direkt vergleichen lassen. Niedriger ist besser.
• FP16 und BF1616-Bit-Formate und der Standard für Training und Betrieb von LLMs. BF16 behält den Wertebereich von FP32 bei geringerer Genauigkeit, was das Training stabiler macht; es setzt Ampere, CDNA 2 oder neuer voraus.
• TF32NVIDIAs 19-Bit-Format, mit dem FP32-Matrixrechnungen auf Tensor Cores laufen. PyTorch kann es ab Ampere für FP32-Matrixmultiplikationen nutzen.
• Tensor Cores / Matrix CoresRecheneinheiten, die kleine Matrizen in einem Schritt multiplizieren; aus ihnen stammt fast der gesamte KI-Durchsatz einer GPU. NVIDIA nennt sie Tensor Cores, AMD Matrix Cores.
• MFU (Model FLOPS Utilization)Der Anteil der Spitzen-FLOPS, den eine reale Last tatsächlich erreicht. Große Trainingsläufe kommen meist auf 30–60 %, daher dienen Datenblatt-Spitzenwerte zum Vergleich von GPUs, nicht zur Vorhersage der Laufzeit.