INT8 und TOPS

GPUs mit INT8 und TOPS, bestes Preis-Leistungs-Verhältnis zuerst

Sortiert nach $ pro PFLOP-Stunde dense INT8 zum jeweils niedrigsten On-Demand-Preis jeder GPU.

1. 1RTX 4070 SUPER12 GB$0.12/h$0.41/PFLOP·h
2. 2RTX 30708 GB$0.08/h$0.51/PFLOP·h
3. 3Instinct MI355X288 GB$2.59/h$0.51/PFLOP·h
4. 4RTX 409024 GB$0.34/h$0.51/PFLOP·h
5. 5RTX 4060 Ti16 GB$0.09/h$0.53/PFLOP·h
6. 6RTX 4070 Ti12 GB$0.19/h$0.59/PFLOP·h
7. 7RTX 3080 Ti12 GB$0.18/h$0.66/PFLOP·h
8. 8RTX 4080 SUPER16 GB$0.28/h$0.67/PFLOP·h

Verwandte Begriffe

• PräzisionWie viele Bits jede Zahl belegt. Weniger Bits bedeuten mehr Durchsatz und weniger Speicherbedarf, kosten aber etwas Genauigkeit. Dieselbe GPU hat für jede Präzision einen anderen Spitzenwert.
• FP88-Bit-Gleitkomma für Training und Inferenz, mit etwa doppeltem Durchsatz gegenüber FP16. Nativ auf Hopper, Ada, Blackwell sowie AMD CDNA 3 und neuer.
• FP44-Bit-Gleitkomma für quantisierte Inferenz. Nur Blackwell und AMD CDNA 4 führen es nativ aus.

Rechenleistung

• FLOPS, TFLOPS, PFLOPSGleitkommaoperationen pro Sekunde: wie viel Rechenarbeit ein Chip leisten kann. 1 TFLOPS sind eine Billion pro Sekunde, 1 PFLOPS (PetaFLOPS) sind tausend TFLOPS. PetaPrice gibt alle Rechenleistung in PFLOPS an.
• Dense vs. sparse FLOPSHersteller geben den Tensor-Durchsatz oft mit 2:4-Structured-Sparsity an, was den beworbenen Wert verdoppelt. Training und Inferenz nutzen das so gut wie nie, daher zeigt PetaPrice immer dichte Werte.
• $ pro PFLOP-StundeDer Preis einer GPU-Stunde geteilt durch die dichten Spitzen-PFLOPS der GPU bei der gewählten Präzision. Er zeigt, wie viel Rechenleistung ein Dollar kauft, sodass sich schnelle teure und langsame günstige GPUs direkt vergleichen lassen. Niedriger ist besser.
• FP16 und BF1616-Bit-Formate und der Standard für Training und Betrieb von LLMs. BF16 behält den Wertebereich von FP32 bei geringerer Genauigkeit, was das Training stabiler macht; es setzt Ampere, CDNA 2 oder neuer voraus.
• TF32NVIDIAs 19-Bit-Format, mit dem FP32-Matrixrechnungen auf Tensor Cores laufen. PyTorch kann es ab Ampere für FP32-Matrixmultiplikationen nutzen.
• Tensor Cores / Matrix CoresRecheneinheiten, die kleine Matrizen in einem Schritt multiplizieren; aus ihnen stammt fast der gesamte KI-Durchsatz einer GPU. NVIDIA nennt sie Tensor Cores, AMD Matrix Cores.
• MFU (Model FLOPS Utilization)Der Anteil der Spitzen-FLOPS, den eine reale Last tatsächlich erreicht. Große Trainingsläufe kommen meist auf 30–60 %, daher dienen Datenblatt-Spitzenwerte zum Vergleich von GPUs, nicht zur Vorhersage der Laufzeit.