FP4

GPU con FP4, dal miglior rapporto qualità/prezzo

Ordinate per $ per PFLOP-ora di FP4 denso al prezzo on demand più basso di ogni GPU.

1. 1RTX 508016 GB$0.22/h$0.24/PFLOP·h
2. 2RTX 509032 GB$0.41/h$0.24/PFLOP·h
3. 3Instinct MI355X288 GB$2.59/h$0.26/PFLOP·h
4. 4RTX 5060 Ti16 GB$0.11/h$0.29/PFLOP·h
5. 5RTX 5070 Ti16 GB$0.20/h$0.29/PFLOP·h
6. 6B200 SXM180 GB$3.20/h$0.36/PFLOP·h
7. 7B300 SXM288 GB$6.60/h$0.49/PFLOP·h
8. 8RTX PRO 6000 Blackwell96 GB$1.25/h$0.62/PFLOP·h

Termini correlati

• PrecisioneQuanti bit usa ogni numero. Meno bit significano più throughput e meno memoria, al prezzo di una certa perdita di accuratezza. La stessa GPU ha un picco diverso per ogni precisione.
• FP8Virgola mobile a 8 bit per training e inferenza, con un throughput circa doppio rispetto a FP16. Nativo su Hopper, Ada, Blackwell e AMD CDNA 3 e successive.
• INT8 e TOPSInteri a 8 bit per l'inferenza quantizzata. Il throughput si misura in TOPS (migliaia di miliardi di operazioni al secondo) anziché in FLOPS.

Calcolo

• FLOPS, TFLOPS, PFLOPSOperazioni in virgola mobile al secondo: quanti calcoli aritmetici può eseguire un chip. 1 TFLOPS equivale a mille miliardi al secondo, 1 PFLOPS (PetaFLOPS) a mille TFLOPS. PetaPrice mostra tutta la capacità di calcolo in PFLOPS.
• FLOPS densi vs. sparsiI produttori citano spesso il throughput tensor con sparsità strutturata 2:4, che raddoppia il valore pubblicizzato. Quasi nessun training o inferenza la usa, quindi PetaPrice mostra sempre i valori densi.
• $ per PFLOP-oraIl prezzo di una GPU-ora diviso per i PFLOPS densi di picco della GPU alla precisione scelta. Mostra quanta capacità di calcolo compra un dollaro, così GPU veloci e costose e GPU lente ed economiche si possono confrontare direttamente. Più basso è meglio.
• FP16 e BF16Formati a 16 bit e lo standard per il training e l'esecuzione degli LLM. BF16 mantiene l'intervallo di FP32 con meno precisione, il che rende il training più stabile; richiede Ampere, CDNA 2 o successive.
• TF32Il formato a 19 bit di NVIDIA che esegue i calcoli matriciali FP32 sui tensor core. PyTorch può usarlo per le moltiplicazioni di matrici FP32 da Ampere in poi.
• Tensor core / matrix coreUnità che moltiplicano piccole matrici in un solo passaggio, da cui proviene quasi tutto il throughput AI di una GPU. NVIDIA li chiama tensor core, AMD matrix core.
• MFU (model FLOPS utilization)La quota dei FLOPS di picco che un carico di lavoro reale raggiunge. I grandi training arrivano in genere al 30–60%, quindi i picchi da scheda tecnica servono a confrontare le GPU, non a prevedere i tempi di esecuzione.