FP16 e BF16

Noto anche come: bfloat16, mezza precisione

Formati a 16 bit e lo standard per il training e l'esecuzione degli LLM. BF16 mantiene l'intervallo di FP32 con meno precisione, il che rende il training più stabile; richiede Ampere, CDNA 2 o successive.

GPU con FP16 e BF16, dal miglior rapporto qualità/prezzo

Ordinate per $ per PFLOP-ora di FP16 / BF16 denso al prezzo on demand più basso di ogni GPU.

1Instinct MI355X288 GB$2.59/h$1.03/PFLOP·h
2Instinct MI300X192 GB$1.85/h$1.42/PFLOP·h
3B200 SXM180 GB$3.20/h$1.42/PFLOP·h
4RTX A500024 GB$0.16/h$1.44/PFLOP·h
5Instinct MI325X256 GB$2.00/h$1.53/PFLOP·h
6RTX 4070 SUPER12 GB$0.12/h$1.64/PFLOP·h
7RTX 6000 Ada48 GB$0.65/h$1.79/PFLOP·h
8H100 SXM80 GB$1.82/h$1.83/PFLOP·h

Confronta tutte le GPU →

Termini correlati

PrecisioneQuanti bit usa ogni numero. Meno bit significano più throughput e meno memoria, al prezzo di una certa perdita di accuratezza. La stessa GPU ha un picco diverso per ogni precisione.
FP8Virgola mobile a 8 bit per training e inferenza, con un throughput circa doppio rispetto a FP16. Nativo su Hopper, Ada, Blackwell e AMD CDNA 3 e successive.
TF32Il formato a 19 bit di NVIDIA che esegue i calcoli matriciali FP32 sui tensor core. PyTorch può usarlo per le moltiplicazioni di matrici FP32 da Ampere in poi.

Calcolo

FLOPS, TFLOPS, PFLOPSOperazioni in virgola mobile al secondo: quanti calcoli aritmetici può eseguire un chip. 1 TFLOPS equivale a mille miliardi al secondo, 1 PFLOPS (PetaFLOPS) a mille TFLOPS. PetaPrice mostra tutta la capacità di calcolo in PFLOPS.
FLOPS densi vs. sparsiI produttori citano spesso il throughput tensor con sparsità strutturata 2:4, che raddoppia il valore pubblicizzato. Quasi nessun training o inferenza la usa, quindi PetaPrice mostra sempre i valori densi.
$ per PFLOP-oraIl prezzo di una GPU-ora diviso per i PFLOPS densi di picco della GPU alla precisione scelta. Mostra quanta capacità di calcolo compra un dollaro, così GPU veloci e costose e GPU lente ed economiche si possono confrontare direttamente. Più basso è meglio.
FP4Virgola mobile a 4 bit, usata per l'inferenza quantizzata. Solo Blackwell e AMD CDNA 4 la eseguono nativamente.
INT8 e TOPSInteri a 8 bit per l'inferenza quantizzata. Il throughput si misura in TOPS (migliaia di miliardi di operazioni al secondo) anziché in FLOPS.
Tensor core / matrix coreUnità che moltiplicano piccole matrici in un solo passaggio, da cui proviene quasi tutto il throughput AI di una GPU. NVIDIA li chiama tensor core, AMD matrix core.
MFU (model FLOPS utilization)La quota dei FLOPS di picco che un carico di lavoro reale raggiunge. I grandi training arrivano in genere al 30–60%, quindi i picchi da scheda tecnica servono a confrontare le GPU, non a prevedere i tempi di esecuzione.

← Tutti i termini

…