INT8 e TOPS

Noto anche come: intero a 8 bit, TOPS

Interi a 8 bit per l'inferenza quantizzata. Il throughput si misura in TOPS (migliaia di miliardi di operazioni al secondo) anziché in FLOPS.

GPU con INT8 e TOPS, dal miglior rapporto qualità/prezzo

Ordinate per $ per PFLOP-ora di INT8 denso al prezzo on demand più basso di ogni GPU.

1RTX 4070 SUPER12 GB$0.12/h$0.41/PFLOP·h
2RTX 30708 GB$0.08/h$0.51/PFLOP·h
3Instinct MI355X288 GB$2.59/h$0.51/PFLOP·h
4RTX 409024 GB$0.34/h$0.51/PFLOP·h
5RTX 4060 Ti16 GB$0.09/h$0.53/PFLOP·h
6RTX 4070 Ti12 GB$0.19/h$0.59/PFLOP·h
7RTX 3080 Ti12 GB$0.18/h$0.66/PFLOP·h
8RTX 4080 SUPER16 GB$0.28/h$0.67/PFLOP·h

Confronta tutte le GPU →

Termini correlati

PrecisioneQuanti bit usa ogni numero. Meno bit significano più throughput e meno memoria, al prezzo di una certa perdita di accuratezza. La stessa GPU ha un picco diverso per ogni precisione.
FP8Virgola mobile a 8 bit per training e inferenza, con un throughput circa doppio rispetto a FP16. Nativo su Hopper, Ada, Blackwell e AMD CDNA 3 e successive.
FP4Virgola mobile a 4 bit, usata per l'inferenza quantizzata. Solo Blackwell e AMD CDNA 4 la eseguono nativamente.

Calcolo

FLOPS, TFLOPS, PFLOPSOperazioni in virgola mobile al secondo: quanti calcoli aritmetici può eseguire un chip. 1 TFLOPS equivale a mille miliardi al secondo, 1 PFLOPS (PetaFLOPS) a mille TFLOPS. PetaPrice mostra tutta la capacità di calcolo in PFLOPS.
FLOPS densi vs. sparsiI produttori citano spesso il throughput tensor con sparsità strutturata 2:4, che raddoppia il valore pubblicizzato. Quasi nessun training o inferenza la usa, quindi PetaPrice mostra sempre i valori densi.
$ per PFLOP-oraIl prezzo di una GPU-ora diviso per i PFLOPS densi di picco della GPU alla precisione scelta. Mostra quanta capacità di calcolo compra un dollaro, così GPU veloci e costose e GPU lente ed economiche si possono confrontare direttamente. Più basso è meglio.
FP16 e BF16Formati a 16 bit e lo standard per il training e l'esecuzione degli LLM. BF16 mantiene l'intervallo di FP32 con meno precisione, il che rende il training più stabile; richiede Ampere, CDNA 2 o successive.
TF32Il formato a 19 bit di NVIDIA che esegue i calcoli matriciali FP32 sui tensor core. PyTorch può usarlo per le moltiplicazioni di matrici FP32 da Ampere in poi.
Tensor core / matrix coreUnità che moltiplicano piccole matrici in un solo passaggio, da cui proviene quasi tutto il throughput AI di una GPU. NVIDIA li chiama tensor core, AMD matrix core.
MFU (model FLOPS utilization)La quota dei FLOPS di picco che un carico di lavoro reale raggiunge. I grandi training arrivano in genere al 30–60%, quindi i picchi da scheda tecnica servono a confrontare le GPU, non a prevedere i tempi di esecuzione.

← Tutti i termini

…