TF32

Noto anche come: TensorFloat-32

Il formato a 19 bit di NVIDIA che esegue i calcoli matriciali FP32 sui tensor core. PyTorch può usarlo per le moltiplicazioni di matrici FP32 da Ampere in poi.

GPU con TF32, dal miglior rapporto qualità/prezzo

Ordinate per $ per PFLOP-ora di TF32 denso al prezzo on demand più basso di ogni GPU.

Confronta tutte le GPU →

Termini correlati

PrecisioneQuanti bit usa ogni numero. Meno bit significano più throughput e meno memoria, al prezzo di una certa perdita di accuratezza. La stessa GPU ha un picco diverso per ogni precisione.
FP16 e BF16Formati a 16 bit e lo standard per il training e l'esecuzione degli LLM. BF16 mantiene l'intervallo di FP32 con meno precisione, il che rende il training più stabile; richiede Ampere, CDNA 2 o successive.
Tensor core / matrix coreUnità che moltiplicano piccole matrici in un solo passaggio, da cui proviene quasi tutto il throughput AI di una GPU. NVIDIA li chiama tensor core, AMD matrix core.

Calcolo

← Tutti i termini

…