FP16 et BF16

Aussi appelé: bfloat16, demi-précision

Des formats 16 bits, la norme pour entraîner et exécuter des LLM. Le BF16 conserve la plage de valeurs du FP32 avec moins de précision, ce qui rend l'entraînement plus stable ; il nécessite Ampere, CDNA 2 ou plus récent.

GPU avec FP16 et BF16, du plus avantageux au moins avantageux

Classés par $ par PFLOP-heure en FP16 / BF16 dense, au prix à la demande le plus bas de chaque GPU.

Comparer tous les GPU →

Termes associés

PrécisionLe nombre de bits utilisés pour chaque nombre. Moins de bits signifie plus de débit et moins de mémoire, au prix d'une certaine perte d'exactitude. Un même GPU a une valeur crête différente pour chaque précision.
FP8Virgule flottante 8 bits pour l'entraînement et l'inférence, avec environ deux fois le débit du FP16. Pris en charge nativement par Hopper, Ada, Blackwell et AMD CDNA 3 et plus récents.
TF32Le format 19 bits de NVIDIA qui exécute les calculs matriciels FP32 sur les tensor cores. PyTorch peut l'utiliser pour les multiplications matricielles FP32 à partir d'Ampere.

Calcul

← Tous les termes

…