FP16 y BF16

También conocido como: bfloat16, media precisión

Formatos de 16 bits y el estándar para entrenar y ejecutar LLM. BF16 conserva el rango de FP32 con menos precisión, lo que hace el entrenamiento más estable; requiere Ampere, CDNA 2 o posterior.

GPU con FP16 y BF16, primero las de mejor relación calidad-precio

Ordenadas por $ por PFLOP-hora de FP16 / BF16 denso al precio bajo demanda más bajo de cada GPU.

Comparar todas las GPU →

Términos relacionados

PrecisiónCuántos bits usa cada número. Menos bits suponen más rendimiento y menos memoria, a costa de algo de exactitud. Una misma GPU tiene un pico distinto en cada precisión.
FP8Coma flotante de 8 bits para entrenamiento e inferencia, con aproximadamente el doble de rendimiento que FP16. Nativo en Hopper, Ada, Blackwell y AMD CDNA 3 y posteriores.
TF32Formato de 19 bits de NVIDIA que ejecuta operaciones matriciales FP32 en tensor cores. PyTorch puede usarlo para las multiplicaciones de matrices FP32 en Ampere y posteriores.

Cómputo

← Todos los términos

…