FP8

También conocido como: E4M3, E5M2, Float8

Coma flotante de 8 bits para entrenamiento e inferencia, con aproximadamente el doble de rendimiento que FP16. Nativo en Hopper, Ada, Blackwell y AMD CDNA 3 y posteriores.

GPU con FP8, primero las de mejor relación calidad-precio

Ordenadas por $ por PFLOP-hora de FP8 denso al precio bajo demanda más bajo de cada GPU.

1RTX 4070 SUPER12 GB$0.07/h$0.49/PFLOP·h
2Instinct MI355X288 GB$2.59/h$0.51/PFLOP·h
3Instinct MI300X192 GB$1.85/h$0.71/PFLOP·h
4B200 SXM180 GB$3.20/h$0.71/PFLOP·h
5Instinct MI325X256 GB$2.00/h$0.76/PFLOP·h
6RTX 6000 Ada48 GB$0.65/h$0.89/PFLOP·h
7H100 SXM80 GB$1.82/h$0.92/PFLOP·h
8RTX 5000 Ada32 GB$0.49/h$0.94/PFLOP·h

Comparar todas las GPU →

Términos relacionados

PrecisiónCuántos bits usa cada número. Menos bits suponen más rendimiento y menos memoria, a costa de algo de exactitud. Una misma GPU tiene un pico distinto en cada precisión.
FP16 y BF16Formatos de 16 bits y el estándar para entrenar y ejecutar LLM. BF16 conserva el rango de FP32 con menos precisión, lo que hace el entrenamiento más estable; requiere Ampere, CDNA 2 o posterior.
FP4Coma flotante de 4 bits, usada para inferencia cuantizada. Solo Blackwell y AMD CDNA 4 lo ejecutan de forma nativa.

Cómputo

FLOPS, TFLOPS, PFLOPSOperaciones de coma flotante por segundo: cuánta aritmética puede hacer un chip. 1 TFLOPS equivale a un billón por segundo y 1 PFLOPS (PetaFLOPS), a mil TFLOPS. PetaPrice muestra todo el cómputo en PFLOPS.
FLOPS densos vs. dispersosLos fabricantes suelen indicar el rendimiento tensorial con dispersión estructurada 2:4, que duplica la cifra destacada. Casi ningún entrenamiento ni inferencia la usa, así que PetaPrice muestra siempre cifras densas.
$ por PFLOP-horaEl precio de una hora de GPU dividido entre los PFLOPS pico densos de la GPU en la precisión elegida. Indica cuánto cómputo se obtiene por cada dólar, de modo que las GPU rápidas y caras pueden compararse directamente con las lentas y baratas. Cuanto menor, mejor.
TF32Formato de 19 bits de NVIDIA que ejecuta operaciones matriciales FP32 en tensor cores. PyTorch puede usarlo para las multiplicaciones de matrices FP32 en Ampere y posteriores.
INT8 y TOPSEnteros de 8 bits para inferencia cuantizada. El rendimiento se mide en TOPS (billones de operaciones por segundo) en lugar de FLOPS.
Tensor cores / matrix coresUnidades que multiplican matrices pequeñas en un solo paso y de las que procede casi todo el rendimiento de IA de una GPU. NVIDIA las llama tensor cores y AMD, matrix cores.
MFU (utilización de FLOPS del modelo)La proporción de los FLOPS pico que alcanza una carga de trabajo real. Los grandes entrenamientos suelen llegar al 30–60%, así que los picos de ficha técnica sirven para comparar GPU, no para predecir tiempos de ejecución.

← Todos los términos

…