FP4

GPU con FP4, primero las de mejor relación calidad-precio

Ordenadas por $ por PFLOP-hora de FP4 denso al precio bajo demanda más bajo de cada GPU.

1. 1Instinct MI355X288 GB$2.59/h$0.26/PFLOP·h
2. 2B200 SXM180 GB$3.20/h$0.36/PFLOP·h
3. 3RTX 509032 GB$0.69/h$0.41/PFLOP·h
4. 4RTX 508016 GB$0.39/h$0.43/PFLOP·h
5. 5B300 SXM288 GB$6.60/h$0.49/PFLOP·h
6. 6RTX PRO 6000 Blackwell96 GB$1.25/h$0.62/PFLOP·h
7. 7GB300288 GB$9.72/h$0.65/PFLOP·h
8. 8Instinct MI350X288 GB$6.16/h$0.67/PFLOP·h

Términos relacionados

• PrecisiónCuántos bits usa cada número. Menos bits suponen más rendimiento y menos memoria, a costa de algo de exactitud. Una misma GPU tiene un pico distinto en cada precisión.
• FP8Coma flotante de 8 bits para entrenamiento e inferencia, con aproximadamente el doble de rendimiento que FP16. Nativo en Hopper, Ada, Blackwell y AMD CDNA 3 y posteriores.
• INT8 y TOPSEnteros de 8 bits para inferencia cuantizada. El rendimiento se mide en TOPS (billones de operaciones por segundo) en lugar de FLOPS.

Cómputo

• FLOPS, TFLOPS, PFLOPSOperaciones de coma flotante por segundo: cuánta aritmética puede hacer un chip. 1 TFLOPS equivale a un billón por segundo y 1 PFLOPS (PetaFLOPS), a mil TFLOPS. PetaPrice muestra todo el cómputo en PFLOPS.
• FLOPS densos vs. dispersosLos fabricantes suelen indicar el rendimiento tensorial con dispersión estructurada 2:4, que duplica la cifra destacada. Casi ningún entrenamiento ni inferencia la usa, así que PetaPrice muestra siempre cifras densas.
• $ por PFLOP-horaEl precio de una hora de GPU dividido entre los PFLOPS pico densos de la GPU en la precisión elegida. Indica cuánto cómputo se obtiene por cada dólar, de modo que las GPU rápidas y caras pueden compararse directamente con las lentas y baratas. Cuanto menor, mejor.
• FP16 y BF16Formatos de 16 bits y el estándar para entrenar y ejecutar LLM. BF16 conserva el rango de FP32 con menos precisión, lo que hace el entrenamiento más estable; requiere Ampere, CDNA 2 o posterior.
• TF32Formato de 19 bits de NVIDIA que ejecuta operaciones matriciales FP32 en tensor cores. PyTorch puede usarlo para las multiplicaciones de matrices FP32 en Ampere y posteriores.
• Tensor cores / matrix coresUnidades que multiplican matrices pequeñas en un solo paso y de las que procede casi todo el rendimiento de IA de una GPU. NVIDIA las llama tensor cores y AMD, matrix cores.
• MFU (utilización de FLOPS del modelo)La proporción de los FLOPS pico que alcanza una carga de trabajo real. Los grandes entrenamientos suelen llegar al 30–60%, así que los picos de ficha técnica sirven para comparar GPU, no para predecir tiempos de ejecución.