$ por PFLOP-hora

También conocido como: $/PFLOP·h, coste por PFLOP

El precio de una hora de GPU dividido entre los PFLOPS pico densos de la GPU en la precisión elegida. Indica cuánto cómputo se obtiene por cada dólar, de modo que las GPU rápidas y caras pueden compararse directamente con las lentas y baratas. Cuanto menor, mejor.

Mejor relación calidad-precio ahora mismo

Ordenadas por $ por PFLOP-hora de FP16 / BF16 denso al precio bajo demanda más bajo de cada GPU.

1RTX 4070 SUPER12 GB$0.07/h$0.97/PFLOP·h
2Instinct MI355X288 GB$2.59/h$1.03/PFLOP·h
3Instinct MI300X192 GB$1.85/h$1.42/PFLOP·h
4B200 SXM180 GB$3.20/h$1.42/PFLOP·h
5RTX A500024 GB$0.16/h$1.44/PFLOP·h
6V100 SXM2 16GB16 GB$0.19/h$1.52/PFLOP·h
7Instinct MI325X256 GB$2.00/h$1.53/PFLOP·h
8Titan RTX24 GB$0.20/h$1.54/PFLOP·h

Comparar todas las GPU →

Términos relacionados

FLOPS, TFLOPS, PFLOPSOperaciones de coma flotante por segundo: cuánta aritmética puede hacer un chip. 1 TFLOPS equivale a un billón por segundo y 1 PFLOPS (PetaFLOPS), a mil TFLOPS. PetaPrice muestra todo el cómputo en PFLOPS.
FLOPS densos vs. dispersosLos fabricantes suelen indicar el rendimiento tensorial con dispersión estructurada 2:4, que duplica la cifra destacada. Casi ningún entrenamiento ni inferencia la usa, así que PetaPrice muestra siempre cifras densas.
Hora de GPUUna GPU durante una hora. Un nodo de 8 GPU durante 2 horas son 16 horas de GPU. Una GPU funcionando las 24 horas suma unas 730 horas de GPU al mes.

Cómputo

PrecisiónCuántos bits usa cada número. Menos bits suponen más rendimiento y menos memoria, a costa de algo de exactitud. Una misma GPU tiene un pico distinto en cada precisión.
FP16 y BF16Formatos de 16 bits y el estándar para entrenar y ejecutar LLM. BF16 conserva el rango de FP32 con menos precisión, lo que hace el entrenamiento más estable; requiere Ampere, CDNA 2 o posterior.
FP8Coma flotante de 8 bits para entrenamiento e inferencia, con aproximadamente el doble de rendimiento que FP16. Nativo en Hopper, Ada, Blackwell y AMD CDNA 3 y posteriores.
FP4Coma flotante de 4 bits, usada para inferencia cuantizada. Solo Blackwell y AMD CDNA 4 lo ejecutan de forma nativa.
TF32Formato de 19 bits de NVIDIA que ejecuta operaciones matriciales FP32 en tensor cores. PyTorch puede usarlo para las multiplicaciones de matrices FP32 en Ampere y posteriores.
INT8 y TOPSEnteros de 8 bits para inferencia cuantizada. El rendimiento se mide en TOPS (billones de operaciones por segundo) en lugar de FLOPS.
Tensor cores / matrix coresUnidades que multiplican matrices pequeñas en un solo paso y de las que procede casi todo el rendimiento de IA de una GPU. NVIDIA las llama tensor cores y AMD, matrix cores.
MFU (utilización de FLOPS del modelo)La proporción de los FLOPS pico que alcanza una carga de trabajo real. Los grandes entrenamientos suelen llegar al 30–60%, así que los picos de ficha técnica sirven para comparar GPU, no para predecir tiempos de ejecución.

← Todos los términos

…