INT8 y TOPS

También conocido como: entero de 8 bits, TOPS

Enteros de 8 bits para inferencia cuantizada. El rendimiento se mide en TOPS (billones de operaciones por segundo) en lugar de FLOPS.

GPU con INT8 y TOPS, primero las de mejor relación calidad-precio

Ordenadas por $ por PFLOP-hora de INT8 denso al precio bajo demanda más bajo de cada GPU.

1RTX 4070 SUPER12 GB$0.07/h$0.24/PFLOP·h
2RTX 309024 GB$0.12/h$0.41/PFLOP·h
3RTX 508016 GB$0.22/h$0.48/PFLOP·h
4RTX 509032 GB$0.41/h$0.49/PFLOP·h
5Instinct MI355X288 GB$2.59/h$0.51/PFLOP·h
6RTX 409024 GB$0.34/h$0.51/PFLOP·h
7RTX 408016 GB$0.21/h$0.55/PFLOP·h
8RTX 5060 Ti16 GB$0.11/h$0.57/PFLOP·h

Comparar todas las GPU →

Términos relacionados

PrecisiónCuántos bits usa cada número. Menos bits suponen más rendimiento y menos memoria, a costa de algo de exactitud. Una misma GPU tiene un pico distinto en cada precisión.
FP8Coma flotante de 8 bits para entrenamiento e inferencia, con aproximadamente el doble de rendimiento que FP16. Nativo en Hopper, Ada, Blackwell y AMD CDNA 3 y posteriores.
FP4Coma flotante de 4 bits, usada para inferencia cuantizada. Solo Blackwell y AMD CDNA 4 lo ejecutan de forma nativa.

Cómputo

FLOPS, TFLOPS, PFLOPSOperaciones de coma flotante por segundo: cuánta aritmética puede hacer un chip. 1 TFLOPS equivale a un billón por segundo y 1 PFLOPS (PetaFLOPS), a mil TFLOPS. PetaPrice muestra todo el cómputo en PFLOPS.
FLOPS densos vs. dispersosLos fabricantes suelen indicar el rendimiento tensorial con dispersión estructurada 2:4, que duplica la cifra destacada. Casi ningún entrenamiento ni inferencia la usa, así que PetaPrice muestra siempre cifras densas.
$ por PFLOP-horaEl precio de una hora de GPU dividido entre los PFLOPS pico densos de la GPU en la precisión elegida. Indica cuánto cómputo se obtiene por cada dólar, de modo que las GPU rápidas y caras pueden compararse directamente con las lentas y baratas. Cuanto menor, mejor.
FP16 y BF16Formatos de 16 bits y el estándar para entrenar y ejecutar LLM. BF16 conserva el rango de FP32 con menos precisión, lo que hace el entrenamiento más estable; requiere Ampere, CDNA 2 o posterior.
TF32Formato de 19 bits de NVIDIA que ejecuta operaciones matriciales FP32 en tensor cores. PyTorch puede usarlo para las multiplicaciones de matrices FP32 en Ampere y posteriores.
Tensor cores / matrix coresUnidades que multiplican matrices pequeñas en un solo paso y de las que procede casi todo el rendimiento de IA de una GPU. NVIDIA las llama tensor cores y AMD, matrix cores.
MFU (utilización de FLOPS del modelo)La proporción de los FLOPS pico que alcanza una carga de trabajo real. Los grandes entrenamientos suelen llegar al 30–60%, así que los picos de ficha técnica sirven para comparar GPU, no para predecir tiempos de ejecución.

← Todos los términos

…