VRAM

También conocido como: memoria de GPU

La memoria propia de la GPU. Los pesos del modelo, las activaciones y la KV cache tienen que caber en ella (o repartirse entre varias GPU), así que a menudo es la VRAM la que decide qué GPU se pueden usar siquiera.

Mejor relación calidad-precio ahora mismo

Ordenadas por $ por GB de VRAM y hora al precio bajo demanda más bajo de cada GPU.

Comparar todas las GPU →

Términos relacionados

HBMHigh Bandwidth Memory (memoria de alto ancho de banda), apilada junto al chip en las GPU de centro de datos (HBM2e, HBM3, HBM3e). Es varias veces más rápida que la memoria GDDR de las tarjetas de consumo y de estación de trabajo.
Ancho de banda de memoriaLa velocidad a la que la GPU lee su memoria, en GB/s o TB/s. La generación de tokens de un LLM suele estar limitada por el ancho de banda más que por los FLOPS; por eso PetaPrice permite ordenar las GPU por ancho de banda por dólar.
KV cacheMemoria que un LLM conserva para cada token de su contexto durante la inferencia. Los contextos largos y las muchas solicitudes en paralelo necesitan mucha, además de los pesos del modelo.

← Todos los términos

…