KV cache

También conocido como: caché clave-valor

Memoria que un LLM conserva para cada token de su contexto durante la inferencia. Los contextos largos y las muchas solicitudes en paralelo necesitan mucha, además de los pesos del modelo.

GPU con KV cache, primero las de mejor relación calidad-precio

Ordenadas por $ por GB de VRAM y hora al precio bajo demanda más bajo de cada GPU.

Comparar todas las GPU →

Términos relacionados

VRAMLa memoria propia de la GPU. Los pesos del modelo, las activaciones y la KV cache tienen que caber en ella (o repartirse entre varias GPU), así que a menudo es la VRAM la que decide qué GPU se pueden usar siquiera.
Ancho de banda de memoriaLa velocidad a la que la GPU lee su memoria, en GB/s o TB/s. La generación de tokens de un LLM suele estar limitada por el ancho de banda más que por los FLOPS; por eso PetaPrice permite ordenar las GPU por ancho de banda por dólar.

Memoria

HBMHigh Bandwidth Memory (memoria de alto ancho de banda), apilada junto al chip en las GPU de centro de datos (HBM2e, HBM3, HBM3e). Es varias veces más rápida que la memoria GDDR de las tarjetas de consumo y de estación de trabajo.

← Todos los términos

…