VRAM

Aussi appelé: mémoire GPU

La mémoire propre du GPU. Les poids du modèle, les activations et le KV cache doivent y tenir (ou être répartis sur plusieurs GPU) : c'est donc souvent la VRAM qui détermine si un GPU est utilisable.

Meilleur rapport qualité-prix du moment

Classés par $ par GB de VRAM et par heure, au prix à la demande le plus bas de chaque GPU.

Comparer tous les GPU →

Termes associés

HBMHigh Bandwidth Memory, empilée à côté de la puce sur les GPU de data center (HBM2e, HBM3, HBM3e). Plusieurs fois plus rapide que la mémoire GDDR des cartes grand public et des stations de travail.
Bande passante mémoireLa vitesse à laquelle le GPU lit sa mémoire, en GB/s ou TB/s. La génération de tokens d'un LLM est généralement limitée par la bande passante plutôt que par les FLOPS, c'est pourquoi PetaPrice permet de classer les GPU par bande passante par dollar.
KV cacheLa mémoire qu'un LLM conserve pour chaque token de son contexte pendant l'inférence. Les contextes longs et les nombreuses requêtes en parallèle en demandent beaucoup, en plus des poids du modèle.

← Tous les termes

…