HBM

Aussi appelé: HBM2e, HBM3, HBM3e, High Bandwidth Memory

High Bandwidth Memory, empilée à côté de la puce sur les GPU de data center (HBM2e, HBM3, HBM3e). Plusieurs fois plus rapide que la mémoire GDDR des cartes grand public et des stations de travail.

GPU avec HBM, du plus avantageux au moins avantageux

Classés par $ par GB de VRAM et par heure, au prix à la demande le plus bas de chaque GPU.

Comparer tous les GPU →

Termes associés

VRAMLa mémoire propre du GPU. Les poids du modèle, les activations et le KV cache doivent y tenir (ou être répartis sur plusieurs GPU) : c'est donc souvent la VRAM qui détermine si un GPU est utilisable.
Bande passante mémoireLa vitesse à laquelle le GPU lit sa mémoire, en GB/s ou TB/s. La génération de tokens d'un LLM est généralement limitée par la bande passante plutôt que par les FLOPS, c'est pourquoi PetaPrice permet de classer les GPU par bande passante par dollar.

Mémoire

KV cacheLa mémoire qu'un LLM conserve pour chaque token de son contexte pendant l'inférence. Les contextes longs et les nombreuses requêtes en parallèle en demandent beaucoup, en plus des poids du modèle.

← Tous les termes

…