Bande passante mémoire

Aussi appelé: GB/s, TB/s

La vitesse à laquelle le GPU lit sa mémoire, en GB/s ou TB/s. La génération de tokens d'un LLM est généralement limitée par la bande passante plutôt que par les FLOPS, c'est pourquoi PetaPrice permet de classer les GPU par bande passante par dollar.

Meilleur rapport qualité-prix du moment

Classés par $ par TB/s de bande passante mémoire et par heure, au prix à la demande le plus bas de chaque GPU.

Comparer tous les GPU →

Termes associés

HBMHigh Bandwidth Memory, empilée à côté de la puce sur les GPU de data center (HBM2e, HBM3, HBM3e). Plusieurs fois plus rapide que la mémoire GDDR des cartes grand public et des stations de travail.
VRAMLa mémoire propre du GPU. Les poids du modèle, les activations et le KV cache doivent y tenir (ou être répartis sur plusieurs GPU) : c'est donc souvent la VRAM qui détermine si un GPU est utilisable.
KV cacheLa mémoire qu'un LLM conserve pour chaque token de son contexte pendant l'inférence. Les contextes longs et les nombreuses requêtes en parallèle en demandent beaucoup, en plus des poids du modèle.

← Tous les termes

…