Banda di memoria

Noto anche come: GB/s, TB/s

La velocità con cui la GPU legge la propria memoria, in GB/s o TB/s. La generazione di token degli LLM è di solito limitata dalla banda più che dai FLOPS, ed è per questo che PetaPrice può classificare le GPU per banda per dollaro.

Miglior rapporto qualità/prezzo ora

Ordinate per $ per TB/s di banda di memoria all'ora al prezzo on demand più basso di ogni GPU.

Confronta tutte le GPU →

Termini correlati

HBMHigh Bandwidth Memory, impilata accanto al chip nelle GPU da datacenter (HBM2e, HBM3, HBM3e). Molto più veloce della memoria GDDR delle schede consumer e workstation.
VRAMLa memoria propria della GPU. Pesi del modello, attivazioni e KV cache devono starci dentro (o essere suddivisi tra più GPU), quindi spesso è la VRAM a decidere quali GPU puoi usare.
KV cacheLa memoria che un LLM conserva per ogni token del contesto durante l'inferenza. Contesti lunghi e molte richieste in parallelo ne richiedono molta, oltre ai pesi del modello.

← Tutti i termini

…