Speicherbandbreite

Auch bekannt als: GB/s, TB/s

Wie schnell die GPU ihren Speicher liest, in GB/s oder TB/s. Die Token-Generierung von LLMs ist meist durch die Bandbreite begrenzt statt durch die FLOPS; deshalb kann PetaPrice GPUs nach Bandbreite pro Dollar sortieren.

Aktuell bestes Preis-Leistungs-Verhältnis

Sortiert nach $ pro TB/s Speicherbandbreite und Stunde zum jeweils niedrigsten On-Demand-Preis jeder GPU.

Alle GPUs vergleichen →

Verwandte Begriffe

HBMHigh Bandwidth Memory, bei Rechenzentrums-GPUs direkt neben dem Chip gestapelt (HBM2e, HBM3, HBM3e). Um ein Mehrfaches schneller als der GDDR-Speicher auf Consumer- und Workstation-Karten.
VRAMDer eigene Speicher der GPU. Modellgewichte, Aktivierungen und KV-Cache müssen hineinpassen (oder auf mehrere GPUs verteilt werden), daher entscheidet der VRAM oft, welche GPU überhaupt infrage kommt.
KV-CacheSpeicher, den ein LLM während der Inferenz für jedes Token in seinem Kontext belegt. Lange Kontexte und viele parallele Anfragen brauchen viel davon, zusätzlich zu den Modellgewichten.

← Alle Begriffe

…