Superchip
Auch bekannt als: Grace Hopper, Grace Blackwell
CPU und GPU auf einem Modul mit einer schnellen Verbindung dazwischen, etwa GH200 und GB200. Die GPU kann den Speicher der CPU als Erweiterung ihres eigenen nutzen.
GPUs mit Superchip, bestes Preis-Leistungs-Verhältnis zuerst
Sortiert nach dem niedrigsten On-Demand-Preis pro GPU-Stunde.
Alle GPUs vergleichen →Verwandte Begriffe
- SXM vs. PCIeSXM-GPUs sitzen auf einem Baseboard, sind untereinander per NVLink verbunden und bekommen mehr Strom, daher laufen sie schneller. PCIe-Karten stecken in einem normalen Steckplatz, kosten weniger und sind meist langsamer. Eine H100 SXM und eine H100 PCIe sind unterschiedliche Produkte.
- NVLink und NVSwitchNVIDIAs schnelle Verbindungen zwischen den GPUs eines Servers, weit schneller als PCIe. Sie sind wichtig, wenn ein Modell auf mehrere GPUs verteilt wird. Das Gegenstück bei AMD heißt Infinity Fabric.
- VRAMDer eigene Speicher der GPU. Modellgewichte, Aktivierungen und KV-Cache müssen hineinpassen (oder auf mehrere GPUs verteilt werden), daher entscheidet der VRAM oft, welche GPU überhaupt infrage kommt.
Hardware und Vernetzung
- InfiniBandDas Netzwerk mit niedriger Latenz, das GPU-Server in Trainingsclustern verbindet. Training über mehrere Nodes braucht es (oder schnelles RoCE-Ethernet), Jobs auf einem einzelnen Node nicht.
- NodeEin Server. Rechenzentrums-GPUs gibt es meist als Nodes mit 8 GPUs; manche Anbieter vermieten nur ganze Nodes. PetaPrice zeigt immer den Preis pro GPU.
- TDPThermal Design Power: ungefähr die maximale Leistungsaufnahme der GPU in Watt.
- MIG und GPU-BruchteileMulti-Instance GPU teilt eine A100, H100 oder neuere GPU in isolierte Slices auf. Slices und andere GPU-Bruchteile (vGPUs) sind günstiger, aber keine vollständigen GPUs, daher lässt PetaPrice sie weg.