MIG und GPU-Bruchteile
Auch bekannt als: Multi-Instance GPU, vGPU, GPU-Bruchteil
Multi-Instance GPU teilt eine A100, H100 oder neuere GPU in isolierte Slices auf. Slices und andere GPU-Bruchteile (vGPUs) sind günstiger, aber keine vollständigen GPUs, daher lässt PetaPrice sie weg.
Verwandte Begriffe
- VRAMDer eigene Speicher der GPU. Modellgewichte, Aktivierungen und KV-Cache müssen hineinpassen (oder auf mehrere GPUs verteilt werden), daher entscheidet der VRAM oft, welche GPU überhaupt infrage kommt.
- On-DemandAbrechnung pro Stunde (oder Sekunde) ohne Bindung; Sie können jederzeit aufhören. Die Standardansicht auf PetaPrice.
Hardware und Vernetzung
- SXM vs. PCIeSXM-GPUs sitzen auf einem Baseboard, sind untereinander per NVLink verbunden und bekommen mehr Strom, daher laufen sie schneller. PCIe-Karten stecken in einem normalen Steckplatz, kosten weniger und sind meist langsamer. Eine H100 SXM und eine H100 PCIe sind unterschiedliche Produkte.
- NVLink und NVSwitchNVIDIAs schnelle Verbindungen zwischen den GPUs eines Servers, weit schneller als PCIe. Sie sind wichtig, wenn ein Modell auf mehrere GPUs verteilt wird. Das Gegenstück bei AMD heißt Infinity Fabric.
- InfiniBandDas Netzwerk mit niedriger Latenz, das GPU-Server in Trainingsclustern verbindet. Training über mehrere Nodes braucht es (oder schnelles RoCE-Ethernet), Jobs auf einem einzelnen Node nicht.
- SuperchipCPU und GPU auf einem Modul mit einer schnellen Verbindung dazwischen, etwa GH200 und GB200. Die GPU kann den Speicher der CPU als Erweiterung ihres eigenen nutzen.
- NodeEin Server. Rechenzentrums-GPUs gibt es meist als Nodes mit 8 GPUs; manche Anbieter vermieten nur ganze Nodes. PetaPrice zeigt immer den Preis pro GPU.
- TDPThermal Design Power: ungefähr die maximale Leistungsaufnahme der GPU in Watt.