InfiniBand
Auch bekannt als: IB, RoCE
Das Netzwerk mit niedriger Latenz, das GPU-Server in Trainingsclustern verbindet. Training über mehrere Nodes braucht es (oder schnelles RoCE-Ethernet), Jobs auf einem einzelnen Node nicht.
Verwandte Begriffe
- NVLink und NVSwitchNVIDIAs schnelle Verbindungen zwischen den GPUs eines Servers, weit schneller als PCIe. Sie sind wichtig, wenn ein Modell auf mehrere GPUs verteilt wird. Das Gegenstück bei AMD heißt Infinity Fabric.
- NodeEin Server. Rechenzentrums-GPUs gibt es meist als Nodes mit 8 GPUs; manche Anbieter vermieten nur ganze Nodes. PetaPrice zeigt immer den Preis pro GPU.
Hardware und Vernetzung
- SXM vs. PCIeSXM-GPUs sitzen auf einem Baseboard, sind untereinander per NVLink verbunden und bekommen mehr Strom, daher laufen sie schneller. PCIe-Karten stecken in einem normalen Steckplatz, kosten weniger und sind meist langsamer. Eine H100 SXM und eine H100 PCIe sind unterschiedliche Produkte.
- SuperchipCPU und GPU auf einem Modul mit einer schnellen Verbindung dazwischen, etwa GH200 und GB200. Die GPU kann den Speicher der CPU als Erweiterung ihres eigenen nutzen.
- TDPThermal Design Power: ungefähr die maximale Leistungsaufnahme der GPU in Watt.
- MIG und GPU-BruchteileMulti-Instance GPU teilt eine A100, H100 oder neuere GPU in isolierte Slices auf. Slices und andere GPU-Bruchteile (vGPUs) sind günstiger, aber keine vollständigen GPUs, daher lässt PetaPrice sie weg.