TDP
Auch bekannt als: TGP, Board Power
Thermal Design Power: ungefähr die maximale Leistungsaufnahme der GPU in Watt.
Verwandte Begriffe
- SXM vs. PCIeSXM-GPUs sitzen auf einem Baseboard, sind untereinander per NVLink verbunden und bekommen mehr Strom, daher laufen sie schneller. PCIe-Karten stecken in einem normalen Steckplatz, kosten weniger und sind meist langsamer. Eine H100 SXM und eine H100 PCIe sind unterschiedliche Produkte.
- NodeEin Server. Rechenzentrums-GPUs gibt es meist als Nodes mit 8 GPUs; manche Anbieter vermieten nur ganze Nodes. PetaPrice zeigt immer den Preis pro GPU.
Hardware und Vernetzung
- NVLink und NVSwitchNVIDIAs schnelle Verbindungen zwischen den GPUs eines Servers, weit schneller als PCIe. Sie sind wichtig, wenn ein Modell auf mehrere GPUs verteilt wird. Das Gegenstück bei AMD heißt Infinity Fabric.
- InfiniBandDas Netzwerk mit niedriger Latenz, das GPU-Server in Trainingsclustern verbindet. Training über mehrere Nodes braucht es (oder schnelles RoCE-Ethernet), Jobs auf einem einzelnen Node nicht.
- SuperchipCPU und GPU auf einem Modul mit einer schnellen Verbindung dazwischen, etwa GH200 und GB200. Die GPU kann den Speicher der CPU als Erweiterung ihres eigenen nutzen.
- MIG und GPU-BruchteileMulti-Instance GPU teilt eine A100, H100 oder neuere GPU in isolierte Slices auf. Slices und andere GPU-Bruchteile (vGPUs) sind günstiger, aber keine vollständigen GPUs, daher lässt PetaPrice sie weg.