InfiniBand
Noto anche come: IB, RoCE
La rete a bassa latenza usata per collegare i server GPU nei cluster di training. Il training su più nodi ne ha bisogno (o di Ethernet RoCE veloce); i job su un singolo nodo no.
Termini correlati
- NVLink e NVSwitchI collegamenti ad alta velocità di NVIDIA tra le GPU di uno stesso server, molto più veloci di PCIe. Contano quando un modello è suddiviso tra più GPU. L'equivalente di AMD è Infinity Fabric.
- NodoUn server. Le GPU da datacenter sono di solito in nodi da 8 GPU; alcuni provider noleggiano solo nodi interi. PetaPrice mostra sempre il prezzo per GPU.
Hardware e interconnessione
- SXM vs. PCIeLe GPU SXM sono montate su una baseboard con NVLink tra loro e ricevono più potenza, quindi sono più veloci. Le schede PCIe si inseriscono in uno slot normale, costano meno e di solito sono più lente. Una H100 SXM e una H100 PCIe sono prodotti diversi.
- SuperchipCPU e GPU su un unico modulo con un collegamento veloce tra loro, come GH200 e GB200. La GPU può usare la memoria della CPU come estensione della propria.
- TDPThermal design power: all'incirca la potenza massima assorbita dalla GPU, in watt.
- MIG e GPU frazionarieMulti-Instance GPU suddivide una A100, H100 o successiva in partizioni isolate. Le partizioni e le altre GPU frazionarie (vGPU) costano meno ma non sono GPU complete, quindi PetaPrice le esclude.