Superchip
Noto anche come: Grace Hopper, Grace Blackwell
CPU e GPU su un unico modulo con un collegamento veloce tra loro, come GH200 e GB200. La GPU può usare la memoria della CPU come estensione della propria.
GPU con Superchip, dal miglior rapporto qualità/prezzo
Ordinate per prezzo on demand più basso per GPU-ora.
Confronta tutte le GPU →Termini correlati
- SXM vs. PCIeLe GPU SXM sono montate su una baseboard con NVLink tra loro e ricevono più potenza, quindi sono più veloci. Le schede PCIe si inseriscono in uno slot normale, costano meno e di solito sono più lente. Una H100 SXM e una H100 PCIe sono prodotti diversi.
- NVLink e NVSwitchI collegamenti ad alta velocità di NVIDIA tra le GPU di uno stesso server, molto più veloci di PCIe. Contano quando un modello è suddiviso tra più GPU. L'equivalente di AMD è Infinity Fabric.
- VRAMLa memoria propria della GPU. Pesi del modello, attivazioni e KV cache devono starci dentro (o essere suddivisi tra più GPU), quindi spesso è la VRAM a decidere quali GPU puoi usare.
Hardware e interconnessione
- InfiniBandLa rete a bassa latenza usata per collegare i server GPU nei cluster di training. Il training su più nodi ne ha bisogno (o di Ethernet RoCE veloce); i job su un singolo nodo no.
- NodoUn server. Le GPU da datacenter sono di solito in nodi da 8 GPU; alcuni provider noleggiano solo nodi interi. PetaPrice mostra sempre il prezzo per GPU.
- TDPThermal design power: all'incirca la potenza massima assorbita dalla GPU, in watt.
- MIG e GPU frazionarieMulti-Instance GPU suddivide una A100, H100 o successiva in partizioni isolate. Le partizioni e le altre GPU frazionarie (vGPU) costano meno ma non sono GPU complete, quindi PetaPrice le esclude.