Nœud
Aussi appelé: serveur, nœud de 8 GPU, HGX
Un serveur. Les GPU de data center sont généralement proposés en nœuds de 8 GPU ; certains fournisseurs ne louent que des nœuds complets. PetaPrice affiche toujours le prix par GPU.
Termes associés
- SXM vs PCIeLes GPU SXM sont montés sur une carte de base, reliés entre eux par NVLink, et disposent de plus de puissance électrique : ils sont donc plus rapides. Les cartes PCIe s'insèrent dans un emplacement standard, coûtent moins cher et sont généralement plus lentes. Un H100 SXM et un H100 PCIe sont des produits différents.
- NVLink et NVSwitchLes liaisons haut débit de NVIDIA entre les GPU d'un même serveur, bien plus rapides que le PCIe. Elles comptent lorsqu'un modèle est réparti sur plusieurs GPU. L'équivalent chez AMD est Infinity Fabric.
- Heure GPUUn GPU pendant une heure. Un nœud de 8 GPU pendant 2 heures représente 16 heures GPU. Un GPU qui tourne en continu représente environ 730 heures GPU par mois.
Matériel et interconnexion
- InfiniBandLe réseau à faible latence qui relie les serveurs GPU dans les clusters d'entraînement. L'entraînement multi-nœuds en a besoin (ou d'un Ethernet RoCE rapide) ; les tâches sur un seul nœud, non.
- SuperchipUn CPU et un GPU sur un même module, reliés par une liaison rapide, comme le GH200 et le GB200. Le GPU peut utiliser la mémoire du CPU comme extension de la sienne.
- TDPThermal design power (enveloppe thermique) : en gros, la puissance maximale que consomme le GPU, en watts.
- MIG et fractions de GPUMulti-Instance GPU découpe un A100, un H100 ou plus récent en partitions isolées. Ces partitions et les autres fractions de GPU (vGPU) sont moins chères mais ne sont pas des GPU complets : PetaPrice les exclut donc.