Nodo
También conocido como: servidor, nodo de 8 GPU, HGX
Un servidor. Las GPU de centro de datos suelen venir en nodos de 8 GPU; algunos proveedores solo alquilan nodos completos. PetaPrice muestra siempre el precio por GPU.
Términos relacionados
- SXM vs. PCIeLas GPU SXM van montadas en una placa base con NVLink entre ellas y reciben más potencia, así que rinden más. Las tarjetas PCIe se conectan a una ranura normal, cuestan menos y suelen ser más lentas. Una H100 SXM y una H100 PCIe son productos distintos.
- NVLink y NVSwitchLos enlaces de alta velocidad de NVIDIA entre las GPU de un mismo servidor, mucho más rápidos que PCIe. Importan cuando un modelo se reparte entre varias GPU. El equivalente de AMD es Infinity Fabric.
- Hora de GPUUna GPU durante una hora. Un nodo de 8 GPU durante 2 horas son 16 horas de GPU. Una GPU funcionando las 24 horas suma unas 730 horas de GPU al mes.
Hardware e interconexión
- InfiniBandLa red de baja latencia que conecta los servidores de GPU en los clústeres de entrenamiento. El entrenamiento en varios nodos la necesita (o Ethernet RoCE rápida); los trabajos en un solo nodo, no.
- SuperchipUna CPU y una GPU en un mismo módulo con un enlace rápido entre ellas, como la GH200 y la GB200. La GPU puede usar la memoria de la CPU como extensión de la suya.
- TDPThermal design power (potencia de diseño térmico): aproximadamente la potencia máxima que consume la GPU, en vatios.
- MIG y fracciones de GPUMulti-Instance GPU divide una A100, H100 o posterior en particiones aisladas. Las particiones y otras fracciones de GPU (vGPU) son más baratas, pero no son GPU completas, así que PetaPrice las excluye.