InfiniBand
También conocido como: IB, RoCE
La red de baja latencia que conecta los servidores de GPU en los clústeres de entrenamiento. El entrenamiento en varios nodos la necesita (o Ethernet RoCE rápida); los trabajos en un solo nodo, no.
Términos relacionados
- NVLink y NVSwitchLos enlaces de alta velocidad de NVIDIA entre las GPU de un mismo servidor, mucho más rápidos que PCIe. Importan cuando un modelo se reparte entre varias GPU. El equivalente de AMD es Infinity Fabric.
- NodoUn servidor. Las GPU de centro de datos suelen venir en nodos de 8 GPU; algunos proveedores solo alquilan nodos completos. PetaPrice muestra siempre el precio por GPU.
Hardware e interconexión
- SXM vs. PCIeLas GPU SXM van montadas en una placa base con NVLink entre ellas y reciben más potencia, así que rinden más. Las tarjetas PCIe se conectan a una ranura normal, cuestan menos y suelen ser más lentas. Una H100 SXM y una H100 PCIe son productos distintos.
- SuperchipUna CPU y una GPU en un mismo módulo con un enlace rápido entre ellas, como la GH200 y la GB200. La GPU puede usar la memoria de la CPU como extensión de la suya.
- TDPThermal design power (potencia de diseño térmico): aproximadamente la potencia máxima que consume la GPU, en vatios.
- MIG y fracciones de GPUMulti-Instance GPU divide una A100, H100 o posterior en particiones aisladas. Las particiones y otras fracciones de GPU (vGPU) son más baratas, pero no son GPU completas, así que PetaPrice las excluye.