MIG y fracciones de GPU
También conocido como: Multi-Instance GPU, vGPU, fracción de GPU
Multi-Instance GPU divide una A100, H100 o posterior en particiones aisladas. Las particiones y otras fracciones de GPU (vGPU) son más baratas, pero no son GPU completas, así que PetaPrice las excluye.
Términos relacionados
- VRAMLa memoria propia de la GPU. Los pesos del modelo, las activaciones y la KV cache tienen que caber en ella (o repartirse entre varias GPU), así que a menudo es la VRAM la que decide qué GPU se pueden usar siquiera.
- Bajo demandaPago por horas (o por segundos) sin compromiso, y puedes parar cuando quieras. Es la vista predeterminada de PetaPrice.
Hardware e interconexión
- SXM vs. PCIeLas GPU SXM van montadas en una placa base con NVLink entre ellas y reciben más potencia, así que rinden más. Las tarjetas PCIe se conectan a una ranura normal, cuestan menos y suelen ser más lentas. Una H100 SXM y una H100 PCIe son productos distintos.
- NVLink y NVSwitchLos enlaces de alta velocidad de NVIDIA entre las GPU de un mismo servidor, mucho más rápidos que PCIe. Importan cuando un modelo se reparte entre varias GPU. El equivalente de AMD es Infinity Fabric.
- InfiniBandLa red de baja latencia que conecta los servidores de GPU en los clústeres de entrenamiento. El entrenamiento en varios nodos la necesita (o Ethernet RoCE rápida); los trabajos en un solo nodo, no.
- SuperchipUna CPU y una GPU en un mismo módulo con un enlace rápido entre ellas, como la GH200 y la GB200. La GPU puede usar la memoria de la CPU como extensión de la suya.
- NodoUn servidor. Las GPU de centro de datos suelen venir en nodos de 8 GPU; algunos proveedores solo alquilan nodos completos. PetaPrice muestra siempre el precio por GPU.
- TDPThermal design power (potencia de diseño térmico): aproximadamente la potencia máxima que consume la GPU, en vatios.