…
Precio de alquiler en la nube, cómputo por dólar y especificaciones, lado a lado.
Abrir en el comparador interactivo →| Especificación / precio | L40S | H100 PCIe |
|---|---|---|
| Memoria | 48 GB GDDR6 | 80 GB HBM2emejor |
| Ancho de banda de memoria | 864 GB/s | 2,000 GB/smejor |
| FP16 / BF16 (denso) | 0.362 PF | 0.756 PFmejor |
| FP8 (denso) | 0.733 PF | 1.51 PFmejor |
| FP4 (denso) | — | — |
| INT8 (denso) | 0.733 PF | 1.51 PFmejor |
| TF32 (denso) | 0.183 PF | 0.378 PFmejor |
| FP32 (denso) | 0.0916 PFmejor | 0.051 PF |
| FP64 (denso) | 0.0014 PF | 0.051 PFmejor |
| Consumo | 350 W | 350 W |
| Arquitectura | Ada Lovelace (2023) | Hopper (2022) |
| Mínimo bajo demanda | $0.60mejor | $1.98 |
| Mediana bajo demanda | $1.50mejor | $2.75 |
| Mínimo spot | $0.38mejor | $2.00 |
| FP16/BF16 $ por PFLOP·h | $1.66mejor | $2.62 |
| Proveedores | 17 | 6 |
La H100 PCIe tiene 2.1× más cómputo FP16/BF16 denso que la L40S. La H100 PCIe tiene 2.3× más ancho de banda de memoria que la L40S. La aceleración real depende de la carga de trabajo: el entrenamiento y el prefill escalan con el cómputo, mientras que la decodificación de LLM escala sobre todo con el ancho de banda de memoria.
Ahora mismo la L40S es más barata por unidad de cómputo: $1.66 vs $2.62 por PFLOP-hora con los precios bajo demanda más bajos.
Mantener una GPU funcionando las 24 horas al precio bajo demanda más bajo cuesta unos $440 al mes con la L40S y $1,445 con la H100 PCIe.
La H100 PCIe tiene más memoria: 80 GB vs 48 GB.