$ par PFLOP-heure

Aussi appelé: $/PFLOP·h, coût par PFLOP

Le prix d'une heure GPU divisé par les PFLOPS crête denses du GPU dans la précision choisie. Il indique la quantité de calcul qu'achète un dollar, ce qui permet de comparer directement des GPU rapides et chers à des GPU lents et bon marché. Plus c'est bas, mieux c'est.

Meilleur rapport qualité-prix du moment

Classés par $ par PFLOP-heure en FP16 / BF16 dense, au prix à la demande le plus bas de chaque GPU.

1RTX 4070 SUPER12 GB$0.07/h$0.97/PFLOP·h
2Instinct MI355X288 GB$2.59/h$1.03/PFLOP·h
3A100 SXM 40GB40 GB$0.44/h$1.41/PFLOP·h
4Instinct MI300X192 GB$1.85/h$1.42/PFLOP·h
5B200 SXM180 GB$3.20/h$1.42/PFLOP·h
6RTX A500024 GB$0.16/h$1.44/PFLOP·h
7V100 SXM2 16GB16 GB$0.19/h$1.52/PFLOP·h
8Instinct MI325X256 GB$2.00/h$1.53/PFLOP·h

Comparer tous les GPU →

Termes associés

FLOPS, TFLOPS, PFLOPSOpérations en virgule flottante par seconde : la quantité de calcul qu'une puce peut effectuer. 1 TFLOPS correspond à mille milliards d'opérations par seconde, 1 PFLOPS (PetaFLOPS) à mille TFLOPS. PetaPrice exprime toute la puissance de calcul en PFLOPS.
FLOPS denses vs sparsesLes fabricants annoncent souvent le débit tensor avec une sparsité structurée 2:4, qui double le chiffre mis en avant. Presque aucun entraînement ni aucune inférence ne l'utilise : PetaPrice affiche donc toujours les valeurs denses.
Heure GPUUn GPU pendant une heure. Un nœud de 8 GPU pendant 2 heures représente 16 heures GPU. Un GPU qui tourne en continu représente environ 730 heures GPU par mois.

Calcul

PrécisionLe nombre de bits utilisés pour chaque nombre. Moins de bits signifie plus de débit et moins de mémoire, au prix d'une certaine perte d'exactitude. Un même GPU a une valeur crête différente pour chaque précision.
FP16 et BF16Des formats 16 bits, la norme pour entraîner et exécuter des LLM. Le BF16 conserve la plage de valeurs du FP32 avec moins de précision, ce qui rend l'entraînement plus stable ; il nécessite Ampere, CDNA 2 ou plus récent.
FP8Virgule flottante 8 bits pour l'entraînement et l'inférence, avec environ deux fois le débit du FP16. Pris en charge nativement par Hopper, Ada, Blackwell et AMD CDNA 3 et plus récents.
FP4Virgule flottante 4 bits, utilisée pour l'inférence quantifiée. Seuls Blackwell et AMD CDNA 4 l'exécutent nativement.
TF32Le format 19 bits de NVIDIA qui exécute les calculs matriciels FP32 sur les tensor cores. PyTorch peut l'utiliser pour les multiplications matricielles FP32 à partir d'Ampere.
INT8 et TOPSDes entiers 8 bits pour l'inférence quantifiée. Le débit se compte en TOPS (milliers de milliards d'opérations par seconde) plutôt qu'en FLOPS.
Tensor cores / matrix coresDes unités qui multiplient de petites matrices en une seule étape, d'où provient la quasi-totalité du débit IA d'un GPU. NVIDIA les appelle tensor cores, AMD matrix cores.
MFU (model FLOPS utilization)La part des FLOPS crête qu'atteint une charge de travail réelle. Les grands entraînements atteignent généralement 30 à 60 % : les valeurs crêtes des fiches techniques servent donc à comparer les GPU, pas à prédire des temps d'exécution.

← Tous les termes

…