FLOPS denses vs sparses

Aussi appelé: sparsité 2:4, sparsité structurée

Les fabricants annoncent souvent le débit tensor avec une sparsité structurée 2:4, qui double le chiffre mis en avant. Presque aucun entraînement ni aucune inférence ne l'utilise : PetaPrice affiche donc toujours les valeurs denses.

Meilleur rapport qualité-prix du moment

Classés par $ par PFLOP-heure en FP16 / BF16 dense, au prix à la demande le plus bas de chaque GPU.

Comparer tous les GPU →

Termes associés

FLOPS, TFLOPS, PFLOPSOpérations en virgule flottante par seconde : la quantité de calcul qu'une puce peut effectuer. 1 TFLOPS correspond à mille milliards d'opérations par seconde, 1 PFLOPS (PetaFLOPS) à mille TFLOPS. PetaPrice exprime toute la puissance de calcul en PFLOPS.
$ par PFLOP-heureLe prix d'une heure GPU divisé par les PFLOPS crête denses du GPU dans la précision choisie. Il indique la quantité de calcul qu'achète un dollar, ce qui permet de comparer directement des GPU rapides et chers à des GPU lents et bon marché. Plus c'est bas, mieux c'est.
Tensor cores / matrix coresDes unités qui multiplient de petites matrices en une seule étape, d'où provient la quasi-totalité du débit IA d'un GPU. NVIDIA les appelle tensor cores, AMD matrix cores.

Calcul

← Tous les termes

…