Methodik
Stand 10. November 2026 um 01:02 UTC: 1301 Preise von 49 Anbietern für 83 GPUs, aus 51 Datenfeeds (45 davon funktionsfähig).
Die Kennzahlen
- $/PFLOP·h = Preis pro GPU-Stunde ÷ Spitzen-PFLOPS in der gewählten Präzision. Beispiel: Eine H100 SXM für $2.00/h liefert 0,989 dichte BF16-PFLOPS und kostet damit $2.02 pro PFLOP·h. Alle Rechenleistungsangaben auf PetaPrice sind in PFLOPS.
- Immer dense. Hersteller nennen oft Werte mit 2:4-Sparsity, die die beworbene Zahl verdoppeln. LLM-Training und -Inferenz nutzen Structured Sparsity so gut wie nie, daher halbieren wir diese Werte. Dichte und sparse Werte werden nie vermischt.
- Für GeForce-Karten verwenden wir die FP16/BF16-Tensor-Rate mit FP32-Akkumulation, mit der Mixed-Precision-Training tatsächlich läuft. NVIDIA bewirbt GeForce mit der Rate bei FP16-Akkumulation, die doppelt so hoch ist.
- Dies sind Spitzenwerte aus Datenblättern. Die reale Model FLOPS Utilization liegt meist bei 30–60 %. Die Zahlen eignen sich zum Vergleich von GPUs untereinander, nicht zur Vorhersage der tatsächlichen Laufzeit.
- Zwei alternative Blickwinkel: $/GB·h VRAM (Wie passt ein Modell am günstigsten hinein?) und $/TB/s·h Speicherbandbreite (LLM-Decoding ist meist durch die Bandbreite begrenzt).
Die Preise
- Die Preise stammen direkt von den Anbietern, wo immer sie diese veröffentlichen: öffentliche APIs (Vast.ai, RunPod, Verda, Vultr, Cudo, Hyperbolic, Scaleway, OVHcloud, Lium, Akash Network, Akamai (Linode), EmpirioLabs AI, Hetzner, STACKIT, T Cloud Public, Exoscale, Leaseweb, Hivenet), offizielle Preislisten (AWS, Azure, Oracle Cloud) oder eigene Preisseiten (Lambda, Nebius, Hyperstack, DigitalOcean, Together AI, Crusoe, Hot Aisle, TensorWave, Cirrascale, Seeweb, Massed Compute, Latitude.sh, CoreWeave, Oblivus, Thunder Compute, Koyeb, Sesterce, IONOS, Gcore, UpCloud, Infomaniak, Leafcloud, Civo, Arkane Cloud). Die Live-Multi-Cloud-API von Shadeform und die öffentlichen Kataloge von SkyPilot ergänzen nur Anbieter ohne direkte Quelle, etwa Google Cloud, Voltage Park oder Denvr. Google-Cloud-Preise enthalten die Maschine, die jede GPU benötigt. GPU-Bruchteile (MIG-Slices, vGPUs) werden nicht berücksichtigt, und Kataloge, die nicht mehr aktualisiert werden, ignorieren wir.
- Die Daten werden alle 2 Stunden aktualisiert. Jeder Preis wird auf USD pro GPU und Stunde normiert. Die Tabelle zeigt zusätzlich den Preis der gesamten Instanz. Euro-Preise werden zum täglichen Referenzkurs der Europäischen Zentralbank umgerechnet.
- On-Demand-, Spot- (unterbrechbar) und reservierte bzw. vertraglich gebundene Preise werden nie vermischt. Standardmäßig wird nur On-Demand angezeigt.
- Bei Hyperscaler-SKUs wird die günstigste Region angezeigt, zusammen mit der Anzahl weiterer Regionen. Bei Marktplätzen wie Vast.ai fassen wir identische Angebote zusammen und zeigen die drei günstigsten pro Konfiguration.
- GPUs, die Anbieter listen, die aber noch nicht in unserem Datenblatt stehen, erscheinen als „Specs folgen“ mit Preis und Speicher, sodass neue Hardware sichtbar wird, sobald sie angeboten wird.
- Die Preise enthalten keine Kosten für Speicher, Egress und IP-Adressen, sofern der Anbieter diese nicht einschließt. Vast.ai-Preise enthalten den Standard-Datenträger des Hosts.
Regeln, die jeder Preis erfüllen muss
- Nur ganze GPUs: MIG-Slices, vGPUs und zeitlich geteilte GPUs werden aussortiert.
- Der GPU-Name muss zu unserem Datenblatt passen oder eindeutig einen neuen Beschleuniger bezeichnen, der dann als „Specs folgen“ erscheint. Alles andere wird verworfen, nicht geraten.
- Der Preis muss umgerechnet zwischen $0.01 und $200 pro GPU-Stunde liegen.
- Jeder Anbieter stammt aus nur einem Feed, dem direktesten, sodass niemand doppelt gezählt wird.
- Bei identischen Konfigurationen (gleicher Anbieter, gleiche GPU, Anzahl und Preisart) bleibt die günstigste Zeile erhalten; bei Marktplätzen die drei günstigsten.
- Kataloge von Drittanbietern, die seit 45 Tagen oder länger nicht aktualisiert wurden, werden verworfen.
Definitionen
- „Ab $X“: der niedrigste On-Demand-Preis pro GPU-Stunde für eine GPU über alle Anbieter und Regionen.
- Median: gebildet über den jeweils günstigsten On-Demand-Preis jedes Anbieters, sodass ein Anbieter mit vielen Konfigurationen nur einmal zählt.
- Monatliche Kosten: Preis pro Stunde × 730 Stunden.
- Preis-Leistungs-Rang: GPUs mit On-Demand-Preisen, sortiert nach $ pro PFLOP-Stunde dense FP16/BF16.
Woher die Preise der einzelnen Anbieter stammen
Jeder Anbieter wird aus dem direktesten Feed gelesen, der ihn enthält: zuerst aus seiner eigenen API oder Preisliste, dann von seiner eigenen Preisseite, dann von einem Multi-Cloud-Aggregator.
| Anbieter | Feed | Typ | Preise |
|---|---|---|---|
| Akamai (Linode) | Akamai (Linode) API | Offizielle API oder Preisliste | 7 |
| Akash Network | Akash API | Offizielle API oder Preisliste | 7 |
| AWS | AWS pricing | Offizielle API oder Preisliste | 62 |
| Cudo Compute | Cudo API | Offizielle API oder Preisliste | 2 |
| EmpirioLabs AI | EmpirioLabs API | Offizielle API oder Preisliste | 28 |
| Exoscale | Exoscale API | Offizielle API oder Preisliste | 22 |
| GPU.ai | GPU.ai | Offizielle API oder Preisliste | 55 |
| Hivenet | Hivenet API | Offizielle API oder Preisliste | 4 |
| Hyperbolic | Hyperbolic API | Offizielle API oder Preisliste | 5 |
| Leaseweb | Leaseweb API | Offizielle API oder Preisliste | 17 |
| Lium | Lium | Offizielle API oder Preisliste | 64 |
| Oracle Cloud | Oracle price list API | Offizielle API oder Preisliste | 15 |
| OVHcloud | OVHcloud catalog API | Offizielle API oder Preisliste | 29 |
| RunPod | RunPod | Offizielle API oder Preisliste | 65 |
| Sesterce | Sesterce | Offizielle API oder Preisliste | 34 |
| STACKIT | STACKIT API | Offizielle API oder Preisliste | 10 |
| T Cloud Public | T Cloud Public API | Offizielle API oder Preisliste | 29 |
| Vast.ai | Vast.ai | Offizielle API oder Preisliste | 139 |
| Verda (DataCrunch) | Verda | Offizielle API oder Preisliste | 90 |
| Vultr | Vultr | Offizielle API oder Preisliste | 4 |
| Arkane Cloud | Arkane Cloud pricing page | Offizielle Preisseite | 2 |
| Civo | Civo pricing page | Offizielle Preisseite | 87 |
| CoreWeave | CoreWeave pricing page | Offizielle Preisseite | 17 |
| DigitalOcean | DigitalOcean pricing page | Offizielle Preisseite | 24 |
| Gcore | Gcore pricing page | Offizielle Preisseite | 17 |
| Hot Aisle | Hot Aisle pricing page | Offizielle Preisseite | 4 |
| Hyperstack | Hyperstack pricing page | Offizielle Preisseite | 26 |
| Infomaniak | Infomaniak pricing page | Offizielle Preisseite | 7 |
| IONOS | IONOS Cloud pricing page | Offizielle Preisseite | 4 |
| Koyeb | Koyeb pricing page | Offizielle Preisseite | 22 |
| Lambda | Lambda pricing page | Offizielle Preisseite | 28 |
| Latitude.sh | Latitude pricing page | Offizielle Preisseite | 8 |
| Leafcloud | Leafcloud pricing page | Offizielle Preisseite | 12 |
| Massed Compute | Massed Compute pricing page | Offizielle Preisseite | 52 |
| Nebius | Nebius pricing page | Offizielle Preisseite | 6 |
| Oblivus | Oblivus pricing page | Offizielle Preisseite | 42 |
| Seeweb | Seeweb pricing page | Offizielle Preisseite | 44 |
| TensorWave | TensorWave product pages | Offizielle Preisseite | 3 |
| Together AI | Together AI pricing page | Offizielle Preisseite | 11 |
| UpCloud | UpCloud pricing page | Offizielle Preisseite | 44 |
| Crusoe | Shadeform | Aggregator | 17 |
| Denvr | Shadeform | Aggregator | 6 |
| Google Cloud | SkyPilot catalog | Aggregator | 74 |
| Horizon | Shadeform | Aggregator | 2 |
| IMWT | Shadeform | Aggregator | 12 |
| Latitude.sh | Shadeform | Aggregator | 3 |
| Paperspace | Shadeform | Aggregator | 22 |
| Phyntec | Shadeform | Aggregator | 2 |
| Scaleway | Shadeform | Aggregator | 11 |
| Voltage Park | Shadeform | Aggregator | 4 |
Datenblatt
Dichter Spitzendurchsatz pro GPU. INT8 in TOPS. Ein Strich bedeutet, dass die GPU diese Präzision nicht nativ unterstützt. (PFLOPS)
| GPU | Hersteller | Architektur | VRAM | GB/s | FP16 / BF16 | FP8 | FP4 | INT8 | TF32 | FP32 | FP64 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| GB300 | NVIDIA | Blackwell Ultra | 288 GB | 8,000 | 2.5 | 5 | 15 | 0.33 | 1.25 | 0.08 | 0.0013 |
| B300 SXM | NVIDIA | Blackwell Ultra | 288 GB | 8,000 | 2.25 | 4.5 | 13.5 | 0.33 | 1.1 | 0.075 | 0.0013 |
| GB200 | NVIDIA | Blackwell | 186 GB | 8,000 | 2.5 | 5 | 10 | 5 | 1.25 | 0.08 | 0.045 |
| B200 SXM | NVIDIA | Blackwell | 180 GB | 7,700 | 2.25 | 4.5 | 9 | 4.5 | 1.1 | 0.075 | 0.037 |
| H200 SXM | NVIDIA | Hopper | 141 GB | 4,800 | 0.989 | 1.98 | — | 1.98 | 0.495 | 0.067 | 0.067 |
| H200 NVL | NVIDIA | Hopper | 141 GB | 4,800 | 0.835 | 1.67 | — | 1.67 | 0.417 | 0.06 | 0.06 |
| GH200 | NVIDIA | Hopper | 96 GB | 4,000 | 0.989 | 1.98 | — | 1.98 | 0.495 | 0.067 | 0.067 |
| H100 SXM | NVIDIA | Hopper | 80 GB | 3,350 | 0.989 | 1.98 | — | 1.98 | 0.495 | 0.067 | 0.067 |
| H100 NVL | NVIDIA | Hopper | 94 GB | 3,900 | 0.835 | 1.67 | — | 1.67 | 0.417 | 0.06 | 0.06 |
| H100 PCIe | NVIDIA | Hopper | 80 GB | 2,000 | 0.756 | 1.51 | — | 1.51 | 0.378 | 0.051 | 0.051 |
| H800 SXM | NVIDIA | Hopper | 80 GB | 3,350 | 0.989 | 1.98 | — | 1.98 | 0.495 | 0.067 | 0.001 |
| H20 | NVIDIA | Hopper | 96 GB | 4,000 | 0.148 | 0.296 | — | 0.296 | 0.074 | 0.044 | 0.001 |
| A100 SXM 80GB | NVIDIA | Ampere | 80 GB | 2,039 | 0.312 | — | — | 0.624 | 0.156 | 0.0195 | 0.0195 |
| A100 SXM 40GB | NVIDIA | Ampere | 40 GB | 1,555 | 0.312 | — | — | 0.624 | 0.156 | 0.0195 | 0.0195 |
| A100 PCIe 80GB | NVIDIA | Ampere | 80 GB | 1,935 | 0.312 | — | — | 0.624 | 0.156 | 0.0195 | 0.0195 |
| A100 PCIe 40GB | NVIDIA | Ampere | 40 GB | 1,555 | 0.312 | — | — | 0.624 | 0.156 | 0.0195 | 0.0195 |
| A800 | NVIDIA | Ampere | 80 GB | 1,935 | 0.312 | — | — | 0.624 | 0.156 | 0.0195 | 0.0195 |
| L40S | NVIDIA | Ada Lovelace | 48 GB | 864 | 0.362 | 0.733 | — | 0.733 | 0.183 | 0.0916 | 0.0014 |
| L40 | NVIDIA | Ada Lovelace | 48 GB | 864 | 0.181 | 0.362 | — | 0.362 | 0.0905 | 0.0905 | 0.0014 |
| L4 | NVIDIA | Ada Lovelace | 24 GB | 300 | 0.121 | 0.242 | — | 0.242 | 0.06 | 0.0303 | 0.0005 |
| A40 | NVIDIA | Ampere | 48 GB | 696 | 0.15 | — | — | 0.299 | 0.0748 | 0.0374 | 0.0006 |
| A30 | NVIDIA | Ampere | 24 GB | 933 | 0.165 | — | — | 0.33 | 0.082 | 0.0103 | 0.0103 |
| A10 | NVIDIA | Ampere | 24 GB | 600 | 0.125 | — | — | 0.25 | 0.0625 | 0.0312 | 0.0005 |
| A10G | NVIDIA | Ampere | 24 GB | 600 | 0.07 | — | — | 0.14 | 0.035 | 0.0312 | 0.0005 |
| A2 | NVIDIA | Ampere | 16 GB | 200 | 0.018 | — | — | 0.036 | 0.009 | 0.0045 | — |
| A16 | NVIDIA | Ampere | 16 GB | 200 | 0.018 | — | — | 0.036 | 0.009 | 0.0045 | — |
| T4 | NVIDIA | Turing | 16 GB | 320 | 0.065 | — | — | 0.13 | — | 0.0081 | 0.0003 |
| V100 SXM2 32GB | NVIDIA | Volta | 32 GB | 900 | 0.125 | — | — | — | — | 0.0157 | 0.0078 |
| V100 SXM2 16GB | NVIDIA | Volta | 16 GB | 900 | 0.125 | — | — | — | — | 0.0157 | 0.0078 |
| V100 PCIe 32GB | NVIDIA | Volta | 32 GB | 900 | 0.112 | — | — | — | — | 0.014 | 0.007 |
| V100 PCIe | NVIDIA | Volta | 16 GB | 900 | 0.112 | — | — | — | — | 0.014 | 0.007 |
| V100S PCIe | NVIDIA | Volta | 32 GB | 1,134 | 0.13 | — | — | — | — | 0.0164 | 0.0082 |
| P100 | NVIDIA | Pascal | 16 GB | 732 | 0.0187 | — | — | — | — | 0.0093 | 0.0047 |
| RTX PRO 6000 Blackwell | NVIDIA | Blackwell | 96 GB | 1,792 | 0.504 | 1.01 | 2.02 | 1.01 | 0.126 | 0.126 | 0.002 |
| RTX PRO 6000 Blackwell Max-Q | NVIDIA | Blackwell | 96 GB | 1,792 | 0.439 | 0.878 | 1.76 | 0.878 | 0.11 | 0.11 | 0.0017 |
| RTX 6000 Ada | NVIDIA | Ada Lovelace | 48 GB | 960 | 0.364 | 0.729 | — | 0.729 | 0.182 | 0.0911 | 0.0014 |
| RTX 5000 Ada | NVIDIA | Ada Lovelace | 32 GB | 576 | 0.261 | 0.522 | — | 0.522 | 0.131 | 0.0653 | 0.001 |
| RTX 4000 Ada | NVIDIA | Ada Lovelace | 20 GB | 360 | 0.0818 | 0.164 | — | 0.164 | 0.0409 | 0.0267 | 0.0004 |
| RTX A6000 | NVIDIA | Ampere | 48 GB | 768 | 0.155 | — | — | 0.31 | 0.0774 | 0.0387 | 0.0006 |
| RTX A5000 | NVIDIA | Ampere | 24 GB | 768 | 0.111 | — | — | 0.222 | 0.0556 | 0.0278 | 0.0004 |
| RTX A4500 | NVIDIA | Ampere | 20 GB | 640 | 0.0946 | — | — | 0.189 | 0.0473 | 0.0237 | 0.0004 |
| RTX A4000 | NVIDIA | Ampere | 16 GB | 448 | 0.0767 | — | — | 0.153 | 0.0384 | 0.0192 | 0.0003 |
| RTX PRO 5000 Blackwell | NVIDIA | Blackwell | 48 GB | 1,344 | 0.268 | 0.535 | 1.07 | 0.535 | 0.067 | 0.0737 | 0.0012 |
| RTX PRO 4000 Blackwell | NVIDIA | Blackwell | 24 GB | 672 | 0.147 | 0.294 | 0.589 | 0.294 | 0.037 | 0.0469 | 0.0007 |
| RTX PRO 4000 Blackwell SFF | NVIDIA | Blackwell | 24 GB | 432 | 0.096 | 0.193 | 0.385 | 0.193 | 0.024 | 0.024 | 0.0004 |
| RTX 5880 Ada | NVIDIA | Ada Lovelace | 48 GB | 960 | 0.277 | 0.555 | — | 0.555 | 0.139 | 0.0693 | 0.0011 |
| RTX PRO 4500 Blackwell | NVIDIA | Blackwell | 32 GB | 896 | 0.211 | 0.422 | 0.843 | 0.422 | 0.053 | 0.0549 | 0.0009 |
| RTX 4000 SFF Ada | NVIDIA | Ada Lovelace | 20 GB | 280 | 0.0767 | 0.153 | — | 0.153 | 0.0384 | 0.0192 | 0.0003 |
| Quadro RTX 6000 | NVIDIA | Turing | 24 GB | 672 | 0.131 | — | — | 0.261 | — | 0.0163 | 0.0005 |
| RTX 2000 Ada | NVIDIA | Ada Lovelace | 16 GB | 224 | 0.048 | 0.096 | — | 0.096 | 0.024 | 0.012 | 0.0002 |
| RTX A2000 | NVIDIA | Ampere | 12 GB | 288 | 0.032 | — | — | 0.064 | 0.016 | 0.008 | 0.0001 |
| Quadro RTX 8000 | NVIDIA | Turing | 48 GB | 672 | 0.131 | — | — | 0.261 | — | 0.0163 | 0.0005 |
| RTX 5090 | NVIDIA | Blackwell | 32 GB | 1,792 | 0.209 | 0.419 | 1.68 | 0.838 | 0.105 | 0.105 | 0.0016 |
| RTX 5080 | NVIDIA | Blackwell | 16 GB | 960 | 0.113 | 0.225 | 0.9 | 0.45 | 0.0563 | 0.0563 | 0.0009 |
| RTX 5070 Ti | NVIDIA | Blackwell | 16 GB | 896 | 0.0879 | 0.176 | 0.703 | 0.352 | 0.0439 | 0.0439 | 0.0007 |
| RTX 4090 | NVIDIA | Ada Lovelace | 24 GB | 1,008 | 0.165 | 0.33 | — | 0.661 | 0.0826 | 0.0826 | 0.0013 |
| RTX 4080 SUPER | NVIDIA | Ada Lovelace | 16 GB | 736 | 0.104 | 0.209 | — | 0.418 | 0.0522 | 0.0522 | 0.0008 |
| RTX 4080 | NVIDIA | Ada Lovelace | 16 GB | 717 | 0.0975 | 0.195 | — | 0.39 | 0.0487 | 0.0487 | 0.0008 |
| RTX 4070 Ti | NVIDIA | Ada Lovelace | 12 GB | 504 | 0.0802 | 0.16 | — | 0.321 | 0.0401 | 0.0401 | 0.0006 |
| RTX 4070 | NVIDIA | Ada Lovelace | 12 GB | 504 | 0.0583 | 0.117 | — | 0.233 | 0.0291 | 0.0291 | 0.0005 |
| RTX 4060 Ti | NVIDIA | Ada Lovelace | 16 GB | 288 | 0.0441 | 0.0883 | — | 0.177 | 0.0221 | 0.0221 | 0.0003 |
| RTX 3090 Ti | NVIDIA | Ampere | 24 GB | 1,008 | 0.08 | — | — | 0.32 | 0.04 | 0.04 | 0.0006 |
| RTX 3090 | NVIDIA | Ampere | 24 GB | 936 | 0.071 | — | — | 0.284 | 0.0356 | 0.0356 | 0.0006 |
| RTX 3080 Ti | NVIDIA | Ampere | 12 GB | 912 | 0.0682 | — | — | 0.273 | 0.0341 | 0.0341 | 0.0005 |
| RTX 3080 | NVIDIA | Ampere | 10 GB | 760 | 0.0595 | — | — | 0.238 | 0.0298 | 0.0298 | 0.0005 |
| RTX 3070 | NVIDIA | Ampere | 8 GB | 448 | 0.0406 | — | — | 0.163 | 0.0203 | 0.0203 | 0.0003 |
| RTX 3060 | NVIDIA | Ampere | 12 GB | 360 | 0.0254 | — | — | 0.102 | 0.0127 | 0.0127 | 0.0002 |
| RTX 2080 Ti | NVIDIA | Turing | 11 GB | 616 | 0.0538 | — | — | 0.215 | — | 0.0134 | 0.0004 |
| RTX 4090D | NVIDIA | Ada Lovelace | 24 GB | 1,008 | 0.147 | 0.294 | — | 0.588 | 0.0735 | 0.0735 | 0.0011 |
| RTX 5060 Ti | NVIDIA | Blackwell | 16 GB | 448 | 0.0474 | 0.0949 | 0.38 | 0.19 | 0.0237 | 0.0237 | 0.0004 |
| RTX 4070 SUPER | NVIDIA | Ada Lovelace | 12 GB | 504 | 0.071 | 0.142 | — | 0.284 | 0.0355 | 0.0355 | 0.0006 |
| RTX 3070 Ti | NVIDIA | Ampere | 8 GB | 608 | 0.0435 | — | — | 0.174 | 0.0217 | 0.0217 | 0.0003 |
| RTX 3060 Ti | NVIDIA | Ampere | 8 GB | 448 | 0.0324 | — | — | 0.13 | 0.0162 | 0.0162 | 0.0003 |
| Titan RTX | NVIDIA | Turing | 24 GB | 672 | 0.131 | — | — | 0.261 | — | 0.0163 | 0.0005 |
| Instinct MI455X | AMD | CDNA 5 | 432 GB | 23,300 | 5.03 | 20.1 | 40.3 | 5.03 | — | 0.315 | 0.005 |
| Instinct MI355X | AMD | CDNA 4 | 288 GB | 8,000 | 2.52 | 5.03 | 10.1 | 5.03 | — | 0.157 | 0.0786 |
| Instinct MI350X | AMD | CDNA 4 | 288 GB | 8,000 | 2.31 | 4.61 | 9.23 | 4.61 | — | 0.144 | 0.0721 |
| Instinct MI325X | AMD | CDNA 3 | 256 GB | 6,000 | 1.31 | 2.61 | — | 2.61 | 0.654 | 0.163 | 0.163 |
| Instinct MI300X | AMD | CDNA 3 | 192 GB | 5,300 | 1.31 | 2.61 | — | 2.61 | 0.654 | 0.163 | 0.163 |
| Instinct MI250X | AMD | CDNA 2 | 128 GB | 3,277 | 0.383 | — | — | 0.383 | — | 0.0957 | 0.0957 |
| Instinct MI250 | AMD | CDNA 2 | 128 GB | 3,277 | 0.362 | — | — | 0.362 | — | 0.0905 | 0.0905 |
| Instinct MI210 | AMD | CDNA 2 | 64 GB | 1,638 | 0.181 | — | — | 0.181 | — | 0.0453 | 0.0453 |
| Instinct MI100 | AMD | CDNA | 32 GB | 1,229 | 0.185 | — | — | 0.185 | — | 0.0461 | 0.0115 |
| Radeon PRO W7900 | AMD | RDNA 3 | 48 GB | 864 | 0.123 | — | — | 0.123 | — | 0.0613 | 0.0019 |
| Radeon RX 7900 XTX | AMD | RDNA 3 | 24 GB | 960 | 0.123 | — | — | 0.123 | — | 0.0614 | 0.0019 |
| Gaudi 3 | Intel | Gaudi | 128 GB | 3,700 | 1.83 | 1.83 | — | — | — | 0.0287 | — |
| Gaudi 2 | Intel | Gaudi | 96 GB | 2,450 | 0.432 | 0.865 | — | — | — | 0.011 | — |
| Data Center GPU Max 1550 | Intel | Xe-HPC | 128 GB | 3,277 | 0.839 | — | — | 1.68 | 0.419 | 0.0524 | 0.0524 |
| TPU v6e (Trillium) | Google TPU | TPU | 32 GB | 1,640 | 0.918 | — | — | 1.84 | — | — | — |
| TPU v5p | Google TPU | TPU | 95 GB | 2,765 | 0.459 | — | — | 0.918 | — | — | — |
| TPU v5e | Google TPU | TPU | 16 GB | 819 | 0.197 | — | — | 0.394 | — | — | — |
| Trainium2 | AWS Trainium | Trainium | 96 GB | 2,900 | 0.667 | 1.3 | — | — | — | 0.181 | — |
| Trainium | AWS Trainium | Trainium | 32 GB | 820 | 0.19 | 0.19 | — | — | — | 0.0475 | — |
| Inferentia2 | AWS Trainium | Inferentia | 32 GB | 820 | 0.19 | 0.19 | — | 0.38 | — | 0.0475 | — |