Ein Praxisleitfaden für Teams, die entscheiden, ob AMD Instinct neben oder anstelle von NVIDIA in ihre KI-Infrastruktur gehört. Er beginnt mit dem Interview von Lisa Su im Dezember 2024 in der Bloomberg-Sendung The Circuit und dem, was AMD seitdem ausgeliefert hat, und behandelt dann die Plattformen von 2026 Schicht für Schicht, die Produktlinien, denen Käufer tatsächlich begegnen, die Speicherrechnung, die die Zahl der GPUs bestimmt, die Software-Zuordnung von CUDA zu ROCm, einen Portierungsablauf mit Befehlen, den Betrieb beider Hersteller auf einer Kubernetes-Plattform, eine faire Benchmarking-Methode, einen Entscheidungsablauf und die betrieblichen Prüfungen für den laufenden Betrieb.
Diese Technote begleitet unseren Blogbeitrag Nvidias Vorsprung abtragen: Lisa Sus Plan, zwei Jahre später, der das Interview zusammenfasst. Die folgenden Herstellerangaben sind veröffentlichte Aussagen von AMD bzw. NVIDIA selbst, keine unabhängigen Benchmarks; wo es darauf ankommt, weisen wir darauf hin. Stand der Fakten: 14. November 2026.
1. Vom Interview zu Helios
In „AMD's CEO Wants to Chip Away at Nvidia's Lead“ (Bloomberg Originals, The Circuit with Emily Chang, 6. Dezember 2024) zeigte Lisa Su, damals seit zehn Jahren im Amt, die Instinct MI300 im produktiven KI-Einsatz, etwa mit GPT-4o auf Microsoft Azure und Llama von Meta, nannte KI „die transformativste Technologie“ ihrer Laufbahn und argumentierte, es gebe „mehr als genug Chips für alle“, auch wenn Hyperscaler eigene entwickelten. Bloombergs Chip-Reporter Ian King fasste die Position von AMD als „eine solide Nummer zwei“ zusammen. Die zwei Jahre seitdem haben diese Position auf die Probe gestellt.
Die Mitteilung von AMD zum dritten Quartal 2026 meldet einen Gesamtumsatz von 13,4 Mrd. US-Dollar, einen Rekord-Data-Center-Umsatz von 8,5 Mrd. US-Dollar (plus 97 % im Jahresvergleich), Serienauslieferungen der MI450 Series sowie Anthropic, Meta, Microsoft, OpenAI und Oracle Cloud Infrastructure, die Workloads auf den ersten Helios-Racks betreiben. Für das vierte Quartal stellt AMD rund 17 Mrd. US-Dollar Umsatz in Aussicht. Dieselbe Mitteilung nennt ROCm 10, den ersten Helios-Auftrag von HPE (für Vultr) und die Wahl von Instinct-MI430X-GPUs durch EuroHPC für den Supercomputer LUMI-AI, was für europäische Käufer relevant ist, die souveräne KI-Kapazität prüfen.
2. Die Plattformen von 2026, Schicht für Schicht
| AMD Helios (von AMD veröffentlichte Angaben) | Wert |
|---|---|
| GPUs pro Rack (eine Scale-up-Domäne) | 72 × Instinct MI455X (CDNA 5) |
| Speicher pro GPU | 432 GB HBM4, bis zu 23,3 TB/s |
| Rechenleistung pro GPU | bis zu 40 PF FP4 |
| Rechenleistung pro Rack | 2,9 EF FP4, 1,4 EF FP8 |
| Speicher pro Rack | 31 TB HBM4, rund 1,7 PB/s aggregiert |
| Bandbreite Scale-up / Scale-out | 260 TB/s (UALink over Ethernet) / 43 TB/s (3 × 800G-NICs pro GPU) |
| Host-CPU | EPYC der 6. Generation „Venice“ (9006 Series) |
| Rack-Standard | Open Rack Wide, von Meta in das Open Compute Project eingebracht |
AMD positioniert Helios direkt gegen Vera Rubin NVL72 von NVIDIA und beansprucht rund 15 % mehr KI-Rechenleistung, 50 % mehr Speicher, 50 % mehr Scale-out-Bandbreite und bis zu 30 % mehr Tokens pro Dollar. Das sind Herstellerangaben, vom Hersteller gemessen; betrachten Sie sie als Anlass für ein Benchmarking, nicht als Ergebnis. Der Speicherunterschied ist der strukturell bedeutendste: 432 GB pro MI455X gegenüber 288 GB pro Rubin-GPU verändern, wie viele GPUs ein großes Modell benötigt (Abschnitt 4).
3. Die Instinct-Produktlinien, denen Sie begegnen werden
| Produkt | Speicher | Einsatzbereich |
|---|---|---|
| MI300X | 192 GB HBM3 | Die Generation von 2024 aus dem Interview; in Clouds und auf dem Gebrauchtmarkt weiterhin verbreitet |
| MI325X | 256 GB HBM3E | MI300-Plattform mit mehr Speicher, Server mit acht GPUs |
| MI350X / MI355X | 288 GB HBM3E | Generation von 2025; Server mit acht GPUs, luft- oder flüssigkeitsgekühlt; die Vergleichsbasis der MI455X |
| MI430X | siehe AMD | HPC- und souveräne KI-Systeme; gewählt für LUMI-AI von EuroHPC |
| MI450X / MI455X | 432 GB HBM4 | Helios-Rack-Scale-Systeme; Frontier-Training und Inferenz im großen Maßstab |
| MI350P | siehe AMD | Eingesetzt in der Helion-Referenzarchitektur von AMD für agentische Systeme und in der Workstation Threadripper Halo Station |
Die meisten Organisationen in Großbritannien werden Instinct als Server mit acht GPUs von Dell, HPE, Lenovo oder Supermicro oder als Cloud-Instanzen kennenlernen, nicht als vollständige Helios-Racks. Helios ist für sie indirekt wichtig: Es macht ROCm zu einer erstklassigen Zielplattform für die Modell- und Framework-Entwickler, auf die sie angewiesen sind.
4. Speicherrechnung: Warum 432 GB die Zahl der GPUs verändern
Zwei Zahlen bestimmen, wie viele GPUs eine Kopie eines Modells benötigt: die Gewichte und der Key-Value-Cache (KV-Cache), der mit der Kontextlänge und der Zahl gleichzeitiger Nutzer wächst.
weights (GB) ≈ parameters (billions) × bytes per parameter
FP16/BF16 = 2, FP8 = 1, FP4 = 0.5
KV cache per token = 2 × layers × kv_heads × head_dim × bytes per value
# Example: a 70B model with 80 layers, 8 KV heads, head_dim 128, FP16 KV cache
KV per token = 2 × 80 × 8 × 128 × 2 bytes = 327,680 bytes ≈ 0.31 MiB
KV per 32k sequence ≈ 10 GiB KV per 128k sequence ≈ 40 GiB
| Illustrativ: 70B-Modell, FP8-Gewichte (~70 GB), FP16-KV, 10 % Reserve | GPU mit 288 GB | GPU mit 432 GB |
|---|---|---|
| Verbleibender Speicher für den KV-Cache | ~189 GB | ~319 GB |
| Gleichzeitige Sequenzen mit 32k Tokens pro GPU | ~18 | ~30 |
| Gleichzeitige Sequenzen mit 128k Tokens pro GPU | ~4 | ~7 |
| Modell mit ~400B Parametern in FP8 (~400 GB Gewichte) | benötigt 2+ GPUs | passt auf 1, mit wenig Platz für KV |
Weniger GPUs pro Modellkopie bedeuten weniger Tensor-Parallelität, weniger Datenverkehr zwischen GPUs und mehr unabhängige Replikate aus demselben Rack. Ob daraus mehr Tokens pro Pfund werden, hängt auch von Rechenleistung, Interconnect und Software-Effizienz ab, weshalb das Benchmarking in Abschnitt 8 der entscheidende Schritt ist. Auf unserer Seite zur GPU Private Cloud finden Sie einen VRAM-Rechner, der dieselbe Rechnung durchführt.
5. Die Software-Zuordnung: von CUDA zu ROCm
| Zweck | NVIDIA | AMD ROCm |
|---|---|---|
| Programmiermodell | CUDA | HIP (CUDA-ähnliches C++; kompiliert auch für NVIDIA) |
| Dichte lineare Algebra | cuBLAS, cuBLASLt | hipBLAS, rocBLAS, hipBLASLt |
| Deep-Learning-Primitive | cuDNN | MIOpen |
| Kernel-Templates | CUTLASS | Composable Kernel |
| Multi-GPU-Kollektive | NCCL | RCCL (NCCL-kompatible API) |
| Inferenz-Compiler | TensorRT, TensorRT-LLM | MIGraphX; das meiste LLM-Serving nutzt stattdessen vLLM oder SGLang |
| Geräteverwaltung | nvidia-smi | amd-smi |
| Profiling | Nsight Systems / Compute | rocprofv3, ROCm Systems und Compute Profilers |
| Portable Kernels | Triton (OpenAI), auf beiden unterstützt | |
| Frameworks und Serving | PyTorch, JAX, vLLM, SGLang, Hugging Face: veröffentlichte Builds für beide | |
Die praktische Regel: Wenn Ihr Code auf Framework-Ebene bleibt, ist der Wechsel zu ROCm im Wesentlichen eine Frage der Installation des ROCm-Builds. Die Arbeit konzentriert sich auf drei Bereiche: eigene CUDA-Kernels und C++-Erweiterungen, TensorRT-Engines und Bibliotheken, die nur CUDA-Binärdateien mitliefern.
6. Portierungsablauf
6.1 Knoten und Framework prüfen
# GPUs visible to the driver, and their architecture (gfx target)
amd-smi list
rocminfo | grep -m1 -i "gfx"
# PyTorch on ROCm keeps the torch.cuda API, so most code is unchanged
python -c "import torch; print(torch.version.hip, torch.cuda.is_available(), torch.cuda.get_device_name(0))"
6.2 Ein Modell in einem ROCm-Container bereitstellen
# AMD publishes ROCm images for PyTorch and vLLM; pick a tag matching your ROCm version
docker run --rm -it --ipc=host \
--device=/dev/kfd --device=/dev/dri --group-add video \
--security-opt seccomp=unconfined \
-p 8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface \
rocm/vllm:<tag> \
vllm serve <model> --tensor-parallel-size 2
Der OpenAI-kompatible Endpunkt ist identisch mit dem, den vLLM auf NVIDIA bereitstellt, sodass sich Clients, Gateways und Tests nicht ändern.
6.3 Eigene Kernels
# Mechanical CUDA → HIP translation, then build with the ROCm compiler
hipify-perl my_kernel.cu > my_kernel.hip.cpp # or hipify-clang for a full parse
hipcc -O3 --offload-arch=<gfx-target> -o my_kernel my_kernel.hip.cpp
Die Übersetzung ist der einfache Teil. Annahmen über die Warp-Größe (die CDNA-Wavefronts von AMD haben 64 Lanes, NVIDIA-Warps 32), von Hand optimierte Shared-Memory-Layouts und Inline-PTX müssen manuell geprüft werden. Wo ein Kernel ohnehin neu geschrieben wird, schreiben Sie ihn einmal in Triton und führen ihn auf beiden Herstellern aus.
6.4 Validieren, bevor Sie optimieren
Führen Sie auf beiden Herstellern einen festen Evaluierungssatz mit denselben Gewichten und derselben Präzision aus. Vergleichen Sie Aufgabenergebnisse (und bei Kernels Logits oder Ausgaben innerhalb einer festgelegten Toleranz). Unterschiedliche Hardware liefert leicht abweichende Gleitkommaergebnisse; entscheidend ist, dass die Modellqualität bei Ihren Aufgaben unverändert bleibt. Erst dann optimieren Sie Batch-Größen, Parallelität und Serving-Parameter.
7. Eine Kubernetes-Plattform, zwei Hersteller
Beide Hersteller stellen GPUs über einen Operator und ein Device-Plugin für Kubernetes bereit: nvidia.com/gpu auf NVIDIA-Knoten und amd.com/gpu auf AMD-Knoten, wobei der GPU Operator von AMD die Treiberkomponenten, das Device-Plugin, einen Node-Labeller und einen Metrics-Exporter für Prometheus installiert. Installieren Sie ihn über das Helm-Chart von AMD gemäß der aktuellen Dokumentation zum ROCm GPU Operator.
Halten Sie ein Manifest pro Workload und ein kleines Overlay pro Hersteller, das nur den Image-Build (ROCm oder CUDA) und die GPU-Ressource ändert. Mit Kustomize:
# overlays/amd/kustomization.yaml (Workstation example)
resources: ["../../base"]
images:
- name: inference-server
newName: registry.example.com/inference-server
newTag: 2026.11-rocm
patches:
- target: {kind: Deployment, name: inference-server}
patch: |-
- op: replace
path: /spec/template/spec/containers/0/resources/limits
value: {"amd.com/gpu": 8}
- op: add
path: /spec/template/spec/nodeSelector
value: {"gpu-vendor": "amd"}
Versehen Sie jeden Node-Pool mit Labels und Taints nach Hersteller und Generation (zum Beispiel gpu-vendor=amd, gpu-model=mi355x), damit Scheduler und Kostenberichte sie unterscheiden können, und führen Sie bei jeder Änderung dieselben CI-Tests gegen beide Overlays aus.
8. Fair benchmarken
- Dasselbe Modell, dieselbe Präzision, dieselbe Serving-Engine und -Version auf beiden Herstellern, jeweils mit dem empfohlenen Build und den empfohlenen Einstellungen des Herstellers.
- Messen Sie bei Ihrem Latenzziel, nicht beim Spitzendurchsatz: Time to First Token und Inter-Token-Latenz beim p95, den Ihre Nutzer benötigen, dann den Durchsatz an diesem Punkt.
vllm bench servesteuert einen OpenAI-kompatiblen Endpunkt mit realistischen Anfragemischungen an. - Verwenden Sie Ihr Verkehrsprofil: Prompt- und Ausgabelängen, Parallelität und den Anteil von Anfragen mit langem Kontext.
- Rechnen Sie in Tokens pro Pfund um: Hardware- oder Mietkosten pro Stunde plus Strom zu Ihrem Tarif, geteilt durch Tokens pro Stunde beim Latenzziel.
- Erfassen Sie die Genauigkeit auf Ihrem Evaluierungssatz zusammen mit der Geschwindigkeit.
- Gleichen Sie mit unabhängigen Ergebnissen ab, etwa MLPerf Inference, wo beide Hersteller vergleichbare Systeme einreichen.
9. Pro Workload entscheiden
| Workload | Spricht für AMD, wenn | Spricht für NVIDIA, wenn |
|---|---|---|
| LLM-Inferenz, große Modelle oder langer Kontext | Der Speicher pro GPU die GPU-Zahl pro Replikat senkt; Serving mit vLLM oder SGLang | Sie auf TensorRT-LLM oder NVIDIA-NIM-Microservices angewiesen sind |
| Training und Fine-Tuning in PyTorch | Standard-PyTorch, FSDP oder DeepSpeed; kein eigenes CUDA | Viele eigene Kernels, Megatron-spezifische CUDA-Pfade, enge Fristen |
| Vision, Sprache und klassisches ML | Code auf Framework-Ebene, kostensensible Inferenz | Bibliotheken mit reinen CUDA-Binärdateien (manche Video- und 3D-Pipelines) |
| HPC und Simulation | FP64-lastige Codes, die bereits nach HIP portiert sind; souveräne HPC-Programme | Kommerzielle Solver, die nur CUDA unterstützen |
10. Laufender Betrieb
- Versionen gemeinsam fixieren: Treiber, ROCm-Release, Framework-Build und Container-Tag bilden einen getesteten Satz, genau wie bei CUDA. Aktualisieren Sie sie als Satz, abgesichert durch die Golden-Set-Tests.
- Überwachen:
amd-smiliefert Auslastung, Speicher, Leistungsaufnahme, Temperatur und Fehlerzähler; der Device-Metrics-Exporter von AMD veröffentlicht sie in Prometheus neben den DCGM-Metriken der NVIDIA-Knoten. Vereinheitlichen Sie die Label-Namen, damit ein Dashboard beide abdeckt. - Zustand und RAS: Alarmieren Sie bei ECC- und RAS-Fehlerzählern, thermischer Drosselung und Links, die ihre Geschwindigkeit verringern, und entleeren Sie Knoten bei wiederholten Fehlern automatisch.
- Kompetenzen: Schulen Sie vor dem Produktivbetrieb mindestens zwei Ingenieure in den ROCm-Tools; die meisten Probleme sind Versionskonflikte, die schnell behoben sind, sobald jemand weiß, wo er suchen muss.
- Beschaffung: Halten Sie beide Hersteller qualifiziert, damit ein Lieferzeitproblem bei einem davon kein Projekt stoppt.
11. Risiken, die ehrlich abzuwägen sind
- Tiefe des Ökosystems: CUDA hat nach wie vor mehr Bibliotheken, Beispiele und Fachleute. Prüfen Sie jede Abhängigkeit, nicht nur das Framework.
- Herstellerangaben: Beide Unternehmen veröffentlichen vorteilhafte Vergleiche. Unabhängige und eigene Messungen entscheiden.
- Konzentration: Beide Hersteller hängen von derselben Spitzenfertigung in Taiwan ab, ein Punkt, den Su im Interview selbst ansprach, als sie über die Resilienz der Lieferkette sprach. Zwei Hersteller verringern das Produktrisiko, nicht das geografische Risiko.
- Die Marktdynamik wirkt in beide Richtungen: Die großen Kundenzusagen von AMD machen Investitionen in ROCm dauerhaft, konkurrieren aber auch mit kleineren Käufern um frühe Lieferkontingente.
12. Wie Workstation helfen kann
Wir planen und betreiben GPU-Infrastruktur in Großbritannien und helfen Teams, AMD neben NVIDIA zu evaluieren. Für Teams, die Instinct in Betracht ziehen, können wir ein vergleichbares Benchmarking Ihres Modells auf beiden Herstellern durchführen, Ihren Code auf CUDA-Abhängigkeiten prüfen, eine Kubernetes-Plattform für zwei Hersteller mit gemeinsamem Monitoring einrichten und Server, Stromversorgung und Kühlung dimensionieren. Beginnen Sie mit unserem Leitfaden zur GPU Private Cloud, vergleichen Sie Leasing und Kauf auf gpuleasing.co.uk, oder sprechen Sie mit uns.
Quellen
- Bloomberg Originals, „AMD's CEO Wants to Chip Away at Nvidia's Lead | The Circuit with Emily Chang“, 6. Dezember 2024. Die Zitate stammen aus dem veröffentlichten Video.
- AMD, „AMD Reports Third Quarter 2026 Financial Results“, 3. November 2026 (Umsatz, Data-Center-Wachstum, Helios-Kunden, ROCm 10, LUMI-AI, Ausblick auf Q4).
- AMD, Produktseiten zur Helios-Rack-Scale-Lösung und zur Instinct MI400 Series sowie „AMD Launches Helios“ (2026): Rack- und GPU-Spezifikationen und der Vergleich von AMD mit Vera Rubin NVL72.
- Vereinbarung zwischen AMD und OpenAI über 6 Gigawatt Instinct-GPUs, angekündigt am 6. Oktober 2025.
- Speicherrechnung und Portierungsbefehle sind Beispiele von Workstation; prüfen Sie Modellkonfigurationen und die aktuelle ROCm-Dokumentation, bevor Sie sich darauf verlassen.
Hinweis zu Schutzrechten: AMD, das AMD-Arrow-Logo, Instinct, EPYC, Ryzen, Threadripper, CDNA, ROCm, Pensando, Helios und Kombinationen daraus sind Marken von Advanced Micro Devices, Inc. NVIDIA, CUDA, NVLink, TensorRT, Spectrum-X, ConnectX und Vera Rubin sind Marken der NVIDIA Corporation. Bloomberg ist eine Marke der Bloomberg Finance L.P. Andere Namen sind Eigentum ihrer jeweiligen Inhaber. Dieser Artikel ist unabhängig und wird von keinem dieser Unternehmen unterstützt.