Ein Praxisleitfaden zu NVIDIA Kubernetes Engine (NVKE) und NVIDIA Kubernetes Recipes (NVKR), den beiden Open-Source-Projekten, die NVIDIA am 10. November 2026 auf der KubeCon North America als Public Preview veröffentlicht hat. Er behandelt die Architektur, jede Komponente und jede fixierte Version, den Build- und Verifizierungslebenszyklus von NVKR, den vollständigen Ablauf von gerackten Servern bis zum GPU-Cluster eines Kunden, das Sicherheitsmodell, den laufenden Betrieb, die bekannten Einschränkungen der Preview mit einer Härtungs-Checkliste für jede davon, den Vergleich von NVKE mit anderen Wegen, GPU-Kubernetes zu betreiben, und einen gestuften Evaluierungsplan.
Diese Technote begleitet unseren Beitrag auf Business-Ebene, NVIDIA NVKE und NVKR: Warum GPU-Kubernetes zum Betriebssystem der KI-Fabrik wird. Alles Folgende stammt aus der Ankündigungsanleitung von NVIDIA, der NVKE-Dokumentation sowie den Repositorys NVKE und NVKR mit Stand 14. November 2026. Die Befehle stammen von NVIDIA, sofern sie nicht als Beispiel von Workstation gekennzeichnet sind. Beide Projekte ändern sich während der Preview schnell, prüfen Sie daher Flags und Felder immer in der aktuellen Dokumentation.
1. Das Problem, das NVKE und NVKR unter sich aufteilen
Eine KI-Fabrik (der Begriff von NVIDIA für ein Rechenzentrum, das KI im großen Maßstab produziert), die GPU-Kapazität als Kubernetes verkaufen oder teilen möchte, hat zwei unterschiedliche Probleme:
- Betrieb eines Managed-Kubernetes-Dienstes. API-gesteuerte Bereitstellung, Mandantenisolation, Upgrades, Knotenaustausch und Wiederherstellung, abgesichert durch Servicezusagen.
- Qualifizierung der Software. Wissen, welche Kombination aus Betriebssystem, Kernel, Kubernetes, Netzwerk-Plugin, Agenten und GPU-Laufzeitumgebung auf welcher GPU-Generation funktioniert, und genau diese Kombination später neu bauen können.
NVKE übernimmt das erste Problem und NVKR das zweite. Sie sind bewusst trennbar: NVKE hat zur Laufzeit keine Abhängigkeit von NVKR, und NVKR kann Artefakte für andere Kubernetes-Managementsysteme bauen. Die Fabrik behält die Kontrolle über ihre eigene Software, ihren Betrieb, ihren Service und ihr Kundenerlebnis.
2. Komponenten im Überblick
| Komponente | Rolle | Wo sie läuft |
|---|---|---|
| NVKE-Management-Plane | REST-API und Controller, die Workload-Cluster erstellen und betreiben | Der Management-Cluster (drei CPU-Server) |
nvkectl | Betreiber-CLI: bootstrappt den Standort, veröffentlicht Release Sets, erstellt Cluster, ruft kubeconfigs ab | Bootstrap-Host und Arbeitsplätze der Betreiber |
| Seed-Cluster | Temporärer kind-Cluster mit einem Knoten, der den Management-Cluster bildet und danach gelöscht wird | Bootstrap-Host |
| Cluster API + CAPNICo | Standard-Bereitstellungsschnittstelle von Kubernetes, mit dem Cluster-API-Infrastruktur-Provider für NICo | Management-Cluster |
| NICo (NVIDIA Infra Controller) | Bare-Metal-Lebenszyklus: registrierte Kapazität, VPCs und Präfixe, Instanztypen, iPXE-Boot | Ihr Standort (separate Installation) |
| SPIRE-Server und -Agenten | TPM-basierte Knotenattestierung und SPIFFE-Identitäten; ein Knoten erhält Beitrittszugangsdaten erst nach der Attestierung | Management-Cluster und jeder Knoten |
| NVKE-Node-Agent | Agent auf dem Knoten, von NVKR in das Node-Image kompiliert | Jeder Knoten |
| OVN-Kubernetes und NodeLocal DNSCache | Cluster-Netzwerk und DNS-Caching, von NVKE im Rahmen der Bereitstellung installiert | Jeder Workload-Cluster |
| NVKE-Telemetrie-Pipeline (NKTP) | Auf OpenTelemetry basierendes Helm-Chart, das Logs, Metriken und Traces sammelt und über OTLP exportiert | Management- und Workload-Cluster |
| NVKR | CLI, Komponentenkataloge und deklarative Definitionen, die Artefakte für NVKE und AI Cluster Runtime (AICR) bauen, signieren und veröffentlichen | Build-Host oder GitHub Actions |
| AICR, NodeWright, NVSentinel | Werden in Workload-Clustern ergänzt, jeweils für die GPU-beschleunigte Laufzeitumgebung, Knotenpakete und die Automatisierung der Störungsbehebung | Workload-Cluster |
3. Architektur
Der Steuerungsfluss lässt sich am leichtesten aus Sicht des Betreibers nachvollziehen. Der Betreiber spricht nur mit der NVKE-API, über nvkectl. NVKE übersetzt eine Cluster-Anfrage in Cluster-API-Objekte; CAPNICo macht daraus NICo-Instanzanfragen; NICo wählt Server des angeforderten Instanztyps im angeforderten VPC-Präfix aus und bootet sie mit dem iPXE-Skript aus dem gewählten Maschinen-Image. Jeder Server bootet das von NVKR gebaute Image, sein SPIRE-Agent attestiert sich mithilfe des TPM des Servers beim SPIRE-Server des Management-Clusters, und erst dann erhält der Knoten die Zugangsdaten, die er benötigt, um kubeadm auszuführen und beizutreten. Kunden sehen davon nichts: Sie erhalten eine kubeconfig für einen Cluster, der wie jeder andere konforme Kubernetes-1.36-Cluster aussieht.
4. In der Preview fixierte Versionen
Die Plattformreferenz von NVKE führt die folgende validierte Kombination auf. Auf die „Fixierung“ kommt es an: NVKR baut aus genau diesen Eingaben und hält sie fest, sodass sich ein Knoten bis zu seinen Quellen zurückverfolgen lässt.
| Element | Version in der Preview | Hinweise |
|---|---|---|
| Kubernetes (Management- und Workload-Cluster) | 1.36.3 | 1.34.2, 1.35.3 und 1.37.2 sind im Node-Image bereitgestellt, werden aber nicht unterstützt |
| Betriebssystem der Knoten | Ubuntu 24.04 LTS oder 26.04 LTS | Das Beispiel-MachineImage installiert Ubuntu 24.04 aus dem Installer-ISO |
| CPU-Architekturen | amd64, arm64 | Separate Images pro Architektur; Node-Pools können unterschiedliche Images verwenden |
| Cluster API (Core, kubeadm-Bootstrap und Control Plane) | v1.13.6 | clusterctl v1.13.6 |
| CAPNICo | v0.1.0 | NICo ist der Standard-Infrastruktur-Provider; LaunchLayer kann ebenfalls aktiviert werden |
| OVN-Kubernetes | 2.4.2 | Aus dem Quellcode in das Node-Image kompiliert |
| SPIRE-Agent | 1.14.1, TPM-Plugin 1.9.0 | Upstream-Release mit fixierter Prüfsumme |
| Bootstrap-Werkzeuge | kind v0.32.0, kubectl v1.36.0, Helm v4.2.4 | Dazu containerd und rootful nerdctl auf dem Bootstrap-Host |
| Go-Toolchain | 1.27.4 oder neuer für NVKE; 1.27.2 fixiert für NVKR | Der NVKR-Launcher bietet an, sein fixiertes Go lokal zu installieren |
5. NVKR: Definition, Run, Release, Verify
NVKR ist ein Build- und Release-System, keine Skriptsammlung. Sein öffentlicher Lebenszyklus hat drei Phasen:
- Die Liefergegenstände definieren. Eine Definition wählt benannte Ausgaben (ausführbare Dateien, Container-Images, Helm-Charts, Deployment-Bundles oder Node-Images), ihre Komponenten, Plattformen und Formate. Kataloge liefern fixierte Quellen, Artefakte und Werkzeuge. Ein Environment liefert Einstellungen für Ausführung, Registry und Signierung.
- Prüfen und ausführen. NVKR leitet einen Plan und Abhängigkeitsgraphen ab, die Sie prüfen können, bevor irgendetwas ausgeführt wird, und führt ihn dann lokal aus oder erzeugt GitHub-Actions-Workflows. Jeder Run hält seine erforderlichen Ausgaben, die tatsächlich beobachteten Artefakte, seine Nachweise und seine Fehler fest.
- Veröffentlichen und verifizieren. Ein Release ist eine per Digest fixierte OCI-Registry-Referenz, die die Ausgaben mit ihren SBOMs und ihrer Provenienz verbindet. Verbraucher wählen eine Verification Policy (die Workflow-Identität und den Aussteller, die sie akzeptieren) und authentifizieren die Aussagen, bevor sie die Artefakte nutzen.
5.1 Erster Build
Der Quickstart baut das NVKE-CLI, das Container-Image des Controllers und dessen Helm-Chart, mit SBOMs der Abhängigkeiten. Er benötigt Git 2.38 oder neuer, Bash und ein laufendes Docker; der Launcher prüft die Voraussetzungen, wählt den fixierten Go-Compiler (und fragt vor der Installation nach) und baut NVKR selbst aus dem Quellcode für Ihre CPU-Architektur:
git clone https://github.com/dsx-ai-factory/nvkr.git &&
cd nvkr &&
bash scripts/nvkr-quickstart.sh
Warten Sie auf status: complete und observed outputs: 3. Das native CLI ist bin/nvkr. Nichts wird veröffentlicht oder bereitgestellt, und ein lokaler Build ist unsigniert. Um zusätzlich das Node-Image zu bauen, führt die Anleitung von NVIDIA ein zweites Skript aus:
NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01
Dieser Build kompiliert den NVKE-Node-Agent und OVN-Kubernetes aus dem Quellcode, ergänzt Upstream-Releases der Kubernetes-1.36-Pakete und des SPIRE-Agenten mit fixierten Prüfsummen, bootet eine virtuelle Maschine vom Ubuntu-Installer, installiert die Agenten und legt die Kubernetes- und Netzwerkpakete auf der Festplatte bereit. Das Ergebnis ist ein QCOW2-Image. Der Build-Host benötigt Docker und KVM-Unterstützung.
Über den Quickstart hinaus wählt die Tutorial-Definition von NVKR das NVKE-CLI, das Image der Management-Plane und das Helm-Bundle, und die kombinierte NVKE-Candidate-Definition erweitert dies um Container- und Node-Images für amd64 und arm64.
5.2 Was die Verifizierung belegt und was nicht
NVKR ist bei seinen Aussagen sorgfältig, und Ihr Release-Prozess sollte es auch sein. Eine Signatur authentifiziert, wer eine Aussage über ein Artefakt gemacht hat; ein Digest bindet diese Aussage an bestimmte Bytes. Die Signierung beansprucht kein Eigentum an der enthaltenen Software, und eine gültige Signatur allein macht ein Artefakt nicht bereit für die Bereitstellung.
| Vorgang | Was er belegt |
|---|---|
| Ein Release durchsuchen | Prüft nur Metadaten; keine Signaturprüfungen, kein Download der Nutzdaten |
| Eine Ausgabe abrufen | Ruft die Nutzdaten ab und prüft ihre Integrität; verifiziert weder Signaturen noch Ihre Richtlinie |
authenticity verifizieren | Authentifiziert Signaturen und Nachweise nach Ihrer Richtlinie, ohne Nutzdaten herunterzuladen |
artifact-publication verifizieren | Authentifiziert die Veröffentlichungsaussage nach Ihrer Richtlinie und prüft die referenzierten Nutzdaten |
Die Verifizierung benötigt Linux, fixierte Werkzeuge und eine explizite Richtlinie (macOS-Nutzer verifizieren innerhalb von Docker). In der Preview erklärt NVIDIA, dass kein NVKR-Release qualifiziert ist, dass die unterstützte Verifizierung weder eine byte-genaue Reproduktion noch Schwachstellenfreiheit oder Bereitstellungsreife belegt und dass die SBOMs der Node-Images Ersteller- und Materialsubjekte festhalten, statt den installierten Festplatteninhalt zu untersuchen. Behandeln Sie die Nachweise von NVKR als eine Eingabe für Ihr eigenes Release-Gate, neben Schwachstellenscans und Hardwarevalidierung.
6. Ablauf: von gerackten Servern zum Kundencluster
6.1 Voraussetzungen
- Drei CPU-Server für den Management-Cluster sowie ein separater Linux-Bootstrap-Host im Standortnetz mit containerd, nerdctl, kind, Helm und kubectl.
- Drei CPU-Server für die Control Plane jedes Workload-Clusters.
- Ein Pool von GPU-Servern für Worker-Knoten.
- Eine NICo-Installation mit registrierter Kapazität.
- Ein Linux-Build-Host mit Docker und KVM-Unterstützung.
- Ein HTTP-Server für das Node-Image, eine Container-Registry für das Controller-Image und Internetzugang für die während der Installation verwendeten Open-Source-Images und Helm-Charts.
- Ihre eigene SPIRE-Zertifizierungsstelle. Knoten des Management-Clusters, die aus dem Node-Image gebaut werden, benötigen beim Bootstrap Ihre CA-Dateien. Ohne sie verwendet SPIRE eine selbstsignierte CA, der kein Knoten im Voraus vertrauen kann, sodass sich Knoten weder attestieren noch beitreten können.
6.2 Bauen und bereitstellen
Bauen Sie wie in Abschnitt 5.1 beschrieben, pushen Sie dann das Controller-Image in Ihre Registry, kopieren Sie nvkectl auf den Bootstrap-Host und legen Sie das QCOW2-Image auf den HTTP-Server. NVIDIA weist darauf hin, dass ein lokaler Image-Build kein qualifiziertes Release ist: Build und Smoke-Test validieren weder einen echten NICo-Boot noch die Laufwerksauswahl oder eine vollständige Erstkonfiguration beim ersten Start. Die Bereitstellung aus einem QCOW2 benötigt außerdem einen standortspezifischen EFI-Imager und ein iPXE-Skript, das das Image herunterlädt und auf die Festplatte schreibt, gemeinsam validiert auf Ihrer Hardware.
6.3 Den Management-Cluster bootstrappen
nvkectl bootstrap site -f site-a.yaml \
--nvke-controller-image registry.example.com/nvke/nvke-controller:<tag>
site-a.yaml enthält die Eingaben, die NICo benötigt, um drei Management-Server bereitzustellen. Der Befehl startet auf dem Bootstrap-Host einen temporären kind-Cluster mit einem Knoten, der die für die Einrichtung benötigte NVKE-Software beherbergt. Der NVKE-Controller fordert bei NICo drei Server an, NICo bootet sie vom Node-Image, und sobald alle drei beigetreten sind, löscht der Bootstrap den temporären Cluster. Das ist das bekannte Cluster-API-Muster „Bootstrap und Pivot“.
Legen Sie die Bootstrap-kubeconfig und die Datei mit dem etcd-Verschlüsselungsschlüssel sofort in einem sicheren Speicher ab. Die Schlüsseldatei ist die einzige Kopie des etcd-Verschlüsselungsschlüssels des Management-Clusters, die sich nicht auf einem Knoten befindet, und es gibt noch kein Backup- oder Restore-Verfahren.
6.4 Die Management-Plane installieren und nvkectl verbinden
Installieren Sie die NVKE-Management-Plane auf dem Management-Cluster und führen Sie dann nvkectl config set-site aus, um das CLI auf die NVKE-API zu richten. Bei einer Installation ohne Release-Beschreibung müssen die Controller- und Profil-Images auf den Management-Knoten bereitgestellt und in der Stack-Konfiguration benannt werden.
Bevor irgendjemand sonst sie erreichen kann, sichern Sie die API ab (Abschnitt 7.2): Nach der Installation lauscht sie auf Port 30080 jedes Management-Knotens, über einfaches HTTP, mit ausgeschalteter Authentifizierung.
6.5 Ein Release Set veröffentlichen
Kunden haben nie mit Betriebssystem-Images oder cloud-init zu tun. Sie wählen ein benanntes Release, das Sie veröffentlichen. Ein Release Set besteht aus drei Teilen:
- Maschinen-Image: das iPXE-Skript, das NICo ausführt, um einen Server zu booten.
- Cluster-Release: ein Maschinen-Image plus die cloud-init-Konfiguration, die einen Control-Plane-Knoten vorbereitet, mit Angabe der installierten Kubernetes-Version.
- Node-Pool-Release: das entsprechende Image und die Konfiguration für Worker-Knoten.
nvkectl create machineimage -f machineimage.yaml
nvkectl create clusterrelease -f clusterrelease.yaml
nvkectl create nodepoolrelease -f nodepoolrelease.yaml
Behandeln Sie Release Sets wie einen Produktkatalog. Benennen Sie sie so, dass ein Kunde erkennt, was er erhält (das Beispiel von NVIDIA verwendet k8s-1.36.3-amd64), veröffentlichen Sie separate Releases pro CPU-Architektur und GPU-Generation, und ändern Sie niemals ein veröffentlichtes Release an Ort und Stelle: Veröffentlichen Sie ein neues und migrieren Sie Kunden bewusst.
6.6 Den Kundencluster erstellen
Eine Cluster-Anfrage wiederholt die NICo-Eingaben aus der Standortspezifikation und ergänzt eine Kubernetes-Version. Die Control Plane und jeder Node-Pool haben eigene Instanztypen, VPC-Präfixe und Releases. Das Beispiel von NVIDIA:
name: customer-a
controlPlaneKubernetesVersion: 1.36.3
etcdEncrypted: true
controlPlaneVIP: 10.0.20.10
nico: {orgID: <org-id>, siteID: <site-id>, vpcID: <vpc-id>}
controlPlaneConfig:
desiredCount: 3
nico: {instanceTypePreference: [<cpu-instance-type>], vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nodePools:
- name: gpu
nodeNamePrefix: gpu
desiredNodeCount: 4
nico: {instanceTypeID: <gpu-instance-type>, vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nvkectl create cluster -f customer-a.yaml
Der Cluster bleibt im Zustand Provisioning, bis der erste Control-Plane-Knoten kubeadm init ausgeführt und NVKE OVN-Kubernetes und NodeLocal DNSCache installiert hat; danach wechselt er zu Provisioned. Beachten Sie etcdEncrypted: true: Die Verschlüsselung der etcd-Daten ist eine Entscheidung pro Cluster, und wir empfehlen, sie in Ihren Anfragevorlagen zum Standard zu machen.
6.7 Den Zugang übergeben
nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig
kubeconfig written to customer-a.kubeconfig
Dies ist eine Administrator-kubeconfig, und in der Preview kann NVKE sie nicht widerrufen: Sie bleibt gültig, bis ihr Client-Zertifikat abläuft, weil NVKE die Zertifizierungsstelle eines Workload-Clusters nicht rotiert. Übergeben Sie sie nur an die Cluster-Administratoren des Kunden, über einen sicheren Kanal, und lassen Sie diese sofort engere Zugangsdaten innerhalb des Clusters erstellen. Ein Beispiel von Workstation mit Standard-Kubernetes-RBAC:
# Workstation example: run once with the admin kubeconfig, then store it offline
export KUBECONFIG=customer-a.kubeconfig
kubectl create namespace ml-team
kubectl -n ml-team create serviceaccount deployer
kubectl -n ml-team create rolebinding deployer-edit \
--clusterrole=edit --serviceaccount=ml-team:deployer
# Short-lived token for CI or a developer, instead of sharing the admin file
kubectl -n ml-team create token deployer --duration=8h
6.8 Daraus einen GPU-Cluster machen
NVKE liefert konformes Kubernetes auf GPU-Servern. Die GPU-beschleunigte Laufzeitumgebung wird innerhalb jedes Workload-Clusters mit AI Cluster Runtime (AICR) von NVIDIA ergänzt, Knotenpakete mit NodeWright und die Automatisierung der Störungsbehebung mit NVSentinel. NVKR kann auch AICR-Artefakte bauen. Sobald die Laufzeitumgebung GPUs meldet, ist ein Pod, der eine GPU anfordert, ein Smoke-Test (Beispiel von Workstation; wählen Sie einen CUDA-Image-Tag, der zu Ihrem Treiber passt):
apiVersion: v1
kind: Pod
metadata:
name: gpu-smoke
spec:
restartPolicy: Never
containers:
- name: cuda
image: nvcr.io/nvidia/cuda:<tag>
command: ["nvidia-smi"]
resources:
limits:
nvidia.com/gpu: 1
7. Sicherheitsmodell
7.1 Knotenidentität
Jeder Knoten präsentiert eine attestierte SPIFFE-Identität, gestützt auf sein TPM über SPIRE, bevor er Beitrittszugangsdaten erhält. Knoten des Management-Clusters vertrauen Ihrer SPIRE-CA (beim Bootstrap bereitgestellt); Knoten von Workload-Clustern erhalten das SPIRE-Trust-Bundle des Management-Clusters in ihren User Data. Das schließt eine klassische Bare-Metal-Lücke: Ein Server, der lediglich das Netzwerk erreicht, kann nicht dem Cluster eines Kunden beitreten. Die Anforderung eines virtuellen TPM im Quickstart besteht aus demselben Grund.
7.2 Die API: einfaches HTTP, keine Authentifizierung, keine Autorisierung
Im Auslieferungszustand lauscht die NVKE-API auf Port 30080 jedes Management-Knotens ohne TLS, und jeder in einem von Ihnen zugelassenen Netzwerk kann jeden Endpunkt aufrufen, einschließlich Erstellen und Löschen. Selbst bei aktivierter Authentifizierung führt NVKE keine Autorisierung durch: Jeder authentifizierte Aufrufer kann jeden Workload-Cluster verwalten. Unser Minimum, bevor irgendein Aufrufer zugelassen wird:
- Folgen Sie dem Verfahren von NVKE, um nur die Netzwerke zuzulassen, die die API benötigen, und setzen Sie dasselbe an Ihrem Netzwerkrand mit Firewall-Regeln oder Switch-ACLs im Management-VLAN durch.
- Aktivieren Sie die API-Authentifizierung. Sobald sie aktiv ist, erzeugen Sie mit
nvkectl generate oidc-kubeconfigeine OIDC-kubeconfig; damit müssen einige Befehle, die die Kubernetes-API des Management-Clusters direkt lesen (get kubeconfig,get providerssowie die Befehle für Maschinen-Images und Releases), stattdessen mitkubectlund der Admin-kubeconfig des Management-Clusters ausgeführt werden. - Schalten Sie einen eigenen TLS-Endpunkt vor die API, weil Tokens sonst unverschlüsselt über das Netzwerk gehen, und halten Sie den Abschnitt dahinter in einem isolierten Management-Netzwerk. Ein Beispiel von Workstation mit nginx auf einem Admin-Bastion-Host:
# Workstation example: TLS in front of the NVKE API (preview serves plain HTTP)
upstream nvke_api {
server 10.0.10.11:30080;
server 10.0.10.12:30080;
server 10.0.10.13:30080;
}
server {
listen 443 ssl;
server_name nvke-api.example.internal;
ssl_certificate /etc/ssl/nvke-api/fullchain.pem;
ssl_certificate_key /etc/ssl/nvke-api/privkey.pem;
allow 10.20.0.0/24; # operator and automation subnet only
deny all;
location / {
proxy_pass http://nvke_api;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
}
}
- Geben Sie NVKE-API-Tokens nur an Personen und Systeme aus, die jeden Cluster verwalten dürfen, und halten Sie diese Liste kurz. Verlagern Sie jede mandantenbezogene Selbstbedienung in Ihr eigenes Portal, das die Autorisierung durchsetzt und NVKE im Namen des Mandanten aufruft.
7.3 Ruhende Daten
Aktivieren Sie die etcd-Verschlüsselung pro Cluster. Verlassen Sie sich nicht auf die Node-Image-Variante mit vollständiger Festplattenverschlüsselung (FDE): Jeder Image-Build erzeugt einen Volume-Schlüssel, den jeder daraus gebaute Knoten erbt, die Bootstrap-Passphrase ist öffentlich und verbleibt in der GRUB-Konfiguration, und jeder mit Image und Passphrase kann den Schlüssel wiederherstellen. NVIDIA erklärt, dass FDE-Images nur zur Evaluierung gedacht sind.
8. Laufender Betrieb
| Aufgabe | Vorgehen in der Preview | Worauf zu achten ist |
|---|---|---|
| Einen Node-Pool skalieren | nvkectl patch nodepool (akzeptiert nur desiredNodeCount) | In NICo muss Kapazität für den Instanztyp vorhanden sein |
| Die Control Plane aktualisieren | nvkectl patch cluster mit Änderung von controlPlaneKubernetesVersion | Zuerst gegen ein passendes Cluster-Release testen |
| Kubernetes eines Node-Pools aktualisieren | kubernetesVersion in einer Update-Anfrage an /api/nodePools/<NODE_POOL_ID> senden | Vorhandene Knoten werden veraltet; sie werden nicht automatisch ersetzt |
| Veraltete Knoten ersetzen | Mit recycleBudget über 0 markiert der Automodus sie mit nvke.nvidia.com/NeedsRecycle; Sie oder NVSentinel löschen sie | NVKE entleert und löscht nicht; nvkectl kann weder Felder des Automodus setzen noch markierte Knoten anzeigen |
| Knoten-Labels oder -Taints ändern | Bei der Erstellung festgelegt und einmalig beim Beitritt eines Knotens angewendet; danach kubectl label und kubectl taint verwenden | Entfernte Labels werden nicht erneut hinzugefügt |
| Node-Pool-Konfiguration ändern | Nur nach der Änderung erstellte Knoten verwenden sie | Ein Recycling zur Angleichung einplanen |
| Die Management-Plane aktualisieren oder sichern | Noch kein Verfahren | Bootstrap-kubeconfig und etcd-Schlüssel aufbewahren; Neuaufbau einplanen |
Da NVKE markiert, aber nicht entleert, ist das sichere Recycling-Muster für GPU-Knoten das übliche: cordon, auf lang laufende Jobs warten oder sie checkpointen, drain, löschen und den Pool den Knoten aus dem neuen Release ersetzen lassen. Automatisieren Sie das in NVSentinel oder Ihrem eigenen Controller, bei Trainings-Pools mit einem Budget von einem Knoten pro Pool gleichzeitig.
9. Telemetrie
Die NVKE-Telemetrie-Pipeline (NKTP) ist ein auf OpenTelemetry basierendes Helm-Chart, das Logs, Metriken und Traces sammelt und über OTLP exportiert. Ihr Standard-Backend ist nur zur Evaluierung gedacht: Es hält Daten im Arbeitsspeicher und gibt anonymen Nutzern Admin-Zugriff auf Grafana. Richten Sie es auf Ihr eigenes Backend aus, bevor sich jemand darauf verlässt. In unserem NVIDIA-Observability-Referenzdesign senden wir OTLP an ein Collector-Gateway, das für Metriken und Traces an Grafana Mimir, Tempo und Grafana und für Logs an den Elastic Stack verteilt, und ergänzen DCGM für den GPU-Zustand und UFM für das InfiniBand-Fabric. NKTP fügt sich als eine weitere OTLP-Quelle ein.
Signale, auf die sich vom ersten Tag an Alarme lohnen: Fehler der Controller der Management-Plane, Cluster, die im Zustand Provisioning hängen, Knoten, deren Attestierung fehlschlägt, Knoten, die länger als Ihr Recycling-Fenster mit NeedsRecycle markiert sind, NICo-Kapazität pro Instanztyp und der Zertifikatsablauf übergebener kubeconfigs.
10. Einschränkungen der Preview und was wir jeweils dagegen tun
| Einschränkung (laut Preview-Status von NVIDIA) | Risiko | Gegenmaßnahme |
|---|---|---|
| Die API ist nach der Installation einfaches HTTP mit ausgeschalteter Authentifizierung | Jeder in einem zugelassenen Netzwerk kann Cluster erstellen oder löschen | Netzwerke zulassen, Authentifizierung aktivieren, TLS-Proxy, isoliertes Management-VLAN (Abschnitt 7.2) |
| Keine Autorisierung | Jeder Token-Inhaber kann jeden Cluster verwalten | Wenige Tokens; Mandanten-Selbstbedienung über Ihr eigenes Portal |
| Kunden erhalten nur eine Admin-kubeconfig, die nicht widerrufen werden kann | Eine geleakte Datei bleibt bis zum Zertifikatsablauf gültig | Nur an Cluster-Admins übergeben; RBAC-Service-Accounts und kurzlebige Tokens erstellen; Ablauf nachverfolgen |
| Der Management-Cluster aktualisiert, skaliert und ersetzt sich nicht selbst | Hardwareausfall oder Upgrade erfordert manuelle Arbeit | Drei Knoten an getrennter Stromversorgung und getrennten Switches; Ersatzteile; dokumentiertes Neuaufbau-Runbook |
| Kein Upgrade- oder Backup/Restore-Verfahren für die Management-Plane | Zustandsverlust bedeutet Neuaufbau der Management-Plane | etcd-Schlüssel und kubeconfig sichern; Preview-Standorte als neu aufbaubare Labore behandeln |
| Eigene SPIRE-CA für Management-Knoten erforderlich | Knoten können sich weder attestieren noch beitreten | CA-Dateien vor dem Bootstrap vorbereiten |
| Änderungen der Node-Pool-Konfiguration ersetzen laufende Knoten nicht | Konfigurationsdrift zwischen Knoten | Automatisiertes Recycling mit NVSentinel oder einem Controller |
| Lokale Image-Builds sind keine qualifizierten Releases; QCOW2 benötigt einen Standort-Imager | Boot- oder Erststartfehler auf echter Hardware | Image und Imager vor der Nutzung gemeinsam auf der Zielhardware validieren |
| FDE-Images bieten keine Vertraulichkeit ruhender Daten | Falsches Gefühl von Verschlüsselung | Nicht für echte Daten verwenden; auf etcd-Verschlüsselung und Ihr eigenes Festplattenverschlüsselungsschema setzen |
| Das Standard-Telemetrie-Backend arbeitet im Arbeitsspeicher mit anonymem Grafana-Admin | Datenverlust und offene Dashboards | NKTP auf Ihr eigenes Backend ausrichten |
| Kein NVKR-Release ist qualifiziert | Unerprobte Artefaktkombinationen | Eigenes Qualifizierungs-Gate pro GPU-Generation betreiben |
11. Wie NVKE im Vergleich zu anderen Ansätzen abschneidet
NVKE ist nicht der einzige Weg, Kubernetes auf GPU-Servern zu betreiben. Ein fairer Vergleich, auf der Ebene des Designs statt der Funktionen, die sich von Monat zu Monat ändern:
| Ansatz | Stärken | Kompromisse | Am besten geeignet für |
|---|---|---|---|
| NVKE + NVKR | Für mandantenfähige GPU-Fabriken gebaut; isolierter Cluster pro Kunde; hardwareattestierte Knoten; von NVIDIA validierte Softwarekombinationen; Open Source | Public Preview; auf NICo zentriert; Management-Plane reift noch; noch keine Autorisierungsschicht | GPU-Clouds, Telekommunikationsanbieter und große gemeinsam genutzte GPU-Umgebungen, die einen Managed-Kubernetes-Dienst planen |
| Cluster API mit eigenen Werkzeugen | Derselbe offene Standard, den NVKE nutzt; volle Kontrolle; breites Provider-Ökosystem | Serviceschicht, Image-Pipeline und GPU-Qualifizierung bauen und pflegen Sie selbst | Teams mit starkem Platform Engineering und Infrastruktur ohne NICo |
| Allgemeine Kubernetes-Distributionen und Flottenmanager | Ausgereift, unterstützt, viele Integrationen; mehrere Anbieter integrieren NVKE-Komponenten | GPU-Qualifizierung und Bare-Metal-Integration variieren; Lizenzkosten | Unternehmen, die heute Supportverträge und Produktionsreife benötigen |
| Gehostetes Kubernetes in einer Public Cloud oder GPU-Cloud | Keine Hardware oder Control Plane zu betreiben; schneller Start | Weniger Kontrolle über Hardware, Datenstandort und Kosten bei dauerhafter Auslastung | Variable oder frühe Workloads; Teams ohne Rechenzentrumsbetrieb |
Die Ansätze schließen sich nicht gegenseitig aus. Das Modell von NVKR mit fixierten, signierten Node-Images lohnt sich unabhängig davon, womit Sie Ihre Cluster installieren, und NVIDIA nennt mehrere Distributions- und Plattformanbieter, die NVKE-Komponenten in ihre eigenen Produkte integrieren.
12. Ein gestufter Evaluierungsplan
- Woche 1: lokaler Quickstart. Ein Linux-Host oder eine VM (amd64 oder arm64) mit mindestens 6 CPUs, 12 GiB freiem Arbeitsspeicher und 100 GiB freiem Festplattenplatz, Docker und Unterstützung für virtuelles TPM; unter macOS läuft der Leitfaden für den lokalen Standort von NVKE in einer Colima-VM. Arbeiten Sie ihn bis zur Erstellung eines Workload-Clusters durch und bestätigen Sie, dass die Knoten
Readymelden. Ziel: Das Team versteht die Objekte (Standort, Release Set, Cluster, Node-Pool) und die API. - Wochen 2 bis 3: NVKR in Ihrer Pipeline. Führen Sie die Tutorial-Definition aus, dann den kombinierten NVKE-Candidate; veröffentlichen Sie in einer privaten Registry; schreiben Sie eine Verification Policy und verifizieren Sie
authenticityundartifact-publicationin der CI. Ziel: Sie können jedes Artefakt, das Sie bereitstellen würden, neu bauen und verifizieren. - Wochen 3 bis 6: Hardwarelabor. Drei Management-Server, drei Control-Plane-Server und zwei bis vier GPU-Server mit NICo. Validieren Sie Image und Imager auf Ihrer Hardware, bootstrappen Sie, sichern Sie die API wie in Abschnitt 7 ab, veröffentlichen Sie zwei Release Sets und erstellen Sie zwei Mandanten-Cluster. Ergänzen Sie AICR, führen Sie GPU-Smoke-Tests und einen Multi-Node-Trainingsjob aus, recyceln Sie einen Knoten, aktualisieren Sie eine Control Plane. Ziel: eine schriftliche Lückenliste gegenüber Ihren Servicezusagen.
- Nach der Preview: Pilot. Wiederholen Sie das Labor mit dem allgemein verfügbaren Release, schließen Sie die Lücken und führen Sie dann einen Piloten mit einem internen Mandanten durch, bevor ein externer Kunde dazukommt.
Abbruchkriterien, die Sie vor dem Start festhalten sollten: Zeit von der Anfrage bis Provisioned, Fehler bei der Knotenattestierung, Recycling-Zeit pro GPU-Knoten, Unterbrechung laufender Jobs durch Upgrades und wie viele manuelle Schritte in jedem Runbook verbleiben.
13. Welche Kompetenzen dies von Plattform- und DevOps-Teams verlangt
- Cluster API und Bare-Metal-Bereitstellung: Maschinen, Bootstrap und Pivot, iPXE und Imaging, VPCs und Instanztypen.
- Lieferkettensicherheit: fixierte Eingaben, SBOMs, Provenienz, Signaturrichtlinien und was jede davon tatsächlich belegt.
- Workload-Identität: SPIFFE/SPIRE, TPM-Attestierung, Zertifizierungsstellen und Trust-Bundles.
- Mandantenfähiges Kubernetes: Isolation, RBAC, Lebenszyklus von Zugangsdaten, etcd-Verschlüsselung.
- GPU-Betrieb: Node-Pools pro GPU-Generation, Qualifizierung von Laufzeitumgebung und Treibern, sicheres Recycling von Knoten mit lang laufenden Jobs.
- Observability: OpenTelemetry-Pipelines, GPU- und Fabric-Telemetrie, Alarmierung bei Bereitstellungs- und Attestierungsfehlern.
14. Wie Workstation helfen kann
Wir planen, liefern und betreiben GPU-Infrastruktur in Großbritannien. Für Teams, die NVKE und NVKR prüfen, können wir die Evaluierung planen, Labor- und Produktionshardware dimensionieren und liefern, das Management-Netzwerk und die API-Härtung entwerfen, Ihr NVKR-Verifizierungs-Gate in die CI einbauen, NKTP, DCGM und Fabric-Telemetrie an einen OpenTelemetry-Stack anbinden und die Runbooks für Recycling und Upgrades schreiben. Wenn Sie noch nicht bereit sind, eigene Racks zu betreiben, vergleicht unsere Seite zur GPU Private Cloud die Aufbauoptionen, und gpuleasing.co.uk vergleicht Leasing mit Kauf. Sprechen Sie mit uns oder fragen Sie unseren KI-Vertriebsingenieur, um einen Cluster zu dimensionieren.
Hinweise und Quellen
- NVIDIA Technical Blog, Manage Kubernetes Clusters for GPU Infrastructure with NVIDIA Kubernetes Engine, 10. November 2026.
- NVKE-Dokumentation, einschließlich der Seiten zu Preview-Status, unterstützten Plattformen und API-Authentifizierung.
- GitHub: dsx-ai-factory/nvke, dsx-ai-factory/nvkr, cluster-api-provider-nico und deren öffentliche Roadmaps.
- Beide Projekte befinden sich in der Public Preview. APIs, Konfiguration und Verhalten können sich zwischen Releases ändern, und NVIDIA empfiehlt sie noch nicht für produktive Workloads. Versionen und Einschränkungen entsprechen der Dokumentation vom 14. November 2026.
- Als „Beispiel von Workstation“ gekennzeichnete Beispiele stammen von uns und sind nicht Teil der Dokumentation von NVIDIA.
Hinweis zu Schutzrechten: NVIDIA, das NVIDIA-Logo, DSX und CUDA sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den Vereinigten Staaten und anderen Ländern. Kubernetes ist eine eingetragene Marke der Linux Foundation. Andere genannte Produkt- und Firmennamen sind Eigentum ihrer jeweiligen Inhaber. Alle diese Rechte werden anerkannt und bleiben ihren Inhabern vorbehalten.