Der Shop ist online

Wir bauen Workstation AI-Maschinen für Websites, KI-Agenten und LLM-Training – online konfigurieren und kaufen.

Händlerpreise erhalten
KI-Produkte
KI-LabsOpenAI-AgentenClaude-AgentenGrok-BotWorkstation AI-natives CRMMarketingAlle Produkte
KI-Lösungen
Angewandte KIKI-AgentenGenerative KIKI-AutomatisierungKI-WeiterbildungKI-Pakete für KMUEnterprise AI LabKI-WorkstationsNVIDIA-Hardware & -SoftwareNVIDIA Accelerated ComputingPrivate KIGPU-Private-CloudGPU-ClusterEdge-KIKI nach Branche
KI-Services
PlattformmodernisierungDigital EngineeringDatengrundlagen & KIAutonomer BetriebKI-BeratungDevOps-AutomatisierungCybersicherheitSoftwareentwicklungAgentenentwicklungMLOps-EinrichtungGPU-LeasingGPU-Private-Cloud
Über uns
UnternehmenUnsere GeschichtePartnerKundengeschichten
KI-Rechenzentren
KI-RechenzentrenGPU-Private-CloudGPU-ClusterGPU-Leasing
KI-EinblickeJev-ReiheBenchmark LabModellauswahl
Technische Hinweise
Dokumentation
Linux-BetriebssystemeUbuntuRed Hat Enterprise LinuxSUSE LinuxAlpine LinuxDebian, Rocky & AlmaLinux
KI-Cloud-PlattformenAWS & Amazon BedrockGoogle Cloud & Vertex AIMicrosoft Azure & AI FoundryGPU-Clouds & Marktplätze
Private KI-RechenzentrenFür AnwaltskanzleienFür Steuer- und WirtschaftsprüfungskanzleienOn-Premises-PlattformenVollständig abgesicherte Cloud
ToolsRing PromoterJobshout
News
Blog
KontaktAnmelden

KI-Workstations, Multi-Agenten-KI-Software, GPU-Infrastruktur und intelligente Agentenlösungen für moderne Unternehmen.

Kontakt

KI-Lösungen

Angewandte KIKI-AgentenGenerative KIKI-AutomatisierungKI-WeiterbildungKI-Pakete für KMUEnterprise AI LabKI nach Branche

Produkte

Alle ProdukteWorkstation AI-natives CRM & ERPMarketingOpenAI-AgentenRing PromoterJobshout

Unternehmen

Über unsUnternehmenKI-RechenzentrenWarum WorkstationPartnerKundengeschichtenPreiseKontaktTenthMatrix

Ressourcen

KI-EinblickeTechnische HinweiseDokumentationLinux-BetriebssystemeKI-Cloud-PlattformenPrivate KI-RechenzentrenBlogSucheSitemap
Büro Belgien
Workstation SRL, Rue Vanderkindere 34, 1180 Uccle, BrusselsBE 0751.518.683Mo – Fr: 9:00 – 18:00 Uhr MEZ
+32 492 45 67 46
Hauptsitz Großbritannien
77-79 Marlowes, Hemel Hempstead HP1 1LFAnfahrt – Ausfahrt 20 der M25 (Outer London)Handelsregisternr.: 11641870Mo – Fr: 9:00 – 18:00 Uhr GMT
+44 7515 356 146
Büro Indien
#159 Sector 9, Pocket 1, DDA Flats, 110077 Dwarka, New Delhi
+91 98881 98841
Büro Taiwan
3F, No. 2-4, Aisi Rd., Ren'ai Dist., Keelung City 200, Taiwan基隆市仁愛區愛四路2之4號3樓Mo – Fr: 9:00 – 18:00 Uhr Taiwan-Zeit (GMT+8)
+886 926 892 701+32 492 45 67 46
Büro Estland
Aleksander Puškini tn 30-25, 20306 Narva, EstoniaMo - Fr: 9:00 - 18:00 Uhr estnischer Zeit (EET)
+32 492 45 67 46

© 2026 Workstation AI. Alle Rechte vorbehalten.

DatenschutzDatenlöschungCookiesNutzungsbedingungenWebsite-Sitemap

NVIDIA, das NVIDIA-Logo, RTX, RTX PRO, Blackwell, CUDA, NVLink, MGX, Omniverse, Spectrum-X, Quantum, BlueField, DGX und HGX sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den USA und anderen Ländern. AMD, das AMD-Arrow-Logo, EPYC, Instinct, Ryzen und Threadripper sind Marken von Advanced Micro Devices, Inc. Dell und PowerEdge sind Marken der Dell Inc. oder ihrer Tochtergesellschaften. Intel und Xeon sind Marken der Intel Corporation oder ihrer Tochtergesellschaften. AMAX, AceleMax und LiquidMax sind Marken der AMAX Engineering Corporation. Alle anderen Produktnamen, Logos und Marken sind Eigentum ihrer jeweiligen Inhaber. Wir verwenden sie ausschließlich, um die Produkte zu kennzeichnen, die wir beschreiben, liefern oder unterstützen; ihre Verwendung bedeutet nicht, dass ihre Inhaber uns empfehlen.

Startseite / Technische Hinweise / Technology
AIKubernetesDevOpsNVIDIA

Technote zu NVKE und NVKR: Einen Managed-GPU-Kubernetes-Dienst ab Bare Metal aufbauen, mit reproduzierbaren, verifizierbaren Builds

Architektur, Komponenten und fixierte Versionen, der NVKR-Lebenszyklus aus Definition, Run, Release und Verify, der vollständige nvkectl-Ablauf von gerackten Servern bis zum Kundencluster, Knotenattestierung, laufender Betrieb, jede Einschränkung der Preview mit Gegenmaßnahme, ein Vergleich mit anderen Ansätzen und ein gestufter Evaluierungsplan

14. November 2026Technology21 min read

Ein Praxisleitfaden zu NVIDIA Kubernetes Engine (NVKE) und NVIDIA Kubernetes Recipes (NVKR), den beiden Open-Source-Projekten, die NVIDIA am 10. November 2026 auf der KubeCon North America als Public Preview veröffentlicht hat. Er behandelt die Architektur, jede Komponente und jede fixierte Version, den Build- und Verifizierungslebenszyklus von NVKR, den vollständigen Ablauf von gerackten Servern bis zum GPU-Cluster eines Kunden, das Sicherheitsmodell, den laufenden Betrieb, die bekannten Einschränkungen der Preview mit einer Härtungs-Checkliste für jede davon, den Vergleich von NVKE mit anderen Wegen, GPU-Kubernetes zu betreiben, und einen gestuften Evaluierungsplan.

Ein Terminal mit den nvkectl-Befehlen, die einen Management-Cluster bootstrappen, ein Release Set veröffentlichen und einen Kundencluster erstellen, daneben die in der Preview fixierten Versionen: Kubernetes 1.36.3, Cluster API 1.13.6, CAPNICo 0.1.0, OVN-Kubernetes 2.4.2 und SPIRE 1.14.1.

Zusammenfassung. NVKR verwandelt eine deklarierte, versionsfixierte Definition in Node-Images, Container-Images, Helm-Charts und Binärdateien, mit SBOMs, Provenienz und Signaturen, die Sie nach Ihrer eigenen Richtlinie verifizieren. NVKE ist eine Management-Plane, die auf einem Management-Cluster mit drei Knoten läuft und Cluster API mit dem Provider CAPNICo nutzt, um Bare-Metal-Maschinen von NVIDIA Infra Controller (NICo) zu beziehen. Sie erstellt isolierte Workload-Cluster, jeweils mit eigener Control Plane, eigenem etcd und eigenen GPU-Node-Pools, und lässt einen Knoten erst nach einer TPM-gestützten SPIFFE/SPIRE-Attestierung zu. Beide stehen unter Apache 2.0 und befinden sich in der Public Preview: Die API wird als einfaches HTTP mit ausgeschalteter Authentifizierung ausgeliefert, es gibt keine Autorisierungsschicht, und für den Management-Cluster existiert noch kein Upgrade- oder Backup-Verfahren. Evaluieren Sie es jetzt; planen Sie den Produktivbetrieb für die Zeit nach der Preview.

Diese Technote begleitet unseren Beitrag auf Business-Ebene, NVIDIA NVKE und NVKR: Warum GPU-Kubernetes zum Betriebssystem der KI-Fabrik wird. Alles Folgende stammt aus der Ankündigungsanleitung von NVIDIA, der NVKE-Dokumentation sowie den Repositorys NVKE und NVKR mit Stand 14. November 2026. Die Befehle stammen von NVIDIA, sofern sie nicht als Beispiel von Workstation gekennzeichnet sind. Beide Projekte ändern sich während der Preview schnell, prüfen Sie daher Flags und Felder immer in der aktuellen Dokumentation.

1. Das Problem, das NVKE und NVKR unter sich aufteilen

Eine KI-Fabrik (der Begriff von NVIDIA für ein Rechenzentrum, das KI im großen Maßstab produziert), die GPU-Kapazität als Kubernetes verkaufen oder teilen möchte, hat zwei unterschiedliche Probleme:

  1. Betrieb eines Managed-Kubernetes-Dienstes. API-gesteuerte Bereitstellung, Mandantenisolation, Upgrades, Knotenaustausch und Wiederherstellung, abgesichert durch Servicezusagen.
  2. Qualifizierung der Software. Wissen, welche Kombination aus Betriebssystem, Kernel, Kubernetes, Netzwerk-Plugin, Agenten und GPU-Laufzeitumgebung auf welcher GPU-Generation funktioniert, und genau diese Kombination später neu bauen können.

NVKE übernimmt das erste Problem und NVKR das zweite. Sie sind bewusst trennbar: NVKE hat zur Laufzeit keine Abhängigkeit von NVKR, und NVKR kann Artefakte für andere Kubernetes-Managementsysteme bauen. Die Fabrik behält die Kontrolle über ihre eigene Software, ihren Betrieb, ihren Service und ihr Kundenerlebnis.

2. Komponenten im Überblick

KomponenteRolleWo sie läuft
NVKE-Management-PlaneREST-API und Controller, die Workload-Cluster erstellen und betreibenDer Management-Cluster (drei CPU-Server)
nvkectlBetreiber-CLI: bootstrappt den Standort, veröffentlicht Release Sets, erstellt Cluster, ruft kubeconfigs abBootstrap-Host und Arbeitsplätze der Betreiber
Seed-ClusterTemporärer kind-Cluster mit einem Knoten, der den Management-Cluster bildet und danach gelöscht wirdBootstrap-Host
Cluster API + CAPNICoStandard-Bereitstellungsschnittstelle von Kubernetes, mit dem Cluster-API-Infrastruktur-Provider für NICoManagement-Cluster
NICo (NVIDIA Infra Controller)Bare-Metal-Lebenszyklus: registrierte Kapazität, VPCs und Präfixe, Instanztypen, iPXE-BootIhr Standort (separate Installation)
SPIRE-Server und -AgentenTPM-basierte Knotenattestierung und SPIFFE-Identitäten; ein Knoten erhält Beitrittszugangsdaten erst nach der AttestierungManagement-Cluster und jeder Knoten
NVKE-Node-AgentAgent auf dem Knoten, von NVKR in das Node-Image kompiliertJeder Knoten
OVN-Kubernetes und NodeLocal DNSCacheCluster-Netzwerk und DNS-Caching, von NVKE im Rahmen der Bereitstellung installiertJeder Workload-Cluster
NVKE-Telemetrie-Pipeline (NKTP)Auf OpenTelemetry basierendes Helm-Chart, das Logs, Metriken und Traces sammelt und über OTLP exportiertManagement- und Workload-Cluster
NVKRCLI, Komponentenkataloge und deklarative Definitionen, die Artefakte für NVKE und AI Cluster Runtime (AICR) bauen, signieren und veröffentlichenBuild-Host oder GitHub Actions
AICR, NodeWright, NVSentinelWerden in Workload-Clustern ergänzt, jeweils für die GPU-beschleunigte Laufzeitumgebung, Knotenpakete und die Automatisierung der StörungsbehebungWorkload-Cluster

3. Architektur

NVKR auf einem Build-Host veröffentlicht Artefakte in einer OCI-Registry und auf einem HTTP-Image-Server. Ein Bootstrap-Host bildet den NVKE-Management-Cluster, auf dem die REST-API, Release Sets, Cluster API mit CAPNICo und ein SPIRE-Server laufen. Er fordert Maschinen bei NICo an; GPU- und CPU-Server booten vom Node-Image und attestieren sich, bevor sie Workload-Clustern von Kunden beitreten. Kunden nutzen kubectl und der Betreiber nvkectl; Telemetrie geht über OTLP an Ihr eigenes Backend.

Der Steuerungsfluss lässt sich am leichtesten aus Sicht des Betreibers nachvollziehen. Der Betreiber spricht nur mit der NVKE-API, über nvkectl. NVKE übersetzt eine Cluster-Anfrage in Cluster-API-Objekte; CAPNICo macht daraus NICo-Instanzanfragen; NICo wählt Server des angeforderten Instanztyps im angeforderten VPC-Präfix aus und bootet sie mit dem iPXE-Skript aus dem gewählten Maschinen-Image. Jeder Server bootet das von NVKR gebaute Image, sein SPIRE-Agent attestiert sich mithilfe des TPM des Servers beim SPIRE-Server des Management-Clusters, und erst dann erhält der Knoten die Zugangsdaten, die er benötigt, um kubeadm auszuführen und beizutreten. Kunden sehen davon nichts: Sie erhalten eine kubeconfig für einen Cluster, der wie jeder andere konforme Kubernetes-1.36-Cluster aussieht.

4. In der Preview fixierte Versionen

Die Plattformreferenz von NVKE führt die folgende validierte Kombination auf. Auf die „Fixierung“ kommt es an: NVKR baut aus genau diesen Eingaben und hält sie fest, sodass sich ein Knoten bis zu seinen Quellen zurückverfolgen lässt.

ElementVersion in der PreviewHinweise
Kubernetes (Management- und Workload-Cluster)1.36.31.34.2, 1.35.3 und 1.37.2 sind im Node-Image bereitgestellt, werden aber nicht unterstützt
Betriebssystem der KnotenUbuntu 24.04 LTS oder 26.04 LTSDas Beispiel-MachineImage installiert Ubuntu 24.04 aus dem Installer-ISO
CPU-Architekturenamd64, arm64Separate Images pro Architektur; Node-Pools können unterschiedliche Images verwenden
Cluster API (Core, kubeadm-Bootstrap und Control Plane)v1.13.6clusterctl v1.13.6
CAPNICov0.1.0NICo ist der Standard-Infrastruktur-Provider; LaunchLayer kann ebenfalls aktiviert werden
OVN-Kubernetes2.4.2Aus dem Quellcode in das Node-Image kompiliert
SPIRE-Agent1.14.1, TPM-Plugin 1.9.0Upstream-Release mit fixierter Prüfsumme
Bootstrap-Werkzeugekind v0.32.0, kubectl v1.36.0, Helm v4.2.4Dazu containerd und rootful nerdctl auf dem Bootstrap-Host
Go-Toolchain1.27.4 oder neuer für NVKE; 1.27.2 fixiert für NVKRDer NVKR-Launcher bietet an, sein fixiertes Go lokal zu installieren

5. NVKR: Definition, Run, Release, Verify

Der Lebenszyklus von NVKR: eine Definition mit Katalogen und einem Environment, ein prüfbarer Plan und Abhängigkeitsgraph, ein lokal oder in GitHub Actions ausgeführter Run, der Ausgaben und Nachweise festhält, und ein Release als per Digest fixierte OCI-Referenz mit SBOMs und Provenienz, die nach Ihrer eigenen Richtlinie verifiziert wird, bevor NVKE sie bereitstellt.

NVKR ist ein Build- und Release-System, keine Skriptsammlung. Sein öffentlicher Lebenszyklus hat drei Phasen:

  1. Die Liefergegenstände definieren. Eine Definition wählt benannte Ausgaben (ausführbare Dateien, Container-Images, Helm-Charts, Deployment-Bundles oder Node-Images), ihre Komponenten, Plattformen und Formate. Kataloge liefern fixierte Quellen, Artefakte und Werkzeuge. Ein Environment liefert Einstellungen für Ausführung, Registry und Signierung.
  2. Prüfen und ausführen. NVKR leitet einen Plan und Abhängigkeitsgraphen ab, die Sie prüfen können, bevor irgendetwas ausgeführt wird, und führt ihn dann lokal aus oder erzeugt GitHub-Actions-Workflows. Jeder Run hält seine erforderlichen Ausgaben, die tatsächlich beobachteten Artefakte, seine Nachweise und seine Fehler fest.
  3. Veröffentlichen und verifizieren. Ein Release ist eine per Digest fixierte OCI-Registry-Referenz, die die Ausgaben mit ihren SBOMs und ihrer Provenienz verbindet. Verbraucher wählen eine Verification Policy (die Workflow-Identität und den Aussteller, die sie akzeptieren) und authentifizieren die Aussagen, bevor sie die Artefakte nutzen.

5.1 Erster Build

Der Quickstart baut das NVKE-CLI, das Container-Image des Controllers und dessen Helm-Chart, mit SBOMs der Abhängigkeiten. Er benötigt Git 2.38 oder neuer, Bash und ein laufendes Docker; der Launcher prüft die Voraussetzungen, wählt den fixierten Go-Compiler (und fragt vor der Installation nach) und baut NVKR selbst aus dem Quellcode für Ihre CPU-Architektur:

git clone https://github.com/dsx-ai-factory/nvkr.git &&
cd nvkr &&
bash scripts/nvkr-quickstart.sh

Warten Sie auf status: complete und observed outputs: 3. Das native CLI ist bin/nvkr. Nichts wird veröffentlicht oder bereitgestellt, und ein lokaler Build ist unsigniert. Um zusätzlich das Node-Image zu bauen, führt die Anleitung von NVIDIA ein zweites Skript aus:

NVKE_OS_ARCH=amd64 scripts/nvke-os-local.sh node-image-01

Dieser Build kompiliert den NVKE-Node-Agent und OVN-Kubernetes aus dem Quellcode, ergänzt Upstream-Releases der Kubernetes-1.36-Pakete und des SPIRE-Agenten mit fixierten Prüfsummen, bootet eine virtuelle Maschine vom Ubuntu-Installer, installiert die Agenten und legt die Kubernetes- und Netzwerkpakete auf der Festplatte bereit. Das Ergebnis ist ein QCOW2-Image. Der Build-Host benötigt Docker und KVM-Unterstützung.

Über den Quickstart hinaus wählt die Tutorial-Definition von NVKR das NVKE-CLI, das Image der Management-Plane und das Helm-Bundle, und die kombinierte NVKE-Candidate-Definition erweitert dies um Container- und Node-Images für amd64 und arm64.

5.2 Was die Verifizierung belegt und was nicht

NVKR ist bei seinen Aussagen sorgfältig, und Ihr Release-Prozess sollte es auch sein. Eine Signatur authentifiziert, wer eine Aussage über ein Artefakt gemacht hat; ein Digest bindet diese Aussage an bestimmte Bytes. Die Signierung beansprucht kein Eigentum an der enthaltenen Software, und eine gültige Signatur allein macht ein Artefakt nicht bereit für die Bereitstellung.

VorgangWas er belegt
Ein Release durchsuchenPrüft nur Metadaten; keine Signaturprüfungen, kein Download der Nutzdaten
Eine Ausgabe abrufenRuft die Nutzdaten ab und prüft ihre Integrität; verifiziert weder Signaturen noch Ihre Richtlinie
authenticity verifizierenAuthentifiziert Signaturen und Nachweise nach Ihrer Richtlinie, ohne Nutzdaten herunterzuladen
artifact-publication verifizierenAuthentifiziert die Veröffentlichungsaussage nach Ihrer Richtlinie und prüft die referenzierten Nutzdaten

Die Verifizierung benötigt Linux, fixierte Werkzeuge und eine explizite Richtlinie (macOS-Nutzer verifizieren innerhalb von Docker). In der Preview erklärt NVIDIA, dass kein NVKR-Release qualifiziert ist, dass die unterstützte Verifizierung weder eine byte-genaue Reproduktion noch Schwachstellenfreiheit oder Bereitstellungsreife belegt und dass die SBOMs der Node-Images Ersteller- und Materialsubjekte festhalten, statt den installierten Festplatteninhalt zu untersuchen. Behandeln Sie die Nachweise von NVKR als eine Eingabe für Ihr eigenes Release-Gate, neben Schwachstellenscans und Hardwarevalidierung.

6. Ablauf: von gerackten Servern zum Kundencluster

Sieben Schritte: mit NVKR bauen; Artefakte bereitstellen; mit nvkectl bootstrap site einen Seed-Cluster starten; per Pivot auf einen von NICo bereitgestellten Management-Cluster mit drei Knoten wechseln; die Management-Plane installieren und absichern; ein Release Set veröffentlichen; den Kundencluster erstellen und die kubeconfig übergeben.

6.1 Voraussetzungen

  • Drei CPU-Server für den Management-Cluster sowie ein separater Linux-Bootstrap-Host im Standortnetz mit containerd, nerdctl, kind, Helm und kubectl.
  • Drei CPU-Server für die Control Plane jedes Workload-Clusters.
  • Ein Pool von GPU-Servern für Worker-Knoten.
  • Eine NICo-Installation mit registrierter Kapazität.
  • Ein Linux-Build-Host mit Docker und KVM-Unterstützung.
  • Ein HTTP-Server für das Node-Image, eine Container-Registry für das Controller-Image und Internetzugang für die während der Installation verwendeten Open-Source-Images und Helm-Charts.
  • Ihre eigene SPIRE-Zertifizierungsstelle. Knoten des Management-Clusters, die aus dem Node-Image gebaut werden, benötigen beim Bootstrap Ihre CA-Dateien. Ohne sie verwendet SPIRE eine selbstsignierte CA, der kein Knoten im Voraus vertrauen kann, sodass sich Knoten weder attestieren noch beitreten können.

6.2 Bauen und bereitstellen

Bauen Sie wie in Abschnitt 5.1 beschrieben, pushen Sie dann das Controller-Image in Ihre Registry, kopieren Sie nvkectl auf den Bootstrap-Host und legen Sie das QCOW2-Image auf den HTTP-Server. NVIDIA weist darauf hin, dass ein lokaler Image-Build kein qualifiziertes Release ist: Build und Smoke-Test validieren weder einen echten NICo-Boot noch die Laufwerksauswahl oder eine vollständige Erstkonfiguration beim ersten Start. Die Bereitstellung aus einem QCOW2 benötigt außerdem einen standortspezifischen EFI-Imager und ein iPXE-Skript, das das Image herunterlädt und auf die Festplatte schreibt, gemeinsam validiert auf Ihrer Hardware.

6.3 Den Management-Cluster bootstrappen

nvkectl bootstrap site -f site-a.yaml \
  --nvke-controller-image registry.example.com/nvke/nvke-controller:<tag>

site-a.yaml enthält die Eingaben, die NICo benötigt, um drei Management-Server bereitzustellen. Der Befehl startet auf dem Bootstrap-Host einen temporären kind-Cluster mit einem Knoten, der die für die Einrichtung benötigte NVKE-Software beherbergt. Der NVKE-Controller fordert bei NICo drei Server an, NICo bootet sie vom Node-Image, und sobald alle drei beigetreten sind, löscht der Bootstrap den temporären Cluster. Das ist das bekannte Cluster-API-Muster „Bootstrap und Pivot“.

Legen Sie die Bootstrap-kubeconfig und die Datei mit dem etcd-Verschlüsselungsschlüssel sofort in einem sicheren Speicher ab. Die Schlüsseldatei ist die einzige Kopie des etcd-Verschlüsselungsschlüssels des Management-Clusters, die sich nicht auf einem Knoten befindet, und es gibt noch kein Backup- oder Restore-Verfahren.

6.4 Die Management-Plane installieren und nvkectl verbinden

Installieren Sie die NVKE-Management-Plane auf dem Management-Cluster und führen Sie dann nvkectl config set-site aus, um das CLI auf die NVKE-API zu richten. Bei einer Installation ohne Release-Beschreibung müssen die Controller- und Profil-Images auf den Management-Knoten bereitgestellt und in der Stack-Konfiguration benannt werden.

Bevor irgendjemand sonst sie erreichen kann, sichern Sie die API ab (Abschnitt 7.2): Nach der Installation lauscht sie auf Port 30080 jedes Management-Knotens, über einfaches HTTP, mit ausgeschalteter Authentifizierung.

6.5 Ein Release Set veröffentlichen

Kunden haben nie mit Betriebssystem-Images oder cloud-init zu tun. Sie wählen ein benanntes Release, das Sie veröffentlichen. Ein Release Set besteht aus drei Teilen:

  1. Maschinen-Image: das iPXE-Skript, das NICo ausführt, um einen Server zu booten.
  2. Cluster-Release: ein Maschinen-Image plus die cloud-init-Konfiguration, die einen Control-Plane-Knoten vorbereitet, mit Angabe der installierten Kubernetes-Version.
  3. Node-Pool-Release: das entsprechende Image und die Konfiguration für Worker-Knoten.
nvkectl create machineimage -f machineimage.yaml
nvkectl create clusterrelease -f clusterrelease.yaml
nvkectl create nodepoolrelease -f nodepoolrelease.yaml

Behandeln Sie Release Sets wie einen Produktkatalog. Benennen Sie sie so, dass ein Kunde erkennt, was er erhält (das Beispiel von NVIDIA verwendet k8s-1.36.3-amd64), veröffentlichen Sie separate Releases pro CPU-Architektur und GPU-Generation, und ändern Sie niemals ein veröffentlichtes Release an Ort und Stelle: Veröffentlichen Sie ein neues und migrieren Sie Kunden bewusst.

6.6 Den Kundencluster erstellen

Eine Cluster-Anfrage wiederholt die NICo-Eingaben aus der Standortspezifikation und ergänzt eine Kubernetes-Version. Die Control Plane und jeder Node-Pool haben eigene Instanztypen, VPC-Präfixe und Releases. Das Beispiel von NVIDIA:

name: customer-a
controlPlaneKubernetesVersion: 1.36.3
etcdEncrypted: true
controlPlaneVIP: 10.0.20.10
nico: {orgID: <org-id>, siteID: <site-id>, vpcID: <vpc-id>}
controlPlaneConfig:
  desiredCount: 3
  nico: {instanceTypePreference: [<cpu-instance-type>], vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nodePools:
  - name: gpu
    nodeNamePrefix: gpu
    desiredNodeCount: 4
    nico: {instanceTypeID: <gpu-instance-type>, vpcPrefixIDs: [<prefix-id>], release: k8s-1.36.3-amd64}
nvkectl create cluster -f customer-a.yaml

Der Cluster bleibt im Zustand Provisioning, bis der erste Control-Plane-Knoten kubeadm init ausgeführt und NVKE OVN-Kubernetes und NodeLocal DNSCache installiert hat; danach wechselt er zu Provisioned. Beachten Sie etcdEncrypted: true: Die Verschlüsselung der etcd-Daten ist eine Entscheidung pro Cluster, und wir empfehlen, sie in Ihren Anfragevorlagen zum Standard zu machen.

6.7 Den Zugang übergeben

nvkectl get kubeconfig customer-a --output-file customer-a.kubeconfig
kubeconfig written to customer-a.kubeconfig

Dies ist eine Administrator-kubeconfig, und in der Preview kann NVKE sie nicht widerrufen: Sie bleibt gültig, bis ihr Client-Zertifikat abläuft, weil NVKE die Zertifizierungsstelle eines Workload-Clusters nicht rotiert. Übergeben Sie sie nur an die Cluster-Administratoren des Kunden, über einen sicheren Kanal, und lassen Sie diese sofort engere Zugangsdaten innerhalb des Clusters erstellen. Ein Beispiel von Workstation mit Standard-Kubernetes-RBAC:

# Workstation example: run once with the admin kubeconfig, then store it offline
export KUBECONFIG=customer-a.kubeconfig
kubectl create namespace ml-team
kubectl -n ml-team create serviceaccount deployer
kubectl -n ml-team create rolebinding deployer-edit \
  --clusterrole=edit --serviceaccount=ml-team:deployer
# Short-lived token for CI or a developer, instead of sharing the admin file
kubectl -n ml-team create token deployer --duration=8h

6.8 Daraus einen GPU-Cluster machen

NVKE liefert konformes Kubernetes auf GPU-Servern. Die GPU-beschleunigte Laufzeitumgebung wird innerhalb jedes Workload-Clusters mit AI Cluster Runtime (AICR) von NVIDIA ergänzt, Knotenpakete mit NodeWright und die Automatisierung der Störungsbehebung mit NVSentinel. NVKR kann auch AICR-Artefakte bauen. Sobald die Laufzeitumgebung GPUs meldet, ist ein Pod, der eine GPU anfordert, ein Smoke-Test (Beispiel von Workstation; wählen Sie einen CUDA-Image-Tag, der zu Ihrem Treiber passt):

apiVersion: v1
kind: Pod
metadata:
  name: gpu-smoke
spec:
  restartPolicy: Never
  containers:
    - name: cuda
      image: nvcr.io/nvidia/cuda:<tag>
      command: ["nvidia-smi"]
      resources:
        limits:
          nvidia.com/gpu: 1

7. Sicherheitsmodell

7.1 Knotenidentität

Jeder Knoten präsentiert eine attestierte SPIFFE-Identität, gestützt auf sein TPM über SPIRE, bevor er Beitrittszugangsdaten erhält. Knoten des Management-Clusters vertrauen Ihrer SPIRE-CA (beim Bootstrap bereitgestellt); Knoten von Workload-Clustern erhalten das SPIRE-Trust-Bundle des Management-Clusters in ihren User Data. Das schließt eine klassische Bare-Metal-Lücke: Ein Server, der lediglich das Netzwerk erreicht, kann nicht dem Cluster eines Kunden beitreten. Die Anforderung eines virtuellen TPM im Quickstart besteht aus demselben Grund.

7.2 Die API: einfaches HTTP, keine Authentifizierung, keine Autorisierung

Im Auslieferungszustand lauscht die NVKE-API auf Port 30080 jedes Management-Knotens ohne TLS, und jeder in einem von Ihnen zugelassenen Netzwerk kann jeden Endpunkt aufrufen, einschließlich Erstellen und Löschen. Selbst bei aktivierter Authentifizierung führt NVKE keine Autorisierung durch: Jeder authentifizierte Aufrufer kann jeden Workload-Cluster verwalten. Unser Minimum, bevor irgendein Aufrufer zugelassen wird:

  1. Folgen Sie dem Verfahren von NVKE, um nur die Netzwerke zuzulassen, die die API benötigen, und setzen Sie dasselbe an Ihrem Netzwerkrand mit Firewall-Regeln oder Switch-ACLs im Management-VLAN durch.
  2. Aktivieren Sie die API-Authentifizierung. Sobald sie aktiv ist, erzeugen Sie mit nvkectl generate oidc-kubeconfig eine OIDC-kubeconfig; damit müssen einige Befehle, die die Kubernetes-API des Management-Clusters direkt lesen (get kubeconfig, get providers sowie die Befehle für Maschinen-Images und Releases), stattdessen mit kubectl und der Admin-kubeconfig des Management-Clusters ausgeführt werden.
  3. Schalten Sie einen eigenen TLS-Endpunkt vor die API, weil Tokens sonst unverschlüsselt über das Netzwerk gehen, und halten Sie den Abschnitt dahinter in einem isolierten Management-Netzwerk. Ein Beispiel von Workstation mit nginx auf einem Admin-Bastion-Host:
# Workstation example: TLS in front of the NVKE API (preview serves plain HTTP)
upstream nvke_api {
    server 10.0.10.11:30080;
    server 10.0.10.12:30080;
    server 10.0.10.13:30080;
}
server {
    listen 443 ssl;
    server_name nvke-api.example.internal;
    ssl_certificate     /etc/ssl/nvke-api/fullchain.pem;
    ssl_certificate_key /etc/ssl/nvke-api/privkey.pem;
    allow 10.20.0.0/24;   # operator and automation subnet only
    deny  all;
    location / {
        proxy_pass http://nvke_api;
        proxy_set_header Host $host;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    }
}
  1. Geben Sie NVKE-API-Tokens nur an Personen und Systeme aus, die jeden Cluster verwalten dürfen, und halten Sie diese Liste kurz. Verlagern Sie jede mandantenbezogene Selbstbedienung in Ihr eigenes Portal, das die Autorisierung durchsetzt und NVKE im Namen des Mandanten aufruft.

7.3 Ruhende Daten

Aktivieren Sie die etcd-Verschlüsselung pro Cluster. Verlassen Sie sich nicht auf die Node-Image-Variante mit vollständiger Festplattenverschlüsselung (FDE): Jeder Image-Build erzeugt einen Volume-Schlüssel, den jeder daraus gebaute Knoten erbt, die Bootstrap-Passphrase ist öffentlich und verbleibt in der GRUB-Konfiguration, und jeder mit Image und Passphrase kann den Schlüssel wiederherstellen. NVIDIA erklärt, dass FDE-Images nur zur Evaluierung gedacht sind.

8. Laufender Betrieb

AufgabeVorgehen in der PreviewWorauf zu achten ist
Einen Node-Pool skalierennvkectl patch nodepool (akzeptiert nur desiredNodeCount)In NICo muss Kapazität für den Instanztyp vorhanden sein
Die Control Plane aktualisierennvkectl patch cluster mit Änderung von controlPlaneKubernetesVersionZuerst gegen ein passendes Cluster-Release testen
Kubernetes eines Node-Pools aktualisierenkubernetesVersion in einer Update-Anfrage an /api/nodePools/<NODE_POOL_ID> sendenVorhandene Knoten werden veraltet; sie werden nicht automatisch ersetzt
Veraltete Knoten ersetzenMit recycleBudget über 0 markiert der Automodus sie mit nvke.nvidia.com/NeedsRecycle; Sie oder NVSentinel löschen sieNVKE entleert und löscht nicht; nvkectl kann weder Felder des Automodus setzen noch markierte Knoten anzeigen
Knoten-Labels oder -Taints ändernBei der Erstellung festgelegt und einmalig beim Beitritt eines Knotens angewendet; danach kubectl label und kubectl taint verwendenEntfernte Labels werden nicht erneut hinzugefügt
Node-Pool-Konfiguration ändernNur nach der Änderung erstellte Knoten verwenden sieEin Recycling zur Angleichung einplanen
Die Management-Plane aktualisieren oder sichernNoch kein VerfahrenBootstrap-kubeconfig und etcd-Schlüssel aufbewahren; Neuaufbau einplanen

Da NVKE markiert, aber nicht entleert, ist das sichere Recycling-Muster für GPU-Knoten das übliche: cordon, auf lang laufende Jobs warten oder sie checkpointen, drain, löschen und den Pool den Knoten aus dem neuen Release ersetzen lassen. Automatisieren Sie das in NVSentinel oder Ihrem eigenen Controller, bei Trainings-Pools mit einem Budget von einem Knoten pro Pool gleichzeitig.

9. Telemetrie

Die NVKE-Telemetrie-Pipeline (NKTP) ist ein auf OpenTelemetry basierendes Helm-Chart, das Logs, Metriken und Traces sammelt und über OTLP exportiert. Ihr Standard-Backend ist nur zur Evaluierung gedacht: Es hält Daten im Arbeitsspeicher und gibt anonymen Nutzern Admin-Zugriff auf Grafana. Richten Sie es auf Ihr eigenes Backend aus, bevor sich jemand darauf verlässt. In unserem NVIDIA-Observability-Referenzdesign senden wir OTLP an ein Collector-Gateway, das für Metriken und Traces an Grafana Mimir, Tempo und Grafana und für Logs an den Elastic Stack verteilt, und ergänzen DCGM für den GPU-Zustand und UFM für das InfiniBand-Fabric. NKTP fügt sich als eine weitere OTLP-Quelle ein.

Signale, auf die sich vom ersten Tag an Alarme lohnen: Fehler der Controller der Management-Plane, Cluster, die im Zustand Provisioning hängen, Knoten, deren Attestierung fehlschlägt, Knoten, die länger als Ihr Recycling-Fenster mit NeedsRecycle markiert sind, NICo-Kapazität pro Instanztyp und der Zertifikatsablauf übergebener kubeconfigs.

10. Einschränkungen der Preview und was wir jeweils dagegen tun

Einschränkung (laut Preview-Status von NVIDIA)RisikoGegenmaßnahme
Die API ist nach der Installation einfaches HTTP mit ausgeschalteter AuthentifizierungJeder in einem zugelassenen Netzwerk kann Cluster erstellen oder löschenNetzwerke zulassen, Authentifizierung aktivieren, TLS-Proxy, isoliertes Management-VLAN (Abschnitt 7.2)
Keine AutorisierungJeder Token-Inhaber kann jeden Cluster verwaltenWenige Tokens; Mandanten-Selbstbedienung über Ihr eigenes Portal
Kunden erhalten nur eine Admin-kubeconfig, die nicht widerrufen werden kannEine geleakte Datei bleibt bis zum Zertifikatsablauf gültigNur an Cluster-Admins übergeben; RBAC-Service-Accounts und kurzlebige Tokens erstellen; Ablauf nachverfolgen
Der Management-Cluster aktualisiert, skaliert und ersetzt sich nicht selbstHardwareausfall oder Upgrade erfordert manuelle ArbeitDrei Knoten an getrennter Stromversorgung und getrennten Switches; Ersatzteile; dokumentiertes Neuaufbau-Runbook
Kein Upgrade- oder Backup/Restore-Verfahren für die Management-PlaneZustandsverlust bedeutet Neuaufbau der Management-Planeetcd-Schlüssel und kubeconfig sichern; Preview-Standorte als neu aufbaubare Labore behandeln
Eigene SPIRE-CA für Management-Knoten erforderlichKnoten können sich weder attestieren noch beitretenCA-Dateien vor dem Bootstrap vorbereiten
Änderungen der Node-Pool-Konfiguration ersetzen laufende Knoten nichtKonfigurationsdrift zwischen KnotenAutomatisiertes Recycling mit NVSentinel oder einem Controller
Lokale Image-Builds sind keine qualifizierten Releases; QCOW2 benötigt einen Standort-ImagerBoot- oder Erststartfehler auf echter HardwareImage und Imager vor der Nutzung gemeinsam auf der Zielhardware validieren
FDE-Images bieten keine Vertraulichkeit ruhender DatenFalsches Gefühl von VerschlüsselungNicht für echte Daten verwenden; auf etcd-Verschlüsselung und Ihr eigenes Festplattenverschlüsselungsschema setzen
Das Standard-Telemetrie-Backend arbeitet im Arbeitsspeicher mit anonymem Grafana-AdminDatenverlust und offene DashboardsNKTP auf Ihr eigenes Backend ausrichten
Kein NVKR-Release ist qualifiziertUnerprobte ArtefaktkombinationenEigenes Qualifizierungs-Gate pro GPU-Generation betreiben

11. Wie NVKE im Vergleich zu anderen Ansätzen abschneidet

NVKE ist nicht der einzige Weg, Kubernetes auf GPU-Servern zu betreiben. Ein fairer Vergleich, auf der Ebene des Designs statt der Funktionen, die sich von Monat zu Monat ändern:

AnsatzStärkenKompromisseAm besten geeignet für
NVKE + NVKRFür mandantenfähige GPU-Fabriken gebaut; isolierter Cluster pro Kunde; hardwareattestierte Knoten; von NVIDIA validierte Softwarekombinationen; Open SourcePublic Preview; auf NICo zentriert; Management-Plane reift noch; noch keine AutorisierungsschichtGPU-Clouds, Telekommunikationsanbieter und große gemeinsam genutzte GPU-Umgebungen, die einen Managed-Kubernetes-Dienst planen
Cluster API mit eigenen WerkzeugenDerselbe offene Standard, den NVKE nutzt; volle Kontrolle; breites Provider-ÖkosystemServiceschicht, Image-Pipeline und GPU-Qualifizierung bauen und pflegen Sie selbstTeams mit starkem Platform Engineering und Infrastruktur ohne NICo
Allgemeine Kubernetes-Distributionen und FlottenmanagerAusgereift, unterstützt, viele Integrationen; mehrere Anbieter integrieren NVKE-KomponentenGPU-Qualifizierung und Bare-Metal-Integration variieren; LizenzkostenUnternehmen, die heute Supportverträge und Produktionsreife benötigen
Gehostetes Kubernetes in einer Public Cloud oder GPU-CloudKeine Hardware oder Control Plane zu betreiben; schneller StartWeniger Kontrolle über Hardware, Datenstandort und Kosten bei dauerhafter AuslastungVariable oder frühe Workloads; Teams ohne Rechenzentrumsbetrieb

Die Ansätze schließen sich nicht gegenseitig aus. Das Modell von NVKR mit fixierten, signierten Node-Images lohnt sich unabhängig davon, womit Sie Ihre Cluster installieren, und NVIDIA nennt mehrere Distributions- und Plattformanbieter, die NVKE-Komponenten in ihre eigenen Produkte integrieren.

12. Ein gestufter Evaluierungsplan

  1. Woche 1: lokaler Quickstart. Ein Linux-Host oder eine VM (amd64 oder arm64) mit mindestens 6 CPUs, 12 GiB freiem Arbeitsspeicher und 100 GiB freiem Festplattenplatz, Docker und Unterstützung für virtuelles TPM; unter macOS läuft der Leitfaden für den lokalen Standort von NVKE in einer Colima-VM. Arbeiten Sie ihn bis zur Erstellung eines Workload-Clusters durch und bestätigen Sie, dass die Knoten Ready melden. Ziel: Das Team versteht die Objekte (Standort, Release Set, Cluster, Node-Pool) und die API.
  2. Wochen 2 bis 3: NVKR in Ihrer Pipeline. Führen Sie die Tutorial-Definition aus, dann den kombinierten NVKE-Candidate; veröffentlichen Sie in einer privaten Registry; schreiben Sie eine Verification Policy und verifizieren Sie authenticity und artifact-publication in der CI. Ziel: Sie können jedes Artefakt, das Sie bereitstellen würden, neu bauen und verifizieren.
  3. Wochen 3 bis 6: Hardwarelabor. Drei Management-Server, drei Control-Plane-Server und zwei bis vier GPU-Server mit NICo. Validieren Sie Image und Imager auf Ihrer Hardware, bootstrappen Sie, sichern Sie die API wie in Abschnitt 7 ab, veröffentlichen Sie zwei Release Sets und erstellen Sie zwei Mandanten-Cluster. Ergänzen Sie AICR, führen Sie GPU-Smoke-Tests und einen Multi-Node-Trainingsjob aus, recyceln Sie einen Knoten, aktualisieren Sie eine Control Plane. Ziel: eine schriftliche Lückenliste gegenüber Ihren Servicezusagen.
  4. Nach der Preview: Pilot. Wiederholen Sie das Labor mit dem allgemein verfügbaren Release, schließen Sie die Lücken und führen Sie dann einen Piloten mit einem internen Mandanten durch, bevor ein externer Kunde dazukommt.

Abbruchkriterien, die Sie vor dem Start festhalten sollten: Zeit von der Anfrage bis Provisioned, Fehler bei der Knotenattestierung, Recycling-Zeit pro GPU-Knoten, Unterbrechung laufender Jobs durch Upgrades und wie viele manuelle Schritte in jedem Runbook verbleiben.

13. Welche Kompetenzen dies von Plattform- und DevOps-Teams verlangt

  • Cluster API und Bare-Metal-Bereitstellung: Maschinen, Bootstrap und Pivot, iPXE und Imaging, VPCs und Instanztypen.
  • Lieferkettensicherheit: fixierte Eingaben, SBOMs, Provenienz, Signaturrichtlinien und was jede davon tatsächlich belegt.
  • Workload-Identität: SPIFFE/SPIRE, TPM-Attestierung, Zertifizierungsstellen und Trust-Bundles.
  • Mandantenfähiges Kubernetes: Isolation, RBAC, Lebenszyklus von Zugangsdaten, etcd-Verschlüsselung.
  • GPU-Betrieb: Node-Pools pro GPU-Generation, Qualifizierung von Laufzeitumgebung und Treibern, sicheres Recycling von Knoten mit lang laufenden Jobs.
  • Observability: OpenTelemetry-Pipelines, GPU- und Fabric-Telemetrie, Alarmierung bei Bereitstellungs- und Attestierungsfehlern.

14. Wie Workstation helfen kann

Wir planen, liefern und betreiben GPU-Infrastruktur in Großbritannien. Für Teams, die NVKE und NVKR prüfen, können wir die Evaluierung planen, Labor- und Produktionshardware dimensionieren und liefern, das Management-Netzwerk und die API-Härtung entwerfen, Ihr NVKR-Verifizierungs-Gate in die CI einbauen, NKTP, DCGM und Fabric-Telemetrie an einen OpenTelemetry-Stack anbinden und die Runbooks für Recycling und Upgrades schreiben. Wenn Sie noch nicht bereit sind, eigene Racks zu betreiben, vergleicht unsere Seite zur GPU Private Cloud die Aufbauoptionen, und gpuleasing.co.uk vergleicht Leasing mit Kauf. Sprechen Sie mit uns oder fragen Sie unseren KI-Vertriebsingenieur, um einen Cluster zu dimensionieren.

Hinweise und Quellen

  • NVIDIA Technical Blog, Manage Kubernetes Clusters for GPU Infrastructure with NVIDIA Kubernetes Engine, 10. November 2026.
  • NVKE-Dokumentation, einschließlich der Seiten zu Preview-Status, unterstützten Plattformen und API-Authentifizierung.
  • GitHub: dsx-ai-factory/nvke, dsx-ai-factory/nvkr, cluster-api-provider-nico und deren öffentliche Roadmaps.
  • Beide Projekte befinden sich in der Public Preview. APIs, Konfiguration und Verhalten können sich zwischen Releases ändern, und NVIDIA empfiehlt sie noch nicht für produktive Workloads. Versionen und Einschränkungen entsprechen der Dokumentation vom 14. November 2026.
  • Als „Beispiel von Workstation“ gekennzeichnete Beispiele stammen von uns und sind nicht Teil der Dokumentation von NVIDIA.

Hinweis zu Schutzrechten: NVIDIA, das NVIDIA-Logo, DSX und CUDA sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den Vereinigten Staaten und anderen Ländern. Kubernetes ist eine eingetragene Marke der Linux Foundation. Andere genannte Produkt- und Firmennamen sind Eigentum ihrer jeweiligen Inhaber. Alle diese Rechte werden anerkannt und bleiben ihren Inhabern vorbehalten.

Diesen Artikel teilen

Mehr zu Technology

Laptops für KI-Entwickler: LLMs lokal unter Linux mit GPUs mit 16 GB und 24 GB betreiben (Leitfaden 2026)

Laptops für KI-Entwickler: LLMs lokal unter Linux mit GPUs mit 16 GB und 24 GB betreiben (Leitfaden 2026)

Was auf eine RTX 5080 oder RTX 5090 Laptop GPU passt, die Speicherrechnung, die lohnenden offenen Modelle, die Einrichtung von Ubuntu 26.04 mit dem NVIDIA-Stack, Ollama, llama.cpp und vLLM, Coding-Assistenten, LoRA-Fine-Tuning, Sicherheit und wann Arbeit auf einen Server gehört

Weiterlesen
ML- und LLM-Systeme testen, deren Korrektheit sich nicht beweisen lässt: ein Python-Evidenz-Kit

ML- und LLM-Systeme testen, deren Korrektheit sich nicht beweisen lässt: ein Python-Evidenz-Kit

Evidenz statt Beweise, in etwa 400 Zeilen Python mit echter Ausgabe: Slice-Metriken mit Bootstrap-Intervallen und einem Pass/Fail-Vertrag, Property- und metamorphe Tests mit Hypothesis, Kalibrierung und Conformal Prediction, Pydantic-Verträge und Regressionsevaluierungen für LLM-Ausgaben, Drift-Prüfungen, ein CI-Gate und die exakte Verifikation eines kleinen neuronalen Netzes

Weiterlesen
TorchCurves in der Praxis: lernbare B-Spline- und Legendre-Kurven in PyTorch

TorchCurves in der Praxis: lernbare B-Spline- und Legendre-Kurven in PyTorch

torchcurves installieren, eine Kurve anpassen und dimensionieren, B-Spline oder Legendre und die Eingabeabbildung wählen, eine monotone Kalibrierungskurve und ein additives Modell auf tabellarischen Daten bauen, mit SciPy, scikit-learn, einem KAN und einem MLP vergleichen, Koeffizienten nach JSON exportieren, testen und in der Produktion betreiben, mit echten Ausgaben

Weiterlesen