Diese Technote richtet sich an Ingenieure, die GPUs in Containern benötigen: Plattform- und MLOps-Teams, Kubernetes-Administratoren und alle, denen ein neuer GPU-Server übergeben wurde mit der Bitte, Docker darauf zum Laufen zu bringen. Sie behandelt, was der NVIDIA Container Toolkit leistet, wie man ihn auf Debian-, Ubuntu-, RHEL- und SUSE-Systemen installiert, wie man Docker, rootless Docker, containerd, nerdctl, CRI-O und Podman konfiguriert, wie man ihn testet und was schiefgehen kann. Die Befehle folgen der Installationsanleitung von NVIDIA für Toolkit-Version 1.20.1, das zum Zeitpunkt der Erstellung aktuelle Release. Die Erklärungen, Prüfungen, Fehlerbehebungen und Flottenhinweise stammen von uns, aus dem Bau und Support von GPU-Servern.
Inhalt
- Was der Toolkit leistet
- Bevor Sie beginnen
- Installation unter Ubuntu und Debian (apt)
- Installation unter RHEL, Rocky, Fedora und Amazon Linux (dnf)
- Installation unter openSUSE und SLES (zypper)
- Versionen fixieren und Upgrades planen
- Docker konfigurieren
- Rootless Docker konfigurieren
- containerd für Kubernetes konfigurieren
- nerdctl
- CRI-O konfigurieren
- Podman und das Container Device Interface (CDI)
- Die eigenen Einstellungen des Toolkits sicher ändern
- GPU-Zugriff in einem Container testen
- Fehlerbehebung
- Betrieb in einer ganzen Flotte
- Wie Workstation helfen kann
1. Was der Toolkit leistet
Ein Container-Image sollte keinen GPU-Treiber enthalten. Der Treiber ist an das Kernelmodul auf dem Host gebunden, und ein für eine Treiberversion gebautes Image würde mit der nächsten nicht mehr funktionieren. Der NVIDIA Container Toolkit löst das: Wenn ein Container eine GPU anfordert, findet der Toolkit die Treiberbibliotheken, Geräteknoten und Hilfsprogramme des Hosts, etwa nvidia-smi, und bindet sie unmittelbar vor dem Start in den Container ein. Das Image benötigt nur die CUDA-User-Space-Bibliotheken, mit denen die Anwendung gebaut wurde.
Der Toolkit ist ein kleiner Satz von Paketen, die zusammenarbeiten:
| Paket oder Tool | Was es leistet |
|---|---|
libnvidia-container1 und libnvidia-container-tools | Die Bibliothek und das CLI, die die Treiberkomponenten auf dem Host finden und im Container einrichten. |
nvidia-container-toolkit-base | Die nvidia-container-runtime, ein schlanker Wrapper um runc (oder crun), der die GPU-Einrichtung zur Container-Spezifikation hinzufügt, sowie der Befehl nvidia-ctk. |
nvidia-container-toolkit | Der Hook, den Container-Engines beim Start eines Containers aufrufen, plus alles oben Genannte als Abhängigkeiten. |
nvidia-ctk | Der Befehl, mit dem Sie Container-Engines konfigurieren, die Einstellungen des Toolkits bearbeiten und CDI-Spezifikationen erzeugen. |
Sie benötigen den CUDA Toolkit auf dem Host nicht. Der Host benötigt den NVIDIA-Treiber; die CUDA-Version steckt im Container-Image. Die einzige Regel lautet, dass der Host-Treiber neu genug für die CUDA-Version im Image sein muss. Ein neuerer Treiber führt Images aus, die für ältere CUDA-Versionen gebaut wurden.
2. Bevor Sie beginnen
- Eine unterstützte Distribution. NVIDIA veröffentlicht die Liste der unterstützten Plattformen. In der Praxis: aktuelle Ubuntu-LTS- und Debian-Releases, RHEL und seine Nachbauten (Rocky, AlmaLinux), Fedora, Amazon Linux, openSUSE und SLES, auf x86_64 oder arm64.
- Ein funktionierender NVIDIA-Treiber. Installieren Sie ihn, wie von NVIDIA empfohlen, über den Paketmanager Ihrer Distribution oder mit dem
.run-Installer von NVIDIA. Prüfen Sie ihn, bevor Sie weitermachen:
Wenn hier Ihre GPUs nicht aufgeführt werden, halten Sie an und beheben Sie zuerst das Treiberproblem. Ohne Treiber kann der Toolkit nicht funktionieren. Auf Servern mit Secure Boot muss das Kernelmodul signiert sein, sonst wird der Treiber zwar installiert, aber nicht geladen.$ nvidia-smi - Eine Container-Engine für die Konfigurationsschritte: Docker, containerd, CRI-O oder Podman. Sie können zuerst den Toolkit und danach die Engine installieren.
- Root- oder sudo-Zugriff und ausgehendes HTTPS zu
nvidia.github.iooder, an Air-Gapped-Standorten, ein lokaler Spiegel des NVIDIA-Repositorys.
Ein bekanntes Problem, das Sie einplanen sollten. Auf Hosts, deren Container-Engine den cgroup-Treiber systemd nutzt, kann das Ausführen von systemctl daemon-reload dazu führen, dass laufende Container den Zugriff auf ihre GPUs verlieren. Sie melden dann Failed to initialize NVML: Unknown Error. Paket-Upgrades lösen häufig einen Daemon-Reload aus, daher tritt das Problem oft erst Tage nach der Installation auf. Die Fehlerbehebungsanleitung von NVIDIA behandelt es; die üblichen Lösungen sind, CDI zu verwenden (Abschnitt 12) oder die /dev/char-Symlinks anzulegen, die die Treibergeräte benötigen:
$ sudo nvidia-ctk system create-dev-char-symlinks --create-all
3. Installation unter Ubuntu und Debian (apt)
Diese Schritte funktionieren auf den meisten von Debian abgeleiteten Distributionen.
Schritt 1: die für die Repository-Einrichtung benötigten Tools installieren.
$ sudo apt-get update && sudo apt-get install -y --no-install-recommends \
ca-certificates curl gnupg2
Schritt 2: den Signaturschlüssel von NVIDIA und das Produktions-Repository hinzufügen. Der Schlüssel kommt in einen eigenen Keyring, und das Repository wird mit signed-by darauf beschränkt, sodass dieser Schlüssel keine Pakete aus anderen Repositorys signieren kann.
$ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \
| sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list \
| sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' \
| sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
NVIDIA veröffentlicht außerdem einen experimentellen Kanal. Lassen Sie ihn auf Produktivmaschinen deaktiviert; um ihn zum Testen zu aktivieren, entfernen Sie das Kommentarzeichen:
$ sudo sed -i -e '/experimental/ s/^#//g' /etc/apt/sources.list.d/nvidia-container-toolkit.list
Schritt 3: die Paketlisten aktualisieren.
$ sudo apt-get update
Schritt 4: die vier Pakete in einer einheitlichen Version installieren. Durch die Angabe der Version bleiben alle Hosts einer Flotte identisch, und die vier Pakete bleiben untereinander im Gleichschritt.
$ export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
$ sudo apt-get install -y \
nvidia-container-toolkit=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools=${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1=${NVIDIA_CONTAINER_TOOLKIT_VERSION}
Prüfen Sie, was Sie installiert haben:
$ nvidia-ctk --version
4. Installation unter RHEL, Rocky, Fedora und Amazon Linux (dnf)
Diese Schritte funktionieren auf den meisten RPM-basierten Distributionen, die dnf verwenden.
Schritt 1: sicherstellen, dass curl vorhanden ist.
$ sudo dnf install -y curl
Schritt 2: das Produktions-Repository hinzufügen.
$ curl -s -L https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo \
| sudo tee /etc/yum.repos.d/nvidia-container-toolkit.repo
Um experimentelle Pakete auf einer Testmaschine auszuprobieren:
$ sudo dnf config-manager --enable nvidia-container-toolkit-experimental
Schritt 3: die Pakete in einer einheitlichen Version installieren. Beachten Sie, dass dnf Name und Version mit einem Bindestrich verbindet, nicht mit einem Gleichheitszeichen.
$ export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
$ sudo dnf install -y \
nvidia-container-toolkit-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1-${NVIDIA_CONTAINER_TOOLKIT_VERSION}
dnf fordert Sie beim ersten Mal auf, den Signaturschlüssel von NVIDIA zu akzeptieren. Prüfen Sie den Fingerabdruck anhand des von NVIDIA veröffentlichten Schlüssels, bevor Sie ihn akzeptieren.
5. Installation unter openSUSE und SLES (zypper)
Schritt 1: das Produktions-Repository hinzufügen.
$ sudo zypper ar https://nvidia.github.io/libnvidia-container/stable/rpm/nvidia-container-toolkit.repo
Um experimentelle Pakete auszuprobieren:
$ sudo zypper modifyrepo --enable nvidia-container-toolkit-experimental
Schritt 2: die Pakete in einer einheitlichen Version installieren.
$ export NVIDIA_CONTAINER_TOOLKIT_VERSION=1.20.1-1
$ sudo zypper --gpg-auto-import-keys install -y \
nvidia-container-toolkit-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
nvidia-container-toolkit-base-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container-tools-${NVIDIA_CONTAINER_TOOLKIT_VERSION} \
libnvidia-container1-${NVIDIA_CONTAINER_TOOLKIT_VERSION}
--gpg-auto-import-keys vertraut dem Schlüssel des Repositorys ohne Rückfrage. Das passt zur Automatisierung; auf einem einzelnen Server möchten Sie den Schlüssel vielleicht lieber zuerst von Hand importieren und prüfen.
6. Versionen fixieren und Upgrades planen
Ein unbeaufsichtigtes Upgrade, das den Toolkit verändert oder den Treiber ohne den Toolkit aktualisiert, ist eine häufige Ursache dafür, dass GPU-Container über Nacht ausfallen. Halten Sie die Pakete fest und aktualisieren Sie sie bewusst:
| Distribution | Toolkit-Pakete festhalten |
|---|---|
| Ubuntu, Debian | sudo apt-mark hold nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1 |
| RHEL-Familie, Fedora | sudo dnf versionlock add nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1 (benötigt das versionlock-Plugin) |
| openSUSE, SLES | sudo zypper addlock nvidia-container-toolkit nvidia-container-toolkit-base libnvidia-container-tools libnvidia-container1 |
Wenn Sie aktualisieren, aktualisieren Sie alle vier Pakete gemeinsam, zuerst auf einem Testhost, und folgen Sie dann der Reihenfolge in Abschnitt 16.
7. Docker konfigurieren
Schritt 1: die NVIDIA-Runtime bei Docker registrieren.
$ sudo nvidia-ctk runtime configure --runtime=docker
Dies bearbeitet /etc/docker/daemon.json und fügt eine nvidia-Runtime hinzu. Vorhandene Einstellungen in der Datei bleiben erhalten. Das Ergebnis sieht so aus:
{
"runtimes": {
"nvidia": {
"args": [],
"path": "nvidia-container-runtime"
}
}
}
Schritt 2: Docker neu starten.
$ sudo systemctl restart docker
Ein Neustart von Docker beendet laufende Container, sofern Live Restore nicht aktiviert ist; führen Sie ihn auf einem ausgelasteten Host daher in einem Wartungsfenster durch. Wenn Sie daemon.json mit Konfigurationsmanagement verwalten, fügen Sie die Runtime stattdessen dort hinzu, sonst entfernt Ihr Tool sie beim nächsten Lauf wieder.
Das Flag --gpus von Docker funktioniert, sobald die Runtime registriert ist. Wenn jeder Container standardmäßig die NVIDIA-Runtime verwenden soll, zum Beispiel auf einem dedizierten GPU-Host, ergänzen Sie den configure-Befehl um --set-as-default.
8. Rootless Docker konfigurieren
Rootless Docker führt den Daemon als gewöhnlicher Benutzer aus, mit einer eigenen Konfigurationsdatei. Drei Schritte:
Schritt 1: die Runtime in der Docker-Konfiguration des Benutzers registrieren (ohne sudo):
$ nvidia-ctk runtime configure --runtime=docker --config=$HOME/.config/docker/daemon.json
Schritt 2: den Docker-Daemon des Benutzers neu starten.
$ systemctl --user restart docker
Schritt 3: dem Toolkit mitteilen, dass er keine cgroups verwalten soll, was einem rootless Daemon nicht erlaubt ist. Das ist eine hostweite Einstellung und benötigt daher sudo:
$ sudo nvidia-ctk config --set nvidia-container-cli.no-cgroups --in-place
Diese Einstellung betrifft jede Engine auf dem Host. Wenden Sie sie nicht auf einem Host an, der zusätzlich rootful Container betreibt, die für die cgroup-Einrichtung auf den Toolkit angewiesen sind.
9. containerd für Kubernetes konfigurieren
Schritt 1: die Runtime bei containerd registrieren.
$ sudo nvidia-ctk runtime configure --runtime=containerd
Standardmäßig schreibt dies eine Drop-in-Datei, /etc/containerd/conf.d/99-nvidia.toml, und fügt sie der imports-Liste in /etc/containerd/config.toml hinzu, wobei diese Datei angelegt wird, falls sie nicht existiert. Wenn die NVIDIA-Einstellungen in einem Drop-in liegen, bleibt Ihre eigene config.toml lesbar, und die Änderung lässt sich leicht wieder entfernen.
Schritt 2: containerd neu starten.
$ sudo systemctl restart containerd
Danach muss Kubernetes von den GPUs erfahren. Die meisten Cluster nutzen den NVIDIA GPU Operator, der den Toolkit und das Device-Plugin für Sie installieren kann, oder das NVIDIA-Device-Plugin allein. Pods wählen die Runtime über eine RuntimeClass namens nvidia oder nutzen sie standardmäßig, wenn Sie sie als Standard-Runtime von containerd festlegen. Wenn Sie den GPU Operator mit seinem integrierten Toolkit verwenden, installieren Sie den Toolkit nicht zusätzlich von Hand auf den Knoten, sonst streiten sich beide um dieselbe Konfiguration.
Distributionen, die ihr eigenes containerd mitbringen, etwa k3s und RKE2, legen dessen Konfiguration an einem anderen Ort ab und erkennen die NVIDIA-Runtime oft automatisch. Folgen Sie deren GPU-Dokumentation, statt /etc/containerd zu bearbeiten.
10. nerdctl
nerdctl, die Docker-artige Kommandozeile für containerd, benötigt keine Konfiguration. Sobald der Toolkit installiert ist, funktioniert nerdctl run --gpus=all mit oder ohne Root. Für nerdctl allein benötigen Sie die containerd-Konfiguration aus Abschnitt 9 nicht.
11. CRI-O konfigurieren
Schritt 1: die Runtime bei CRI-O registrieren.
$ sudo nvidia-ctk runtime configure --runtime=crio
Dies schreibt eine Drop-in-Datei, /etc/crio/conf.d/99-nvidia.toml, damit CRI-O die NVIDIA-Runtime verwenden kann.
Schritt 2: CRI-O neu starten.
$ sudo systemctl restart crio
12. Podman und das Container Device Interface (CDI)
Für Podman empfiehlt NVIDIA das Container Device Interface. CDI ist eine offene Spezifikation: Eine YAML-Datei beschreibt jedes Gerät und alles, was ein Container benötigt, um es zu nutzen, und jede Engine mit CDI-Unterstützung liest diese Datei. Nichts muss sich beim Start in die Engine einklinken.
Schritt 1: die CDI-Spezifikation für die GPUs in diesem Host erzeugen:
$ sudo nvidia-ctk cdi generate --output=/etc/cdi/nvidia.yaml
Schritt 2: die erzeugten Gerätenamen prüfen:
$ nvidia-ctk cdi list
nvidia.com/gpu=0
nvidia.com/gpu=1
nvidia.com/gpu=all
...
Schritt 3: einen Container mit einer GPU ausführen.
$ podman run --rm --device nvidia.com/gpu=all --security-opt=label=disable \
ubuntu nvidia-smi -L
--security-opt=label=disable ist auf SELinux-Systemen wie RHEL erforderlich, wo das Standardlabel den Container daran hindert, die Gerätedateien zu lesen.
Die Spezifikation hält die Treiberversion und die Dateipfade zum Zeitpunkt ihrer Erzeugung fest. Erzeugen Sie sie nach jedem Treiber-Upgrade neu sowie nach dem Hinzufügen oder Entfernen von GPUs oder dem Ändern von MIG-Partitionen. Neuere Toolkit-Releases können dies über eine systemd-Unit automatisch erledigen; prüfen Sie, ob Ihre Version das enthält, bevor Sie sich darauf verlassen. Docker und containerd können ebenfalls CDI verwenden, und es vermeidet das in Abschnitt 2 beschriebene cgroup-Problem.
13. Die eigenen Einstellungen des Toolkits sicher ändern
Der Toolkit speichert seine Einstellungen in /etc/nvidia-container-runtime/config.toml. Bearbeiten Sie sie mit nvidia-ctk config statt von Hand. Ohne --in-place oder --output gibt der Befehl nur das Ergebnis aus, was Ihnen eine sichere Vorschau liefert.
Eine Änderung in der Vorschau ansehen:
$ sudo nvidia-ctk config --set nvidia-container-runtime.log-level=debug
Sie anwenden, sobald Sie mit der Ausgabe zufrieden sind:
$ sudo nvidia-ctk config --in-place --set nvidia-container-runtime.log-level=debug
Setzen Sie mehrere Werte auf einmal, indem Sie --set wiederholen. Dies aktiviert das Debug-Logging und schreibt es in eine Datei:
$ sudo nvidia-ctk config --in-place \
--set nvidia-container-runtime.log-level=debug \
--set nvidia-container-runtime.debug=/var/log/nvidia-container-runtime.log
Bei einer Listeneinstellung trennen Sie die Einträge mit Doppelpunkten. Dies macht crun zur ersten Low-Level-Runtime, die versucht wird, mit runc als Rückfalloption:
$ sudo nvidia-ctk config --in-place --set nvidia-container-runtime.runtimes=crun:runc
Einstellungen, die Sie nicht nennen, bleiben erhalten. Wird derselbe Schlüssel zweimal angegeben, gilt der letzte Wert. Schalten Sie das Debug-Logging wieder aus, wenn Sie fertig sind: Das Log wächst auf einem ausgelasteten Host schnell.
14. GPU-Zugriff in einem Container testen
Führen Sie nvidia-smi in einem einfachen Ubuntu-Container aus. Das Image enthält keine NVIDIA-Software; der Toolkit bindet das Hilfsprogramm ein.
$ docker run --rm --gpus all ubuntu nvidia-smi
Sie sollten dieselbe GPU-Tabelle wie auf dem Host sehen. Prüfen Sie dann die Fälle, die Sie im Produktivbetrieb nutzen werden:
| Was zu prüfen ist | Befehl |
|---|---|
| Alle GPUs | docker run --rm --gpus all ubuntu nvidia-smi -L |
| Bestimmte GPUs nach Index | docker run --rm --gpus '"device=0,1"' ubuntu nvidia-smi -L |
| Eine Anzahl von GPUs | docker run --rm --gpus 2 ubuntu nvidia-smi -L |
| Direkt über die Runtime | docker run --rm --runtime=nvidia -e NVIDIA_VISIBLE_DEVICES=all ubuntu nvidia-smi |
| Über CDI | docker run --rm --device nvidia.com/gpu=all ubuntu nvidia-smi |
| Eine echte CUDA-Workload | Führen Sie ein CUDA-Beispiel oder die GPU-Prüfung Ihres Frameworks (zum Beispiel torch.cuda.is_available()) in dem Image aus, das Sie tatsächlich bereitstellen werden. |
Beachten Sie die Anführungszeichen im zweiten Beispiel: Die Geräteliste benötigt beide Sätze von Anführungszeichen, sonst teilt Docker sie am Komma.
Container erhalten standardmäßig einen eingeschränkten Satz von Treiberfunktionen: compute und utility. Grafik, Video-Encoding und -Decoding sowie Display benötigen mehr. Legen Sie sie mit der Umgebungsvariable NVIDIA_DRIVER_CAPABILITIES fest, zum Beispiel -e NVIDIA_DRIVER_CAPABILITIES=compute,utility,video für einen Transcoding-Container.
15. Fehlerbehebung
| Symptom | Wahrscheinliche Ursache | Lösung |
|---|---|---|
could not select device driver "" with capabilities: [[gpu]] | Docker kennt die NVIDIA-Runtime nicht. | Führen Sie nvidia-ctk runtime configure --runtime=docker aus und starten Sie Docker neu. Prüfen Sie, ob das Konfigurationsmanagement daemon.json überschrieben hat. |
Failed to initialize NVML: Unknown Error in einem Container, der früher funktioniert hat | Das systemd-cgroup-Problem nach systemctl daemon-reload. | Starten Sie den Container neu. Damit es nicht erneut auftritt, verwenden Sie CDI oder legen Sie die /dev/char-Symlinks an (Abschnitt 2). |
Failed to initialize NVML: Driver/library version mismatch auf dem Host | Das Treiberpaket wurde aktualisiert, aber das alte Kernelmodul ist noch geladen. | Starten Sie neu, oder entladen und laden Sie das Modul in einem Wartungsfenster neu. |
nvidia-smi funktioniert auf dem Host, aber nicht im Container | Der Container wurde ohne GPU-Anforderung gestartet, oder die Capabilities schließen utility aus. | Ergänzen Sie --gpus oder ein CDI-Gerät und prüfen Sie NVIDIA_DRIVER_CAPABILITIES. |
| CUDA-Fehler mit dem Hinweis, der Treiber sei zu alt | Die CUDA-Version des Images benötigt einen neueren Treiber, als der Host hat. | Aktualisieren Sie den Host-Treiber oder verwenden Sie ein Image, das für eine ältere CUDA-Version gebaut wurde. |
| CDI-Gerät nach einem Treiber-Upgrade nicht gefunden | Die CDI-Spezifikation beschreibt den alten Treiber. | Erzeugen Sie sie mit nvidia-ctk cdi generate neu. |
Permission denied auf /dev/nvidia* mit Podman | SELinux-Labeling. | Ergänzen Sie --security-opt=label=disable oder verwenden Sie eine Richtlinie, die die Geräte zulässt. |
| Fehler vom Hook bei rootless Docker | Der Toolkit versucht, cgroups zu verwalten. | Setzen Sie nvidia-container-cli.no-cgroups (Abschnitt 8). |
In allen anderen Fällen aktivieren Sie das Debug-Logging (Abschnitt 13), reproduzieren den Fehler und lesen das Log. Es verzeichnet jede Datei und jedes Gerät, die der Toolkit einzubinden versucht hat.
16. Betrieb in einer ganzen Flotte
- Automatisieren Sie es. Legen Sie Repository, fixierte Pakete, Engine-Konfiguration und CDI-Erzeugung in Ansible, Salt oder Ihrem Image-Build ab, nicht in einem Runbook, das jemand von Hand abtippt.
- Aktualisieren Sie in Ringen. Aktualisieren Sie Treiber und Toolkit auf einem Testhost, führen Sie Ihre echten Workloads und die Prüfungen aus Abschnitt 14 aus, gehen Sie dann zu einer kleinen Gruppe von Produktivhosts über und danach zum Rest. Unser eigener Ring Promoter arbeitet bei Software-Releases genauso.
- Trennen Sie Treiber- und Toolkit-Änderungen. Ändern Sie jeweils nur eines, damit Sie wissen, welche Änderung ein Problem verursacht hat.
- Erzeugen Sie CDI-Spezifikationen neu, als Teil jedes Treiber-Upgrades.
- Spiegeln Sie das Repository für Air-Gapped- oder regulierte Standorte, und signieren Sie das Gespiegelte oder versehen Sie es mit Prüfsummen.
- Überwachen Sie die GPUs, nicht nur die Container. NVIDIA DCGM und sein Prometheus-Exporter zeigen GPU-Zustand, Fehler und Nutzung, sodass Sie eine ausfallende GPU von einem defekten Container unterscheiden können.
- Erfassen Sie Versionen. Halten Sie Treiber-, Toolkit-, CUDA-Image- und Engine-Versionen für jeden Host in Ihrem Inventar fest. Das ist das Erste, wonach jemand fragt, wenn etwas kaputtgeht.
17. Wie Workstation helfen kann
Jeder KI-Server und jede Workstation, die wir bauen, wird mit installiertem, konfiguriertem und getestetem NVIDIA-Treiber, Container Toolkit und Container-Engine ausgeliefert, mit fixierten und dokumentierten Versionen. Außerdem können wir:
- Kubernetes mit dem GPU Operator auf Ihren Servern einrichten, mit Upgrades, die in Ringen ausgerollt werden;
- die Ansible- oder Image-Pipeline aufbauen, die eine GPU-Flotte konsistent hält;
- geleaste GPU-Kapazität finden, falls Sie die Hardware lieber nicht besitzen möchten (siehe GPU Leasing);
- die Plattform anschließend betreuen, einschließlich Treiber- und Toolkit-Upgrades.
Sehen Sie sich unsere KI-Workstations und GPU-Cluster an, oder kontaktieren Sie uns, um mit einem Ingenieur zu sprechen.
Quellen
- NVIDIA, Installing the NVIDIA Container Toolkit, Toolkit-Version 1.20.1. Die Installations- und Konfigurationsbefehle folgen dieser Anleitung.
- NVIDIA, Dokumentation zum Container Toolkit zu unterstützten Plattformen, CDI-Unterstützung und Fehlerbehebung.
NVIDIA, CUDA und DGX sind Marken und/oder eingetragene Marken der NVIDIA Corporation in den USA und anderen Ländern. Docker, Kubernetes, Podman und andere Namen sind Marken ihrer jeweiligen Inhaber.