Hopper · PCIe · 141 GB HBM3e
PCIe-Hopper-GPUs mit jeweils 141 GB HBM3e, in Zweier- oder Vierergruppen gebrückt: speicherstarke Inferenz, die sich in bestehende luftgekühlte Racks einfügt.
Manchmal ist die richtige KI-Factory diejenige, die Sie nächsten Monat in Ihren vorhandenen Racks installieren können. H200 NVL bringt den großen, schnellen HBM3e-Speicher von Hopper in Standard-PCIe-Server: 141 GB pro GPU mit 4,8 TB/s, auf einer luftgekühlten Dual-Slot-Karte mit bis zu 600 W.
Zwei oder vier Karten lassen sich mit NVLink-Brücken mit 900 GB/s pro GPU verbinden, sodass ein Modell, das größer als der Speicher einer Karte ist, auf eine gebrückte Gruppe verteilt werden kann. NVIDIA beziffert die LLM-Inferenzleistung von H200 NVL auf bis zum 1,7-Fachen von H100 NVL, und NVIDIA AI Enterprise ist im Lieferumfang der GPU enthalten.
Es ist auch eine sinnvolle Plattform, wenn Software auf Hopper validiert ist oder die Einrichtung die Leistungsdichte von Blackwell ausschließt. Beachten Sie, dass H200 NVL stark kontingentiert ist und die Lieferzeiten lang sind.
141 GB pro GPU fassen große Modelle und lange Kontexte, die auf Karten mit 48 GB oder 80 GB nicht passen würden.
NVLink-Brücken mit 900 GB/s pro GPU ermöglichen es einer Gruppe von Karten, ein Modell gemeinsam bereitzustellen, ohne über PCIe zu gehen.
NVIDIA-Certified- und MGX-Server mit bis zu acht H200 NVL GPUs, in normalen luftgekühlten Racks.
Ein NVIDIA AI Enterprise Abonnement ist im Lieferumfang der GPU enthalten, sodass NIM-Microservices und unterstützte Frameworks sofort einsatzbereit sind.
NVIDIAs veröffentlichte H200-NVL-Werte und ein typischer Server.
| GPU-Speicher | 141 GB HBM3e, 4.8 TB/s |
|---|---|
| FP8 Tensor Core | 3,341 TFLOPS (sparse) |
| FP16-/BF16-Tensor-Core | 1,671 TFLOPS (sparse) |
| FP64-Tensor-Core | 60 TFLOPS |
| Stromverbrauch | Up to 600 W (configurable) |
| Interconnect | 2- or 4-way NVLink bridge at 900 GB/s per GPU; PCIe Gen5 at 128 GB/s |
| Partitionierung | Up to 7 MIG instances of 16.5 GB |
| Server | Up to 8 GPUs per NVIDIA-Certified or MGX server |
Die Angaben sind die von NVIDIA veröffentlichten Spezifikationen der Plattform. Wo NVIDIA zwei Tensor-Core-Werte nennt, gilt der erste mit Sparsity, der zweite dicht. Der genaue Aufbau (CPUs, Arbeitsspeicher, Speicher, Kühlung, Netzwerk) wird mit Ihnen abgestimmt und in einem schriftlichen Angebot bestätigt.
Nach RTX PRO meist die am einfachsten zu betreibende Plattform.
| Stromverbrauch | Up to 600 W per GPU plus host; an 8-GPU server sits well below HGX power levels |
|---|---|
| Kühlung | Air cooled, dual-slot cards |
| Rack | Standard server racks |
Ein verantwortliches britisches Team von der Dimensionierung bis zum laufenden Betrieb
Wir prüfen, welche Modelle und Kontextlängen pro GPU und pro gebrückter Gruppe passen.
Brücken, Luftstrom und Stromversorgung, validiert in einem zertifizierten Server.
NIM, vLLM oder TensorRT-LLM, konfiguriert und mit Ihren Modellen gebenchmarkt.
Support in Großbritannien, mit NVIDIA AI Enterprise Support im Hintergrund.
NVIDIA-Rechenzentrums-GPUs werden von NVIDIA und den Serverherstellern zugeteilt, und die Lieferzeiten werden eher in Monaten als in Wochen gemessen. Komplette, getestete Systeme erhalten in der Regel früher eine Zuteilung als Einzelteile, daher bieten wir diese Plattformen als fertige Systeme an. Lieferungen außerhalb Großbritanniens und viele fortschrittliche GPUs auch im Inland erfordern eine Endverbleibs- und Verwendungsprüfung nach britischen und US-amerikanischen Exportvorschriften, bevor wir die Lieferung bestätigen können.
Trade-Mitglieder erhalten Zeit unserer Ingenieure für Beschaffungs- und Designfragen, frühen Zugriff auf Lagerbestände und Vorrang auf Wartelisten sowie kostenlosen technischen Support bei jeder Bestellung.
Bei Neubauten, in denen Sie Blackwell unterbringen können, meist nicht. Sinnvoll ist es, wenn Luftkühlung, Leistungsgrenzen oder ein auf Hopper validierter Software-Stack Blackwell ausschließen.
H200 NVL ist kontingentiert und die Lieferzeiten sind lang, derzeit länger als bei RTX PRO Karten. Wir bestätigen sie in einem schriftlichen Angebot nach Rücksprache mit den Lieferanten.
Sagen Sie uns, was sie produzieren soll, wie viele Menschen sie nutzen werden und wo sie stehen würde. Ein Ingenieur meldet sich mit einer dimensionierten Empfehlung und einer ehrlichen Einschätzung, ob sich Eigentum für Sie lohnt.