NVIDIA Blackwell Ultra verbreekt records in MLPerf Inference v5.1 met ongeëvenaarde AI-prestaties

Dit artikel is gebaseerd op een persbericht van NVIDIA

Inference-prestaties zijn van cruciaal belang voor de efficiëntie en winstgevendheid van een AI-fabriek. Hoe sneller en krachtiger de infrastructuur, hoe meer tokens er gegenereerd kunnen worden tegen lagere kosten. Nog geen zes maanden na de introductie op GTC heeft NVIDIA met de GB300 NVL72 rack-scale system, aangedreven door de nieuwe Blackwell Ultra-architectuur, indrukwekkende resultaten neergezet in MLPerf Inference v5.1. Het systeem leverde tot 1,4 keer meer DeepSeek-R1 throughput dan de eerdere GB200 NVL72-systemen.

De Blackwell Ultra-architectuur bouwt voort op het succes van Blackwell met 1,5 keer meer NVFP4 AI compute, 2 keer snellere attention-layer acceleratie en tot 288 GB HBM3e-geheugen per GPU. Dankzij de combinatie van hardware-innovaties en software-optimalisaties, waaronder NVIDIA TensorRT Model Optimizer en de open-source TensorRT-LLM-bibliotheek, werden niet alleen records gevestigd op DeepSeek-R1, maar ook op benchmarks zoals Llama 3.1 405B Interactive, Llama 3.1 8B en Whisper.

Een belangrijke factor in deze vooruitgang is de techniek van disaggregated serving, waarbij de context- en generatieprocessen van grote taalmodellen worden gescheiden en onafhankelijk geoptimaliseerd. Dit leverde bij Llama 3.1 405B Interactive een bijna 50 procent hogere performance per GPU op.

Ook partners als Azure, Dell, HPE, Oracle en Supermicro behaalden sterke resultaten met Blackwell- en Hopper-gebaseerde systemen. Voor bedrijven betekent dit een lager TCO en hogere ROI bij de uitrol van geavanceerde AI-toepassingen, zowel in de cloud als on-premises.

Bronnen: NVIDIA

Meer Techtesters? Vragen over de producten die we bespreken? Je kan ons vinden op:
– Techtesters YouTube
– Nadalina op Twitter (Chef de Video)
– Foritain op Twitter (Test Chef)
– Techtesters op Instagram