Nový král. Proč GPU NVIDIA RTX PRO 6000 poráží H100 NVL v LLM GPT až o +58 %

Když do hry vstoupí nový hráč, často přepíše pravidla. Přesně to dělá RTX PRO 6000 Blackwell, která v testech s velkými jazykovými modely (LLM) ukazuje, že ani datacentrový obr NVIDIA H100 NVL už nemusí být nepřekonatelný. Model gpt-oss 120B od provozovatele ChatGPT s nároky na 96 GB VRAM konečně našel grafiku, která ho zvládne udržet v jednom kuse – bez kompromisů a bez nutnosti drahé infrastruktury.

Rychlost inference

Rychlost inference je pro praktické použití LLM zásadní. Měří se schopností GPU rychle zpracovat vstupní prompt a generovat výstup.

Ve zpracování promptu, důležitém například pro RAG (retrieval-augmented generation), dosahuje H100 průměrně 575,5 tokenů za sekundu. PRO 6000 ale překvapivě vede s 776,2 tokenů/s. To představuje o 35 % rychlejší zpracování vstupu. V obou případech testy kolíšou ± 10%.

Při samotném generování výstupu je rozdíl ještě výraznější. PRO 6000 vykazuje 108,9 ± 4,3 tokenů/s, zatímco H100 dosahuje 68,75 ± 1,64 tokenů/s, tedy o 58 % rychlejší tvorbu výstupu. I když směrodatné odchylky byly spočítány spíše ilustrativně, výsledky jasně ukazují, že PRO 6000 výrazně urychlí práci s promptem i generováním textu.

Testy byly provedeny s modelem gpt‑oss: 120B (f7f8e2f8f4e0) z knihovny Ollama, v prostředí OpenWebUI v0.6.18 a verzí Ollama 0.11.2. Instance byly uzavřeny po měření, takže výsledky odráží výkon jednotlivého GPU v reálném scénáři, bez dalšího paralelního zatížení.

Cena a provoz

Pořizovací cena a provozní náklady hrají při výběru GPU pro LLM velkou roli, a právě zde PRO 6000 získává výhodu. H100 NVL stojí zhruba jeden milion Kč. To z ní činí investici vhodnou spíše pro velká datacentra. 

Naproti tomu RTX PRO 6000 Blackwell vychází na cca 250 tisíc Kč, tedy je 4× levnější, a navíc ji lze pronajmout – například na zonercloud.cz za 14 990 Kč měsíčně. Tím pádem i menší týmy mohou využívat špičkový výkon bez nutnosti velké počáteční investice.

Po stránce provozu má PRO 6000 spotřebu až 600 W, zatímco H100 NVL dosahuje 350‑400 W. Díky tomu, že PRO 6000 pojme celý model lokálně, není nutné pořizovat drahé multi-GPU clustery ani řešit složité síťové propojení. To dále snižuje náklady.

Technické parametry PRO 6000 Blackwell

Díky těmto parametrům dokáže PRO 6000 držet celý model gpt‑oss 120B v jednom GPU, aniž by bylo nutné jej rozdělovat nebo swapovat paměť.

Srovnání H100 vs PRO 6000

H100 má výhodu ve surovém výkonu a efektivitě na watt, ale PRO 6000 vyhrává praktickým aspektem – celý model pojme v jednom GPU, bez nutnosti složitého dělení nebo datacentrové infrastruktury.

Verdikt

RTX PRO 6000 Blackwell se tedy stává novým lídrem pro provoz velkých LLM modelů. Díky 96 GB VRAM dokáže držet celý model kompletně v jednom GPU. To výrazně zjednodušuje nasazení a práci s obrovskými modely.

Rychlost zpracování promptu i generování výstupu je u PRO 6000 výrazně vyšší než u H100 NVL, což se při reálném použití okamžitě projeví v rychlejších odezvách a efektivnější práci.

Další předností je nižší pořizovací cena a možnost pronájmu. To zajišťuje dostupnost i menším týmům nebo jednotlivcům. H100 NVL zůstává vhodná pro extrémně paralelní datová centra a aplikace vyžadující maximální propustnost, ale pro většinu praktických scénářů se PRO 6000 stává jasnou volbou – a navíc za cenu, která není nedosažitelná.

Pokud hledáte praktické řešení pro provoz velkých LLM modelů, vyzkoušejte PRO 6000 přes ZonerCloud. Kromě pohodlného pronájmu získáte rychlý přístup k výkonu přímo z ČR, což minimalizuje latenci a umožňuje rychlejší odezvy. 

Pronájem navíc eliminuje vysoké pořizovací náklady a složitou infrastrukturu – nepotřebujete vlastní serverovnu ani multi-GPU clustery. Pro menší týmy nebo jednotlivce jde o cenově dostupný a flexibilní způsob, jak využívat špičkový hardware s minimální administrativní zátěží.