vram-local-llm-part-2-pro-and-datacenter.md

Infrastruktura AI

Ile VRAM do lokalnego LLM? Część 2: RTX PRO 6000, B300 i klaster 8×B300

Druga część przewodnika po GPU NVIDIA dla lokalnych modeli językowych: które otwarte modele (Llama, Qwen, gpt-oss, GLM, Mistral, DeepSeek, Kimi) realnie zmieszczą się na RTX PRO 6000 Blackwell 96 GB, jednym B300 i węźle 8×B300, gdzie zaczyna się NVLink, ile pamięci wymaga fine-tuning i ile trwałby trening od zera.

Autor: Tomek Kupidura14 września 202615 min czytania

Spis treści

W skrócie

96 GB (RTX PRO 6000 Blackwell) to próg firmowego RAG i agentów: modele 30B dla dziesiątek użytkowników, ~70B w FP8 dla kilku osób, MoE 100-120B na jednej karcie.
Jeden B300 (288 GB HBM3E, 8 TB/s) ma 3 razy więcej pamięci i 4,5 raza większą przepustowość niż RTX PRO 6000. Obsłuży ~70B dla wielu użytkowników albo MoE ~235B w FP4.
Otwarte modele klasy frontier (0,7-2,8 biliona parametrów) mieszczą się w całości dopiero na węźle 8×B300 (2,1 TB) albo na kilku węzłach.
Karty RTX PRO łączy tylko PCIe, a GPU B300 w węźle HGX/DGX łączy NVLink 5 (1,8 TB/s na GPU), ok. 14 razy szybszy niż PCIe 5.0 x16.
Jeden węzeł 8×B300 wytrenuje od zera mały model i dotrenuje duży, ale trening modelu konkurującego z czołówką to praca dla klastrów z tysiącami GPU.

To druga część serii. W Części 1 liczymy pamięć wag i cache KV krok po kroku i opisujemy karty od RTX 5060 Ti do RTX PRO 4000.

Szybka odpowiedź

96 GB (RTX PRO 6000 Blackwell) to próg firmowego RAG i backendu agentów: modele 30B dla dziesiątek użytkowników, ~70B dla kilku, MoE 100-120B. Jeden B300 (288 GB HBM3E, 8 TB/s) obsłuży ~70B dla wielu użytkowników albo MoE klasy 235B w FP4. Otwarte modele klasy frontier, od 0,7 do 2,8 biliona parametrów, wymagają węzła 8×B300 (2,1 TB) albo kilku węzłów. Taki węzeł wytrenuje od zera mały model i dotrenuje duży, ale trening od zera modelu na poziomie czołówki to zadanie dla klastrów z tysiącami GPU.

Co zmieści się na którym GPU?

Tabela pokazuje stan na 14 września 2026 r. „Realnie” oznacza: wagi plus cache KV na sensowny kontekst, z ok. 10% zapasu.

Poziom	VRAM	Przepustowość pamięci	Co realnie się mieści	Typowe zastosowanie
RTX PRO 6000 Blackwell	96 GB GDDR7 z ECC	1792 GB/s (Server Edition: 1597 GB/s)	24-32B w FP8 z dużym zapasem, ~70B w FP8 lub FP4, MoE 100-120B (gpt-oss-120b, Mistral Small 4 w NVFP4)	RAG i agenci dla firmy, dziesiątki użytkowników na modelu 30B, QLoRA modeli 70B
B300 (jeden GPU)	288 GB HBM3E	8 TB/s	~70B w BF16 lub FP8, MoE ~235B w FP4, DeepSeek-V4-Flash	serwowanie modeli wielu użytkownikom, pełny fine-tuning modeli ~8B
8×B300 (HGX/DGX B300)	2,1 TB HBM3E łącznie	8 × 8 TB/s, NVLink 1,8 TB/s na GPU	otwarte MoE 0,7-1,6 bln parametrów w FP8 lub FP4, 2,4-2,8 bln tylko w FP4	modele klasy frontier w produkcji, pełny fine-tuning do ~70B, trening od zera małych modeli

W pimento uruchamiamy modele na NVIDIA Blackwell, ale ten tekst nie opisuje naszej konfiguracji. To ogólny przewodnik po rynku, oparty na specyfikacjach NVIDIA i kartach modeli na Hugging Face.

Metoda w skrócie

Pełne obliczenia z przykładem z config.json są w Części 1, w sekcji o liczeniu pamięci. Tutaj tylko reguły, których używamy niżej:

Wagi ≈ parametry × bajty na parametr: BF16 2 bajty, FP8 1 bajt, FP4 ok. 0,6 bajta (z rzeczywistych rozmiarów plików NVFP4 i MXFP4).
Cache KV na token = 2 × warstwy × głowy KV × wymiar głowy × bajty. Dla Llama 3.3 70B to ok. 0,33 MB na token w BF16, czyli ok. 10,7 GB na 32 tys. tokenów. Cache w FP8 zajmuje połowę.
Pamięć użyteczna ≈ 90% VRAM, a pamięć na cache to pamięć użyteczna minus wagi.
MoE: pamięć liczysz od wszystkich parametrów, szybkość od aktywnych.
Szybkość: sufit tokenów na sekundę dla jednej rozmowy ≈ przepustowość pamięci ÷ bajty aktywnych wag. Llama 3.3 70B w FP8 (~71 GB) ma sufit ~25 tokenów/s na RTX PRO 6000 i ~113 tokenów/s na B300.

Jakie parametry mają te GPU?

Wszystkie dane pochodzą ze stron produktowych, kart katalogowych i whitepaperów NVIDIA. Nie podajemy cen: strony NVIDIA ich nie podają, a ceny zmieniają się co tydzień.

GPU	VRAM	Przepustowość	FP4 / FP8	Połączenie między GPU	Forma i moc
RTX PRO 6000 Blackwell Workstation Edition	96 GB GDDR7 z ECC, 512 bit	1792 GB/s	tak / tak, 4000 AI TOPS	PCIe 5.0, NVIDIA nie wymienia NVLink	dwa gniazda, 600 W
RTX PRO 6000 Blackwell Max-Q	96 GB GDDR7 z ECC, 512 bit	1792 GB/s	tak / tak, 3511 AI TOPS	PCIe 5.0 x16, do 4 kart w stacji roboczej	dwa gniazda, 300 W
RTX PRO 6000 Blackwell Server Edition	96 GB GDDR7 z ECC, 512 bit	1597 GB/s	4 PFLOPS FP4, 2 PFLOPS FP8	PCIe 5.0, NVIDIA nie wymienia NVLink	serwer, chłodzenie pasywne lub cieczą, do 600 W (konfigurowalne)
B300 (Blackwell Ultra)	288 GB HBM3E	8 TB/s	15 PFLOPS FP4 (NVFP4, gęste), 5 PFLOPS FP8 (gęste)	NVLink 5: 1,8 TB/s na GPU; host: PCIe 6.0 x16	moduł SXM w płycie HGX, do 1400 W
HGX/DGX B300 (8 GPU)	2,1 TB HBM3E łącznie	8 × 8 TB/s (nasze wyliczenie, NVIDIA nie podaje sumy)	108 PFLOPS FP4 gęste, 72 PFLOPS FP8 z rzadkością	NVLink 5 przez przełączniki, 14,4 TB/s łącznie	DGX B300: 10U, ok. 14 kW

Kilka uwag do tabeli:

„AI TOPS” kart RTX PRO to FP4 z rzadkością (sparsity), czyli wartość teoretyczna. Whitepaper RTX Blackwell potwierdza obsługę FP8 i FP4 w rdzeniach Tensor kart konsumenckich i profesjonalnych.
Pamięć B300. Blog techniczny NVIDIA podaje 288 GB HBM3E na GPU, a strony HGX i DGX B300 podają 2,1 TB na 8 GPU, czyli ok. 262 GB na GPU. NVIDIA nie wyjaśnia tej różnicy. W obliczeniach dla jednego B300 używamy 288 GB, a dla węzła 2,1 TB.
Moc obliczeniowa B300. Blog podaje 15 PFLOPS FP4 (gęste) na GPU, a strona HGX 108 PFLOPS FP4 (gęste) na 8 GPU, czyli 13,5 na GPU. Tej różnicy NVIDIA też nie wyjaśnia.
B300 nie jest kartą do włożenia w PC. To moduł SXM sprzedawany w systemach HGX/DGX (8 GPU) albo w szafach GB300 NVL72. Poziom „jeden B300” w tym tekście oznacza jeden GPU z takiego systemu, np. wynajęty w chmurze.

RTX PRO 6000 Blackwell 96 GB: dlaczego to próg dla firmy?

96 GB z ECC i 1792 GB/s (Server Edition 1597 GB/s). Trzy wersje: Workstation Edition (600 W), Max-Q (300 W, do 4 kart w stacji) i Server Edition (pasywna, do serwerów, do 8 kart w RTX PRO Server). Karta dzieli się też na izolowane instancje MIG: do 4 × 24 GB, 2 × 48 GB lub 1 × 96 GB, co pozwala uruchomić np. cztery niezależne modele 8B. Pamięć użyteczna to ok. 86 GB.

Klasa modelu	Czy się mieści	Precyzja	Realny kontekst i współbieżność
gęsty 7-14B	tak, swobodnie	BF16 lub FP8	7-9B w BF16: ~475 tys. tokenów w cache BF16, dziesiątki rozmów albo 4 instancje MIG. 14B w FP8: ~440 tys.
gęsty 24-32B	tak	FP8 (32,8 GB) albo BF16 (65,6 GB)	FP8: ~200 tys. tokenów w BF16, ~400 tys. w FP8. Np. 25 rozmów po 16 tys.
gęsty ~70B (Llama 3.3 70B)	tak	FP8 (~71 GB) albo FP4 (~42 GB)	FP8: ~48 tys. tokenów w BF16, ~96 tys. w FP8, kilka osób. FP4: ~134 tys. w BF16
MoE ~30B-A3B	tak, swobodnie	BF16 lub FP8	FP8: ~570 tys. tokenów w BF16. Dziesiątki użytkowników
MoE ~100-120B (gpt-oss-120b, Mistral Small 4, GLM-4.5-Air)	tak	gpt-oss-120b w MXFP4 (65,2 GB), Mistral Small 4 w NVFP4 (70,8 GB), GLM-4.5-Air w FP4 (~64 GB)	gpt-oss-120b: ~21 GB na cache przy ~0,04 MB na token. GLM-4.5-Air: ~120 tys. tokenów. Kilka-kilkanaście osób
MoE ~235B	nie na jednej karcie	FP4 to ~141 GB	2 karty w FP4, 4 karty w FP8
frontier 0,7-1T+	nie na jednej karcie	NVFP4 to ~400-415 GB	8 kart (768 GB) w RTX PRO Server, przez PCIe

Co realnie zrobisz:

RAG dla zespołu i firmy: tak. Model 30B w FP8 albo MoE 30B-A3B obsłuży dziesiątki osób z kontekstem 16 tys. tokenów.
Backend agentów dla firmy: tak, na modelach 30B-120B. gpt-oss-120b mieści się w całości na jednej karcie z dużym budżetem kontekstu.
LoRA: na bazie BF16 do ~32B. QLoRA modelu 70B: autorzy QLoRA dostrajali model 65B na jednym GPU 48 GB.
Pełny fine-tuning: modele rzędu 3-4B (96 GB ÷ 16 bajtów na parametr to 6B, zanim policzysz aktywacje).
Wielu użytkowników: dziesiątki na modelach do 30B.
Kilka kart: 2 × 96 GB mieści Qwen3-235B-A22B w FP4, 4 × Max-Q (384 GB) w FP8 z ~110 GB na cache, a 8 kart w RTX PRO Server (8 × 96 = 768 GB) mieści modele ~700B w NVFP4, np. DeepSeek-V3.1 (413 GB) albo Mistral Large 3 (403 GB), z ~280 GB na cache. Wszystko to jednak przez PCIe, bez NVLink.

B300: co zmienia jeden GPU klasy centrum danych?

288 GB HBM3E i 8 TB/s, czyli 3 razy więcej pamięci i 4,5 raza większa przepustowość niż RTX PRO 6000. Do tego NVLink 5 (1,8 TB/s na GPU) do pozostałych GPU w węźle. Pamięć użyteczna to ok. 259 GB.

Klasa modelu	Czy się mieści	Precyzja	Realny kontekst i współbieżność
gęsty 7-14B	tak	BF16	ponad 1,4 mln tokenów cache. Setki rozmów
gęsty 24-32B	tak	BF16 lub FP8	FP8: ~860 tys. tokenów w BF16
gęsty ~70B	tak	BF16 (~141 GB) albo FP8 (~71 GB)	FP8: ~575 tys. tokenów w BF16, ~1,15 mln w FP8. Np. 70 rozmów po 16 tys. Sufit generowania ~113 tokenów/s na rozmowę
MoE ~30B-A3B	tak	BF16	ponad 2 mln tokenów
MoE ~100-120B	tak	FP8 lub FP4	GLM-4.5-Air w FP8 (~113 GB): ~810 tys. tokenów
MoE ~235B (Qwen3-235B-A22B, DeepSeek-V4-Flash)	tak	FP4 (~141 GB) dla Qwen3-235B. FP8 (236 GB) zostawia ~24 GB, czyli za mało dla wielu osób. DeepSeek-V4-Flash: oficjalne pliki 167 GB	Qwen3-235B w FP4: ~610 tys. tokenów w BF16
frontier 0,7-1T+	nie	NVFP4 to ~400 GB i więcej	wymaga co najmniej 2 GPU, w praktyce węzła

Co realnie zrobisz:

Serwowanie wielu użytkownikom: do tego jest ten poziom. Wysoka przepustowość daje szybkie odpowiedzi, a duża pamięć pozwala trzymać cache setek rozmów.
Backend agentów dla firmy: modele do 235B MoE na jednym GPU.
LoRA: na bazie BF16 do ~70B (141 GB wag plus aktywacje).
Pełny fine-tuning: modele ~8B (16 bajtów × 8,2B to ok. 131 GB plus aktywacje), ~14B na granicy.
Trening od zera: małe modele eksperymentalne, nie modele produkcyjnej klasy (szczegóły przy klastrze).

Klaster 8×B300: co mieści węzeł HGX lub DGX B300?

Węzeł HGX B300 lub DGX B300 to 8 GPU Blackwell Ultra, 2,1 TB HBM3E, NVLink 5 z przełącznikami (1,8 TB/s na GPU, 14,4 TB/s łącznie), 108 PFLOPS FP4 (gęste) i ok. 14 kW w obudowie 10U (DGX). Pamięć użyteczna to ok. 1,9 TB. To pierwszy poziom, na którym mieszczą się w całości otwarte modele klasy frontier:

Model	Parametry (łącznie, aktywne)	Oficjalne pliki	Na 8×B300
DeepSeek-V3.1	671B, 37B	689 GB (FP8)	tak, ~1,2 TB na cache
Mistral Large 3	675B, 41B	682 GB (FP8), 403 GB (NVFP4)	tak. Mistral podaje FP8 na jednym węźle B200 lub H200
GLM-5	744B, 40B	756 GB (wersja FP8)	tak, ~1,1 TB na cache
Kimi K2.6	1T, 32B	595 GB (natywny INT4)	tak, ~1,3 TB na cache
DeepSeek-V4-Pro-0813	1,6T, 49B	893 GB	tak. DeepSeek pokazuje uruchomienie na jednym węźle 4×GB300
Kimi K3	2,8T, 104B	1,56 TB (MXFP4)	tak, ~330 GB na cache
Qwen3.8-2.4T-A95B	2,4T, 95B	2,5 TB (wersja FP8)	nie w FP8. Wymaga kwantyzacji do FP4 (wg naszego wyliczenia ~1,4-1,5 TB) albo dwóch węzłów

Liczby parametrów DeepSeek-V4-Pro pochodzą z tabeli w karcie DeepSeek-V4.1-Flash (1,6T parametrów „backbone”, 49B aktywnych), bo karta V4-Pro-0813 ich nie podaje. Rozmiary plików to suma plików safetensors w repozytoriach na Hugging Face.

Cache w tych modelach jest mały dzięki MLA: dla Kimi K2 i DeepSeek-V3 to ok. 0,07 MB na token (z config.json: 61 warstw × (512 + 64) × 2 bajty). Przy ~1,2 TB wolnej pamięci daje to miliony tokenów cache, czyli setki równoległych rozmów agentowych z długim kontekstem.

Co realnie zrobisz na 8×B300:

Serwowanie modeli frontier wielu użytkownikom: tak, to główne zastosowanie.
LoRA i QLoRA dużych MoE: tak. OpenAI pisze, że gpt-oss-120b da się dostroić na jednym węźle H100 (8 × 80 GB), a węzeł B300 ma ponad trzy razy więcej pamięci.
Pełny fine-tuning: gęste modele do ok. 70B (16 bajtów × 70B to ~1,1 TB stanu modelu, rozłożone na 8 GPU przez FSDP lub ZeRO-3, plus aktywacje).
Trening od zera: małe modele tak, modele na poziomie czołówki nie. Liczby poniżej.

Ile trwałby trening od zera na jednym węźle?

Koszt treningu szacuje się wzorem C ≈ 6 × N × D operacji (N to parametry, D to tokeny treningowe) (Kaplan i in., 2020). HGX B300 podaje 36 PFLOPS w BF16 z rzadkością, czyli 18 PFLOPS gęstych. Zakładamy, że trening wykorzystuje 40% tej mocy (to nasze założenie, typowe dla dobrze zoptymalizowanego treningu, nie pomiar), czyli ~7,2 PFLOPS.

Model i dane	Obliczenia	Czas na jednym 8×B300 (BF16, 40%)
1B na 20 mld tokenów (~20 tokenów na parametr, jak w Chinchilli)	1,2 × 10²⁰	~4,6 godziny
7B na 140 mld tokenów	5,9 × 10²¹	~9,5 dnia
8B na 15 bln tokenów (dzisiejsza praktyka)	7,2 × 10²³	~3,2 roku
70B na 15 bln tokenów	6,3 × 10²⁴	~28 lat

Trening w FP8 mniej więcej podwaja tempo, ale rząd wielkości zostaje. Dla porównania z kartami modeli: Llama 3.3 70B (trenowana na ponad 15 bln tokenów) zużyła 7,0 mln godzin GPU H100, DeepSeek-V3 2,788 mln godzin GPU H800, a Mistral Large 3 był trenowany na 3000 GPU H200. Wniosek: jeden węzeł wytrenuje od zera mały model do badań albo wąskiego zadania, ale model, który konkuruje z czołówką, to praca dla klastrów z tysiącami GPU połączonych szybką siecią.

Gdzie NVLink ma znaczenie?

Jak działa podział modelu na kilka GPU (tensor parallelism i pipeline parallelism), opisujemy w Części 1. W skrócie: PCIe 5.0 x16 daje 128 GB/s (NVIDIA, H100), a NVLink 5 w B300 1,8 TB/s na GPU, czyli ok. 14 razy więcej. Dokumentacja vLLM zaleca tensor parallelism, gdy model mieści się w jednym węźle, a dla GPU bez NVLink pipeline parallelism (vLLM).

RTX PRO 6000: NVIDIA nie wymienia NVLink w specyfikacji. Skalowanie idzie przez PCIe. RTX PRO Server z 8 kartami używa kart ConnectX-8 z wbudowanym przełącznikiem PCIe 6.0, który według NVIDIA podwaja przepustowość między GPU w porównaniu z osobnymi przełącznikami PCIe, ale to wciąż nie NVLink.
B300 w HGX/DGX: wszystkie 8 GPU łączą przełączniki NVLink, więc tensor parallelism na 8 GPU jest standardem, a węzły łączy się siecią 800 Gb/s (ConnectX-8).

Ile pamięci potrzebuje fine-tuning na tych poziomach?

Rachunek jest ten sam co w Części 1: QLoRA trzyma zamrożoną bazę w 4 bitach (Dettmers i in., 2023), LoRA w BF16 (Hu i in., 2021), a pełny fine-tuning z Adamem w mieszanej precyzji potrzebuje 16 bajtów na parametr, bez aktywacji (Rajbhandari i in., ZeRO).

Poziom	QLoRA	LoRA (baza BF16)	Pełny fine-tuning
RTX PRO 6000 96 GB	~70B	do ~32B	~3-4B
B300 288 GB	duże MoE do ~235B	do ~70B	~8B, 14B na granicy
8×B300 2,1 TB	modele klasy frontier	MoE ~235B w BF16	gęste do ~70B

To szacunki z wzorów, zaokrąglone w dół, bo aktywacje rosną z długością sekwencji i rozmiarem batcha. Gradient checkpointing, optymalizatory 8-bitowe i przenoszenie stanu optymalizatora do RAM przesuwają te granice w górę kosztem czasu.

Jak wybrać między RTX PRO 6000, B300 a klastrem?

Zacznij od zadania, nie od karty: jakiej jakości modelu potrzebujesz, ile osób będzie z niego korzystać naraz i jak długi kontekst przetwarzasz.

Twoja sytuacja	Rozsądny poziom
RAG i agenci dla firmy, dziesiątki użytkowników, dane nie opuszczają firmy	RTX PRO 6000 Blackwell (1-4 karty)
MoE 235B lub ~700B na własnym sprzęcie bez NVLink	2-8 × RTX PRO 6000 z pipeline parallelism, z niższą przepustowością niż na B300
Produkcyjny serwis dla setek użytkowników, modele 70-235B	GPU B300 (własne lub wynajęte)
Otwarte modele klasy frontier, pełny fine-tuning do 70B	węzeł 8×B300
Własny model konkurujący z czołówką, trenowany od zera	klaster wielu węzłów, w praktyce tysiące GPU

Jeśli wystarczy Ci asystent osobisty albo RAG dla kilku osób, karty od 16 do 32 GB opisujemy w Części 1.

Jak projektujemy AI na własnej infrastrukturze, od doboru GPU po serwowanie modeli, pokazujemy na stronie Infrastruktura AI. Kiedy w ogóle warto przejść z API na własny model, opisujemy w artykule budować czy kupić AI.

Źródła

Specyfikacje GPU:

Karty modeli i konfiguracje:

Metoda, serwowanie i trening:

Pytania i odpowiedzi

Ile VRAM potrzeba, żeby uruchomić model 70B lokalnie?

Same wagi modelu 70B zajmują ok. 141 GB w BF16, ok. 71 GB w FP8 i ok. 40-42 GB w FP4. Do tego dochodzi cache KV: dla Llama 3.3 70B to ok. 0,33 MB na każdy token kontekstu w BF16, czyli ok. 10,7 GB na 32 tys. tokenów. W praktyce 70B w FP8 zmieści się na jednej karcie 96 GB (RTX PRO 6000 Blackwell) z kontekstem dla kilku osób, a w FP4 na dwóch kartach 32 GB, ale wtedy łączysz je przez PCIe.

Co daje jeden B300 w porównaniu z RTX PRO 6000?

Trzy razy więcej pamięci (288 GB HBM3E zamiast 96 GB GDDR7) i 4,5 raza większą przepustowość (8 TB/s zamiast 1792 GB/s). Llama 3.3 70B w FP8 ma na B300 sufit ok. 113 tokenów/s na rozmowę zamiast ok. 25, a w pamięci zostaje ~575 tys. tokenów cache, np. na 70 rozmów po 16 tys. B300 to jednak moduł SXM w systemach HGX/DGX, nie karta do PC.

Czy model klasy frontier zmieści się na jednym serwerze?

Na węźle 8×B300 (2,1 TB HBM3E) tak. Mieszczą się w nim w całości m.in. DeepSeek-V3.1 (689 GB w FP8), GLM-5 (756 GB w FP8), Kimi K2.6 (595 GB w INT4) i Kimi K3 (1,56 TB w MXFP4). Qwen3.8-2.4T-A95B w FP8 (2,5 TB) się nie mieści: wymaga kwantyzacji do FP4 albo dwóch węzłów. Serwer z 8 kartami RTX PRO 6000 (768 GB) zmieści modele ~700B w NVFP4, ale przez PCIe, bez NVLink.

Ile pamięci potrzebuje pełny fine-tuning?

Z optymalizatorem Adam w mieszanej precyzji ok. 16 bajtów na parametr, nie licząc aktywacji. Model 8B to ok. 131 GB, więc mieści się na jednym B300, a 70B to ok. 1,1 TB stanu modelu, który rozkłada się na 8 GPU węzła 8×B300 przez FSDP lub ZeRO-3. Na RTX PRO 6000 (96 GB) pełny fine-tuning obejmie modele rzędu 3-4B, ale QLoRA modelu 70B już tak.

Czy da się wytrenować własny LLM od zera na jednym serwerze?

Mały tak, konkurencyjny z czołówką nie. Na węźle 8×B300 model 1B na 20 mld tokenów to według naszego wyliczenia kilka godzin, ale model 70B na 15 bln tokenów to ok. 28 lat ciągłej pracy tego węzła. Dla porównania Llama 3.3 70B zużyła 7 mln godzin GPU H100, a Mistral Large 3 był trenowany na 3000 GPU H200.

Wszystkie wpisy