SSD Nodes Learn Hosting plans →
Przewodniki Matt ConnorAutor: Matt Connor · Zaktualizowano 2026-10-30

Jak samodzielnie hostować model Kimi K3

Analiza wymagań sprzętowych dla modelu Kimi K3 o 2,8 biliona parametrów. Sprawdź obliczenia VRAM, matematykę KV cache oraz trzy realne metody uruchomienia bez klastra 32 GPU.

Wymagania dotyczące samodzielnego hostowania Kimi K3

Samodzielne hostowanie Kimi K3 wymaga zapewnienia miejsca na 2,8 biliona parametrów. Moonshot opublikował otwarte wagi w formacie MXFP4, co odpowiada około pół bajta na wagę, więc same wagi zajmują w przybliżeniu 1.4 TB, zanim przydzieli się choć jeden token pamięci podręcznej. Żaden akcelerator dostępny obecnie w sprzedaży nie pomieści takiej ilości danych samodzielnie. W przypadku pojedynczego GPU odpowiedź brzmi: nie. W przypadku jednego serwera odpowiedź brzmi: tak, w dwóch wariantach. Pierwszym jest węzeł z 8 GPU o pojemności 288 GB każdy, co stanowi konfigurację wykorzystywaną w najmniejszych opublikowanych przepisach dla serwerów wieloużytkownikowych. Drugim jest maszyna z około 1,6 TB łącznej pamięci RAM i VRAM, uruchamiająca bezstratny format Q8 GGUF narzędzia Unsloth w ramach llama.cpp, z użyciem GPU lub bez, obsługująca jednego użytkownika jednocześnie.

To jest werdykt. Wszystko poniżej to arytmetyka, która za nim stoi, ponieważ obliczenia te można wykorzystać przy kolejnym wydaniu. Kilku dostawców infrastruktury opublikowało przewodniki wdrożeniowe K3 w tygodniach następujących po ogłoszeniu z 16 lipca 2026 roku i każdy z nich zakładał, że użytkownik posiada już klaster. Niniejsza strona podchodzi do zagadnienia od drugiej strony: jakie są koszty, co można uruchomić zamiast tego oraz jak określić, do której z tych dwóch grup się należysz.

Liczba parametrów całkowitych i aktywnych nie jest taka sama

K3 to model typu mixture of experts. MoE (mixture of experts) dzieli sieć na wiele podsieci i pozwala routerowi wybrać kilka z nich dla każdego tokena. Karta modelu wskazuje 2.8T parametrów całkowitych oraz 104B parametrów aktywnych na token, przy 896 wyznaczonych ekspertach, z których 16 jest uruchamianych dla danego tokena w ramach 93 warstw.

Te dwie wartości parametrów odpowiadają na różne pytania, a ich mylenie jest najczęstszym błędem w każdym wątku dotyczącym wymagań sprzętowych.

Parametry aktywne określają koszt obliczeniowy. Token jest mnożony przez około 104B parametrów, więc oczekiwana przepustowość przypomina model gęsty 104B, a nie 2.8T. To główny powód tworzenia architektury MoE.

Parametry całkowite określają koszt pamięci. Router może wybrać dowolnego eksperta dla dowolnego tokena, więc każdy ekspert musi być przechowywany w szybkim dostępie przed nadejściem pierwszego żądania. Istnieje możliwość przechowywania w VRAM tylko aktywnych ekspertów i pobierania pozostałych na żądanie: --moe-cache-mib w llama.cpp utrzymuje pamięć podręczną GPU dla ekspertów, którzy w przeciwnym razie znajdowaliby się w pamięci RAM, i przesyła brakujących, gdy router ich wybierze. Nie zmniejsza to jednak całkowitej liczby parametrów. Pozostali eksperci nadal muszą znajdować się w pamięci RAM, a magistrala PCIe przesyła dziesiątki gigabajtów na sekundę w porównaniu do terabajtów na sekundę w przypadku HBM, więc każde chybienie w pamięci podręcznej (cache miss) generuje opóźnienia. Przesyłanie ekspertów z NVMe, gdy model nie mieści się nawet w pamięci RAM, jest jeszcze wolniejsze, a przewodnik K3 dla Unsloth ostrzega, że odciążanie na dysk (disk offloading) działa znacznie wolniej.

Podsumowując: obliczenia są tanie, ale przechowywanie jest kosztowne. Dobierz sprzęt pod kątem 2.8T. Oczekiwania dotyczące szybkości dostosuj do 104B.

Bajty na wagę i skąd biorą się terabajty

Liczba parametrów pomnożona przez bajty na wagę. To cały wzór dla wag.

WykresWeight footprint of 2.8 trillion parameters, by precision
Dane, na których opiera się ten wykres
[
  {
    "label": "bf16",
    "bytes_per_weight": 2,
    "weights_tb": 5.6
  },
  {
    "label": "fp8",
    "bytes_per_weight": 1,
    "weights_tb": 2.8
  },
  {
    "label": "4-bit (MXFP4, as shipped)",
    "bytes_per_weight": 0.5,
    "weights_tb": 1.4
  },
  {
    "label": "2-bit",
    "bytes_per_weight": 0.25,
    "weights_tb": 0.7
  }
]

Model K3 został wytrenowany z uwzględnieniem kwantyzacji i udostępniony z wagami MXFP4 oraz aktywacjami MXFP8, więc wiersz 4-bitowy jest tym właściwym. Wiersze powyżej służą jedynie do porównania skali: w formacie bf16 ten sam model wymagałby 5.6 TB. MXFP4 przechowuje również jedną wspólną 8-bitową skalę dla każdego bloku 32 wag, co dodaje około 6 procent, a konfiguracja Moonshot wyklucza mechanizm attention, współdzielone eksperty oraz moduł wizyjny z formatu 4-bitowego. W rezultacie pełny punkt kontrolny zajmuje około 1.56 TB według wyliczeń Unsloth, zamiast równego 1.4 TB.

To zawęża typowe pole manewru, choć go nie zamyka. Udostępniony punkt kontrolny jest już w formacie 4-bitowym, więc łatwe oszczędności zostały już wykorzystane, ale dalsze obniżanie precyzji nadal zmienia wynik. Według stanu na 27 października 2026, dynamiczne kwantyzacje GGUF modelu K3 zmierzone przez Unsloth wahają się od 861.3 GB dla wariantu 2-bitowego UD-Q2_K_XL do 594 GB dla 1-bitowego UD-IQ1_S. Unsloth publikuje również koszty tej operacji: zgodność predykcji pierwszego tokena z pełnym modelem wynosi 90.390 procent dla UD-Q2_K_XL, 84.127 procent dla UD-IQ2_XXS o rozmiarze 711.1 GB oraz 78.875 procent dla UD-IQ1_S. Repozytorium Hugging Face zawiera również mniejsze pliki 1-bitowe, aż do 466 GB dla UD-Q1_0, jednak bez opublikowanych wskaźników zgodności. Jest to mierzalna utrata dokładności, a nawet najmniejszy plik jest nadal około 1.6 raza większy niż pamięć największej pojedynczej karty.

Ilu procesorów GPU wymaga Kimi K3

WykresGPUs required to hold 1.4 TB of weights, before any KV cache
Dane, na których opiera się ten wykres
[
  {
    "config": "H100 80GB",
    "hbm_per_gpu_gb": 80,
    "gpus_for_weights": 18
  },
  {
    "config": "H200 141GB",
    "hbm_per_gpu_gb": 141,
    "gpus_for_weights": 10
  },
  {
    "config": "B200 192GB",
    "hbm_per_gpu_gb": 192,
    "gpus_for_weights": 8
  },
  {
    "config": "GB300 288GB",
    "hbm_per_gpu_gb": 288,
    "gpus_for_weights": 5
  }
]

Wartości te należy traktować jako minimum, a nie jako cel. Uwzględniają one wyłącznie wagi modelu: bez pamięci podręcznej KV, buforów aktywacji, fragmentacji alokatora oraz miejsca na drugie jednoczesne żądanie. Podział nie musi być równomierny: zrównoleglenie potokowe (pipeline parallelism) w vLLM dzieli model wzdłuż warstw i obsługuje nierówne podziały, a przepisy SGLang dla K3 prefill uruchamiają 8 i 16 etapów potokowych na 93 warstwach.

Opublikowane wytyczne wykraczają poza to minimum. Zalecenia Moonshot przy starcie sugerowały superwęzeł składający się z 64 lub więcej akceleratorów. Według stanu na 27 października 2026 r. dokumentacja SGLang zawiera konfigurację H100 zbudowaną z czterech węzłów po 8 GPU, co daje 32 GPU i 2 560 GB łącznej pamięci, przy minimum wynoszącym 18 kart. Wymienia również przepisy dla pojedynczych węzłów: jeden węzeł B300 z 8 GPU oraz jeden węzeł MI350X lub MI355X z 8 GPU, oferujące 2 304 GB przy 288 GB na kartę. Ta nadwyżka ponad minimum nie jest marnotrawstwem. Służy ona na pamięć podręczną KV, pamięć aktywacji oraz zapas, który pozwala serwerowi przetwarzać wiele żądań jednocześnie. Najbardziej przystępny wariant, karty klasy 5 GB300, w praktyce zaokrągla się do wspomnianego węzła z 8 GPU, co stanowi najmniejszą jednostkę, dla której opublikowano przepis obsługi wielu użytkowników dla K3.

Pamięć podręczna KV jest elementem zaskakującym

Wagi stanowią koszt stały. Pamięć podręczna KV (key value) nie jest stała: rośnie wraz z długością kontekstu oraz z każdym kolejnym użytkownikiem korzystającym z systemu jednocześnie. Dla standardowej mechaniki attention wzór to bytes per token = 2 * layers * kv_heads * head_dim * bytes_per_element, który należy pomnożyć przez długość kontekstu oraz liczbę jednoczesnych użytkowników.

Oto przykład obliczeniowy, który ma charakter wyłącznie poglądowy: 64 warstwy, 8 głowic KV, wymiar głowicy 128, fp8. Daje to 2 64 8 128 1 = 131 072 bajtów, czyli 128 KiB na token.

WykresKV cache per user in the worked example, at 128 KiB per token
Dane, na których opiera się ten wykres
[
  {
    "label": "8k context",
    "kv_gib_per_user": 1
  },
  {
    "label": "32k context",
    "kv_gib_per_user": 4
  },
  {
    "label": "128k context",
    "kv_gib_per_user": 16
  },
  {
    "label": "1M context",
    "kv_gib_per_user": 128
  }
]

Jeden użytkownik przy kontekście 128k kosztuje 16 GiB. Jeden użytkownik przy pełnym milionie tokenów kosztuje 128 GiB, co stanowi niemal połowę pojemności karty 288 GB dla jednej konwersacji, jeszcze zanim załadowana zostanie jakakolwiek waga.

K3 nie używa standardowej mechaniki attention i właśnie dlatego ostatnia liczba jest tak istotna. Model posiada 93 warstwy: 69 warstw KDA (Kimi Delta Attention) oraz 24 warstwy Gated MLA (multi-head latent attention). KDA utrzymuje stały rozmiar stanu rekurencyjnego zamiast pamięci podręcznej rosnącej z każdym tokenem, a MLA kompresuje klucze i wartości do jednego wektora ukrytego niskiego rzędu. Dzięki temu rzeczywisty koszt na token jest znacznie niższy niż w powyższym przykładzie. Opublikowany plik config.json modelu Moonshot podaje rozmiar tego wektora: kv_lora_rank o wartości 512 oraz klucz rotacyjny o szerokości 64 (qk_rope_head_dim), co daje 576 wartości na token na każdą warstwę MLA. W przeliczeniu na 24 warstwy po 2 bajty każda, daje to 27 648 bajtów, czyli około 27 KiB na token, lub w przybliżeniu 27 GiB dla pełnej konwersacji o długości 1 048 576 tokenów, plus stały stan KDA. Należy traktować to jako szacunek, a nie pomiar: silniki różnią się sposobem alokacji i układem pamięci podręcznej, a pamięć 8-bitowa zmniejsza to zapotrzebowanie mniej więcej o połowę.

Aby sprawdzić, co zajmuje pamięć w Twoim wdrożeniu, nie należy monitorować nvidia-smi podczas zwiększania --max-model-len. vLLM dokonuje prealokacji puli pamięci podręcznej KV, której rozmiar wynika z --gpu-memory-utilization (domyślnie 0.92 w aktualnej dokumentacji) lub z jawnego budżetu pamięci na GPU, dlatego całkowite zużycie pamięci GPU odzwierciedla pulę, a nie jedną konwersację. Zamiast tego należy sprawdzić dziennik uruchomieniowy, w którym vLLM raportuje rozmiar pamięci podręcznej KV w tokenach oraz maksymalną współbieżność dla danej długości kontekstu.

Charakterystyka rozumowania pozostanie aktualna w kolejnym wydaniu. Jeśli model deklaruje kontekst miliona tokenów i nie podaje informacji o architekturze mechanizmu attention, należy przyjąć, że pamięć podręczna jest głównym ograniczeniem, dopóki nie zostanie udowodnione inaczej.

Poziom 1: wynajem klastra na godziny

Jest to poziom obsługujący K3 w wersji wydanej dla wielu użytkowników jednocześnie. Jedna maszyna z odpowiednią ilością pamięci RAM może również obsłużyć K3 w pełnej precyzji dzięki Q8 GGUF w Unsloth, co Unsloth określa jako bezstratną pełną precyzję, jednak ta metoda obsługuje jednego użytkownika naraz i została opisana na poziomie 2. W tym przypadku nie kupujesz sprzętu. Wynajmujesz go na potrzebne godziny, a po zakończeniu pracy wyłączasz instancję.

WykresMonthly cost at an assumed 2.50 USD per GPU hour, 30 day month
Dane, na których opiera się ten wykres
[
  {
    "label": "1 GPU, always on",
    "gpu_hours": 720,
    "usd_cost": "1,800"
  },
  {
    "label": "8 GPUs, 4 hours a day",
    "gpu_hours": 960,
    "usd_cost": "2,400"
  },
  {
    "label": "8 GPUs, always on",
    "gpu_hours": 5760,
    "usd_cost": "14,400"
  },
  {
    "label": "32 GPUs, always on",
    "gpu_hours": 23040,
    "usd_cost": "57,600"
  }
]

Stawka jest założeniem, a nie ofertą cenową. Ceny w modelu on-demand różnią się znacząco w zależności od dostawcy i generacji GPU. Podzespoły 288 GB wymagane przez konfiguracje jednowęzłowe kosztują za godzinę więcej niż H100, a zarezerwowana pojemność jest tańsza. Przyjmij rzeczywistą stawkę swojego dostawcy i wykonaj mnożenie: liczba GPU razy liczba godzin razy stawka. Celem wykresu jest pokazanie proporcji. Uruchomienie węzła z 8 GPU na cztery godziny dziennie kosztuje 2,400 USD miesięcznie, podczas gdy utrzymywanie konfiguracji 32 GPU H100 w rozmiarze SGLang kosztuje 57,600 USD.

Oba główne serwery publikują polecenie uruchomienia na karcie modelu.

pip install vllm
vllm serve "moonshotai/Kimi-K3"
pip install sglang
python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3" --host 0.0.0.0 --port 30000

Żadne z tych podstawowych poleceń nie jest tym, które uruchamia się na rzeczywistym klastrze. Dodaj flagi zrównoleglenia odpowiadające posiadanemu sprzętowi: SGLang przyjmuje --tp-size dla zrównoleglenia tensorowego (tensor parallel), --pp-size dla zrównoleglenia potokowego (pipeline parallel) oraz --ep-size dla zrównoleglenia ekspertów (expert parallel). Iloczyn zrównoleglenia tensorowego i potokowego musi być równy liczbie posiadanych GPU, a zrównoleglenie ekspertów dzieli ekspertów wewnątrz tej grupy, dlatego konfiguracja 32 GPU H100 ustawia zarówno --tp-size 32, jak i --ep-size 32.

Sprawdź, czy serwer wystartował, zanim wyślesz rzeczywisty ruch:

curl http://127.0.0.1:30000/v1/models

Poprawnie działający serwer odpowiada obiektem JSON z listą identyfikatorów modeli. Connection refused oznacza, że proces nadal ładuje wagi lub już zakończył działanie, więc przed ponowną próbą przeczytaj dziennik serwera.

Częstym błędem w pierwszych tygodniach było używanie środowiska uruchomieniowego starszego niż model. K3 zostało wydane z KDA i nową warstwą MoE, których stabilne wersje vLLM i SGLang nie posiadały w momencie premiery. Symptomem jest wyjście serwera podczas uruchamiania z komunikatem w formacie Model architectures [...] are not supported for now. Żadna zmiana konfiguracji tego nie naprawi, ponieważ kod obsługujący te warstwy nie znajduje się w twojej kompilacji. Sytuacja uległa zmianie: od 27 października 2026 r. SGLang wspiera K3 w wersjach od v0.5.17, przy czym najnowszą jest v0.5.22, a informacje o wydaniach vLLM od v0.28.0 do v0.32.0 zawierają prace nad K3. Zainstaluj aktualną wersję. Niektóre ścieżki specyficzne dla sprzętu nadal wskazują na dedykowany obraz, na przykład kompilacje NVFP4 dla SGLang na architekturze Blackwell, więc sprawdź przepis dla swojej karty.

Uwaga dotycząca kosztów, która często zaskakuje użytkowników: licznik czasu startuje w momencie uruchomienia instancji, a nie w momencie gotowości modelu. Pobranie 1.56 TB danych z prędkością 1 GB/s zajmuje około 26 minut czasu klastra przed wygenerowaniem pierwszego tokena. Przechowuj wagi na wolumenie, który istnieje niezależnie od instancji, aby drugie uruchomienie trwało zaledwie kilka minut.

Poziom 2: uruchomienie mniejszego modelu na jednym akceleratorze

Na tym poziomie nie uruchamia się K3. Należy to jasno zaznaczyć przed rozpoczęciem, ponieważ większość wątków dotyczących lokalnego uruchamiania K3 kończy się w tym miejscu bez przyznania się do tego faktu.

Zasada dopasowania opiera się na tej samej formule w skali mikro: liczba parametrów pomnożona przez liczbę bajtów na wagę, plus pamięć podręczna KV, plus około 2 GB narzutu środowiska uruchomieniowego, musi mieścić się w dostępnej pamięci VRAM. Przy kwantyzacji 4-bitowej jest to w przybliżeniu pół bajta na parametr, co pozwala na następujące wygodne zestawienia:

  • Karta 16 GB: model 7B w 4-bitach z zapasem na długi kontekst
  • Karta 24 GB: model 14B w 4-bitach
  • Karta 48 GB: model 32B w 4-bitach
  • Karta 80 GB: model 70B w 4-bitach lub model klasy 30B typu MoE w 8-bitach

Każde z powyższych zestawień zakłada obsługę jednego żądania w danym czasie. W momencie, gdy druga osoba wysyła zapytanie, każdy współbieżny slot wymaga własnej pamięci podręcznej KV. Jest to kompromis, który ustawienia NUM_PARALLEL oraz MAX_QUEUE w Ollama realizują pomiędzy liczbą równoległych slotów, kolejką żądań a pozostałą wolną pamięcią VRAM.

Istnieje jeden sposób na uruchomienie samego K3 na pojedynczej dużej maszynie, który sytuuje się pomiędzy tym a ostatnim poziomem. Unsloth dokumentuje kompilacje GGUF modelu K3 w llama.cpp, od kwantyzacji 1-bitowych i 2-bitowych aż po UD-Q8_K_XL, co określa mianem bezstratnej pełnej precyzji, wskazując NVIDIA DGX Station jako sprzęt zdolny do ich obsługi. Przyjęta zasada mówi, że suma pamięci RAM i VRAM powinna być w przybliżeniu równa rozmiarowi kwantyzacji, od około 610 GB dla kompilacji 1-bitowej UD-IQ1_S do około 1.6 TB dla Q8. Poniżej tej wartości model korzysta z pamięci dyskowej, co drastycznie obniża wydajność. GPU jest opcjonalne: instrukcje kompilacji Unsloth wyłączają CUDA, "jeśli nie posiadasz GPU lub chcesz korzystać z inferencji na CPU". Kompilacje 1-bitowe i 2-bitowe to K3 poddane silnej kwantyzacji, co wiąże się z utratą dokładności opisaną powyżej. Kompilacja Q8 to K3 w swojej oryginalnej precyzji, obsługiwane dla jednego użytkownika z prędkością pamięci RAM. Żadne z tych rozwiązań nie jest mniejszym modelem.

Ollama to najkrótsza droga do uruchomienia działającego serwera na serwerze VPS z przypisanym GPU:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:14b

ollama run pobiera model przy pierwszym użyciu, a następnie otwiera wiersz poleceń. Tag, który nie istnieje, zwraca błąd Error: model "..." not found, dlatego należy kopiować tagi ze strony biblioteki, zamiast wpisywać je z pamięci. Pełny przewodnik, obejmujący jednostkę systemd oraz zdalny dostęp, znajduje się w sekcji uruchamianie Ollama na VPS.

llama.cpp zapewnia większą kontrolę nad kwantyzacją i odciążaniem (offload):

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j
./build/bin/llama-server -m model.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080

-ngl 99 wymusza przeniesienie każdej warstwy na GPU. Należy monitorować dziennik ładowania: wyświetla on informację o liczbie odciążonych warstw. Warstwy, które nie mieszczą się w pamięci GPU i trafiają do systemowej pamięci RAM, działają z przepustowością RAM zamiast HBM, co powoduje spadek prędkości generowania o rząd wielkości w momencie, gdy model przestaje się mieścić w pamięci karty. Porównanie kompromisów obu narzędzi znajduje się w sekcji Ollama i llama.cpp zestawienie.

Poziom 3: hostowane API, samodzielnie hostowana orkiestracja

WykresKimi K3 published API pricing, USD per million tokens, checked 17 July 2026
Dane, na których opiera się ten wykres
[
  {
    "label": "Input, cache hit",
    "usd_per_million_tokens": "0.30"
  },
  {
    "label": "Input, cache miss",
    "usd_per_million_tokens": "3.00"
  },
  {
    "label": "Output",
    "usd_per_million_tokens": "15.00"
  }
]

Punkt końcowy jest kompatybilny z OpenAI, więc istniejący klient zadziała po zmianie adresu bazowego (base URL).

curl https://api.moonshot.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $MOONSHOT_API_KEY" \
  -d '{"model": "kimi-k3", "messages": [{"role": "user", "content": "Say hello."}]}'

Działający klucz zwraca obiekt JSON z tablicą choices. Błąd 401 oznacza niepowodzenie uwierzytelniania: należy sprawdzić, czy klucz jest poprawny, nie wygasł, nie został wyłączony oraz czy nagłówek ma postać Authorization: Bearer, po której następuje klucz. Błąd typu model-not-found zazwyczaj oznacza zmianę identyfikatora, ponieważ dostawcy wycofują identyfikatory między punktami kontrolnymi (checkpoints).

Oto próg opłacalności przy założeniu powyższej stawki wynajmu. Węzeł z 8 GPU działający w trybie ciągłym kosztuje 14,400 USD miesięcznie, a przy cenie 15.00 USD za milion tokenów wyjściowych, ta sama kwota pozwala na zakup około 960 milionów tokenów wyjściowych z API. Aby zyskać na kosztach, należy generować blisko miliard tokenów wyjściowych miesięcznie, czyli około 30 milionów dziennie, i utrzymywać klaster w ciągłym obciążeniu, ponieważ bezczynne jednostki GPU są rozliczane w tej samej stawce co obciążone. Obciążenia agentowe z dużą ilością promptów jeszcze bardziej przesuwają tę granicę: powtarzający się kontekst jest rozliczany według stawki trafień w pamięć podręczną (cache-hit) wynoszącej 0.30 USD za milion, zamiast stawki dla braku trafienia (cache-miss) wynoszącej 3.00 USD.

W tym poziomie samodzielnie hostuje się wszystko wokół modelu: bramkę (gateway), która przechowuje klucz API tak, aby nigdy nie dotarł do klienta, logi żądań i odpowiedzi, mechanizmy ponawiania prób, limity szybkości (rate limits) oraz budżety dla poszczególnych użytkowników. Działa to na małym VPS bez żadnego GPU. Ten sam podział dotyczy modeli o zamkniętych wagach, gdzie samodzielne hostowanie Claude nie jest możliwe na poziomie modelu, a orkiestracja jest jedynym elementem, którym zarządza użytkownik.

Który stos serwowania należy do której warstwy

Serwery klasy vLLM oraz SGLang należą do warstwy 1. Ich zadaniem jest obsługa wielu żądań jednocześnie przy użyciu mechanizmów continuous batching i paged KV cache, a także równoległości tensorowej i eksperckiej rozproszonej na wiele węzłów. Wymagają one akceleratorów klasy centrum danych oraz szybkiego połączenia między nimi. W przypadku pojedynczej karty konsumenckiej ich instalacja jest bardziej złożona i nie przynosi zauważalnych korzyści.

llama.cpp oraz Ollama należą do warstwy 2. Są one zoptymalizowane pod kątem jednej maszyny, kwantyzacji GGUF, odciążania obliczeń na procesor (CPU offload), gdy model nie mieści się w pamięci, oraz niskiej współbieżności. llama.cpp wczytuje ogromne modele MoE, przechowując wagi ekspertów w pamięci RAM systemu (--cpu-moe lub --n-cpu-moe) i, przy użyciu --moe-cache-mib, buforując używanych ekspertów w pamięci GPU; w ten sposób kompilacje K3 GGUF od Unsloth działają na pojedynczej maszynie. Szybkość zależy wówczas od przepustowości pamięci RAM oraz częstotliwości, z jaką router nie trafia w pamięć podręczną. Jeśli plik jest większy niż suma pamięci RAM i VRAM, system korzysta z pamięci dyskowej. Jest to rozwiązanie sprawdzające się w przypadku jednego użytkownika. Nie jest to usługa, którą można udostępnić wielu użytkownikom. Pełne porównanie znajduje się w Ollama a vLLM i nie zmienia się ono wraz z modelem: kluczowe pytanie zawsze dotyczy tego, czy obsługujesz wielu użytkowników na współdzielonym sprzęcie, czy jednego użytkownika na własnym urządzeniu.

Cztery liczby, które przetrwają ten punkt kontrolny

  1. Iloczyn całkowitej liczby parametrów i bajtów na wagę wyznacza minimalne zapotrzebowanie na pamięć. Żaden model nie uruchomi się poniżej tego progu przy danej precyzji, a kwantyzacja poniżej 4-bitowego wydania pozwala zyskać około 70 procent zasobów kosztem dokładności, a nie rzędu wielkości.
  2. Liczba aktywnych parametrów określa klasę przepustowości. Model MoE 2.8T ze 104B aktywnych parametrów obliczeniowo odpowiada modelowi 104B.
  3. Pamięć podręczna KV na token, pomnożona przez długość kontekstu i współbieżność, to koszt, który rośnie po opłaceniu wag modelu.
  4. Liczba tokenów na sekundę w przeliczeniu na dolara to jedyny wskaźnik decydujący o wyborze klasy rozwiązania. Wszystkie powyższe parametry są danymi wejściowymi dla tego wyliczenia.

Zastosuj te cztery zasady do dowolnego wydania, aby uzyskać poprawną odpowiedź przed otwarciem dokumentacji dostawcy. Kolejny model został już zapowiedziany: Moonshot udostępnił K3.1 Pro, zbudowany na bazie K3 z dodatkowym post-trainingiem, w ramach Kimi Code w dniu 23 października 2026, a przewodnik szybkiego startu API wskazuje, że pełne wagi zostaną wydane do 4 listopada. Datuj każdą zapisaną liczbę. Ceny oraz listy wspieranych architektur zmieniły się w ciągu dwóch tygodni od premiery K3. Dane z premiery na tej stronie zostały opublikowane w lipcu 2026, a przepisy serwowania, wydania runtime oraz liczby dotyczące kwantyzacji zostały zweryfikowane 27 października 2026.

FAQ

Czy można uruchomić Kimi K3 na pojedynczym GPU?

Nie. Wagi modelu zajmują około 1.4 TB w precyzji MXFP4 dostarczanej przez Moonshot. Nawet najmniejsza opublikowana kwantyzacja K3, plik UD-Q1_0 o rozmiarze 466 GB od Unsloth, jest około 1,6 raza większa niż 288 GB pamięci dostępnej na największych powszechnie stosowanych akceleratorach. llama.cpp pozwala na przechowywanie ekspertów w pamięci RAM systemu i buforowanie aktywnych jednostek w VRAM, jednak wymaga to ilości pamięci RAM i VRAM zbliżonej do rozmiaru kwantyzacji. Poniżej tego progu model korzysta z dysku, co drastycznie obniża wydajność. Najmniejsze opublikowane konfiguracje serwowania wykorzystują jeden węzeł z 8 kartami B300 lub MI350X/MI355X, a konfiguracja dla H100 wymaga 32 kart.

Ile pamięci VRAM wymaga Kimi K3?

Należy przyjąć 1.4 TB wyłącznie na wagi, co odpowiada 18 kartom H100 80GB lub 5 kartom klasy GB300. Do tego należy doliczyć pamięć na cache KV oraz aktywacje. Wytyczne Moonshot przy premierze zalecały 64 lub więcej akceleratorów. Według stanu na 27 października 2026, dokumentacja SGLang publikuje konfiguracje dla pojedynczego węzła z 8 kartami B300 lub 8 kartami MI350X/MI355X (łącznie 2 304 GB) oraz konfigurację z 32 GPU H100 (łącznie 2 560 GB), dlatego wartość dla wag należy traktować jako minimum, a nie jako docelowe wymaganie.

Czy kwantyzacja pozwala na uruchomienie Kimi K3 na jednym węźle?

Dostarczony punkt kontrolny 4-bit mieści się na jednym węźle, jeśli składa się on z ośmiu kart 288 GB, co wykorzystują konfiguracje SGLang dla B300 i MI355X, lub na maszynie z około 1,6 TB pamięci RAM i VRAM przy użyciu bezstratnego formatu Q8 GGUF od Unsloth. Niższe poziomy kwantyzacji ułatwiają uruchomienie na mniejszych maszynach: dynamiczne kompilacje GGUF od Unsloth wahają się od 861,3 GB przy 2-bit do 594 GB przy 1-bit, a repozytorium zawiera pliki 1-bit o rozmiarze 466 GB (wobec około 1,56 TB w wersji bezstratnej). Spadek dokładności został zmierzony: zgodność top-1 z pełnym modelem spada do 90,390 procent dla UD-Q2_K_XL oraz 78,875 procent dla UD-IQ1_S. Żaden z tych wariantów nie mieści się na pojedynczej karcie.

Czy wynajmowanie GPU jest tańsze niż API Kimi K3?

Tylko przy dużym i stałym obciążeniu. Przy założeniu kosztu 2,50 USD za godzinę pracy GPU, działający w trybie ciągłym węzeł z 8 GPU kosztuje 14,400 USD miesięcznie. Ta sama kwota pozwala na wygenerowanie około 960 milionów tokenów wyjściowych przy opublikowanej stawce 15.00 USD za milion. Należy również uwzględnić koszty przestojów, pobierania wag oraz obsługi klastra. W przypadku pracy okresowej zaleca się wynajem godzinowy i porównanie kosztów z własnym, zmierzonym wolumenem tokenów, zamiast opierania się na szacunkach.

Co oznacza 104B aktywnych parametrów dla szybkości działania?

Oznacza to, że obliczenia na token odpowiadają modelowi 104B, więc przepustowość mieści się w tej klasie, a nie w klasie 2,8T. Nie dotyczy to pamięci: wszystkie 2,8T parametrów muszą być rezydentne, ponieważ router może wywołać dowolnego eksperta dla każdego tokena. Liczbę aktywnych parametrów należy stosować do przewidywania liczby tokenów na sekundę, a całkowitą liczbę parametrów do określenia zapotrzebowania na VRAM.

Czy ten artykuł był przydatny?