SSD Nodes Learn Hosting plans →
Посібники Matt ConnorВід Matt Connor · Оновлено 2026-10-30

Що потрібно для self-hosting Kimi K3

Kimi K3 має 2.8 трильйона параметрів. Розберімо VRAM, KV cache і три реальні способи запуску без кластера з 32 GPU.

Що потрібно для self-hosting Kimi K3

Self-hosting Kimi K3 означає, що потрібно розмістити 2.8 трильйона параметрів. Moonshot опублікувала open weights у форматі MXFP4. Це приблизно половина байта на weight, тому самі weights займають близько 1.4 TB ще до виділення пам’яті хоча б для одного токена cache. Жоден accelerator, доступний сьогодні для придбання, не вміщує їх самостійно. Для одного GPU відповідь — ні. Для одного сервера відповідь — так, у двох конфігураціях. Перша — вузол із 8 GPU, кожен з accelerator memory обсягом 288 GB. Саме таку конфігурацію використовують найменші опубліковані рецепти serving для кількох користувачів. Друга — одна машина приблизно з 1.6 TB сумарної RAM і VRAM, яка запускає lossless Q8 GGUF від Unsloth у llama.cpp, з GPU або без нього, обслуговуючи одного користувача за раз.

Це висновок. Нижче наведено арифметику, що лежить в його основі, оскільки саме цю арифметику можна повторно застосувати для наступного релізу. Кілька infrastructure vendors опублікували посібники з розгортання K3 протягом тижнів після оголошення 16 July 2026 року, і кожен із них передбачав, що у вас уже є cluster. На цій сторінці розглянуто питання з іншого боку: скільки це коштує, що можна запустити натомість і як визначити, до якого з цих двох варіантів ви належите.

Загальна кількість параметрів і кількість активних параметрів — це не одне й те саме

K3 — це модель із сумішшю експертів. MoE (mixture of experts) розподіляє мережу між багатьма підмережами, а маршрутизатор вибирає кілька з них для кожного токена. У картці моделі вказано 2.8T загальних параметрів і 104B активованих параметрів на токен: із 896 маршрутизованих експертів для кожного токена активуються 16, у 93 шарах.

Ці два показники відповідають на різні запитання. Плутати їх — найпоширеніша помилка в обговореннях на тему «чи зможу я це запустити».

Активні параметри визначають обчислювальне навантаження. Токен проходить приблизно через 104B параметрів, тому очікувана швидкість обробки буде ближчою до швидкості щільної моделі на 104B параметрів, а не на 2.8T. Саме заради цього створюють MoE.

Загальна кількість параметрів визначає потребу в пам’яті. Маршрутизатор може вибрати будь-якого експерта для будь-якого токена, тому до надходження першого запиту всіх експертів потрібно зберігати у швидкій пам’яті. Можна зберігати у VRAM лише часто використовуваних експертів, а решту завантажувати за потреби: llama.cpp's --moe-cache-mib зберігає кеш експертів у GPU, тоді як решта експертів перебуває в системній RAM, і завантажує відсутніх експертів, коли їх вибирає маршрутизатор. Але це не зменшує загальний обсяг. Решта експертів усе одно мають зберігатися в RAM, а пропускна здатність PCIe становить десятки гігабайтів на секунду, тоді як HBM забезпечує терабайти на секунду, тому кожен промах кешу збільшує час обробки. Потокове завантаження експертів із NVMe, якщо модель не вміщується навіть у RAM, працює ще повільніше. У посібнику Unsloth для K3 зазначено, що вивантаження на диск значно знижує швидкість.

Отже, обчислення потребують небагато ресурсів, а зберігання — багато. Підбирайте апаратне забезпечення з розрахунку на 2.8T. Очікувану швидкість оцінюйте з розрахунку на 104B.

Байтів на вагу та походження терабайтів

Кількість параметрів, помножена на кількість байтів на вагу. Для ваг це вся формула.

ГрафікWeight footprint of 2.8 trillion parameters, by precision
Дані, на яких побудовано графік
[
  {
    "label": "bf16",
    "bytes_per_weight": 2,
    "weights_tb": 5.6
  },
  {
    "label": "fp8",
    "bytes_per_weight": 1,
    "weights_tb": 2.8
  },
  {
    "label": "4-bit (MXFP4, as shipped)",
    "bytes_per_weight": 0.5,
    "weights_tb": 1.4
  },
  {
    "label": "2-bit",
    "bytes_per_weight": 0.25,
    "weights_tb": 0.7
  }
]

K3 навчали з урахуванням квантування та випустили з вагами MXFP4 і активаціями MXFP8, тому реальним є рядок для 4-bit. Рядки вище наведено для масштабу: у форматі bf16 та сама модель потребувала б 5.6 TB. MXFP4 також зберігає спільний 8-bit scale для кожного блока з 32 ваг, що додає приблизно 6 відсотків. Крім того, конфігурація Moonshot не застосовує 4-bit формат до attention, shared experts і vision tower, тому повний checkpoint за підрахунком Unsloth має приблизно 1.56 TB, а не рівно 1.4 TB.

Це звужує типовий спосіб заощадити місце, але не усуває його повністю. Опублікований checkpoint уже має формат 4-bit, тому простий резерв економії використано. Проте подальше зменшення розрядності все одно змінює результат. Станом на 27 October 2026 динамічні GGUF-квантизації K3, виміряні Unsloth, мають розмір від 861.3 GB для 2-bit UD-Q2_K_XL до 594 GB для 1-bit UD-IQ1_S. Unsloth також публікує ціну такого зменшення: top-1 token agreement із повною моделлю становить 90.390 відсотка для UD-Q2_K_XL, 84.127 відсотка для UD-IQ2_XXS розміром 711.1 GB і 78.875 відсотка для UD-IQ1_S. У репозиторії Unsloth на Hugging Face також є менші 1-bit файли, аж до UD-Q1_0 розміром 466 GB, але відповідний показник узгодження для них не опубліковано. Це вимірювана втрата точності. Навіть найменший файл усе ще приблизно у 1.6 раза більший за найбільшу окрему card.

Скільки GPU потрібно Kimi K3

ГрафікGPUs required to hold 1.4 TB of weights, before any KV cache
Дані, на яких побудовано графік
[
  {
    "config": "H100 80GB",
    "hbm_per_gpu_gb": 80,
    "gpus_for_weights": 18
  },
  {
    "config": "H200 141GB",
    "hbm_per_gpu_gb": 141,
    "gpus_for_weights": 10
  },
  {
    "config": "B200 192GB",
    "hbm_per_gpu_gb": 192,
    "gpus_for_weights": 8
  },
  {
    "config": "GB300 288GB",
    "hbm_per_gpu_gb": 288,
    "gpus_for_weights": 5
  }
]

Сприймайте ці значення як мінімум, а не як ціль. Вони враховують лише ваги моделі: без KV cache, буферів активацій, фрагментації allocator і запасу для другого одночасного запиту. Кількість GPU у розподілі не обов’язково має ділитися порівну: pipeline parallelism у vLLM розподіляє модель за шарами та підтримує нерівномірний розподіл, а recipes для prefill K3 у SGLang використовують 8 і 16 pipeline stages для 93 шарів.

Опубліковані рекомендації передбачають конфігурації, потужніші за мінімальні. У рекомендаціях Moonshot під час запуску радили supernode щонайменше з 64 accelerators. Станом на 27 October 2026 cookbook SGLang містить конфігурацію для H100 із чотирьох вузлів по 8 GPU: 32 GPU та 2,560 GB сумарної пам’яті. Мінімум становить 18 карт. Також cookbook містить recipes для одного вузла: вузол із 8 GPU B300 і вузол із 8 GPU MI350X або MI355X; у другому випадку доступно 2,304 GB, тобто по 288 GB на карту. Ця різниця порівняно з мінімумом не є зайвою. Вона потрібна для KV cache, пам’яті активацій і запасу, який дає серверу змогу одночасно обробляти багато запитів. Найвигідніша конфігурація з картами класу 5 GB300 на практиці округлюється саме до такого вузла з 8 GPU. Це найменша конфігурація, для якої хтось публікує serving recipe K3 для кількох користувачів.

Кеш KV — це частина, яка дивує користувачів

Ваги — це фіксована витрата. Кеш KV (key value) таким не є: він зростає разом із довжиною контексту та з кожним одночасним користувачем. Для звичайної уваги формула має вигляд bytes per token = 2 * layers * kv_heads * head_dim * bytes_per_element. Потім результат множиться на довжину контексту та кількість одночасних користувачів.

Ось розрахунок для прикладу, а не універсальне значення: 64 шари, 8 KV-голів, розмір голови 128, fp8. Це дає 2 64 8 128 1 = 131,072 байт, тобто 128 KiB на токен.

ГрафікKV cache per user in the worked example, at 128 KiB per token
Дані, на яких побудовано графік
[
  {
    "label": "8k context",
    "kv_gib_per_user": 1
  },
  {
    "label": "32k context",
    "kv_gib_per_user": 4
  },
  {
    "label": "128k context",
    "kv_gib_per_user": 16
  },
  {
    "label": "1M context",
    "kv_gib_per_user": 128
  }
]

Один користувач із контекстом 128k потребує 16 GiB. Для одного користувача з повним мільйоном токенів потрібно 128 GiB. Це майже половина карти на 288 GB для однієї розмови, ще до завантаження бодай однієї ваги.

K3 не використовує звичайну увагу, і саме тому останнє число має значення. Його 93 шари складаються з 69 шарів KDA (Kimi Delta Attention) і 24 шарів Gated MLA (multi-head latent attention). KDA зберігає рекурентний стан фіксованого розміру замість кешу, який зростає з кожним токеном, а MLA стискає key і value в один латентний вектор низького рангу. Тому фактична вартість на токен значно нижча за наведену в прикладі. Опублікований Moonshot файл config.json задає розмір цього латенту: kv_lora_rank 512 плюс rotary key шириною 64 (qk_rope_head_dim), тобто 576 значень на токен для кожного шару MLA. Для 24 шарів і 2 байтів на значення це 27,648 байт, приблизно 27 KiB на токен, або близько 27 GiB для повної розмови на 1,048,576 токенів, плюс фіксований стан KDA. Вважайте це оцінкою, а не вимірюванням: рушії по-своєму доповнюють і розміщують кеш, а 8-бітний кеш приблизно вдвічі зменшує його розмір.

Щоб перевірити, скільки пам’яті використовує ваше розгортання, не стежте за nvidia-smi під час збільшення --max-model-len. vLLM попередньо виділяє пул кешу KV. Його розмір визначається значенням --gpu-memory-utilization (у поточній документації типове значення — 0.92) або явно заданим бюджетом кешу для кожного GPU. Тому загальний обсяг пам’яті GPU показує розмір пулу, а не використання однією розмовою. Натомість перегляньте журнал запуску: у ньому vLLM указує розмір кешу KV у токенах і максимальну кількість одночасних запитів для вашої довжини контексту.

Логіка цього аналізу зберігається і в наступному релізі. Якщо модель заявляє контекст на мільйон токенів, але нічого не повідомляє про свою архітектуру уваги, вважайте кеш обмежувальним ресурсом, доки не буде доведено протилежне.

Рівень 1: оренда кластера погодинно

Цей рівень призначений для одночасного обслуговування багатьох користувачів із точністю K3, з якою модель постачається. Одна машина з достатнім обсягом RAM також може працювати з K3 у точності релізу через Q8 GGUF від Unsloth. Unsloth позначає цей режим як full precision lossless, але він обслуговує лише одного користувача за раз і розглядається в рівні 2. На цьому рівні ви не купуєте обладнання. Ви орендуєте його на потрібний час і зупиняєте після завершення роботи.

ГрафікMonthly cost at an assumed 2.50 USD per GPU hour, 30 day month
Дані, на яких побудовано графік
[
  {
    "label": "1 GPU, always on",
    "gpu_hours": 720,
    "usd_cost": "1,800"
  },
  {
    "label": "8 GPUs, 4 hours a day",
    "gpu_hours": 960,
    "usd_cost": "2,400"
  },
  {
    "label": "8 GPUs, always on",
    "gpu_hours": 5760,
    "usd_cost": "14,400"
  },
  {
    "label": "32 GPUs, always on",
    "gpu_hours": 23040,
    "usd_cost": "57,600"
  }
]

Ставка є припущенням, а не комерційною пропозицією. On-demand ставки значно відрізняються залежно від провайдера та покоління GPU. Конфігурації з компонентами на 288 GB, потрібні для рецептів на одному вузлі, коштують за годину дорожче, ніж H100, а зарезервована місткість дешевша. Візьміть фактичну ставку свого провайдера та повторіть обчислення: кількість GPU × кількість годин × ставка. Діаграма показує співвідношення. Запуск вузла з 8 GPU протягом чотирьох годин на день коштує 2,400 USD на місяць, тоді як безперервна робота конфігурації SGLang на 32 GPU H100 коштує 57,600 USD.

Обидва основні сервери публікують команду запуску на сторінці моделі.

pip install vllm
vllm serve "moonshotai/Kimi-K3"
pip install sglang
python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3" --host 0.0.0.0 --port 30000

Жодна з базових команд не підходить для запуску в реальному кластері. Додайте прапорці паралелізму відповідно до свого обладнання: SGLang використовує --tp-size для tensor parallel, --pp-size для pipeline parallel і --ep-size для expert parallel. Добуток tensor parallel і pipeline parallel має дорівнювати фактичній кількості GPU, а expert parallel розподіляє експертів усередині цієї групи. Саме тому в рецепті для 32 GPU H100 задано і --tp-size 32, і --ep-size 32.

Переконайтеся, що сервер запустився, перш ніж надсилати реальний трафік:

curl http://127.0.0.1:30000/v1/models

Працездатний сервер відповідає JSON-об’єктом зі списком ідентифікатора моделі. Connection refused означає, що процес усе ще завантажує ваги або вже завершив роботу, тому перед повторною спробою перегляньте журнал сервера.

У перші тижні типовою проблемою була версія runtime, старіша за модель. K3 постачався з KDA та новим MoE-шаром, яких на момент запуску не було у стабільних релізах vLLM і SGLang. Ознака проблеми — завершення роботи сервера під час запуску з рядком на кшталт Model architectures [...] are not supported for now. Зміна конфігурації не допоможе, оскільки у вашій збірці немає коду для виконання цих шарів. Відтоді ситуація змінилася: станом на 27 October 2026 SGLang підтримує K3 у своїх релізах, починаючи з v0.5.17; найновішою є v0.5.22. У примітках до релізів vLLM від v0.28.0 до v0.32.0 також зазначено роботи для K3. Встановіть актуальний реліз. Для деяких шляхів, специфічних для обладнання, і далі потрібен спеціальний image, наприклад збірки SGLang NVFP4 для Blackwell, тому перевірте рецепт для своєї карти.

Є важливий нюанс щодо вартості. Облік починається під час запуску instance, а не після готовності моделі. Завантаження 1.56 TB зі швидкістю 1 GB/s займає приблизно 26 хвилин кластерного часу до отримання першого токена. Розмістіть ваги на volume, який зберігається після завершення роботи instance, щоб під час другого запуску підготовка займала лише кілька хвилин.

Рівень 2: запускайте меншу модель на одному accelerator

На цьому рівні K3 не запускається. Зазначте це перед початком, оскільки більшість обговорень про «локальний запуск K3» завершуються саме на цьому етапі, хоча цього прямо не визнають.

Правило відповідності таке саме, лише в меншому масштабі: кількість параметрів, помножена на кількість байтів на вагу, плюс KV cache і приблизно 2 GB runtime overhead мають уміщатися у вашу VRAM. Для 4-bit це приблизно пів байта на параметр, що дає такі зручні поєднання:

  • карта на 16 GB: модель 7B у 4-bit із запасом для довгого контексту
  • карта на 24 GB: модель 14B у 4-bit
  • карта на 48 GB: модель 32B у 4-bit
  • карта на 80 GB: модель 70B у 4-bit або MoE класу 30B у 8-bit

Кожне наведене поєднання передбачає один запит за раз. Щойно другий користувач надсилає prompt, кожен паралельний слот потребує власного KV cache. Саме це є компромісом, який налаштування Ollama NUM_PARALLEL і MAX_QUEUE визначають для вас між паралельними слотами, запитами в черзі та доступною VRAM.

Є один спосіб запустити саму K3 на одній потужній машині. Він розташований між цим рівнем і останнім. Unsloth документує GGUF-збірки K3 для llama.cpp: від 1-bit і 2-bit quantisation до UD-Q8_K_XL, яку він позначає як full precision lossless, і називає NVIDIA DGX Station апаратною платформою, здатною їх запускати. Його орієнтир: обсяг RAM плюс VRAM має приблизно відповідати розміру quantisation. Це становить від приблизно 610 GB для збірки 1-bit UD-IQ1_S до приблизно 1.6 TB для Q8. Якщо пам’яті менше, модель використовує диск, і швидкість різко падає. GPU не є обов’язковим: інструкції Unsloth для збірки вимикають CUDA, «if you don't have a GPU or just want CPU inference». Збірки 1-bit і 2-bit — це K3 із сильним quantisation, що знижує точність, як описано вище. Збірка Q8 — це K3 у випущеній точності, яка обслуговує одного користувача зі швидкістю RAM. Жоден із цих варіантів не є меншою моделлю.

Ollama — найкоротший шлях до робочого сервера на VPS із підключеним GPU:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:14b

ollama run завантажує модель під час першого використання, після чого відкриває prompt. Якщо tag не існує, повертається Error: model "..." not found, тому копіюйте tag зі сторінки library, а не вводьте його з пам’яті. Повний опис, зокрема systemd unit і віддалений доступ, наведено в матеріалі запуск Ollama на VPS.

llama.cpp дає більше контролю над quantisation і offload:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j
./build/bin/llama-server -m model.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080

-ngl 99 вимагає розмістити кожен layer на GPU. Перегляньте load log: у ньому вказано кількість offloaded layers. Layers, які не вміщуються і переходять до system RAM, працюють зі швидкістю пропускної здатності RAM, а не HBM. Тому швидкість генерації падає на порядок, щойно модель перестає вміщуватися. Компроміси між цими двома інструментами розглянуто в матеріалі Ollama і llama.cpp: порівняння поруч.

Рівень 3: hosted API, self-hosted orchestration

ГрафікKimi K3 published API pricing, USD per million tokens, checked 17 July 2026
Дані, на яких побудовано графік
[
  {
    "label": "Input, cache hit",
    "usd_per_million_tokens": "0.30"
  },
  {
    "label": "Input, cache miss",
    "usd_per_million_tokens": "3.00"
  },
  {
    "label": "Output",
    "usd_per_million_tokens": "15.00"
  }
]

Endpoint сумісний з OpenAI, тому наявний клієнт працюватиме після зміни базового URL.

curl https://api.moonshot.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $MOONSHOT_API_KEY" \
  -d '{"model": "kimi-k3", "messages": [{"role": "user", "content": "Say hello."}]}'

Робочий ключ повертає JSON-об’єкт із масивом choices. Помилка 401 означає, що автентифікацію не пройдено: перевірте правильність ключа, термін його дії та чи не вимкнено його. Також переконайтеся, що заголовок містить Authorization: Bearer, після якого вказано ключ. Помилка про відсутню модель зазвичай означає, що її id змінився, оскільки провайдери вилучають id між контрольними точками.

Тепер розглянемо точку беззбитковості, використовуючи припущену вище орендну ставку. Постійно увімкнений вузол із 8 GPU коштує 14,400 USD на місяць. За ці самі кошти API за ціною 15.00 USD за мільйон вихідних токенів надасть приблизно 960 мільйонів вихідних токенів. Щоб виграти за вартістю, потрібно генерувати майже мільярд вихідних токенів на місяць, тобто приблизно 30 мільйонів на день, і весь цей час підтримувати кластер завантаженим. Неактивні GPU тарифікуються так само, як і завантажені. У агентних робочих навантаженнях із великим обсягом промптів ця межа зміщується ще далі: повторно переданий контекст тарифікується за ставкою кешованих звернень 0.30 USD за мільйон, а не за ставкою промахів кешу 3.00 USD.

На цьому рівні ви розміщуєте власноруч усе, що оточує модель: gateway, який зберігає API key, щоб він ніколи не потрапляв до клієнта, журнали запитів і відповідей, повторні спроби, обмеження частоти запитів і бюджети для окремих користувачів. Усе це працює на невеликому VPS без GPU. Такий самий поділ застосовується до закритих вагових коефіцієнтів: self-hosting Claude на рівні моделі неможливий, тому під вашим контролем залишається лише orchestration.

Якому рівню відповідає кожен стек для обслуговування моделей

Сервери класу vLLM і SGLang належать до рівня 1. Вони призначені для одночасного обслуговування великої кількості запитів із безперервним пакетуванням і сторінковим KV-кешем, а також із розподіленням tensor parallelism і expert parallelism між кількома вузлами. Вони розраховані на accelerator у дата-центрі та швидке з’єднання між ними. На одній споживчій відеокарті їх складніше встановлювати, а переваги майже непомітні.

llama.cpp і Ollama належать до рівня 2. Вони розраховані на одну машину, квантизацію GGUF, вивантаження частини обчислень на CPU, якщо модель не вміщується, і низьку паралельність. llama.cpp може завантажити дуже велику MoE-модель, зберігаючи ваги експертів у системній RAM (--cpu-moe або --n-cpu-moe), а з --moe-cache-mib — кешуючи експертів, яких він використовує, у GPU. Саме так збірки K3 GGUF від Unsloth працюють на одній машині. Швидкодія залежить від пропускної здатності RAM і від того, як часто маршрутизатор не знаходить потрібні дані в кеші. Якщо файл більший за сумарний обсяг RAM і VRAM, частина даних переміщується на диск. Це придатна конфігурація для одного користувача. Це не сервіс, розрахований на велику кількість користувачів. Повне порівняння наведено в розділі Ollama проти vLLM. Воно не залежить від моделі: питання завжди в тому, чи обслуговуєте ви багатьох користувачів на спільному обладнанні, чи одного користувача на власній машині.

Чотири числа, які залишаються актуальними після цього етапу

  1. Загальна кількість параметрів, помножена на кількість байтів на вагу, визначає мінімальний обсяг пам’яті. У shipped precision модель не працює нижче цього значення. Квантизація нижче 4-bit дає економію до приблизно 70 відсотків, але знижує точність, а не на порядок.
  2. Кількість активних параметрів визначає клас продуктивності. MoE-модель із 2.8T параметрів і 104B активних параметрів виконує обчислення як модель із 104B параметрів.
  3. KV cache на токен, помножений на довжину контексту та кількість одночасних запитів, визначає витрати, які продовжують зростати після завантаження ваг.
  4. Кількість токенів за секунду на долар — єдиний показник, за яким визначають tier. Усе наведене вище є вхідними даними для нього.

Застосуйте ці чотири показники до будь-якого релізу — і отримаєте правильну відповідь ще до того, як відкриєте документацію постачальника. Наступний реліз уже анонсовано: Moonshot випустила K3.1 Pro на основі K3 із додатковим post-training у Kimi Code 23 October 2026, а в API quickstart зазначено, що повні ваги буде випущено by 4 November. Далі вказуйте дату для кожного записаного показника. Ціни та списки підтримуваних architecture змінилися протягом двох тижнів після запуску K3. Наведені на цій сторінці launch figures опубліковано в July 2026, а serving recipes, runtime releases і quantisation numbers повторно перевірено 27 October 2026.

FAQ

Чи можна запускати Kimi K3 на одному GPU?

Ні. Ваги займають приблизно 1.4 TB у точності MXFP4, яку постачає Moonshot. Навіть найменша опублікована квантизація K3 — файл Unsloth UD-Q1_0 розміром 466 GB — приблизно у 1.6 раза більша за 288 GB, доступні в найбільших широко поширених прискорювачах. llama.cpp може зберігати експерти в системній RAM і кешувати активні експерти на GPU, але для цього все одно потрібно приблизно стільки RAM, скільки займає квантизована модель, додатково до VRAM. Якщо пам’яті менше, модель переміщується на диск і працює значно повільніше. Найменші опубліковані конфігурації для сервінгу використовують один вузол із 8 GPU B300 або картами MI350X/MI355X, а конфігурація для H100 використовує 32 GPU.

Скільки VRAM потрібно Kimi K3?

Для самих ваг потрібно щонайменше 1.4 TB. Це 18 карт H100 80GB або 5 карт класу GB300. Додатково потрібна пам’ять для KV cache і активацій. У рекомендаціях Moonshot для запуску було вказано 64 або більше прискорювачів. Станом на 27 October 2026 у SGLang cookbook опубліковано конфігурації для одного вузла з 8 картами B300 або 8 картами MI350X/MI355X із сумарними 2,304 GB, а також конфігурацію з 32 GPU H100 із сумарними 2,560 GB. Тому обсяг для ваг слід вважати мінімальною оцінкою, а не достатньою вимогою.

Чи дає квантизація змогу розмістити Kimi K3 на одному вузлі?

Постачений checkpoint у 4-bit уже поміщається на одному вузлі, якщо цей вузол має 8 карт по 288 GB. Саме таку конфігурацію використовують рецепти SGLang для B300 і MI355X. Також модель можна розмістити на одній машині приблизно з 1.6 TB RAM плюс VRAM за допомогою lossless Q8 GGUF від Unsloth. Перехід до нижчої розрядності дає змогу використовувати менші машини: виміряні Unsloth збірки dynamic GGUF мають розмір від 861.3 GB для 2-bit до 594 GB для 1-bit, а в репозиторії наведено 1-bit файли розміром до 466 GB порівняно з приблизно 1.56 TB для lossless-версії. Втрати точності виміряно: top-1 agreement із повною моделлю знижується до 90.390 percent для UD-Q2_K_XL і до 78.875 percent для UD-IQ1_S. Жодна з цих версій не поміщається на одну карту.

Чи дешевше орендувати GPU, ніж користуватися API Kimi K3?

Лише за великого та стабільного навантаження. За припущення, що година роботи одного GPU коштує 2.50 USD, постійно увімкнений вузол із 8 GPU коштує 14,400 USD на місяць. За ті самі кошти можна отримати приблизно 960 million output tokens за опублікованою ціною 15.00 USD за million tokens. Додатково потрібно оплачувати простої, завантаження ваг і роботу фахівця, який підтримує кластер у робочому стані. Для короткочасних пікових навантажень орендуйте GPU погодинно. Порівнюйте витрати з фактичним виміряним обсягом токенів, а не з приблизною оцінкою.

Що означає 104B active parameters для швидкості?

Це означає, що обсяг обчислень для кожного токена відповідає моделі 104B. Тому пропускна здатність буде на рівні класу 104B, а не класу 2.8T. Це нічого не говорить про використання пам’яті: усі 2.8T параметрів залишаються в пам’яті, оскільки router може викликати будь-якого експерта для будь-якого токена. Використовуйте кількість active parameters для оцінки tokens per second, а загальну кількість параметрів — для розрахунку потрібної VRAM.

Чи була ця стаття корисною?

#kimi-k3#self-hosted-llm#gpu#vram#inference