Keperluan untuk self-host Kimi K3
Kimi K3 mempunyai 2.8 trilion parameter. Fahami kiraan VRAM, matematik cache KV dan tiga cara munasabah menjalankannya tanpa cluster 32 GPU.
Keperluan untuk self-hosting Kimi K3
Self-hosting Kimi K3 bermakna mencari ruang untuk 2.8 trilion parameter. Moonshot menerbitkan open weights dalam format MXFP4, iaitu kira-kira separuh bait bagi setiap parameter. Oleh itu, berat model sahaja mencecah kira-kira 1.4 TB sebelum anda memperuntukkan satu token pun untuk cache. Tiada pemecut (accelerator) yang dijual hari ini mampu menampung saiz tersebut secara bersendirian. Untuk satu GPU, jawapannya adalah tidak. Untuk satu pelayan, jawapannya adalah ya dalam dua bentuk. Bentuk pertama ialah nod 8-GPU dengan pemecut 288 GB, iaitu spesifikasi yang digunakan oleh resipi penyajian berbilang pengguna terkecil yang diterbitkan. Bentuk kedua ialah satu mesin dengan gabungan RAM dan VRAM sekitar 1.6 TB yang menjalankan Q8 GGUF tanpa kehilangan data (lossless) daripada Unsloth dalam llama.cpp, sama ada dengan atau tanpa GPU, untuk menyajikan seorang pengguna pada satu masa.
Itulah keputusannya. Segala maklumat di bawah adalah pengiraan di sebaliknya, kerana pengiraan inilah yang akan anda gunakan semula untuk keluaran seterusnya. Beberapa vendor infrastruktur menerbitkan panduan penempatan K3 dalam tempoh beberapa minggu selepas pengumuman pada 16 Julai 2026, dan setiap satunya mengandaikan anda sudah memiliki sebuah kluster. Halaman ini bermula dari sudut yang berbeza: apakah kosnya, apakah yang boleh anda jalankan sebagai alternatif, dan cara untuk menentukan kategori mana yang anda perlukan.
Jumlah parameter dan parameter aktif tidak mempunyai angka yang sama
K3 ialah model mixture of experts. MoE (mixture of experts) membahagikan rangkaian kepada banyak sub-rangkaian dan membenarkan penghala (router) memilih beberapa daripadanya bagi setiap token. Kad model menyenaraikan 2.8T jumlah parameter dan 104B parameter yang diaktifkan bagi setiap token, daripada 896 pakar yang dihalakan di mana 16 daripadanya diaktifkan untuk mana-mana token tertentu, merentasi 93 lapisan.
Dua kiraan parameter tersebut menjawab soalan yang berbeza, dan tertukar antara keduanya merupakan kesilapan paling lazim dalam setiap perbincangan "bolehkah saya menjalankan ini".
Parameter aktif menetapkan kos pengiraan. Satu token didarabkan melalui kira-kira 104B parameter, jadi throughput yang anda patut jangkakan menyerupai model padat 104B dan bukannya 2.8T. Itulah sebab utama MoE dibina.
Jumlah parameter menetapkan kos memori. Penghala mungkin memilih mana-mana pakar untuk mana-mana token, jadi setiap pakar perlu disimpan di suatu tempat yang pantas sebelum permintaan pertama tiba. Menyimpan hanya pakar yang kerap digunakan (hot experts) dalam VRAM dan mengambil yang selebihnya atas permintaan memang wujud: --moe-cache-mib dalam llama.cpp mengekalkan cache GPU bagi pakar yang sebaliknya berada dalam RAM sistem dan memuat naik pakar yang tiada apabila penghala memilihnya. Walau bagaimanapun, ia tidak mengecilkan jumlah keseluruhan. Pakar yang selebihnya masih perlu berada dalam RAM, dan pautan PCIe memindahkan puluhan gigabait sesaat berbanding terabait sesaat bagi HBM, jadi setiap cache miss akan memakan masa. Menstrim pakar daripada NVMe kerana model tersebut tidak muat dalam RAM adalah lebih perlahan, dan panduan K3 daripada Unsloth memberi amaran bahawa offloading cakera berjalan dengan jauh lebih perlahan.
Oleh itu, ia murah untuk dikira tetapi mahal untuk disimpan. Tentukan saiz perkakasan anda berdasarkan 2.8T. Tentukan jangkaan kelajuan anda berdasarkan 104B.
Bait per pemberat, dan dari mana datangnya terabait
Kiraan parameter didarab dengan bait per pemberat. Bagi pemberat, itulah formula keseluruhannya.
Data di sebalik carta ini
[
{
"label": "bf16",
"bytes_per_weight": 2,
"weights_tb": 5.6
},
{
"label": "fp8",
"bytes_per_weight": 1,
"weights_tb": 2.8
},
{
"label": "4-bit (MXFP4, as shipped)",
"bytes_per_weight": 0.5,
"weights_tb": 1.4
},
{
"label": "2-bit",
"bytes_per_weight": 0.25,
"weights_tb": 0.7
}
]K3 dilatih dengan kesedaran kuantisasi (quantisation aware) dan dikeluarkan dengan pemberat MXFP4 serta pengaktifan MXFP8, jadi baris 4-bit adalah yang sebenar. Baris di atasnya disediakan sebagai skala: pada bf16, model yang sama memerlukan 5.6 TB. MXFP4 juga menyimpan satu skala 8-bit yang dikongsi bagi setiap blok 32 pemberat, yang menambah kira-kira 6 peratus, dan konfigurasi Moonshot mengecualikan attention, pakar yang dikongsi (shared experts) dan menara penglihatan (vision tower) daripada format 4-bit, jadi pusat pemeriksaan (checkpoint) penuh berjumlah kira-kira 1.56 TB mengikut kiraan Unsloth dan bukannya 1.4 TB yang tepat.
Ini mengecilkan ruang alternatif biasa tanpa menutupnya sepenuhnya. Pusat pemeriksaan yang dikeluarkan sudah pun dalam 4-bit, jadi penjimatan mudah telah pun diambil, namun pengurangan lanjut masih mengubah angka tersebut. Setakat 27 Oktober 2026, kuantisasi GGUF dinamik bagi K3 yang diukur oleh Unsloth berjulat daripada 861.3 GB untuk UD-Q2_K_XL 2-bit sehingga 594 GB untuk UD-IQ1_S 1-bit, dan Unsloth menerbitkan kosnya: persetujuan token top-1 dengan model penuh adalah 90.390 peratus pada UD-Q2_K_XL, 84.127 peratus pada UD-IQ2_XXS 711.1 GB dan 78.875 peratus pada UD-IQ1_S. Repositori Hugging Face miliknya juga membawa fail 1-bit yang lebih kecil, sehingga 466 GB untuk UD-Q1_0, tanpa angka persetujuan diterbitkan bersamanya. Itu adalah kehilangan ketepatan yang diukur, dan fail terkecil sekalipun masih kira-kira 1.6 kali ganda daripada kad tunggal terbesar.
Berapakah bilangan GPU yang diperlukan oleh Kimi K3
Data di sebalik carta ini
[
{
"config": "H100 80GB",
"hbm_per_gpu_gb": 80,
"gpus_for_weights": 18
},
{
"config": "H200 141GB",
"hbm_per_gpu_gb": 141,
"gpus_for_weights": 10
},
{
"config": "B200 192GB",
"hbm_per_gpu_gb": 192,
"gpus_for_weights": 8
},
{
"config": "GB300 288GB",
"hbm_per_gpu_gb": 288,
"gpus_for_weights": 5
}
]Anggap nilai tersebut sebagai lantai, bukan sasaran. Ia hanya mengira berat (weights): tiada KV cache, tiada penimbal pengaktifan, tiada fragmentasi pengumpuk (allocator), dan tiada ruang untuk permintaan serentak kedua. Pembahagian itu sendiri tidak perlu dibahagikan secara sama rata: pipeline parallelism vLLM membahagikan model mengikut lapisan dan menyokong pembahagian tidak sekata, manakala resipi prefill K3 SGLang menjalankan 8 dan 16 peringkat pipeline merentasi 93 lapisan.
Panduan yang diterbitkan berada di atas lantai tersebut. Panduan pelancaran Moonshot mengesyorkan supernode dengan 64 pemecut atau lebih. Setakat 27 Oktober 2026, buku panduan SGLang mengeluarkan konfigurasi H100 yang dibina daripada empat nod 8-GPU, 32 GPU dan 2,560 GB memori agregat, berbanding lantai 18 kad, dan ia juga menyenaraikan resipi nod tunggal pada satu nod 8-GPU B300 dan satu nod 8-GPU MI350X atau MI355X, 2,304 GB pada 288 GB setiap kad. Jurang di atas lantai itu bukanlah pembaziran. Ia adalah untuk KV cache, memori pengaktifan, dan ruang kepala (headroom) yang membolehkan pelayan memproses banyak permintaan secara serentak. Baris yang paling mesra, kad kelas 5 GB300, dalam praktiknya dibundarkan kepada nod 8-GPU yang tepat seperti itu, iaitu mesin terkecil yang diterbitkan oleh sesiapa untuk resipi penyajian K3 berbilang pengguna.
KV cache ialah bahagian yang mengejutkan ramai orang
Weight merupakan kos tetap. KV (key value) cache pula tidak: ia berkembang mengikut panjang konteks dan bertambah dengan setiap pengguna serentak. Bagi attention biasa, formulanya ialah bytes per token = 2 * layers * kv_heads * head_dim * bytes_per_element, kemudian anda darabkan dengan panjang konteks dan keserentakan.
Berikut ialah contoh pengiraan, dan ini hanyalah satu contoh: 64 layer, 8 KV head, dimensi head 128, fp8. Ini memberikan 2 64 8 128 1 = 131,072 bait, jadi 128 KiB bagi setiap token.
Data di sebalik carta ini
[
{
"label": "8k context",
"kv_gib_per_user": 1
},
{
"label": "32k context",
"kv_gib_per_user": 4
},
{
"label": "128k context",
"kv_gib_per_user": 16
},
{
"label": "1M context",
"kv_gib_per_user": 128
}
]Seorang pengguna pada konteks 128k menelan kos 16 GiB. Seorang pengguna pada kapasiti penuh sejuta token menelan kos 128 GiB, iaitu hampir separuh daripada kad 288 GB untuk satu perbualan, sebelum satu pun weight dimuatkan.
K3 tidak menggunakan attention biasa, dan angka terakhir itulah sebabnya. 93 layer miliknya terdiri daripada 69 layer KDA (Kimi Delta Attention) dan 24 layer Gated MLA (multi-head latent attention). KDA mengekalkan state berulang bersaiz tetap dan bukannya cache yang berkembang dengan setiap token, manakala MLA memampatkan key dan value ke dalam satu vektor latent berpangkat rendah (low rank), jadi kos sebenar bagi setiap token jauh lebih rendah daripada contoh pengiraan tadi. Fail config.json yang diterbitkan oleh Moonshot memberikan saiz latent tersebut: kv_lora_rank sebanyak 512 ditambah dengan rotary key selebar 64 (qk_rope_head_dim), jadi 576 nilai bagi setiap token untuk setiap layer MLA. Merentasi 24 layer pada 2 bait setiap satu, jumlahnya ialah 27,648 bait, kira-kira 27 KiB bagi setiap token, atau sekitar 27 GiB untuk perbualan penuh 1,048,576 token, ditambah dengan state KDA yang tetap. Anggap ini sebagai anggaran dan bukannya ukuran tepat: enjin menyusun dan meletakkan cache mengikut cara tersendiri, dan cache 8-bit secara kasarnya mengurangkan saiz tersebut kepada separuh.
Untuk melihat apa yang disimpan oleh deployment anda sendiri, jangan pantau nvidia-smi semasa meningkatkan --max-model-len. vLLM melakukan pra-peruntukan (preallocate) pool KV cache-nya, yang disaizkan daripada --gpu-memory-utilization (0.92 secara lalai dalam dokumentasi semasa) atau daripada bajet cache per-GPU yang eksplisit, jadi jumlah memori GPU akan menunjukkan pool tersebut dan bukannya satu perbualan sahaja. Sebaliknya, baca log permulaan, di mana vLLM melaporkan saiz KV cache dalam unit token dan keserentakan maksimum pada panjang konteks anda.
Bentuk penaakulan ini akan kekal dalam keluaran seterusnya. Jika sesuatu model mengiklankan konteks sejuta token dan tidak menyatakan apa-apa tentang reka bentuk attention-nya, anggap cache sebagai kekangan utama sehingga dibuktikan sebaliknya.
Tahap 1: menyewa kluster mengikut jam
Ini adalah tahap yang menyediakan K3 pada ketepatan asal (shipped precision) kepada ramai pengguna serentak. Sebuah mesin dengan RAM yang mencukupi juga boleh memuatkan K3 pada ketepatan asal melalui Q8 GGUF Unsloth, yang dilabelkan oleh Unsloth sebagai lossless ketepatan penuh, tetapi kaedah itu hanya melayani seorang pengguna pada satu masa dan dibincangkan dalam tahap 2. Di sini, anda tidak membeli perkakasan tersebut. Anda menyewanya untuk jam yang anda perlukan dan menghentikannya selepas itu.
Data di sebalik carta ini
[
{
"label": "1 GPU, always on",
"gpu_hours": 720,
"usd_cost": "1,800"
},
{
"label": "8 GPUs, 4 hours a day",
"gpu_hours": 960,
"usd_cost": "2,400"
},
{
"label": "8 GPUs, always on",
"gpu_hours": 5760,
"usd_cost": "14,400"
},
{
"label": "32 GPUs, always on",
"gpu_hours": 23040,
"usd_cost": "57,600"
}
]Kadar tersebut adalah andaian, bukan sebut harga. Kadar atas permintaan (on-demand) sangat berbeza mengikut penyedia dan generasi GPU; komponen 288 GB yang diperlukan oleh resipi nod tunggal menelan kos lebih tinggi sejam berbanding H100, dan kapasiti terpelihara (reserved capacity) adalah lebih murah. Ambil angka sebenar daripada penyedia anda dan lakukan semula pendaraban: bilangan GPU didarab dengan jam didarab dengan kadar. Tujuan carta ini adalah untuk menunjukkan nisbah. Penggunaan lonjakan (bursting) nod 8 GPU selama empat jam sehari menelan kos 2,400 USD sebulan, manakala membiarkan konfigurasi 32 GPU H100 bersaiz SGLang terus berjalan menelan kos 57,600 USD.
Kedua-dua pelayan arus perdana menerbitkan arahan pelancaran pada kad model.
pip install vllm
vllm serve "moonshotai/Kimi-K3"pip install sglang
python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3" --host 0.0.0.0 --port 30000Tiada satu pun arahan asas tersebut yang anda jalankan pada kluster sebenar. Tambahkan flag selari (parallelism) yang sepadan dengan perkakasan anda: SGLang menggunakan --tp-size untuk tensor parallel, --pp-size untuk pipeline parallel dan --ep-size untuk expert parallel. Hasil darab tensor parallel dan pipeline parallel mestilah sama dengan jumlah GPU yang anda miliki, dan expert parallel memecahkan pakar dalam kumpulan tersebut, itulah sebabnya resipi 32 GPU H100 menetapkan kedua-dua --tp-size 32 dan --ep-size 32.
Pastikan pelayan telah naik sebelum anda menghantar trafik sebenar:
curl http://127.0.0.1:30000/v1/modelsPelayan yang sihat akan menjawab dengan objek JSON yang menyenaraikan id model. Connection refused bermaksud proses tersebut masih memuatkan pemberat (weights) atau telah pun keluar, jadi baca log pelayan sebelum anda mencuba semula.
Kegagalan biasa pada minggu-minggu awal adalah runtime yang lebih lama daripada model. K3 dihantar dengan KDA dan lapisan MoE baharu yang tidak disertakan dalam keluaran stabil vLLM dan SGLang semasa pelancaran, dan simptomnya ialah pelayan keluar semasa permulaan dengan baris berbentuk Model architectures [...] are not supported for now. Tiada perubahan konfigurasi yang dapat membetulkannya, kerana kod untuk menjalankan lapisan tersebut tiada dalam binaan anda. Perkara itu telah berubah: sejak 27 Oktober 2026, SGLang telah menyertakan sokongan K3 dalam keluarannya sejak v0.5.17, dengan v0.5.22 sebagai versi terkini, dan nota keluaran vLLM v0.28.0 hingga v0.32.0 semuanya merangkumi kerja K3. Pasang keluaran semasa. Beberapa laluan khusus perkakasan masih menamakan imej khusus, contohnya binaan NVFP4 SGLang pada Blackwell, jadi semak resipi untuk kad anda.
Satu nota kos yang sering memerangkap pengguna. Meter bermula apabila instans bermula, bukan apabila model sedia. Muat turun 1.56 TB pada kelajuan 1 GB/s mengambil masa kira-kira 26 minit masa kluster sebelum token pertama. Simpan pemberat pada volum yang kekal selepas instans ditamatkan, supaya larian kedua bermula dalam masa beberapa minit sahaja.
Tahap 2: jalankan model yang lebih kecil pada satu pemecut
Anda tidak menjalankan K3 pada tahap ini. Nyatakan perkara ini dengan jelas sebelum bermula, kerana kebanyakan perbincangan mengenai "menjalankan K3 secara setempat" berakhir di sini tanpa pengakuan tersebut.
Peraturan kesesuaian menggunakan formula yang sama dalam skala kecil: parameter didarab dengan bait bagi setiap pemberat, ditambah cache KV, serta kira-kira 2 GB overhead masa jalan, mestilah berada di bawah kapasiti VRAM anda. Pada 4-bit, ini adalah kira-kira setengah bait bagi setiap parameter, yang memberikan gandingan yang selesa:
- Kad 16 GB: model 7B pada 4-bit dengan ruang untuk konteks yang panjang
- Kad 24 GB: model 14B pada 4-bit
- Kad 48 GB: model 32B pada 4-bit
- Kad 80 GB: model 70B pada 4-bit, atau MoE kelas 30B pada 8-bit
Setiap gandingan di atas mengandaikan satu permintaan pada satu masa. Sebaik sahaja orang kedua menghantar prompt, setiap slot serentak memerlukan cache KV sendiri. Inilah pertukaran yang dilakukan oleh tetapan NUM_PARALLEL dan MAX_QUEUE Ollama untuk anda antara slot selari, permintaan dalam baris gilir dan baki VRAM yang anda miliki.
Terdapat satu cara untuk menjalankan K3 itu sendiri pada satu mesin besar, dan ia terletak di antara tahap ini dengan tahap terakhir. Unsloth mendokumentasikan binaan GGUF bagi K3 dalam llama.cpp, daripada kuantisasi 1-bit dan 2-bit sehingga UD-Q8_K_XL, yang dilabelkan sebagai ketepatan penuh tanpa kehilangan data, dan menamakan NVIDIA DGX Station sebagai perkakasan yang boleh menjalankannya. Peraturan praktikalnya ialah RAM ditambah VRAM mestilah lebih kurang sama dengan saiz kuantisasi, daripada kira-kira 610 GB untuk binaan 1-bit UD-IQ1_S sehingga kira-kira 1.6 TB untuk Q8. Di bawah nilai tersebut, model akan beralih ke cakera dan menjadi sangat perlahan. GPU adalah pilihan: arahan binaan Unsloth mematikan CUDA "jika anda tidak mempunyai GPU atau hanya mahukan inferens CPU". Binaan 1-bit dan 2-bit adalah K3 yang dikuantisasi secara berat, dengan kos ketepatan seperti yang diukur di atas. Binaan Q8 adalah K3 pada ketepatan asal yang dikeluarkan, disajikan kepada seorang pengguna pada kelajuan RAM. Kedua-duanya bukanlah model yang lebih kecil.
Ollama ialah laluan terpantas untuk mendapatkan pelayan yang berfungsi pada VPS dengan GPU yang dilampirkan:
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:14bollama run memuat turun model pada penggunaan pertama, kemudian membawa anda ke prompt. Tag yang tidak wujud akan memulangkan Error: model "..." not found, jadi salin tag daripada halaman pustaka dan bukannya menaipnya daripada ingatan. Panduan lengkap, termasuk unit systemd dan akses jauh, terdapat dalam menjalankan Ollama pada VPS.
llama.cpp memberikan anda lebih kawalan ke atas kuantisasi dan offload:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j./build/bin/llama-server -m model.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080-ngl 99 meminta setiap lapisan pada GPU. Baca log muat: ia mencetak berapa banyak lapisan yang telah di-offload. Lapisan yang melimpah ke dalam RAM sistem akan berjalan pada lebar jalur RAM dan bukannya lebar jalur HBM, jadi kelajuan penjanaan akan menurun secara drastik sebaik sahaja model tidak lagi muat sepenuhnya. Pertukaran antara kedua-dua alat ini dibincangkan dalam Ollama dan llama.cpp secara perbandingan.
Tahap 3: API dihoskan, orkestrasi dihoskan sendiri
Data di sebalik carta ini
[
{
"label": "Input, cache hit",
"usd_per_million_tokens": "0.30"
},
{
"label": "Input, cache miss",
"usd_per_million_tokens": "3.00"
},
{
"label": "Output",
"usd_per_million_tokens": "15.00"
}
]Endpoint ini serasi dengan OpenAI, jadi klien sedia ada boleh berfungsi selepas anda menukar URL asas.
curl https://api.moonshot.ai/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $MOONSHOT_API_KEY" \
-d '{"model": "kimi-k3", "messages": [{"role": "user", "content": "Say hello."}]}'Kunci yang berfungsi akan mengembalikan objek JSON dengan tatasusunan choices. 401 bermaksud pengesahan gagal: semak sama ada kunci tersebut betul dan belum tamat tempoh atau dinyahdayakan, serta pastikan pengepala (header) dibaca sebagai Authorization: Bearer diikuti dengan kunci tersebut. Ralat model-not-found biasanya bermaksud ID telah berubah, kerana penyedia menamatkan ID antara titik semakan (checkpoint).
Sekarang, mari lihat titik pulang modal menggunakan kadar sewaan yang diandaikan di atas. Nod 8 GPU yang sentiasa hidup berharga 14,400 USD sebulan, dan pada harga 15.00 USD bagi setiap juta token output, jumlah wang yang sama boleh membeli kira-kira 960 juta token output daripada API. Untuk menjimatkan kos, anda perlu menjana hampir satu bilion token output sebulan, kira-kira 30 juta sehari, dan memastikan kluster sentiasa sibuk sepanjang masa, kerana GPU yang melahu tetap dikenakan bayaran pada kadar yang sama seperti GPU yang sibuk. Beban kerja ejen yang berat dengan prompt akan menjadikan sasaran ini lebih sukar dicapai: konteks berulang dikenakan bayaran pada kadar cache-hit sebanyak 0.30 USD bagi setiap juta, bukannya kadar cache-miss sebanyak 3.00 USD.
Apa yang anda hoskan sendiri dalam tahap ini ialah segala-galanya di sekeliling model: gerbang (gateway) yang menyimpan kunci API supaya ia tidak pernah sampai ke klien, log permintaan dan respons, percubaan semula (retries), had kadar (rate limits), dan bajet bagi setiap pengguna. Ia berjalan pada VPS kecil tanpa sebarang GPU. Pembahagian yang sama terpakai untuk model berwajaran tertutup (closed weights), di mana menghoskan sendiri Claude tidak mungkin dilakukan pada peringkat model dan orkestrasi adalah satu-satunya bahagian yang anda miliki.
Timbunan penyajian yang manakah tergolong dalam peringkat yang mana
Pelayan kelas vLLM dan SGLang tergolong dalam peringkat 1. Ia wujud untuk menyajikan banyak permintaan serentak, dengan continuous batching dan paged KV cache, serta tensor dan expert parallelism yang tersebar merentasi beberapa nod. Ia mengandaikan penggunaan pemecut pusat data dan sambungan pantas antara nod tersebut. Pada satu kad pengguna, ia lebih berat untuk dipasang dan tidak memberikan banyak kelebihan yang ketara.
llama.cpp dan Ollama tergolong dalam peringkat 2. Ia menyasarkan satu mesin, kuantisasi GGUF, offload CPU apabila model tidak muat, dan konkurensi rendah. llama.cpp akan memuatkan MoE yang besar dengan menyimpan pemberat pakar dalam RAM sistem (--cpu-moe atau --n-cpu-moe) dan, dengan --moe-cache-mib, menyimpan pakar yang digunakannya dalam cache pada GPU, dan begitulah cara binaan K3 GGUF Unsloth berjalan pada satu mesin. Kelajuan kemudiannya bergantung pada lebar jalur RAM dan kekerapan router terlepas cache, dan jika fail lebih besar daripada RAM serta VRAM, ia akan beralih ke cakera. Ini merupakan persediaan yang boleh digunakan untuk seorang pengguna. Ia bukanlah servis yang boleh menampung ramai pengguna. Perbandingan penuh ada dalam Ollama berbanding vLLM, dan ia tidak berubah mengikut model: persoalannya sentiasa sama ada anda menyajikan ramai pengguna pada perkakasan kongsi atau seorang pengguna pada perkakasan sendiri.
Empat angka yang mengatasi titik semakan ini
- Jumlah parameter didarab dengan bait bagi setiap pemberat memberikan lantai memori. Tiada apa-apa yang berjalan di bawahnya pada ketepatan yang dikeluarkan, dan melakukan kuantisasi di bawah keluaran 4-bit memberikan anda sehingga kira-kira 70 peratus pada kos ketepatan, bukan satu magnitud.
- Parameter aktif memberikan kelas pemprosesan (throughput). MoE 2.8T dengan 104B aktif mengira seperti model 104B.
- KV cache bagi setiap token, didarab dengan panjang konteks, didarab dengan konkurensi, ialah kos yang terus meningkat selepas anda membayar untuk pemberat tersebut.
- Token sesaat bagi setiap dolar ialah satu-satunya angka yang menentukan peringkat. Semua perkara di atas adalah input kepadanya.
Gunakan keempat-empat perkara tersebut pada mana-mana keluaran dan anda akan mendapat jawapan yang tepat sebelum anda membuka panduan vendor. Yang seterusnya telah pun diumumkan: Moonshot melancarkan K3.1 Pro, dibina di atas K3 dengan latihan susulan lanjut, dalam Kimi Code pada 23 Oktober 2026, dan permulaan pantas API-nya menyatakan pemberat penuh akan dikeluarkan menjelang 4 November. Kemudian, letakkan tarikh pada setiap angka yang anda tulis. Harga dan senarai seni bina yang disokong kedua-duanya berubah dalam tempoh dua minggu selepas K3 dilancarkan. Angka pelancaran pada halaman ini diterbitkan pada Julai 2026, dan resipi penyajian, keluaran runtime serta angka kuantisasi telah disemak semula pada 27 Oktober 2026.
FAQ
Bolehkah saya menjalankan Kimi K3 pada satu GPU?
Tidak. Berat model adalah sekitar 1.4 TB pada ketepatan MXFP4 yang dibekalkan oleh Moonshot, dan kuantisasi terkecil yang diterbitkan bagi K3, iaitu fail UD-Q1_0 466 GB daripada Unsloth, adalah kira-kira 1.6 kali ganda lebih besar daripada 288 GB yang terdapat pada pemecut (accelerator) terbesar yang tersedia secara meluas. llama.cpp boleh menyimpan pakar (experts) dalam RAM sistem dan menyimpan pakar aktif dalam cache GPU, namun ini masih memerlukan saiz kuantisasi dalam RAM ditambah VRAM. Jika kurang daripada itu, model akan menggunakan storan cakera dan berjalan dengan jauh lebih perlahan. Resipi penyajian (serving recipes) terkecil yang diterbitkan menggunakan satu nod 8-GPU kad B300 atau MI350X/MI355X, manakala resipi H100 menggunakan 32 kad.
Berapakah VRAM yang diperlukan oleh Kimi K3?
Mulakan dengan 1.4 TB untuk berat model sahaja, iaitu 18 kad H100 80GB atau 5 kad kelas GB300. Kemudian, tambahkan memori untuk KV cache dan pengaktifan (activation memory). Panduan pelancaran Moonshot mengesyorkan 64 pemecut atau lebih. Setakat 27 Oktober 2026, buku panduan SGLang menerbitkan resipi nod tunggal pada 8 kad B300 atau 8 kad MI350X/MI355X, dengan jumlah agregat 2,304 GB, dan konfigurasi 32 GPU H100 dengan jumlah agregat 2,560 GB. Oleh itu, anggap angka berat model sebagai nilai minimum dan bukannya keperluan mutlak.
Adakah kuantisasi membolehkan Kimi K3 dimuatkan pada satu nod?
Checkpoint 4-bit yang dibekalkan sudah pun muat pada satu nod jika nod tersebut mempunyai lapan kad 288 GB, iaitu konfigurasi yang digunakan oleh resipi B300 dan MI355X SGLang, serta pada satu mesin dengan kira-kira 1.6 TB RAM ditambah VRAM melalui Q8 GGUF tanpa kehilangan data (lossless) daripada Unsloth. Penggunaan kuantisasi yang lebih rendah membantu mesin yang lebih kecil: binaan GGUF dinamik yang diukur oleh Unsloth berjulat daripada 861.3 GB pada 2-bit sehingga 594 GB pada 1-bit, dan repositorinya menyenaraikan fail 1-bit serendah 466 GB, berbanding kira-kira 1.56 TB tanpa kehilangan data. Kos ketepatan telah diukur: persetujuan top-1 dengan model penuh jatuh kepada 90.390 peratus pada UD-Q2_K_XL dan 78.875 peratus pada UD-IQ1_S. Tiada satu pun daripada ini muat pada satu kad tunggal.
Adakah menyewa GPU lebih murah daripada API Kimi K3?
Hanya pada volum yang tinggi dan stabil. Dengan andaian 2.50 USD sejam bagi setiap GPU, satu nod 8 GPU yang sentiasa aktif menelan kos 14,400 USD sebulan. Jumlah wang yang sama boleh membeli kira-kira 960 juta token output pada kadar yang diterbitkan iaitu 15.00 USD bagi setiap juta token. Anda juga perlu membayar untuk jam melahu, muat turun berat model, dan kos tenaga kerja untuk menyelenggara kluster tersebut. Sewa mengikut jam untuk beban kerja secara berkala (bursts), dan buat perbandingan berdasarkan volum token anda sendiri yang diukur, bukannya berdasarkan anggaran.
Apakah maksud 104B parameter aktif terhadap kelajuan?
Ini bermakna aritmetik bagi setiap token adalah setara dengan model 104B, jadi daya pemprosesan (throughput) berada dalam kelas tersebut dan bukannya kelas 2.8T. Ini tidak menyatakan apa-apa tentang memori: kesemua 2.8T parameter kekal dalam memori, kerana penghala (router) boleh memanggil mana-mana pakar untuk mana-mana token. Gunakan kiraan aktif untuk meramal token sesaat, dan gunakan jumlah kiraan keseluruhan untuk menentukan saiz VRAM.