Cara Self-Host Kimi K3: Hitung VRAM dan Pilihannya
Kimi K3 memiliki 2,8 triliun parameter. Pahami hitungan VRAM, KV cache, serta tiga cara realistis menjalankannya tanpa cluster 32 GPU.
Kebutuhan untuk melakukan self-hosting Kimi K3
Self-hosting Kimi K3 berarti menyediakan ruang untuk 2.8 triliun parameter. Moonshot merilis open weights dalam format MXFP4, dengan kebutuhan sekitar setengah byte per weight. Karena itu, weights saja memerlukan sekitar 1.4 TB sebelum Anda mengalokasikan satu token pun untuk cache. Tidak ada accelerator yang dijual saat ini yang dapat menampungnya sendiri. Untuk satu GPU, jawabannya tidak. Untuk satu server, jawabannya ya, dengan dua bentuk. Bentuk pertama adalah node 8-GPU dengan accelerator berkapasitas total 288 GB. Inilah konfigurasi yang digunakan oleh resep serving multi-user terkecil yang dipublikasikan. Bentuk kedua adalah satu mesin dengan sekitar 1.6 TB gabungan RAM dan VRAM yang menjalankan lossless Q8 GGUF milik Unsloth dalam llama.cpp, dengan atau tanpa GPU, untuk melayani satu pengguna pada satu waktu.
Itulah kesimpulannya. Bagian selanjutnya berisi perhitungannya, karena perhitungan inilah yang dapat Anda gunakan kembali pada rilis berikutnya. Beberapa vendor infrastruktur menerbitkan panduan deployment K3 dalam beberapa minggu setelah pengumuman pada 16 July 2026. Setiap panduan mengasumsikan bahwa Anda sudah memiliki cluster. Halaman ini membahasnya dari sisi sebaliknya: berapa biayanya, apa yang dapat Anda jalankan sebagai gantinya, dan cara menentukan posisi Anda di antara kedua opsi tersebut.
Jumlah parameter total dan parameter aktif bukan angka yang sama
K3 adalah model mixture of experts. MoE (mixture of experts) membagi jaringan menjadi banyak subjaringan, lalu membiarkan router memilih beberapa di antaranya untuk setiap token. Kartu model mencantumkan 2.8T parameter total dan 104B parameter yang diaktifkan per token, dari 896 expert yang dirutekan. Dari jumlah tersebut, 16 expert aktif untuk setiap token pada 93 layer.
Kedua jumlah parameter tersebut menjawab pertanyaan yang berbeda. Menukar keduanya adalah kesalahan yang paling umum dalam setiap diskusi "can I run this".
Parameter aktif menentukan biaya komputasi. Sebuah token diproses melalui sekitar 104B parameter. Karena itu, throughput yang sebaiknya Anda harapkan lebih menyerupai model dense 104B daripada model 2.8T. Inilah alasan utama MoE dibuat.
Parameter total menentukan biaya memori. Router dapat memilih expert mana pun untuk setiap token. Karena itu, semua expert harus disimpan di lokasi yang cepat sebelum permintaan pertama diterima. Menyimpan hanya expert yang sering digunakan di VRAM dan mengambil expert lain sesuai kebutuhan memang dapat dilakukan. llama.cpp --moe-cache-mib menyimpan cache expert di GPU, sementara expert lainnya tetap berada di RAM sistem, lalu mengunggah expert yang belum tersedia ketika router memilihnya. Namun, cara ini tidak mengurangi jumlah total parameter. Expert lainnya tetap harus berada di RAM. Selain itu, link PCIe hanya memindahkan data dengan kecepatan puluhan gigabyte per detik, sedangkan HBM mencapai terabyte per detik. Karena itu, setiap cache miss menambah waktu pemrosesan. Jika model juga tidak muat di RAM sehingga expert harus dialirkan dari NVMe, kinerjanya akan lebih lambat lagi. Panduan K3 dari Unsloth memperingatkan bahwa offloading ke disk berjalan jauh lebih lambat.
Jadi, biaya komputasinya rendah, tetapi biaya penyimpanannya tinggi. Sesuaikan perangkat keras dengan 2.8T. Sesuaikan ekspektasi kecepatan dengan 104B.
Byte per bobot dan asal terabyte tersebut
Jumlah parameter dikalikan byte per bobot. Untuk bobot, itulah seluruh rumusnya.
Data di balik grafik ini
[
{
"label": "bf16",
"bytes_per_weight": 2,
"weights_tb": 5.6
},
{
"label": "fp8",
"bytes_per_weight": 1,
"weights_tb": 2.8
},
{
"label": "4-bit (MXFP4, as shipped)",
"bytes_per_weight": 0.5,
"weights_tb": 1.4
},
{
"label": "2-bit",
"bytes_per_weight": 0.25,
"weights_tb": 0.7
}
]K3 dilatih dengan quantisation-aware training dan dirilis menggunakan bobot MXFP4 serta aktivasi MXFP8, sehingga baris 4-bit adalah konfigurasi sebenarnya. Baris di atasnya digunakan sebagai pembanding: pada bf16, model yang sama akan memerlukan 5.6 TB. MXFP4 juga menyimpan satu skala 8-bit bersama untuk setiap blok yang terdiri dari 32 bobot. Hal ini menambah sekitar 6 persen. Selain itu, konfigurasi Moonshot tidak menggunakan format 4-bit untuk attention, shared experts, dan vision tower, sehingga ukuran checkpoint lengkap menjadi sekitar 1.56 TB menurut perhitungan Unsloth, bukan tepat 1.4 TB.
Hal ini mempersempit opsi penghematan yang umum digunakan, tetapi tidak menutupnya sepenuhnya. Checkpoint yang dirilis sudah menggunakan 4-bit, sehingga penghematan termudah telah diterapkan. Namun, penggunaan bit yang lebih rendah tetap mengurangi ukurannya. Per 27 October 2026, quantisation GGUF dinamis K3 yang telah diukur oleh Unsloth berukuran mulai dari 861.3 GB untuk UD-Q2_K_XL 2-bit hingga 594 GB untuk UD-IQ1_S 1-bit. Unsloth juga memublikasikan dampaknya: kesesuaian token top-1 dengan model lengkap adalah 90.390 persen pada UD-Q2_K_XL, 84.127 persen pada UD-IQ2_XXS berukuran 711.1 GB, dan 78.875 persen pada UD-IQ1_S. Repositori Hugging Face milik Unsloth juga menyediakan file 1-bit yang lebih kecil, hingga 466 GB untuk UD-Q1_0, tetapi tidak mencantumkan angka kesesuaian untuk file tersebut. Ini merupakan penurunan akurasi yang terukur, dan bahkan file terkecil masih berukuran sekitar 1.6 kali kapasitas kartu tunggal terbesar.
Berapa GPU yang dibutuhkan Kimi K3
Data di balik grafik ini
[
{
"config": "H100 80GB",
"hbm_per_gpu_gb": 80,
"gpus_for_weights": 18
},
{
"config": "H200 141GB",
"hbm_per_gpu_gb": 141,
"gpus_for_weights": 10
},
{
"config": "B200 192GB",
"hbm_per_gpu_gb": 192,
"gpus_for_weights": 8
},
{
"config": "GB300 288GB",
"hbm_per_gpu_gb": 288,
"gpus_for_weights": 5
}
]Angka tersebut harus dipahami sebagai batas minimum, bukan target. Angka itu hanya menghitung bobot model: belum mencakup KV cache, buffer aktivasi, fragmentasi allocator, atau ruang untuk permintaan konkuren kedua. Pembagian model juga tidak harus merata: pipeline parallelism vLLM membagi model berdasarkan layer dan mendukung pembagian yang tidak seimbang, sedangkan resep prefill K3 dari SGLang menjalankan 8 dan 16 tahap pipeline untuk 93 layer.
Panduan yang dipublikasikan berada di atas batas minimum tersebut. Panduan peluncuran Moonshot merekomendasikan supernode dengan 64 accelerator atau lebih. Per 27 October 2026, cookbook SGLang menyediakan konfigurasi H100 yang terdiri dari empat node dengan 8 GPU, total 32 GPU dan memori agregat sebesar 2,560 GB, dibandingkan dengan batas minimum 18 kartu. Cookbook tersebut juga mencantumkan resep single-node pada satu node B300 dengan 8 GPU dan satu node MI350X atau MI355X dengan 8 GPU, dengan total 2,304 GB atau 288 GB per kartu. Selisih di atas batas minimum itu bukan pemborosan. Selisih tersebut digunakan untuk KV cache, memori aktivasi, dan headroom agar server dapat melakukan batch banyak permintaan secara bersamaan. Untuk kartu kelas GB300 sebanyak 5, pembulatan praktisnya tepat menjadi node dengan 8 GPU. Node tersebut merupakan mesin terkecil yang digunakan dalam resep serving K3 multi-user yang dipublikasikan.
Cache KV adalah bagian yang sering mengejutkan pengguna
Bobot merupakan biaya tetap. Cache KV (key value) tidak demikian: ukurannya bertambah seiring panjang konteks dan kembali bertambah untuk setiap pengguna yang berjalan secara bersamaan. Untuk attention biasa, rumusnya adalah bytes per token = 2 * layers * kv_heads * head_dim * bytes_per_element, lalu hasilnya dikalikan dengan panjang konteks dan konkurensi.
Berikut contoh perhitungannya, dan ini hanya contoh: 64 layer, 8 head KV, dimensi head 128, serta fp8. Hasilnya adalah 2 64 8 128 1 = 131,072 byte, atau 128 KiB per token.
Data di balik grafik ini
[
{
"label": "8k context",
"kv_gib_per_user": 1
},
{
"label": "32k context",
"kv_gib_per_user": 4
},
{
"label": "128k context",
"kv_gib_per_user": 16
},
{
"label": "1M context",
"kv_gib_per_user": 128
}
]Satu pengguna dengan konteks 128k memerlukan 16 GiB. Satu pengguna dengan konteks penuh 1 juta token memerlukan 128 GiB. Jumlah ini hampir setengah kapasitas kartu 288 GB untuk satu percakapan, bahkan sebelum satu bobot pun dimuat.
K3 tidak menggunakan attention biasa, dan angka terakhir itulah alasannya. Dari 93 layer yang dimilikinya, 69 adalah layer KDA (Kimi Delta Attention) dan 24 adalah layer Gated MLA (multi-head latent attention). KDA mempertahankan state rekuren berukuran tetap, bukan cache yang bertambah pada setiap token. MLA memampatkan key dan value menjadi satu vektor laten berdimensi rendah. Karena itu, biaya sebenarnya per token jauh lebih kecil daripada contoh perhitungan tersebut. config.json yang dipublikasikan Moonshot mencantumkan ukuran laten tersebut sebagai kv_lora_rank sebesar 512 ditambah rotary key selebar 64 (qk_rope_head_dim), sehingga totalnya 576 nilai per token untuk setiap layer MLA. Pada 24 layer dengan ukuran 2 byte per nilai, jumlahnya adalah 27,648 byte, sekitar 27 KiB per token, atau kira-kira 27 GiB untuk percakapan penuh sepanjang 1,048,576 token, ditambah state KDA yang tetap. Anggap ini sebagai perkiraan, bukan hasil pengukuran: setiap engine memiliki cara sendiri untuk melakukan padding dan menata cache, sedangkan cache 8-bit kira-kira mengurangi ukurannya menjadi setengah.
Untuk melihat kapasitas yang digunakan deployment Anda, jangan memantau nvidia-smi saat menaikkan --max-model-len. vLLM melakukan pra-alokasi pada pool cache KV berdasarkan --gpu-memory-utilization (secara default 0.92 dalam dokumentasi saat ini) atau berdasarkan anggaran cache eksplisit per GPU. Karena itu, total memori GPU menunjukkan ukuran pool, bukan penggunaan satu percakapan. Baca log saat startup sebagai gantinya. Di sana vLLM melaporkan ukuran cache KV dalam token dan konkurensi maksimum pada panjang konteks Anda.
Pola penalarannya tetap berlaku pada rilis berikutnya. Jika suatu model mengiklankan konteks sepanjang 1 juta token tetapi tidak menjelaskan desain attention-nya, anggap cache sebagai kendala utama sampai ada bukti yang menunjukkan sebaliknya.
Tingkat 1: sewa cluster berdasarkan jam
Ini adalah tingkat yang menyajikan K3 dengan presisi rilisnya kepada banyak pengguna sekaligus. Satu mesin dengan RAM yang cukup juga dapat menjalankan K3 pada presisi rilisnya melalui Q8 GGUF dari Unsloth, yang oleh Unsloth diberi label lossless pada presisi penuh. Namun, cara tersebut hanya melayani satu pengguna setiap kali dan dibahas pada tingkat 2. Pada tingkat ini, Anda tidak membeli perangkat keras. Anda menyewanya selama diperlukan, lalu menghentikannya setelah selesai.
Data di balik grafik ini
[
{
"label": "1 GPU, always on",
"gpu_hours": 720,
"usd_cost": "1,800"
},
{
"label": "8 GPUs, 4 hours a day",
"gpu_hours": 960,
"usd_cost": "2,400"
},
{
"label": "8 GPUs, always on",
"gpu_hours": 5760,
"usd_cost": "14,400"
},
{
"label": "32 GPUs, always on",
"gpu_hours": 23040,
"usd_cost": "57,600"
}
]Tarif tersebut merupakan asumsi, bukan penawaran harga. Tarif sesuai permintaan sangat bervariasi menurut penyedia dan generasi GPU. Komponen 288 GB yang diperlukan resep single-node lebih mahal per jam daripada H100, sedangkan kapasitas reservasi lebih murah. Gunakan angka aktual dari penyedia Anda dan hitung ulang: jumlah GPU dikalikan jumlah jam dikalikan tarif. Inti bagan ini adalah perbandingannya. Menjalankan node 8 GPU selama empat jam per hari memerlukan biaya 2,400 USD per bulan, sedangkan konfigurasi H100 32 GPU yang berukuran sesuai untuk SGLang jika terus berjalan memerlukan biaya 57,600 USD.
Kedua server utama tersebut mencantumkan perintah peluncuran pada kartu model.
pip install vllm
vllm serve "moonshotai/Kimi-K3"pip install sglang
python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3" --host 0.0.0.0 --port 30000Tidak satu pun dari kedua perintah dasar tersebut dapat langsung digunakan pada cluster nyata. Tambahkan flag paralelisme yang sesuai dengan perangkat keras Anda: SGLang menggunakan --tp-size untuk paralelisme tensor, --pp-size untuk paralelisme pipeline, dan --ep-size untuk paralelisme expert. Hasil perkalian paralelisme tensor dan paralelisme pipeline harus sama dengan jumlah GPU yang benar-benar Anda miliki. Paralelisme expert membagi expert di dalam kelompok tersebut. Karena itu, resep H100 32 GPU menetapkan --tp-size 32 dan --ep-size 32.
Pastikan server sudah berjalan sebelum mengirim trafik sebenarnya:
curl http://127.0.0.1:30000/v1/modelsServer yang sehat merespons dengan objek JSON yang mencantumkan ID model. Connection refused berarti proses masih memuat bobot atau sudah berhenti. Baca log server sebelum mencoba lagi.
Kegagalan yang umum terjadi pada minggu-minggu pertama adalah runtime yang lebih lama daripada model. K3 dirilis bersama KDA dan lapisan MoE baru yang belum tersedia dalam rilis stabil vLLM dan SGLang saat peluncuran. Gejalanya adalah server berhenti saat startup dengan baris seperti Model architectures [...] are not supported for now. Tidak ada perubahan konfigurasi yang dapat memperbaikinya, karena kode untuk menjalankan lapisan tersebut tidak ada dalam build Anda. Situasinya kemudian berubah. Per 27 October 2026, SGLang telah menyertakan dukungan K3 dalam rilisnya sejak v0.5.17, dengan v0.5.22 sebagai versi terbaru. Catatan rilis vLLM v0.28.0 hingga v0.32.0 juga semuanya mencakup pekerjaan terkait K3. Instal rilis terbaru. Beberapa jalur khusus perangkat keras masih memerlukan image khusus, misalnya build NVFP4 SGLang pada Blackwell. Karena itu, periksa resep untuk kartu Anda.
Ada satu catatan biaya yang sering terlewatkan. Meteran mulai berjalan saat instance dimulai, bukan saat model siap. Pengunduhan sebesar 1.56 TB dengan kecepatan 1 GB/s memerlukan sekitar 26 menit waktu cluster sebelum token pertama tersedia. Simpan bobot pada volume yang tetap tersedia setelah instance dihentikan agar proses kedua dapat dimulai dalam hitungan menit.
Tier 2: menjalankan model yang lebih kecil pada satu akselerator
Pada tier ini, Anda tidak menjalankan K3. Nyatakan hal itu dengan jelas sebelum memulai, karena sebagian besar diskusi tentang "menjalankan K3 secara lokal" berhenti di sini tanpa mengakuinya.
Aturan kecocokannya sama, tetapi dalam skala lebih kecil: jumlah parameter dikalikan byte per bobot, ditambah KV cache dan sekitar 2 GB overhead runtime, harus berada di bawah kapasitas VRAM. Pada 4-bit, kebutuhannya kira-kira setengah byte per parameter. Dengan demikian, pasangan yang sesuai adalah:
- Kartu 16 GB: model 7B pada 4-bit dengan ruang untuk konteks panjang
- Kartu 24 GB: model 14B pada 4-bit
- Kartu 48 GB: model 32B pada 4-bit
- Kartu 80 GB: model 70B pada 4-bit, atau MoE kelas 30B pada 8-bit
Setiap pasangan di atas mengasumsikan satu permintaan pada satu waktu. Saat orang kedua mengirim prompt, setiap slot konkuren memerlukan KV cache sendiri. Inilah pertukaran yang harus Anda atur melalui pengaturan NUM_PARALLEL dan MAX_QUEUE pada Ollama antara slot paralel, permintaan dalam antrean, dan VRAM yang tersisa.
Ada satu cara untuk menjalankan K3 itu sendiri pada satu mesin besar, dan posisinya berada di antara tier ini dan tier terakhir. Unsloth mendokumentasikan build GGUF K3 di llama.cpp, mulai dari kuantisasi 1-bit dan 2-bit hingga UD-Q8_K_XL, yang diberi labelnya sebagai presisi penuh tanpa kehilangan. Unsloth juga menyebut NVIDIA DGX Station sebagai perangkat keras yang dapat menjalankannya. Patokan sederhananya adalah total RAM dan VRAM kira-kira sama dengan ukuran kuantisasi, mulai dari sekitar 610 GB untuk build 1-bit UD-IQ1_S hingga sekitar 1.6 TB untuk Q8. Jika kapasitasnya di bawah itu, model menggunakan disk dan kinerjanya turun drastis. GPU bersifat opsional: petunjuk build Unsloth menonaktifkan CUDA dengan opsi "if you don't have a GPU or just want CPU inference". Build 1-bit dan 2-bit adalah K3 yang dikuantisasi secara agresif, dengan biaya akurasi seperti yang diukur di atas. Build Q8 adalah K3 pada presisi yang dirilis, dan disajikan kepada satu pengguna dengan kecepatan RAM. Keduanya bukan model yang lebih kecil.
Ollama adalah cara paling singkat untuk menjalankan server yang berfungsi pada VPS dengan GPU terpasang:
curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:14bollama run mengunduh model saat pertama kali digunakan, lalu menampilkan prompt. Tag yang tidak ada akan menghasilkan Error: model "..." not found. Karena itu, salin tag dari halaman pustaka dan jangan mengetiknya berdasarkan ingatan. Panduan lengkap, termasuk unit systemd dan akses jarak jauh, tersedia di menjalankan Ollama pada VPS.
llama.cpp memberi Anda kontrol yang lebih besar atas kuantisasi dan offload:
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j./build/bin/llama-server -m model.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080-ngl 99 meminta setiap layer dijalankan pada GPU. Baca log pemuatan: log tersebut menampilkan jumlah layer yang di-offload. Layer yang meluber ke RAM sistem berjalan pada bandwidth RAM, bukan bandwidth HBM. Akibatnya, kecepatan generasi turun hingga satu orde besaran saat model tidak lagi muat. Pertukaran antara kedua alat tersebut dibahas dalam Ollama dan llama.cpp secara berdampingan.
Tingkat 3: API terhosting, orkestrasi yang di-host sendiri
Data di balik grafik ini
[
{
"label": "Input, cache hit",
"usd_per_million_tokens": "0.30"
},
{
"label": "Input, cache miss",
"usd_per_million_tokens": "3.00"
},
{
"label": "Output",
"usd_per_million_tokens": "15.00"
}
]Endpoint ini kompatibel dengan OpenAI, sehingga klien yang sudah ada dapat digunakan setelah Anda mengubah URL dasar.
curl https://api.moonshot.ai/v1/chat/completions \
-H "Content-Type: application/json" \
-H "Authorization: Bearer $MOONSHOT_API_KEY" \
-d '{"model": "kimi-k3", "messages": [{"role": "user", "content": "Say hello."}]}'Key yang valid mengembalikan objek JSON dengan array choices. 401 berarti autentikasi gagal: pastikan key sudah benar, belum kedaluwarsa atau dinonaktifkan, dan header berisi Authorization: Bearer yang diikuti oleh key. Error model tidak ditemukan biasanya berarti id telah berubah, karena provider menghentikan penggunaan id di antara checkpoint.
Sekarang, hitung titik impas menggunakan tarif sewa yang diasumsikan di atas. Node 8 GPU yang selalu aktif berbiaya 14,400 USD per bulan. Dengan harga 15.00 USD per satu juta token output, jumlah yang sama hanya cukup untuk sekitar 960 juta token output dari API. Agar lebih hemat, Anda harus menghasilkan hampir satu miliar token output per bulan, atau sekitar 30 juta per hari, dan menjaga cluster tetap sibuk sepanjang waktu karena GPU yang idle dikenai biaya dengan tarif yang sama seperti GPU yang sibuk. Beban kerja agent yang banyak menggunakan prompt membuat titik ini semakin sulit dicapai: konteks yang diulang dikenai biaya berdasarkan tarif cache hit sebesar 0.30 USD per satu juta, bukan tarif cache miss sebesar 3.00 USD.
Pada tingkat ini, yang Anda host sendiri adalah seluruh komponen di sekitar model: gateway yang menyimpan API key agar tidak pernah sampai ke klien, log request dan response, percobaan ulang, batas laju, serta anggaran per pengguna. Semua komponen tersebut dapat berjalan pada VPS kecil tanpa GPU. Pemisahan yang sama berlaku untuk bobot tertutup. Pada kasus ini, self-hosting Claude tidak dimungkinkan pada tingkat model, sehingga orkestrasi menjadi satu-satunya bagian yang Anda kelola sendiri.
Stack serving yang sesuai untuk setiap tier
Server kelas vLLM dan SGLang termasuk tier 1. Keduanya dirancang untuk melayani banyak permintaan secara bersamaan, dengan continuous batching dan paged KV cache, serta tensor dan expert parallelism yang tersebar di beberapa node. Keduanya mengasumsikan penggunaan akselerator datacenter dan interkoneksi berkecepatan tinggi antarakselerator. Pada satu consumer card, keduanya lebih sulit dipasang dan manfaat tambahannya hampir tidak terlihat.
llama.cpp dan Ollama termasuk tier 2. Keduanya ditujukan untuk satu mesin, quantisation GGUF, CPU offload saat model tidak muat, serta konkurensi rendah. llama.cpp dapat memuat MoE berukuran sangat besar dengan menyimpan bobot expert di system RAM (--cpu-moe atau --n-cpu-moe) dan, dengan --moe-cache-mib, menyimpan expert yang digunakan ke cache pada GPU. Dengan cara inilah build K3 GGUF dari Unsloth dapat berjalan pada satu mesin. Kecepatannya kemudian bergantung pada bandwidth RAM dan seberapa sering router tidak menemukan data di cache. Jika ukuran file melebihi gabungan RAM dan VRAM, data akan dialihkan ke disk. Konfigurasi ini dapat digunakan oleh satu pengguna. Namun, konfigurasi ini bukan service yang dapat melayani banyak pengguna. Perbandingan lengkap tersedia di Ollama dibandingkan dengan vLLM, dan hasilnya tidak berubah berdasarkan model: pertanyaannya selalu apakah Anda melayani banyak pengguna pada hardware bersama atau satu pengguna pada mesin sendiri.
Empat angka yang tetap berlaku setelah titik pemeriksaan ini
- Total parameter dikalikan byte per bobot menentukan batas minimum memori. Tidak ada model yang dapat berjalan di bawah batas tersebut pada presisi yang disertakan, dan melakukan kuantisasi di bawah rilis 4-bit hanya menghemat hingga sekitar 70 persen dengan mengorbankan akurasi, bukan menguranginya hingga satu orde magnitudo.
- Parameter aktif menentukan kelas throughput. MoE 2.8T dengan 104B parameter aktif memiliki kebutuhan komputasi seperti model 104B.
- Cache KV per token, dikalikan panjang konteks dan konkurensi, adalah biaya yang terus bertambah setelah Anda membayar bobot.
- Token per detik per dolar adalah satu-satunya angka yang menentukan tier. Semua hal di atas menjadi input untuk angka tersebut.
Terapkan keempat angka tersebut pada rilis apa pun, dan Anda akan mendapatkan jawaban yang tepat sebelum membuka panduan vendor. Rilis berikutnya sudah diumumkan: Moonshot meluncurkan K3.1 Pro, yang dibangun di atas K3 dengan post-training tambahan, di Kimi Code pada 23 October 2026, dan quickstart API-nya menyatakan bahwa bobot lengkap akan dirilis pada 4 November. Selanjutnya, cantumkan tanggal untuk setiap angka yang Anda tulis. Harga dan daftar arsitektur yang didukung sama-sama berubah dalam dua minggu setelah K3 diluncurkan. Angka peluncuran pada halaman ini diterbitkan pada July 2026, sedangkan resep serving, rilis runtime, dan angka kuantisasi diperiksa ulang pada 27 October 2026.
FAQ
Dapatkah saya menjalankan Kimi K3 pada satu GPU?
Tidak. Bobotnya berukuran sekitar 1.4 TB pada presisi MXFP4 yang dirilis Moonshot, dan kuantisasi K3 terkecil yang dipublikasikan, yaitu file UD-Q1_0 berukuran 466 GB dari Unsloth, masih sekitar 1.6 kali lipat dari 288 GB pada accelerator terbesar yang tersedia secara luas. llama.cpp dapat menyimpan expert di RAM sistem dan menyimpan cache expert yang aktif di GPU, tetapi tetap memerlukan RAM ditambah VRAM kira-kira sebesar ukuran kuantisasi tersebut. Jika kapasitasnya lebih kecil, model akan dipindahkan ke disk dan berjalan jauh lebih lambat. Resep serving terkecil yang dipublikasikan menggunakan satu node dengan 8 GPU B300 atau kartu MI350X/MI355X, sedangkan resep H100 menggunakan 32 GPU.
Berapa banyak VRAM yang diperlukan Kimi K3?
Mulailah dengan 1.4 TB hanya untuk bobot, setara dengan 18 kartu H100 80GB atau 5 kartu kelas GB300. Setelah itu, tambahkan KV cache dan memori aktivasi. Panduan peluncuran Moonshot merekomendasikan 64 accelerator atau lebih. Per 27 October 2026, SGLang cookbook memublikasikan resep single-node dengan 8 kartu B300 atau 8 kartu MI350X/MI355X, dengan total 2,304 GB, serta konfigurasi H100 dengan 32 GPU dan total 2,560 GB. Karena itu, anggap ukuran bobot sebagai batas minimum, bukan sebagai kebutuhan keseluruhan.
Apakah kuantisasi membuat Kimi K3 muat pada satu node?
Checkpoint 4-bit yang dirilis sudah muat pada satu node jika node tersebut memiliki delapan kartu berkapasitas 288 GB, seperti yang digunakan dalam resep B300 dan MI355X SGLang. Model ini juga muat pada satu mesin dengan sekitar 1.6 TB RAM ditambah VRAM menggunakan Q8 GGUF lossless dari Unsloth. Kuantisasi yang lebih rendah membantu mesin yang lebih kecil. Hasil pengukuran Unsloth untuk dynamic GGUF berkisar dari 861.3 GB pada 2-bit hingga 594 GB pada 1-bit, dan repositorinya mencantumkan file 1-bit hingga 466 GB, dibandingkan sekitar 1.56 TB untuk versi lossless. Dampak terhadap akurasi telah diukur: tingkat kesesuaian top-1 dengan model penuh turun menjadi 90.390 persen pada UD-Q2_K_XL dan 78.875 persen pada UD-IQ1_S. Tidak satu pun konfigurasi tersebut muat pada satu kartu.
Apakah menyewa GPU lebih murah daripada API Kimi K3?
Hanya jika volumenya tinggi dan stabil. Dengan asumsi biaya 2.50 USD per jam GPU, node dengan 8 GPU yang selalu aktif berbiaya 14,400 USD per bulan. Biaya yang sama dapat membeli sekitar 960 juta token output dengan tarif yang dipublikasikan, yaitu 15.00 USD per juta token. Anda juga harus membayar jam ketika GPU menganggur, pengunduhan bobot, serta tenaga yang menjaga cluster tetap berjalan. Untuk beban kerja yang muncul sesekali, sewa GPU per jam dan bandingkan biayanya dengan volume token yang diukur pada sistem Anda, bukan dengan perkiraan.
Apa arti 104B parameter aktif terhadap kecepatan?
Artinya, kebutuhan komputasi per token setara dengan model 104B. Karena itu, throughput berada pada kelas tersebut, bukan kelas 2.8T. Angka ini tidak menunjukkan kebutuhan memori. Seluruh 2.8T parameter tetap berada di memori karena router dapat memanggil expert mana pun untuk token mana pun. Gunakan jumlah parameter aktif untuk memperkirakan token per detik, dan jumlah total parameter untuk menentukan kapasitas VRAM.