SSD Nodes Learn Hosting plans →
راهنماها Matt Connorتوسط Matt Connor · به‌روزرسانی شده 2026-10-28

راهنمای میزبانی شخصی مدل Kimi K3 و پیش‌نیازهای سخت‌افزاری

برای اجرای مدل 2.8 تریلیون پارامتری Kimi K3 به بیش از 1.4 ترابایت VRAM نیاز دارید. در این مطلب محاسبات دقیق KV cache و 3 روش عملی برای اجرای آن بدون کلاستر 32 GPU را بررسی می‌کنیم.

ملزومات میزبانی شخصی Kimi K3

میزبانی شخصی Kimi K3 به معنای یافتن فضایی برای 2.8 تریلیون پارامتر است. Moonshot وزن‌های این مدل را با فرمت MXFP4 منتشر کرده است که تقریباً نیم بایت برای هر وزن است؛ بنابراین وزن‌ها به‌تنهایی پیش از اختصاص حتی یک توکن برای حافظه کش (cache)، به حدود 1.4 TB می‌رسند. هیچ شتاب‌دهنده‌ای که امروزه در بازار موجود باشد، به‌تنهایی چنین ظرفیتی ندارد. برای یک GPU، پاسخ منفی است. برای یک سرور، پاسخ در دو حالت مثبت است. حالت اول، یک گره 8-GPU با شتاب‌دهنده‌های 288 GB است که کوچک‌ترین دستورالعمل‌های منتشرشده برای سرویس‌دهی چندکاربره از آن استفاده می‌کنند. حالت دوم، یک ماشین با حدود 1.6 TB حافظه ترکیبی RAM و VRAM است که نسخه Q8 GGUF بدون افت کیفیت (lossless) از Unsloth را در llama.cpp، با یا بدون GPU، برای سرویس‌دهی به یک کاربر در لحظه اجرا می‌کند.

این نتیجه نهایی است. تمام مطالب زیر، محاسبات پشت این نتیجه هستند، زیرا این محاسبات همان بخشی است که در نسخه بعدی دوباره از آن استفاده خواهید کرد. چندین فروشنده زیرساخت در هفته‌های پس از اعلامیه 16 July 2026، راهنماهای استقرار K3 را منتشر کردند و هر کدام فرض را بر این گذاشتند که شما از قبل یک کلاستر در اختیار دارید. این صفحه از سمت دیگر شروع می‌شود: هزینه‌ها چقدر است، چه چیز دیگری می‌توانید اجرا کنید و چگونه تشخیص دهید که در کدام‌یک از آن دو حالت قرار دارید.

تعداد پارامترهای کل و پارامترهای فعال یکسان نیستند

مدل K3 یک مدل Mixture of Experts یا به اختصار MoE است. مدل‌های MoE شبکه را به زیرشبکه‌های متعددی تقسیم می‌کنند و به یک router اجازه می‌دهند برای هر token، تعداد کمی از آن‌ها را انتخاب کند. کارت مدل، 2.8T پارامتر کل و 104B پارامتر فعال به ازای هر token را ذکر کرده است که از میان 896 expert مسیریابی‌شده، 16 مورد برای هر token خاص در 93 لایه فعال می‌شوند.

این دو عدد پارامتر به پرسش‌های متفاوتی پاسخ می‌دهند و جابه‌جا گرفتن آن‌ها رایج‌ترین اشتباه در تمام بحث‌های مربوط به "آیا می‌توانم این مدل را اجرا کنم" است.

پارامترهای فعال، هزینه محاسباتی را تعیین می‌کنند. یک token در حدود 104B پارامتر ضرب می‌شود، بنابراین throughput مورد انتظار شما مشابه یک مدل dense با 104B پارامتر است، نه یک مدل 2.8T. این دقیقاً همان دلیلی است که مدل‌های MoE ساخته می‌شوند.

پارامترهای کل، هزینه حافظه را تعیین می‌کنند. router ممکن است هر expert را برای هر token انتخاب کند، بنابراین پیش از رسیدن اولین درخواست، تمام expertها باید در جایی سریع ذخیره شده باشند. نگهداری فقط expertهای داغ (hot) در VRAM و فراخوانی بقیه در صورت نیاز امکان‌پذیر است: قابلیت --moe-cache-mib در llama.cpp یک کش GPU از expertها نگه می‌دارد که در غیر این صورت در RAM سیستم قرار دارند و expertهای مفقود را همزمان با انتخاب توسط router بارگذاری می‌کند. با این حال، این کار حجم کل را کاهش نمی‌دهد. بقیه expertها همچنان باید در RAM باقی بمانند و یک لینک PCIe در مقایسه با پهنای باند ترابایت بر ثانیه‌ای HBM، تنها ده‌ها گیگابایت بر ثانیه جابه‌جا می‌کند، بنابراین هر cache miss هزینه زمانی دارد. استریم کردن expertها از روی NVMe به دلیل اینکه مدل در RAM هم جا نمی‌شود، باز هم کندتر است و راهنمای K3 در Unsloth هشدار می‌دهد که offloading روی دیسک بسیار کندتر اجرا می‌شود.

بنابراین، محاسبه آن ارزان و ذخیره‌سازی آن گران است. سخت‌افزار خود را بر اساس 2.8T و انتظارات سرعت خود را بر اساس 104B تنظیم کنید.

بایت به ازای وزن و منشأ ترابایت‌ها

تعداد پارامترها ضرب‌در بایت به ازای هر وزن. برای وزن‌ها، فرمول کلی همین است.

نمودارWeight footprint of 2.8 trillion parameters, by precision
داده‌های پشت این نمودار
[
  {
    "label": "bf16",
    "bytes_per_weight": 2,
    "weights_tb": 5.6
  },
  {
    "label": "fp8",
    "bytes_per_weight": 1,
    "weights_tb": 2.8
  },
  {
    "label": "4-bit (MXFP4, as shipped)",
    "bytes_per_weight": 0.5,
    "weights_tb": 1.4
  },
  {
    "label": "2-bit",
    "bytes_per_weight": 0.25,
    "weights_tb": 0.7
  }
]

مدل K3 با آگاهی از کوانتایزیشن (quantisation aware) آموزش دیده و با وزن‌های MXFP4 و اکتیویشن‌های MXFP8 منتشر شده است، بنابراین ردیف 4-bit ردیف واقعی است. ردیف‌های بالاتر برای مقیاس‌سنجی آورده شده‌اند: در حالت bf16، همین مدل به 5.6 ترابایت فضا نیاز داشت. فرمت MXFP4 همچنین یک مقیاس 8-بیتی مشترک برای هر بلوک 32 تایی از وزن‌ها ذخیره می‌کند که حدود 6 درصد به حجم می‌افزاید. پیکربندی Moonshot بخش‌های attention، متخصص‌های مشترک (shared experts) و vision tower را از فرمت 4-bit خارج کرده است، بنابراین طبق محاسبات Unsloth، کل checkpoint به جای 1.4 ترابایت خالص، حدود 1.56 ترابایت حجم دارد.

این موضوع راه فرار معمول را محدود می‌کند اما نمی‌بندد. checkpoint منتشرشده هم‌اکنون 4-bit است، بنابراین صرفه‌جویی آسان انجام شده، اما کاهش بیشتر همچنان عدد نهایی را تغییر می‌دهد. تا تاریخ 27 اکتبر 2026، کوانتایزیشن‌های پویای GGUF برای K3 که توسط Unsloth اندازه‌گیری شده‌اند، از 861.3 گیگابایت برای UD-Q2_K_XL (نسخه 2-bit) تا 594 گیگابایت برای UD-IQ1_S (نسخه 1-bit) متغیر هستند. Unsloth هزینه این کار را نیز منتشر کرده است: توافق توکن top-1 با مدل کامل در UD-Q2_K_XL برابر با 90.390 درصد، در UD-IQ2_XXS با حجم 711.1 گیگابایت برابر با 84.127 درصد و در UD-IQ1_S برابر با 78.875 درصد است. مخزن Hugging Face این مدل همچنین فایل‌های 1-bit کوچک‌تری را تا 466 گیگابایت برای UD-Q1_0 در خود جای داده است که هیچ آمار توافقی برای آن‌ها منتشر نشده است. این یک افت دقت اندازه‌گیری‌شده است و حتی کوچک‌ترین فایل نیز همچنان حدود 1.6 برابر بزرگ‌ترین کارت گرافیک تکی است.

مدل Kimi K3 به چند GPU نیاز دارد

نمودارGPUs required to hold 1.4 TB of weights, before any KV cache
داده‌های پشت این نمودار
[
  {
    "config": "H100 80GB",
    "hbm_per_gpu_gb": 80,
    "gpus_for_weights": 18
  },
  {
    "config": "H200 141GB",
    "hbm_per_gpu_gb": 141,
    "gpus_for_weights": 10
  },
  {
    "config": "B200 192GB",
    "hbm_per_gpu_gb": 192,
    "gpus_for_weights": 8
  },
  {
    "config": "GB300 288GB",
    "hbm_per_gpu_gb": 288,
    "gpus_for_weights": 5
  }
]

این اعداد را به‌عنوان حداقلِ مطلق در نظر بگیرید، نه هدف نهایی. این مقادیر فقط وزن‌های مدل را محاسبه می‌کنند و شامل KV cache، بافرهای فعال‌سازی (activation buffers)، تکه‌تکه شدن حافظه توسط تخصیص‌دهنده (allocator fragmentation) یا فضای لازم برای درخواست دومِ هم‌زمان نمی‌شوند. تقسیم‌بندی مدل لزوماً نباید به‌طور مساوی انجام شود: قابلیت pipeline parallelism در vLLM مدل را در طول لایه‌ها تقسیم می‌کند و از تقسیم‌های نامتوازن پشتیبانی می‌کند؛ همچنین دستورالعمل‌های پیش‌بارگذاری (prefill recipes) برای K3 در SGLang، مراحل pipeline را به صورت 8 و 16 مرحله‌ای روی 93 لایه اجرا می‌کنند.

راهنمای منتشرشده، فراتر از این حداقل‌هاست. راهنمای راه‌اندازی Moonshot، استفاده از یک supernode با 64 شتاب‌دهنده یا بیشتر را توصیه کرده است. تا تاریخ 27 October 2026، کتابچه راهنمای SGLang یک پیکربندی H100 را ارائه می‌دهد که از چهار گره 8-GPU (در مجموع 32 GPU و 2,560 گیگابایت حافظه تجمیعی) تشکیل شده است، در حالی که حداقل مورد نیاز 18 کارت است. این راهنما همچنین دستورالعمل‌های تک‌گره‌ای را برای یک گره 8-GPU از نوع B300 و یک گره 8-GPU از نوع MI350X یا MI355X (با 2,304 گیگابایت حافظه و 288 گیگابایت به ازای هر کارت) فهرست می‌کند. این فاصله تا حداقلِ مطلق، هدررفت منابع نیست؛ بلکه فضای لازم برای KV cache، حافظه فعال‌سازی و ظرفیت اضافی (headroom) است که به سرور اجازه می‌دهد چندین درخواست را به‌طور هم‌زمان دسته‌بندی (batch) کند. در دسترس‌ترین گزینه، یعنی کارت‌های کلاس 5 GB300، در عمل به همان گره 8-GPU ختم می‌شود که کوچک‌ترین ماشینی است که برای آن دستورالعمل سرویس‌دهی چندکاربره K3 منتشر شده است.

کش KV بخشی است که افراد را غافلگیر می‌کند

وزن‌ها (Weights) هزینه‌ای ثابت دارند، اما کش KV (کلید-مقدار) این‌طور نیست؛ این کش با طول متن (context length) و با هر کاربر همزمان رشد می‌کند. برای مکانیزم توجه (attention) معمولی، فرمول به صورت bytes per token = 2 * layers * kv_heads * head_dim * bytes_per_element است و سپس باید آن را در طول متن و تعداد کاربران همزمان ضرب کنید.

در اینجا یک مثال عملی آورده شده است، که البته فقط یک مثال است: 64 لایه، 8 هد KV، ابعاد هد 128، و فرمت fp8. این مقادیر برابر است با 2 64 8 128 1 = 131,072 بایت، یعنی 128 KiB به ازای هر توکن.

نمودارKV cache per user in the worked example, at 128 KiB per token
داده‌های پشت این نمودار
[
  {
    "label": "8k context",
    "kv_gib_per_user": 1
  },
  {
    "label": "32k context",
    "kv_gib_per_user": 4
  },
  {
    "label": "128k context",
    "kv_gib_per_user": 16
  },
  {
    "label": "1M context",
    "kv_gib_per_user": 128
  }
]

یک کاربر با طول متن 128k هزینه‌ای معادل 16 GiB دارد. یک کاربر با طول متن کامل یک میلیون توکن، هزینه‌ای معادل 128 GiB دارد که تقریباً نیمی از حافظه یک کارت 288 گیگابایتی را تنها برای یک مکالمه اشغال می‌کند، آن هم پیش از اینکه حتی یک وزن بارگذاری شود.

مدل K3 از مکانیزم توجه معمولی استفاده نمی‌کند و عدد آخر، دلیل این موضوع است. از 93 لایه این مدل، 69 لایه از نوع KDA (Kimi Delta Attention) و 24 لایه از نوع Gated MLA (multi-head latent attention) هستند. KDA به جای کشی که با هر توکن رشد می‌کند، یک وضعیت بازگشتی (recurrent state) با اندازه ثابت نگه می‌دارد و MLA کلید و مقدار را در یک بردار نهفته (latent vector) با رتبه پایین فشرده می‌کند. بنابراین، هزینه واقعی به ازای هر توکن بسیار کمتر از مثال محاسباتی بالا است. فایل config.json منتشر شده توسط Moonshot، اندازه این بردار نهفته را مشخص می‌کند: یک kv_lora_rank با ابعاد 512 به اضافه یک کلید چرخشی 64 تایی (qk_rope_head_dim)، که در مجموع 576 مقدار به ازای هر توکن در هر لایه MLA می‌شود. در 24 لایه و با در نظر گرفتن 2 بایت برای هر مقدار، این مقدار برابر با 27,648 بایت یا حدود 27 KiB به ازای هر توکن است؛ یعنی تقریباً 27 GiB برای یک مکالمه کامل 1,048,576 توکنی، به اضافه وضعیت ثابت KDA. این عدد را به عنوان یک تخمین در نظر بگیرید نه یک اندازه‌گیری دقیق؛ موتورهای استنتاج، کش را به روش‌های خاص خود تخصیص می‌دهند و استفاده از کش 8 بیتی، این مقدار را تقریباً نصف می‌کند.

برای مشاهده میزان اشغال حافظه در استقرار خود، هنگام افزایش --max-model-len به nvidia-smi نگاه نکنید. vLLM استخر کش KV را از پیش تخصیص می‌دهد که اندازه آن بر اساس --gpu-memory-utilization (در مستندات فعلی به‌طور پیش‌فرض 0.92) یا بودجه صریح کش به ازای هر GPU تعیین می‌شود؛ بنابراین کل حافظه GPU نشان‌دهنده کل استخر است، نه فقط یک مکالمه. در عوض، لاگ راه‌اندازی را بخوانید؛ جایی که vLLM اندازه کش KV را بر حسب توکن و حداکثر تعداد کاربران همزمان را در طول متن مورد نظر شما گزارش می‌دهد.

ساختار استدلال در نسخه‌های بعدی نیز حفظ خواهد شد. اگر مدلی ادعای پشتیبانی از متن یک میلیون توکنی دارد و درباره طراحی مکانیزم توجه خود توضیحی نمی‌دهد، فرض را بر این بگیرید که کش، محدودیت اصلی (binding constraint) است، مگر اینکه خلاف آن ثابت شود.

سطح 1: اجاره کلاستر به صورت ساعتی

این سطحی است که K3 را با دقت عرضه شده به چندین کاربر به‌طور همزمان ارائه می‌دهد. یک ماشین با RAM کافی می‌تواند K3 را با دقت کامل از طریق Q8 GGUF در Unsloth نیز اجرا کند، که Unsloth آن را دقت کامل بدون افت کیفیت (lossless) می‌نامد، اما آن روش در هر لحظه فقط به یک کاربر سرویس می‌دهد و در سطح 2 پوشش داده شده است. در اینجا شما سخت‌افزار را نمی‌خرید. شما آن را برای ساعاتی که نیاز دارید اجاره می‌کنید و پس از آن متوقفش می‌کنید.

نمودارMonthly cost at an assumed 2.50 USD per GPU hour, 30 day month
داده‌های پشت این نمودار
[
  {
    "label": "1 GPU, always on",
    "gpu_hours": 720,
    "usd_cost": "1,800"
  },
  {
    "label": "8 GPUs, 4 hours a day",
    "gpu_hours": 960,
    "usd_cost": "2,400"
  },
  {
    "label": "8 GPUs, always on",
    "gpu_hours": 5760,
    "usd_cost": "14,400"
  },
  {
    "label": "32 GPUs, always on",
    "gpu_hours": 23040,
    "usd_cost": "57,600"
  }
]

این نرخ یک فرض است، نه یک قیمت قطعی. نرخ‌های on-demand بسته به ارائه‌دهنده و نسل GPU بسیار متفاوت هستند؛ قطعات 288 GB که دستورالعمل‌های تک‌گره (single-node) به آن نیاز دارند، هزینه ساعتی بیشتری نسبت به H100 دارند و ظرفیت رزرو شده ارزان‌تر است. عدد واقعی ارائه‌دهنده خود را بردارید و ضرب را دوباره انجام دهید: تعداد GPUها ضرب‌در ساعت‌ها ضرب‌در نرخ. هدف این جدول نشان دادن نسبت است. اجرای یک گره 8 GPU به مدت چهار ساعت در روز، 2,400 دلار در ماه هزینه دارد، در حالی که روشن نگه داشتن پیکربندی 32 GPU H100 با ابعاد SGLang، 57,600 دلار هزینه در بر دارد.

هر دو سرور اصلی، یک دستور راه‌اندازی را در model card منتشر می‌کنند.

pip install vllm
vllm serve "moonshotai/Kimi-K3"
pip install sglang
python3 -m sglang.launch_server --model-path "moonshotai/Kimi-K3" --host 0.0.0.0 --port 30000

هیچ‌کدام از این دستورات خام، چیزی نیست که شما روی یک کلاستر واقعی اجرا می‌کنید. فلگ‌های موازی‌سازی (parallelism flags) متناسب با سخت‌افزار خود را اضافه کنید: SGLang از --tp-size برای tensor parallel، --pp-size برای pipeline parallel و --ep-size برای expert parallel استفاده می‌کند. حاصل‌ضرب tensor parallel در pipeline parallel باید با تعداد GPUهایی که واقعاً در اختیار دارید برابر باشد، و expert parallel کارشناسان را در آن گروه تقسیم می‌کند؛ به همین دلیل است که دستورالعمل 32 GPU H100 هر دو مقدار --tp-size 32 و --ep-size 32 را تنظیم می‌کند.

پیش از ارسال ترافیک واقعی، بررسی کنید که سرور بالا آمده باشد:

curl http://127.0.0.1:30000/v1/models

یک سرور سالم با یک شیء JSON که شناسه مدل را لیست می‌کند، پاسخ می‌دهد. Connection refused به این معنی است که فرآیند هنوز در حال بارگذاری وزن‌هاست یا از قبل خارج شده است، بنابراین پیش از تلاش مجدد، لاگ سرور را بخوانید.

خطای رایج در هفته‌های اول، قدیمی بودن runtime نسبت به مدل بود. K3 با KDA و یک لایه MoE جدید عرضه شد که نسخه‌های پایدار vLLM و SGLang در زمان عرضه شامل آن نمی‌شدند و نشانه آن، خروج سرور در حین راه‌اندازی با خطی به فرم Model architectures [...] are not supported for now است. هیچ تغییر پیکربندی این مشکل را حل نمی‌کند، زیرا کد اجرای آن لایه‌ها در build شما وجود ندارد. این وضعیت از آن زمان تغییر کرده است: از تاریخ 27 October 2026، SGLang پشتیبانی از K3 را در نسخه‌های خود از v0.5.17 به بعد گنجانده است (با v0.5.22 به عنوان آخرین نسخه) و یادداشت‌های انتشار vLLM از v0.28.0 تا v0.32.0 همگی شامل کارهای مربوط به K3 هستند. یک نسخه به‌روز نصب کنید. برخی مسیرهای خاص سخت‌افزاری هنوز از یک image اختصاصی استفاده می‌کنند، برای مثال buildهای NVFP4 در SGLang روی Blackwell، بنابراین دستورالعمل مربوط به کارت خود را بررسی کنید.

یک نکته هزینه‌ای که افراد را غافلگیر می‌کند: کنتور از زمانی که instance شروع به کار می‌کند می‌اندازد، نه زمانی که مدل آماده است. دانلود 1.56 TB با سرعت 1 GB/s حدود 26 دقیقه از زمان کلاستر را پیش از تولید اولین توکن مصرف می‌کند. وزن‌ها را روی یک volume که پس از پایان instance باقی می‌ماند ذخیره کنید (stage کنید)، تا اجرای دوم در عرض چند دقیقه آغاز شود.

لایه 2: اجرای یک مدل کوچک‌تر روی یک شتاب‌دهنده

شما در این لایه K3 را اجرا نمی‌کنید. پیش از شروع، این موضوع را به‌صراحت اعلام کنید، چرا که اکثر بحث‌های «اجرای محلی K3» بدون اعتراف به این نکته پایان می‌یابند.

قانون تناسب، همان فرمول قبلی در مقیاس کوچک‌تر است: تعداد پارامترها ضرب‌در بایت به ازای هر وزن، به‌علاوه KV cache، به‌علاوه حدود 2 GB سربار زمان اجرا، باید کمتر از VRAM شما باشد. در حالت 4-bit، این مقدار تقریباً نیم بایت به ازای هر پارامتر است که ترکیب‌های مناسبی را ارائه می‌دهد:

  • کارت 16 GB: مدل 7B با دقت 4-bit و فضای کافی برای context طولانی
  • کارت 24 GB: مدل 14B با دقت 4-bit
  • کارت 48 GB: مدل 32B با دقت 4-bit
  • کارت 80 GB: مدل 70B با دقت 4-bit، یا مدل MoE کلاس 30B با دقت 8-bit

هر ترکیب بالا فرض را بر یک درخواست در لحظه می‌گذارد. به محض اینکه نفر دوم درخواستی ارسال کند، هر slot همزمان به KV cache اختصاصی خود نیاز دارد؛ این همان مبادله‌ای است که تنظیمات NUM_PARALLEL و MAX_QUEUE در Ollama بین slotهای موازی، درخواست‌های در صف و VRAM باقی‌مانده برای شما انجام می‌دهد.

یک روش برای اجرای خودِ K3 روی یک ماشین بزرگ تکی وجود دارد که بین این لایه و لایه قبلی قرار می‌گیرد. Unsloth نسخه‌های GGUF از K3 را در llama.cpp مستند کرده است؛ از کوانتیزاسیون 1-bit و 2-bit تا UD-Q8_K_XL که آن را دقت کامل بدون افت کیفیت (lossless) می‌نامد و NVIDIA DGX Station را به عنوان سخت‌افزار مناسب برای اجرای آن معرفی می‌کند. قاعده کلی آن این است که مجموع RAM و VRAM تقریباً با اندازه کوانتیزه برابر باشد؛ از حدود 610 GB برای نسخه 1-bit UD-IQ1_S تا حدود 1.6 TB برای نسخه Q8. در مقادیر کمتر از این، مدل به دیسک منتقل شده و سرعت آن به‌شدت کاهش می‌یابد. GPU اختیاری است: دستورالعمل‌های ساخت Unsloth در صورت «نداشتن GPU یا تمایل به استنتاج روی CPU»، CUDA را غیرفعال می‌کنند. نسخه‌های 1-bit و 2-bit همان K3 با کوانتیزاسیون سنگین هستند که با هزینه افت دقتِ اندازه‌گیری‌شده در بالا همراه است. نسخه Q8 همان K3 با دقت زمان انتشار است که با سرعت RAM به یک کاربر سرویس می‌دهد. هیچ‌کدام از این‌ها مدل کوچک‌تر نیستند.

Ollama کوتاه‌ترین مسیر برای راه‌اندازی یک سرور روی یک VPS مجهز به GPU است:

curl -fsSL https://ollama.com/install.sh | sh
ollama run qwen3:14b

ollama run مدل را در اولین استفاده دانلود کرده و سپس شما را به خط فرمان هدایت می‌کند. تگی که وجود نداشته باشد، خطای Error: model "..." not found برمی‌گرداند، بنابراین تگ‌ها را از صفحه کتابخانه کپی کنید و از حفظ تایپ نکنید. راهنمای کامل، شامل unit مربوط به systemd و دسترسی از راه دور، در اجرای Ollama روی VPS موجود است.

llama.cpp کنترل بیشتری روی کوانتیزاسیون و offload به شما می‌دهد:

git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j
./build/bin/llama-server -m model.gguf -c 8192 -ngl 99 --host 0.0.0.0 --port 8080

-ngl 99 درخواست می‌کند که تمام لایه‌ها روی GPU قرار گیرند. لاگ بارگذاری را بخوانید: این لاگ تعداد لایه‌های offload شده را چاپ می‌کند. لایه‌هایی که به RAM سیستم سرریز می‌شوند، با پهنای باند RAM اجرا می‌شوند نه پهنای باند HBM؛ بنابراین به محض اینکه مدل دیگر در VRAM جا نشود، سرعت تولید متن به میزان یک مرتبه بزرگی کاهش می‌یابد. مبادلات بین این دو ابزار در مقایسه Ollama و llama.cpp پوشش داده شده است.

سطح 3: API میزبانی‌شده، ارکستراسیون خودمیزبان

نمودارKimi K3 published API pricing, USD per million tokens, checked 17 July 2026
داده‌های پشت این نمودار
[
  {
    "label": "Input, cache hit",
    "usd_per_million_tokens": "0.30"
  },
  {
    "label": "Input, cache miss",
    "usd_per_million_tokens": "3.00"
  },
  {
    "label": "Output",
    "usd_per_million_tokens": "15.00"
  }
]

این endpoint با OpenAI سازگار است، بنابراین کلاینت موجود پس از تغییر base URL به درستی کار می‌کند.

curl https://api.moonshot.ai/v1/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer $MOONSHOT_API_KEY" \
  -d '{"model": "kimi-k3", "messages": [{"role": "user", "content": "Say hello."}]}'

یک کلید معتبر، یک شیء JSON شامل آرایه choices برمی‌گرداند. خطای 401 به معنای شکست در احراز هویت است: بررسی کنید که کلید صحیح باشد، منقضی نشده یا غیرفعال نشده باشد، و هدر شامل Authorization: Bearer و به دنبال آن کلید باشد. خطای model-not-found معمولاً به این معنی است که شناسه تغییر کرده است، زیرا ارائه‌دهندگان شناسه مدل‌ها را بین checkpointها بازنشسته می‌کنند.

حال نقطه سربه‌سر را با استفاده از نرخ اجاره فرض‌شده در بالا محاسبه می‌کنیم. یک نود با 8 پردازنده گرافیکی که همیشه روشن است، ماهانه 14,400 دلار هزینه دارد و با قیمت 15.00 دلار به ازای هر میلیون توکن خروجی، همین مبلغ معادل خرید حدود 960 میلیون توکن خروجی از API است. برای صرفه اقتصادی، باید نزدیک به یک میلیارد توکن خروجی در ماه تولید کنید، یعنی حدود 30 میلیون توکن در روز، و کلاستر را تمام مدت مشغول نگه دارید؛ زیرا پردازنده‌های گرافیکی در حالت بیکار نیز با همان نرخ حالت فعال هزینه دارند. بارهای کاری عامل‌محور (agent workloads) که پر از prompt هستند، این مرز را باز هم دورتر می‌کنند: متن تکراری (context) با نرخ cache-hit یعنی 0.30 دلار به ازای هر میلیون توکن محاسبه می‌شود، نه نرخ cache-miss که 3.00 دلار است.

آنچه در این سطح خودمیزبانی می‌کنید، تمام اجزای پیرامون مدل است: یک gateway که کلید API را نگه می‌دارد تا هرگز به کلاینت نرسد، لاگ‌های درخواست و پاسخ، تلاش‌های مجدد (retries)، محدودیت نرخ (rate limits) و بودجه‌بندی به ازای هر کاربر. این سیستم روی یک VPS کوچک بدون نیاز به پردازنده گرافیکی اجرا می‌شود. همین تقسیم‌بندی برای مدل‌های با وزن بسته (closed weights) نیز صدق می‌کند، جایی که خودمیزبانی Claude در سطح مدل ممکن نیست و ارکستراسیون تنها بخشی است که شما مالکیت آن را در اختیار دارید.

کدام پشتهٔ سرویس‌دهی به کدام لایه تعلق دارد

سرورهای کلاس vLLM و SGLang به لایه 1 تعلق دارند. هدف آن‌ها پاسخ‌دهی به تعداد زیادی درخواست به‌صورت هم‌زمان است که با استفاده از قابلیت continuous batching و paged KV cache، به همراه موازی‌سازی تانسور و متخصص (expert parallelism) در چندین گره انجام می‌شود. این سرورها فرض را بر وجود شتاب‌دهنده‌های دیتاسنتری و اتصالات سریع بین آن‌ها می‌گذارند. روی یک کارت گرافیک مصرفی (consumer card)، نصب آن‌ها سنگین‌تر است و مزیت قابل‌توجهی برای شما نخواهند داشت.

llama.cpp و Ollama به لایه 2 تعلق دارند. هدف آن‌ها یک ماشین واحد، کوانتایزیشن GGUF، انتقال بار به CPU در صورت عدم جای‌گیری مدل در حافظه، و هم‌زمانی (concurrency) پایین است. llama.cpp یک مدل MoE بسیار بزرگ را با نگهداری وزن‌های متخصص در RAM سیستم (--cpu-moe یا --n-cpu-moe) بارگذاری می‌کند و با استفاده از --moe-cache-mib، متخصص‌های مورد استفاده را در GPU کش می‌کند؛ این همان روشی است که بیلد‌های K3 GGUF در Unsloth روی یک ماشین اجرا می‌شوند. سرعت در این حالت به پهنای باند RAM و میزان دفعاتی که روتر در کش دچار miss می‌شود بستگی دارد، و اگر حجم فایل از مجموع RAM و VRAM بیشتر باشد، داده‌ها به دیسک منتقل می‌شوند. این یک پیکربندی کاربردی برای یک کاربر است. این سرویسی نیست که بتوانید کاربران زیادی را روی آن قرار دهید. مقایسه کامل در Ollama در برابر vLLM آمده است و این موضوع با تغییر مدل عوض نمی‌شود: پرسش همواره این است که آیا به کاربران زیادی روی سخت‌افزار اشتراکی سرویس می‌دهید یا به یک کاربر روی سخت‌افزار شخصی خودتان.

چهار عددی که فراتر از این نقطه بازبینی باقی می‌مانند

  1. حاصل‌ضرب تعداد کل پارامترها در بایت‌های هر وزن، کف حافظه مورد نیاز را تعیین می‌کند. هیچ مدلی با دقت پیش‌فرض (shipped precision) پایین‌تر از این مقدار اجرا نمی‌شود و کوانتایز کردنِ نسخه‌ای که خود 4-bit است، حداکثر تا 70 درصد صرفه‌جویی به همراه دارد، اما نه به اندازه یک مرتبه بزرگی (order of magnitude)، و این کار با هزینه کاهش دقت همراه است.
  2. پارامترهای فعال، کلاس توان عملیاتی (throughput) را تعیین می‌کنند. یک مدل 2.8T MoE با 104B پارامتر فعال، محاسباتی مشابه یک مدل 104B دارد.
  3. حافظه کش KV برای هر توکن، ضرب در طول متن (context length)، ضرب در تعداد هم‌زمانی (concurrency)، هزینه‌ای است که پس از پرداخت هزینه وزن‌ها، همچنان در حال رشد است.
  4. توکن بر ثانیه به ازای هر دلار، تنها عددی است که یک رده (tier) را انتخاب می‌کند. تمام موارد بالا، ورودی‌های این عدد هستند.

این چهار مورد را برای هر نسخه‌ای اعمال کنید تا پیش از باز کردن راهنمای فروشنده، به پاسخ درست برسید. نسخه بعدی از هم‌اکنون اعلام شده است: Moonshot مدل K3.1 Pro را که بر پایه K3 و با آموزش‌های تکمیلی ساخته شده، در تاریخ 23 October 2026 در Kimi Code عرضه کرد و در راهنمای سریع API آن آمده است که وزن‌های کامل تا 4 November منتشر خواهند شد. بنابراین، برای هر عددی که یادداشت می‌کنید، تاریخ بزنید. قیمت‌ها و لیست معماری‌های پشتیبانی‌شده، هر دو در طول دو هفته پس از عرضه K3 تغییر کردند. ارقام مربوط به زمان عرضه در این صفحه در July 2026 منتشر شده‌اند و دستورالعمل‌های سرویس‌دهی، نسخه‌های runtime و اعداد مربوط به کوانتایزاسیون در تاریخ 27 October 2026 بازبینی شدند.

FAQ

آیا می‌توانم Kimi K3 را روی یک GPU اجرا کنم؟

خیر. وزن‌های مدل در دقت MXFP4 که توسط Moonshot عرضه شده، حدود 1.4 ترابایت است. حتی کوچک‌ترین کوانتیزاسیون منتشرشده از K3، یعنی فایل 466 گیگابایتی UD-Q1_0 از Unsloth، حدود 1.6 برابر بزرگ‌تر از 288 گیگابایت حافظهٔ موجود در بزرگ‌ترین شتاب‌دهنده‌های رایج است. ابزار llama.cpp می‌تواند expertها را در RAM سیستم نگه دارد و موارد فعال را در GPU کش کند، اما این کار همچنان به حجمی معادل اندازهٔ کوانت‌شده در RAM به اضافهٔ VRAM نیاز دارد؛ در غیر این صورت مدل به دیسک منتقل شده و سرعت آن به‌شدت کاهش می‌یابد. کوچک‌ترین دستورالعمل‌های سرویس‌دهی منتشرشده از یک نود 8-GPU با کارت‌های B300 یا MI350X/MI355X استفاده می‌کنند و دستورالعمل H100 به 32 کارت نیاز دارد.

Kimi K3 به چه مقدار VRAM نیاز دارد؟

برای وزن‌ها به‌تنهایی از 1.4 ترابایت شروع کنید که معادل 18 کارت H100 80GB یا 5 کارت کلاس GB300 است. سپس باید حافظهٔ KV cache و activation را به آن اضافه کنید. راهنمای راه‌اندازی Moonshot استفاده از 64 شتاب‌دهنده یا بیشتر را توصیه کرده است. تا تاریخ 27 اکتبر 2026، کتابچهٔ راهنمای SGLang دستورالعمل‌های تک‌نودی را روی 8 کارت B300 یا 8 کارت MI350X/MI355X با مجموع 2,304 گیگابایت، و یک پیکربندی 32 GPU از نوع H100 با مجموع 2,560 گیگابایت منتشر کرده است؛ بنابراین عدد مربوط به وزن‌ها را به‌عنوان حداقل کف در نظر بگیرید، نه کل نیاز.

آیا کوانتیزاسیون باعث می‌شود Kimi K3 روی یک نود جا شود؟

چک‌پوینت 4-بیتی عرضه‌شده، در صورتی که نود دارای هشت کارت 288 گیگابایتی باشد (که در دستورالعمل‌های B300 و MI355X در SGLang استفاده شده)، روی یک نود جا می‌شود. همچنین با استفاده از Q8 GGUF بدون افت کیفیت (lossless) از Unsloth، روی ماشینی با حدود 1.6 ترابایت RAM به اضافهٔ VRAM قابل اجراست. کاهش بیشتر دقت به ماشین‌های کوچک‌تر کمک می‌کند: بیلد‌های GGUF پویای اندازه‌گیری‌شده توسط Unsloth از 861.3 گیگابایت در 2-بیت تا 594 گیگابایت در 1-بیت متغیر هستند و مخزن آن فایل‌های 1-بیتی تا 466 گیگابایت را در برابر حدود 1.56 ترابایت نسخه بدون افت کیفیت فهرست کرده است. هزینهٔ دقت اندازه‌گیری شده است: توافق top-1 با مدل کامل در UD-Q2_K_XL به 90.390 درصد و در UD-IQ1_S به 78.875 درصد کاهش می‌یابد. هیچ‌کدام از این‌ها روی یک کارت واحد جا نمی‌شوند.

آیا اجارهٔ GPU ارزان‌تر از API مدل Kimi K3 است؟

فقط در حجم کاری بالا و پایدار. با فرض هزینه 2.50 دلار برای هر ساعت GPU، یک نود 8 GPU که همیشه روشن باشد، ماهانه 14,400 دلار هزینه دارد. همین مبلغ با نرخ اعلام‌شدهٔ 15.00 دلار به ازای هر میلیون توکن، حدود 960 میلیون توکن خروجی برای شما فراهم می‌کند. شما همچنین باید هزینهٔ ساعات بیکاری، دانلود وزن‌ها و نیروی انسانی که کلاستر را سرپا نگه می‌دارد را بپردازید. برای بارهای کاری مقطعی (burst) به‌صورت ساعتی اجاره کنید و آن را با حجم توکن اندازه‌گیری‌شدهٔ خودتان مقایسه کنید، نه با حدس و گمان.

104 میلیارد پارامتر فعال برای سرعت به چه معناست؟

این یعنی محاسبات ریاضی به ازای هر توکن، مشابه یک مدل 104 میلیاردی است؛ بنابراین توان عملیاتی (throughput) در آن کلاس قرار می‌گیرد، نه در کلاس 2.8 تریلیونی. این موضوع هیچ ارتباطی به حافظه ندارد: تمام 2.8 تریلیون پارامتر باید در حافظه مقیم باشند، زیرا روتر می‌تواند برای هر توکن، هر expertای را فراخوانی کند. از تعداد پارامترهای فعال برای پیش‌بینی توکن بر ثانیه و از تعداد کل پارامترها برای تعیین اندازهٔ VRAM استفاده کنید.

آیا این مقاله مفید بود؟