راهنمای میزبانی شخصی مدل Kolibri-1 و سخت‌افزار مورد نیاز

میزبانی شخصی Kolibri-1: پاسخ کوتاه

میزبانی شخصی Kolibri-1 امکان‌پذیر است، اما نه روی یک VPS معمولی. شرکت Aleph Alpha مستقر در هایدلبرگ، این مدل را تحت مجوز Apache 2.0 منتشر کرده است. وزن‌های مدل در فرمت FP8 حدود 78 گیگابایت حجم دارند. روش رسمی استفاده از vLLM روی حداقل یک کارت H200 یا دو کارت گرافیک با 80 گیگابایت حافظه برای هر کدام است. هیچ روش رسمی برای CPU، GGUF، llama.cpp یا Ollama وجود ندارد.

برای بسیاری از خوانندگان در آلمان، یک پرسش اهمیت اصلی را دارد: آیا داده‌ها در داخل سازمان باقی می‌مانند؟ با Kolibri-1 این کار ممکن است و مجوز آن نیز مانعی ایجاد نمی‌کند. مانع اصلی، سخت‌افزار است.

وضعیت اطلاعات: تمام موارد ذکر شده در اینجا به Model Card مربوط به Aleph-Alpha/Kolibri-1 در بازبینی e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face، 3 اکتبر 2026) و بسته aleph-alpha-inference در نسخه 1.0.0 استناد دارد. آخرین بررسی در 10 اکتبر 2026 انجام شده است. بازبینی‌های بعدی ممکن است ارقام متفاوتی داشته باشند. پیش از اجاره یا خرید سخت‌افزار، آن‌ها را بررسی کنید.

آنچه Model Card درباره Kolibri-1 مشخص می‌کند

• معماری: MoE (Mixture of Experts). این مدل از زیرشبکه‌های متعددی به نام متخصص (Expert) تشکیل شده است. برای هر توکن، تنها تعداد کمی از آن‌ها محاسبات را انجام می‌دهند.
• اندازه: در مجموع 78 میلیارد پارامتر که از این تعداد 3,46 میلیارد پارامتر به ازای هر توکن فعال هستند. این مدل دارای 50 لایه است که هر لایه 384 متخصص دارد و از میان آن‌ها 6 متخصص برای هر توکن انتخاب می‌شوند.
• زمینه (Context): 262.144 توکن به صورت بومی (nativ). طبق Model Card، کیفیت مدل تا 1.048.576 توکن اعتبارسنجی شده است.
• وزن‌ها: FP8 (اعداد ممیز شناور 8 بیتی) در فرمت float8_e4m3fn، در بلوک‌های 128×128. لایه‌های Embedding و LM-Head در فرمت bfloat16 هستند. طبق Model Card، حجم کل این موارد حدود 78 گیگابایت است. حجم خود مخزن (Repository) نیز 78,9 گیگابایت می‌باشد.
• داده‌های آموزشی: 62,5 درصد انگلیسی، 23,9 درصد آلمانی و 13,6 درصد کد، با 20 تریلیون توکن در مرحله پیش‌آموزش (Pre-training). علاوه بر این، یک توکنایزر وجود دارد که طبق Model Card برای ساختار کلمات زبان آلمانی بهینه‌سازی شده است.
• مجوز: Apache 2.0. این مخزن محدودیت دسترسی (Gated) ندارد. بنابراین نیازی به ارسال درخواست دسترسی ندارید.

مهم‌ترین نکته در دو خط اول نهفته است. 3,46 میلیارد پارامتر فعال به معنای حجم محاسباتی کم برای هر توکن است. اما نیاز به حافظه (VRAM) بر اساس تمام 78 میلیارد پارامتر تعیین می‌شود. روتر برای هر توکن متخصص‌های متفاوتی را انتخاب می‌کند. به همین دلیل، تمام متخصص‌ها باید همیشه در حافظه گرافیکی بارگذاری شده باشند. بنابراین یک مدل MoE مانند یک مدل کوچک محاسبه می‌کند اما به اندازه یک مدل بزرگ حافظه اشغال می‌کند.

توکنایزر نیز تأثیر عملی دارد. توکنایزر متن را به توکن‌ها تجزیه می‌کند. اگر توکنایزر با زبان سازگار نباشد، یک کلمه طولانی آلمانی به قطعات کوچک بسیاری تقسیم می‌شود. این امر باعث هدر رفتن ظرفیت زمینه و زمان محاسباتی می‌شود. توکنایزری که برای زبان آلمانی بهینه‌سازی شده باشد، برای همان متن به توکن‌های کمتری نیاز دارد.

اعداد بنچمارک در Model Card

شرکت Aleph Alpha برای این مدلِ بازآموزش‌دیده، دو مقدار کلی ارائه می‌دهد. این اعداد حاصل ارزیابی خود سازنده هستند و نه یک تست مستقل.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

طبق Model Card، مدل Kolibri-1 در زبان آلمانی به امتیاز 70.8 و در زبان انگلیسی به امتیاز 75.5 دست می‌یابد. بنابراین این مدل نیز در زبان انگلیسی کمی قوی‌تر است. اینکه آیا این مدل برای وظایف شما کافی است یا خیر، تنها با تست کردن آن روی اسناد خودتان مشخص می‌شود.

تغییرات نسبت به Pharia

سری مدل‌های قبلی Aleph Alpha با نام Pharia شناخته می‌شد. در Model Card مربوط به Pharia-1-LLM-7B-control از مجوز Open Aleph License یاد شده بود. این مجوز تنها اجازه تحقیقات غیرتجاری و آموزشی را می‌داد. برای استفاده تجاری، باید مستقیماً با Aleph Alpha تماس گرفته می‌شد. در مقابل، Kolibri-1 تحت مجوز Apache 2.0 منتشر شده است. بنابراین شما اجازه دارید از این مدل در شرکت خود استفاده کنید و حتی نسخه‌های تغییریافته آن را توزیع کنید، به شرطی که متن مجوز و یادداشت‌های مربوطه را همراه آن ارائه دهید.

Kolibri-1 به چه GPU نیاز دارد؟

این کارت دو سطح را مشخص می‌کند. حداقل: 2 عدد A100 80 GB، 2 عدد H100 SXM5، 1 عدد H200، 1 عدد B200 یا 1 عدد B300. توصیه شده: 2 عدد H100 SXM5، 2 عدد H200، 1 عدد B200 یا 1 عدد B300.

چرا یک H100 تکی کافی نیست؟ محاسبه ساده است. وزن‌ها را از حافظه گرافیکی یا همان VRAM (video random access memory) کسر کنید. آنچه باقی می‌ماند، توسط vLLM عمدتاً برای KV-Cache استفاده می‌شود. KV-Cache برای هر توکن در متن، کلیدها (keys) و مقادیر (values) لایه‌های Attention را ذخیره می‌کند. بدون آن، مدل نمی‌تواند متن (context) را حفظ کند.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

یک H100 دارای 80 گیگابایت حافظه است و وزن‌ها 79 گیگابایت را اشغال می‌کنند. از نظر محاسباتی 1 گیگابایت باقی می‌ماند. این مقدار برای هیچ متن معناداری کافی نیست. یک H200 مقدار 62 گیگابایت و دو H200 مقدار 203 گیگابایت فضای آزاد باقی می‌گذارند. ذخیره واقعی کمتر از این است. vLLM به‌صورت پیش‌فرض تنها 92 درصد از حافظه گرافیکی را استفاده می‌کند (--gpu-memory-utilization، مقدار پیش‌فرض 0.92 در vLLM 0.29.0) و فعال‌سازی‌ها (activations) نیز به فضا نیاز دارند. این مقادیر، محاسبات تقریبی و گرد شده هستند و اندازه‌گیری دقیق محسوب نمی‌شوند.

دو ویژگی در معماری، بار KV-Cache را کاهش می‌دهند. نخست اینکه طبق کارت مشخصات، Kolibri-1 لایه‌هایی با Sliding-Window-Attention و لایه‌هایی با Full-Attention را با نسبت 4 به 1 ترکیب می‌کند. یک لایه Sliding-Window فقط توکن‌های یک پنجره ثابت را ذخیره می‌کند. به همین دلیل، حافظه کش آن با افزایش طول متن، به اندازه کامل رشد نمی‌کند. دوم اینکه کارت مشخصات --kv-cache-dtype fp8 را توصیه می‌کند. با این کار، هر ورودی کش نصف حافظه حالت 16 بیتی را اشغال می‌کند. با این وجود، لایه‌های Full-Attention با هر توکن رشد می‌کنند. در 262.144 توکن، این فضا روی یک H200 تکی محدود می‌شود.

چرا یک VPS معمولی نمی‌تواند Kolibri-1 را اجرا کند

شرکت Aleph Alpha تنها روش استفاده از vLLM با GPU را ارائه می‌دهد. در مستندات این مدل، هیچ اشاره‌ای به اجرای آن روی CPU یا استفاده از فرمت‌های GGUF، llama.cpp یا Ollama نشده است. یک VPS معمولی مبتنی بر CPU فاقد حافظه گرافیکی (VRAM) است؛ بنابراین زیرساخت لازم برای این روش وجود ندارد.

با این حال، در Hugging Face تبدیل‌های GGUF توسط جامعه کاربری منتشر شده است. جستجوی عبارت "kolibri-1 gguf" در تاریخ 6 اکتبر 2026، هشت مخزن (repository) را برای Kolibri-1 نشان می‌دهد و تعداد آن‌ها دائماً در حال افزایش است. حجم فایل Q4_K_M حدود 47.5 GB است و از نظر محاسباتی در سروری با 64 GB رم جای می‌گیرد. اما مخازنی که در تاریخ 6 اکتبر 2026 بررسی کردیم، خود اذعان دارند که نسخه معمولی llama.cpp معماری kolibri1 را نمی‌شناسد. شما به یک نسخه پچ‌شده در یک Commit خاص نیاز دارید. نویسندگان این نسخه‌ها اعلام کرده‌اند که تنها اجراهای کوتاه، عمدتاً با کانتکست 4.096 تا 8.192 توکن را تست کرده‌اند. کانتکست‌های طولانی‌تر و کیفیت خروجی در مقایسه با مدل اصلی هنوز بررسی نشده‌اند. این وضعیت برای داده‌های سازمانی قابل‌اتکا نیست و صرفاً یک آزمایش محسوب می‌شود.

این‌که هر مدل با چه کوانتیزیشنی به چه مقدار رم نیاز دارد، در راهنمای محاسبه حجم مورد نیاز LLM برای رم شما گام‌به‌گام توضیح داده شده است. دلیل اینکه چرا در اینجا vLLM ابزار اصلی است، در مقایسه Ollama و vLLM شرح داده شده است: vLLM برای پاسخ‌دهی به درخواست‌های موازی متعدد روی GPU طراحی شده، در حالی که Ollama برای شروع سریع با مدل‌های کوانتیزه شده مناسب است.

نصب Kolibri-1 با vLLM

شما به یک سرور لینوکسی با GPU انویدیا (NVIDIA) مناسب و درایور نصب‌شده نیاز دارید. برای نکات مهم هنگام اجاره سرور، به بررسی کلی VPSهای دارای GPU مراجعه کنید. ابتدا بررسی کنید که دستگاه واقعاً چه سخت‌افزاری دارد:

nvidia-smi --query-gpu=name,memory.total --format=csv

خروجی این دستور، نام و حافظه هر کارت را به واحد MiB نشان می‌دهد. یک کارت H100 باید حدود 81000 MiB و یک کارت H200 حدود 143000 MiB گزارش دهد. اگر دستور هیچ درایوری را گزارش نکند، درایور NVIDIA نصب نشده است. در این صورت vLLM نیز هیچ GPUای پیدا نخواهد کرد.

سپس یک محیط مجازی پایتون (Python virtual environment) اختصاصی ایجاد کنید. این بسته، vLLM و PyTorch را با محدودیت‌های نسخه مشخص نصب می‌کند. در یک محیط مجزا، این کار تداخلی با سایر برنامه‌های سرور ایجاد نمی‌کند.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

کارت (Card) دستور pip install 'aleph-alpha-inference>=1' را پیشنهاد می‌دهد. در اینجا نسخه به‌طور ثابت روی 1.0.0 تنظیم شده است تا نسخه‌های بعدی به‌طور ناخواسته تنظیمات شما را تغییر ندهند. نسخه 1.0.0 به پایتون 3.10 یا جدیدتر و vLLM نسخه 0.29.0 تا کمتر از 0.30.0 نیاز دارد. بنابراین pip show باید نسخه 0.29.x از vLLM را نشان دهد. این بسته یک افزونه برای vLLM است و پارسرهای kolibri1 را برای استدلال (Reasoning) و فراخوانی ابزارها (Tool calls) ثبت می‌کند. بدون این افزونه، vLLM این نام‌ها را نمی‌شناسد.

شرکت Aleph Alpha همچنین یک کانتینر ایمیج ارائه می‌دهد: ghcr.io/aleph-alpha/aleph-alpha-inference. اگر سرورهای GPU خود را با کانتینر مدیریت می‌کنید، می‌توانید از این روش استفاده کنید.

غیرفعال‌سازی تله‌متری vLLM

vLLM به‌صورت پیش‌فرض آمار استفاده ناشناس را ارسال می‌کند. اگر هدف شما این است که هیچ داده‌ای از سرور خارج نشود، پیش از شروع کار آن را غیرفعال کنید:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

راه‌اندازی سرور

دستور زیر بر اساس کارت است، با دو افزودنی: یک نسخه (Revision) ثابت و اتصال به localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision تعیین می‌کند که کدام نسخه از وزن‌های مدل بارگذاری شود. بدون این گزینه، vLLM آخرین نسخه را از main بارگذاری می‌کند. اگر Aleph Alpha مخزن را تغییر دهد، مدل شما در دانلود بعدی تغییر خواهد کرد. --host 127.0.0.1 باعث می‌شود API فقط به‌صورت محلی در دسترس باشد. بدون این گزینه، vLLM روی تمام رابط‌های شبکه گوش می‌دهد. در آن صورت، به محض اینکه فایروال اجازه دهد، پورت 8000 باز خواهد بود.

اگر دو GPU دارید، --tensor-parallel-size 2 را اضافه کنید. این گزینه هر لایه را بین دو کارت توزیع می‌کند. بدون آن، vLLM فقط از یک GPU استفاده می‌کند و وزن‌ها روی یک کارت 80 گیگابایتی جا نمی‌شوند.

در اولین اجرا، vLLM حدود 79 گیگابایت داده را از Hugging Face به مسیر ~/.cache/huggingface دانلود می‌کند. فضای دیسک کافی برای این کار و محیط پایتون در نظر بگیرید. پس از اولین دانلود موفق، می‌توانید با export HF_HUB_OFFLINE=1 هرگونه ارتباط بعدی با Hugging Face را مسدود کنید. پس از آن، وزن‌ها فقط از کش محلی خوانده می‌شوند.

اگر حافظه برای کل کانتکست 262144 توکنی کافی نباشد، vLLM اجرا نمی‌شود. پیام خطا در این حالت اشاره می‌کند که KV-cache برای حداکثر طول توالی بسیار کوچک است. در این صورت، حد کمتری را تنظیم کنید، برای مثال --max-model-len 65536. برای کانتکست گسترده تا 1048576 توکن، کارت از --max-model-len 1048576 و --hf-overrides '{"max_position_embeddings": 1048576}' استفاده می‌کند. این کار به حافظه بسیار بیشتری نیاز دارد و باید روی پیکربندی‌های توصیه‌شده اجرا شود.

بررسی پاسخ‌دهی مدل

به محض اینکه لاگ گزارش داد سرور روی پورت 8000 در حال اجراست، API سازگار با OpenAI را تست کنید:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

اولین فراخوانی باید Aleph-Alpha/Kolibri-1 را به عنوان مدل لیست کند. دومی باید یک JSON برگرداند که در آن choices[0].message.content شهر پاریس را نام ببرد. enable_thinking: false حالت تفکر (Reasoning) را برای این درخواست غیرفعال می‌کند. به‌صورت پیش‌فرض این حالت فعال است. طبق کارت، reasoning_effort با مقدار none نیز تأثیرگذار است. برای نمونه‌برداری (Sampling)، کارت مقادیر temperature=1.0، top_p=0.97 و top_k=128 را توصیه می‌کند.

برای دسترسی از کامپیوتر شخصی خود، نیازی به باز کردن پورت ندارید. یک تونل SSH کافی است:

ssh -L 8000:127.0.0.1:8000 user@dein-server

پس از آن، می‌توانید از طریق http://127.0.0.1:8000 روی کامپیوتر خود به API دسترسی داشته باشید. اگر سرویس‌های دیگر در شبکه نیاز به دسترسی دارند، علاوه بر آن از --api-key استفاده کرده و یک Reverse Proxy با TLS (امنیت لایه انتقال) در مقابل آن قرار دهید.

هزینه یک ساعت استفاده از Kolibri-1 به یورو چقدر است؟

قیمت اجاره GPU بسته به ارائه‌دهنده و منطقه به‌شدت متغیر است. محاسبات زیر بر اساس دو فرض در اکتبر 2026 انجام شده است: 3,50 یورو برای هر ساعت استفاده از H200 و 2,50 یورو برای هر ساعت استفاده از H100 SXM5، هر دو به‌صورت on demand و بدون احتساب مالیات بر ارزش افزوده. ارائه‌دهندگان تخصصی GPU گاهی قیمت‌های پایین‌تری دارند، در حالی که Hyperscalerها در مناطق اتحادیه اروپا اغلب قیمت‌های بسیار بالاتری ارائه می‌دهند. قیمت‌های پیشنهادی خود را جایگزین کنید؛ روش محاسبه ثابت می‌ماند.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

هر ماه به‌طور میانگین 730 ساعت است. اگر یک H200 به‌صورت شبانه‌روزی کار کند، هزینه آن در ماه 2555 یورو خواهد بود. گزینه پیشنهادی با دو کارت H100 به 3650 یورو می‌رسد. اگر دستگاه فقط در ساعات اداری، یعنی 8 ساعت در 22 روز کاری و در مجموع 176 ساعت روشن باشد، هزینه 616 یورو خواهد بود. البته در این حالت، هر بار راه‌اندازی مستلزم بارگذاری مجدد وزن‌ها در حافظه گرافیکی است که چند دقیقه زمان می‌برد.

از چه زمانی استفاده از GPU نسبت به API Token صرفه اقتصادی دارد؟

در اکتبر 2026، Card هیچ API میزبانی‌شده‌ای برای Kolibri-1 ارائه نمی‌دهد. بنابراین مقایسه با قیمت Token به این معناست: اجرای Kolibri-1 روی GPU شخصی در برابر استفاده از یک مدل دیگر از طریق API. برای این محاسبه، دو قیمت فرضی برای هر میلیون Token (ترکیبی از ورودی و خروجی) در نظر گرفته شده است: 0,50 یورو برای یک مدل ارزان و 2 یورو برای یک مدل گران‌تر.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

با قیمت 0,50 یورو برای هر میلیون Token، هزینه H200 در حالت کارکرد مداوم، تنها پس از رسیدن به 5110 میلیون Token در ماه پوشش داده می‌شود. این یعنی به‌طور میانگین 1944 Token در ثانیه، به‌صورت شبانه‌روزی و بدون وقفه. با قیمت 2 یورو برای هر میلیون Token، این آستانه برای گزینه ساعات اداری به 308 میلیون Token کاهش می‌یابد. اینکه آیا یک کارت واحد می‌تواند این حجم از پردازش را با ترکیب طول Prompt و پاسخ شما انجام دهد، موضوعی است که باید اندازه‌گیری کنید. این محاسبه فقط مشخص می‌کند که از چه حجمی به بعد، این پرسش مطرح می‌شود.

روش دقیق‌تر با در نظر گرفتن میزان استفاده و زمان‌های بیکاری (idle) در محاسبه نقطه سر‌به‌سر سرور GPU در برابر API Token آمده است. برای Kolibri-1 یک نکته دیگر وجود دارد که در هیچ جدولی منعکس نمی‌شود. کسانی که به دلیل حساسیت داده‌ها قصد میزبانی شخصی Kolibri-1 را دارند، اغلب اصلاً آن را با API مقایسه نمی‌کنند. اگر اسناد نباید از سازمان خارج شوند، استفاده از API منتفی است. در این صورت، پرسش اصلی این است: اجاره GPU در یک دیتاسنتر در اتحادیه اروپا با قرارداد پردازش داده (AVV) یا خرید سخت‌افزار شخصی. حتی GPU اجاره‌ای نیز نزد شخص ثالث قرار دارد. طبق مقررات عمومی حفاظت از داده‌ها (GDPR)، این یک پردازش داده توسط پیمانکار محسوب می‌شود و نه عملیات داخلی در سازمان.

چه زمانی یک مدل محلی کوچک‌تر پاسخ صادقانه‌ای است

مدل Kolibri-1 زمانی ارزش استفاده دارد که به نقاط قوت آن نیاز داشته باشید. طبق مستندات، فراخوانی ابزارها و پردازش اسناد با متن طولانی از جمله این نقاط قوت هستند. 262.144 توکن به شما اجازه می‌دهد تا یک پوشه کامل از قراردادها را در یک درخواست واحد جای دهید. اگر وظایف شما کوتاه‌تر هستند، محاسبات متفاوت خواهد بود.

برای مرتب‌سازی ایمیل‌ها یا خلاصه‌سازی‌های کوتاه، اغلب یک مدل با 7 تا 14 میلیارد پارامتر کافی است. این مدل‌ها با کوانتایز 4 بیتی، روی یک VPS مبتنی بر CPU با 16 تا 32 گیگابایت رم و با استفاده از Ollama اجرا می‌شوند. این روش از GPU کندتر است، اما برای چند صد درخواست در روز کفایت می‌کند. نحوه انجام این کار در راهنمای میزبانی شخصی Ollama روی یک VPS توضیح داده شده است. در این حالت، هزینه‌ها بر اساس قیمت ماهانه یک سرور معمولی محاسبه می‌شود و نه بر اساس نرخ ساعتی GPU.

مدل کوچک و در دسترس از همان شرکت، Pharia-1-LLM-7B-control است. با این حال، طبق متن مجوز Open Aleph License، استفاده از آن تنها برای مقاصد غیرتجاری و غیراداری مجاز است. بنابراین، این مدل برای استفاده در محیط‌های سازمانی راه‌حل مناسبی نیست.

شما تنها با انجام یک تست می‌توانید تصمیم صادقانه‌ای بگیرید. 50 وظیفه واقعی از کارهای روزمره خود را انتخاب کنید. اجازه دهید Kolibri-1 روی یک GPU که به‌صورت ساعتی اجاره کرده‌اید، آن‌ها را حل کند و سپس همان کار را با یک مدل کوچک روی VPS مبتنی بر CPU انجام دهید. در نهایت پاسخ‌ها را مقایسه کنید. هزینه چند ساعت اجاره آزمایشی در مقایسه با خرید اشتباه سخت‌افزار بسیار ناچیز است.

اینکه همان پرسش در یک مدل متن‌باز دیگر چه نتیجه‌ای دارد، در آنچه برای میزبانی شخصی Kimi K3 نیاز است نشان داده شده است. این مقایسه به شما در ارزیابی کمک می‌کند: Kolibri-1 با حدود 78 گیگابایت وزن، جزو مدل‌هایی است که هنوز روی یک کارت گرافیک واحد جای می‌گیرد.

FAQ

آیا می‌توانم از Kolibri-1 به‌صورت تجاری استفاده کنم؟

بله. طبق Model Card، مدل Kolibri-1 تحت مجوز Apache 2.0 منتشر شده است. شما می‌توانید از آن در محیط‌های سازمانی استفاده کنید و حتی نسخه‌های تغییریافته آن را بازنشر دهید، مشروط بر اینکه متن مجوز و یادداشت‌های مربوطه را همراه آن ارائه کنید. این موضوع Kolibri-1 را از سری قدیمی‌تر Pharia متمایز می‌کند: در Model Card مدل Pharia-1-LLM-7B-control به مجوز Open Aleph اشاره شده است که طبق متن آن، استفاده از مدل تنها برای مقاصد غیرتجاری و غیراداری مجاز است.

آیا Kolibri-1 با Ollama یا روی CPU اجرا می‌شود؟

به‌صورت رسمی خیر. Aleph Alpha تنها روش استفاده از طریق vLLM روی GPUهای NVIDIA را با استفاده از پلاگین aleph-alpha-inference منتشر کرده است. فایل‌های GGUF در چندین مخزن اجتماعی موجود هستند، برای مثال نسخه Q4_K_M حجمی معادل 47,5 GB دارد. شما به یک نسخه patch شده از llama.cpp نیاز دارید، زیرا نسخه استاندارد llama.cpp معماری kolibri1 را نمی‌شناسد. خود نویسندگان مدل اعلام کرده‌اند که کیفیت و عملکرد در متن‌های طولانی (long context) در این حالت بررسی نشده است.

آیا یک کارت H100 با 80 GB حافظه برای Kolibri-1 کافی است؟

خیر. وزن‌های FP8 به‌تنهایی حدود 78 GB فضا اشغال می‌کنند. برای KV-Cache که وظیفه نگهداری context را بر عهده دارد، عملاً فضایی باقی نمی‌ماند. در Model Card حداقل سخت‌افزار مورد نیاز، دو کارت H100 SXM5 یا یک کارت H200 ذکر شده است. در صورت استفاده از دو کارت، باید vLLM را با --tensor-parallel-size 2 راه‌اندازی کنید.

چگونه حالت تفکر (Denkmodus) را در Kolibri-1 غیرفعال کنم؟

حالت تفکر به‌صورت پیش‌فرض فعال است. برای غیرفعال کردن آن در هر درخواست، باید "chat_template_kwargs": {"enable_thinking": false} را در بدنه JSON قرار دهید. طبق Model Card، استفاده از reasoning_effort با مقدار none نیز مؤثر است. اگر این حالت فعال باشد، --reasoning-parser kolibri1 متن تفکر را از پاسخ نهایی جدا می‌کند.