Kolibri-1 self-host etmek için gereken donanım özellikleri

Kolibri-1 self-host etme: kısa cevap

Kolibri-1 modelini self-host etmek mümkündür ancak bu işlem standart bir VPS üzerinde gerçekleştirilemez. Heidelberg merkezli Aleph Alpha, modeli Apache 2.0 lisansı altında yayımlamaktadır. FP8 formatındaki ağırlıklar yaklaşık 78 GB boyutundadır. Resmi yöntem, en az bir adet H200 veya her biri 80 GB belleğe sahip iki ekran kartı üzerinde vLLM kullanmaktır. CPU, GGUF, llama.cpp veya Ollama için resmi bir yöntem bulunmamaktadır.

Almanya'daki birçok okuyucu için en önemli soru şudur: Veriler kurum içinde kalıyor mu? Kolibri-1 ile bu mümkündür ve lisans buna engel teşkil etmemektedir. Buradaki temel engel donanımdır.

Bilgilerin geçerlilik tarihi: Buradaki tüm veriler Aleph-Alpha/Kolibri-1 model kartının e52eb4627d11516b0c01de49210ab5a4e4061444 revizyonuna (Hugging Face, 3 Ekim 2026) ve 1.0.0 sürümündeki aleph-alpha-inference paketine dayanmaktadır. Son kontrol tarihi 13 Ekim 2026. Daha sonraki revizyonlar farklı rakamlar içerebilir. Donanım kiralamadan veya satın almadan önce bu bilgileri mutlaka kontrol edin.

Kolibri-1 Model Card içeriğinin belirledikleri

• Mimari: MoE (Mixture of Experts). Model, uzman adı verilen birçok alt ağdan oluşur. Her bir token için bunlardan yalnızca birkaçı hesaplama yapar.
• Boyut: Toplam 78 milyar parametre, token başına 3,46 milyar aktif parametre. Her biri 384 uzmana sahip 50 katman; token başına 6 uzman seçilir.
• Bağlam: Yerel olarak 262.144 token. Model Card verilerine göre kalite 1.048.576 tokene kadar doğrulanmıştır.
• Ağırlıklar: float8_e4m3fn formatında, 128×128 bloklar halinde FP8 (8-bit kayan noktalı sayılar). Embedding ve LM-Head katmanları bfloat16 formatındadır. Model Card verilerine göre toplam boyut yaklaşık 78 GB'tır. Deponun (repository) kendisi 78,9 GB yer kaplar.
• Eğitim verileri: 20 trilyon token ön eğitim ile %62,5 İngilizce, %23,9 Almanca ve %13,6 kod. Ayrıca Model Card verilerine göre Almanca kelime yapısına göre optimize edilmiş bir tokenlaştırıcı (tokenizer) içerir.
• Lisans: Apache 2.0. Depo kısıtlı değildir (not gated). Erişim talebinde bulunmanız gerekmez.

En önemli nokta ilk iki satırda yer almaktadır. 3,46 milyar aktif parametre, token başına düşük hesaplama yükü anlamına gelir. Ancak bellek gereksinimi 78 milyar parametrenin tamamına göre belirlenir. Yönlendirici (router) her token için farklı uzmanlar seçer. Bu nedenle tüm uzmanların her an grafik belleğinde (VRAM) tutulması gerekir. Bir MoE modeli, küçük bir model gibi hesaplama yapar ancak büyük bir model kadar bellek tüketir.

Tokenlaştırıcının da pratik bir etkisi vardır. Tokenlaştırıcı metni tokenlara ayırır. Dile uygun değilse, uzun bir Almanca kelime birçok küçük parçaya bölünür. Bu durum bağlam kapasitesini ve hesaplama süresini tüketir. Almanca için optimize edilmiş bir tokenlaştırıcı, aynı metin için daha az token kullanır.

Model Card içerisindeki benchmark değerleri

Aleph Alpha, ince ayar yapılmış (fine-tuned) model için iki genel değer belirtmektedir. Bu değerler bağımsız bir testten değil, üreticinin kendi değerlendirmelerinden elde edilmiştir.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

Model Card verilerine göre Kolibri-1, Almanca dilinde 70.8 puan, İngilizce dilinde ise 75.5 puan almaktadır. Bu model de İngilizce dilinde biraz daha güçlüdür. Kendi görevleriniz için yeterli olup olmadığını anlamanın tek yolu, kendi belgelerinizle test etmektir.

Pharia'ya kıyasla değişenler

Aleph Alpha'nın önceki model serisinin adı Pharia idi. Pharia-1-LLM-7B-control Model Card içerisinde Open Aleph License'dan bahsedilmekteydi. Bu lisans, ticari olmayan araştırma ve eğitime izin veriyordu. Ticari kullanım için doğrudan Aleph Alpha ile iletişime geçilmesi gerekiyordu. Kolibri-1 ise Apache 2.0 lisansı altındadır. Bu sayede modeli şirketinizde kullanabilir ve lisans metni ile uyarıları eklediğiniz sürece değiştirerek dağıtabilirsiniz.

Kolibri-1 hangi GPU'ya ihtiyaç duyar?

Kart iki seviye belirtmektedir. Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 veya 1× B300. Önerilen: 2× H100 SXM5, 2× H200, 1× B200 veya 1× B300.

Neden tek bir H100 yeterli değildir? Hesaplama basittir. Ağırlıkları video rastgele erişimli bellekten (VRAM) çıkarın. Geriye kalan kısım, vLLM tarafından öncelikli olarak KV-Cache için kullanılır. KV-Cache, bağlamdaki her bir token için dikkat (attention) katmanlarının anahtarlarını (keys) ve değerlerini (values) saklar. Bu olmadan model bağlamı koruyamaz.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

Bir H100 80 GB kapasiteye sahiptir, ağırlıklar 79 GB yer kaplar. Matematiksel olarak geriye 1 GB kalır. Bu, anlamlı bir bağlam için yeterli değildir. Bir H200 62 GB boş alan bırakırken, iki adet H200 203 GB boş alan bırakır. Gerçek rezerv daha düşüktür. vLLM varsayılan olarak grafik belleğinin yalnızca %92'sini kullanır (--gpu-memory-utilization, vLLM 0.29.0 sürümünde varsayılan değer 0.92) ve aktivasyonlar da yer kaplar. Bu değerler yuvarlatılmış tahmini hesaplamalardır, ölçüm değildir.

Mimariye ait iki özellik KV-Cache üzerindeki yükü hafifletir. Birincisi, karta göre Kolibri-1, kayan pencere dikkati (sliding-window-attention) kullanan katmanlar ile tam dikkat kullanan katmanları 4:1 oranında birleştirir. Bir kayan pencere katmanı yalnızca sabit bir penceredeki tokenları saklar. Bu nedenle önbelleği, tam bağlam uzunluğuyla birlikte büyümez. İkincisi, kart --kv-cache-dtype fp8 kullanımını önerir. Bu sayede her önbellek girdisi, 16 bit'e kıyasla yarı yarıya daha az yer kaplar. Yine de tam dikkat katmanları her token ile birlikte büyür. 262.144 token seviyesinde bu durum tek bir H200 üzerinde kısıtlı hale gelir.

Normal bir VPS'in neden Kolibri-1 çalıştıramayacağı

Aleph Alpha, yalnızca GPU ile vLLM üzerinden kullanım yolunu yayınlamaktadır. Kartta CPU ile çalıştırma, GGUF, llama.cpp veya Ollama'dan bahsedilmemektedir. Sıradan bir CPU tabanlı VPS'in grafik belleği yoktur. Bu nedenle, bu yöntem için gerekli temel eksiktir.

Buna rağmen Hugging Face üzerinde topluluk tarafından oluşturulmuş GGUF dönüştürmeleri mevcuttur. "kolibri-1 gguf" araması 6 Ekim 2026 tarihinde Kolibri-1 için sekiz depo listelerken, 13 Ekim 2026 tarihinde bu sayı on bire çıkmıştır. Q4_K_M dosyası yaklaşık 47,5 GB boyutundadır ve teorik olarak 64 GB RAM'e sahip bir sunucuya sığabilir. Ancak 6 Ekim 2026 tarihinde incelediğimiz depoların kendileri şunu belirtmektedir: Standart llama.cpp, kolibri1 mimarisini tanımamaktadır. Belirli bir commit üzerinde yamalanmış bir sürüme ihtiyaç duyulmaktadır. 13 Ekim 2026 itibarıyla bu durumda bir değişiklik olmamıştır: llama.cpp tarafında Kolibri-1 için yalnızca açık bir özellik talebi (feature request) bulunmaktadır. Bazı yazarlar uzun bağlamları (context) test etmiştir. Prompt48, bir A100 üzerinde Q4_K_M ile 195.935 token'da ve genişletilmiş bağlam ile 718.803 token'da tam olarak geri getirilen bir test bilgisi (needle) rapor etmiştir. Hob-forge, -c 262144 ile yapılan bir çalışmada 253.646 token'a kadar üç gizli gerçeği geri getirmiştir. Bunlar geri getirme testleridir, benchmark değildir. Prompt48 ve Hob-forge, FP8 orijinali ile bir benchmark karşılaştırmasının eksik olduğunu açıkça belirtmektedir. Kurumsal veriler için bu bir temel oluşturmaz. Bu bir deneydir.

Bir modelin hangi kuantizasyon seviyesinde ne kadar RAM gerektirdiği, bir LLM'in RAM'iniz için ne kadar büyük olması gerektiğine dair kılavuzda adım adım hesaplanmaktadır. Neden vLLM'in burada tercih edilen araç olduğu, Ollama ve vLLM karşılaştırmasında açıklanmaktadır: vLLM, GPU'lar üzerinde çok sayıda paralel istek için tasarlanmışken, Ollama kuantize edilmiş modellerle hızlı başlangıç için tasarlanmıştır.

Kolibri-1 kurulumu ve vLLM

Uygun bir NVIDIA GPU'ya ve sürücüsüne sahip bir Linux sunucusuna ihtiyacınız var. Kiralama sırasında nelere dikkat etmeniz gerektiği GPU'lu VPS genel bakış bölümünde açıklanmıştır. Öncelikle makinenin donanımını doğrulayın:

nvidia-smi --query-gpu=name,memory.total --format=csv

Çıktı, her kart için ismi ve MiB cinsinden belleği listeler. Bir H100 yaklaşık 81.000 MiB, bir H200 ise yaklaşık 143.000 MiB değerini bildirmelidir. Komut herhangi bir sürücü bilgisi döndürmüyorsa, NVIDIA sürücüsü yüklü değildir. Bu durumda vLLM de GPU'yu tespit edemez.

Ardından, özel bir Python ortamı oluşturun. Paket, vLLM ve PyTorch'u belirli sürüm aralıklarında çeker. Ayrı bir ortam kullanmak, sunucudaki diğer programların etkilenmesini önler.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

Kart pip install 'aleph-alpha-inference>=1' değerini belirtir. Burada sürüm 1.0.0 olarak sabitlenmiştir. Bu sayede ileride çıkacak bir sürüm, kurulumunuzu fark etmeden değiştirmez. Sürüm 1.0.0, Python 3.10 veya üzerini ve 0.29.0 ile 0.30.0 arasındaki bir vLLM sürümünü gerektirir. pip show komutu, vLLM'in 0.29.x sürümünü göstermelidir. Paket, vLLM için bir eklentidir. Akıl yürütme (reasoning) ve araç çağrıları için kolibri1 ayrıştırıcılarını kaydeder. Eklenti olmadan vLLM bu isimleri tanımaz.

Aleph Alpha ayrıca bir container imajı sunar: ghcr.io/aleph-alpha/aleph-alpha-inference. GPU sunucularını container ile yönetenler bu yöntemi tercih edebilir.

vLLM telemetrisini devre dışı bırakma

vLLM varsayılan olarak anonim kullanım istatistikleri gönderir. Sunucudan dışarı veri çıkışı olmaması hedefleniyorsa, başlatmadan önce bunu kapatın:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Sunucuyu başlatma

Komut, iki ekleme ile kartı takip eder: sabit bir revizyon ve localhost'a bağlama.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision, ağırlıkların hangi sürümünün yükleneceğini belirler. Bu seçenek olmadan vLLM, main üzerindeki güncel sürümü yükler. Aleph Alpha depoyu değiştirirse, bir sonraki indirmede modeliniz de değişir. --host 127.0.0.1, API'yi yalnızca yerel olarak erişilebilir kılar. Bu seçenek olmadan vLLM tüm ağ arayüzlerini dinler. Güvenlik duvarı izin verirse 8000 numaralı port dışarıya açılır.

İki GPU kullanıyorsanız --tensor-parallel-size 2 ekleyin. Bu seçenek, her katmanı iki karta dağıtır. Bu olmadan vLLM sadece bir GPU kullanır ve ağırlıklar tek bir 80 GB'lık karta sığmaz.

İlk başlatmada vLLM, Hugging Face üzerinden yaklaşık 79 GB veriyi ~/.cache/huggingface dizinine indirir. Bunun için ve Python ortamı için yeterli disk alanı ayırın. İlk başarılı indirmeden sonra export HF_HUB_OFFLINE=1 ile Hugging Face ile olan tüm bağlantıları engelleyebilirsiniz. Ağırlıklar artık sadece yerel önbellekten alınır.

Bellek, 262.144 token'lık tam bağlam (context) için yeterli değilse vLLM başlamaz. Hata mesajı, KV önbelleğinin maksimum dizi uzunluğu için çok küçük olduğunu belirtir. Bu durumda --max-model-len 65536 gibi daha küçük bir sınır belirleyin. 1.048.576 token'a kadar genişletilmiş bağlamı başlatmak için kart --max-model-len 1048576 ve --hf-overrides '{"max_position_embeddings": 1048576}' seçeneklerini kullanır. Bu işlem çok daha fazla bellek gerektirir ve önerilen yapılandırmalarda kullanılmalıdır.

Modelin yanıt verip vermediğini kontrol etme

Günlük kayıtları sunucunun 8000 numaralı portta çalıştığını bildirdiğinde, OpenAI uyumlu API'yi test edin:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

İlk çağrı, model olarak Aleph-Alpha/Kolibri-1 değerini listelemelidir. İkincisi, choices[0].message.content değerinin Paris olduğunu belirten bir JSON döndürmelidir. enable_thinking: false, bu istek için düşünme modunu kapatır. Varsayılan olarak bu mod açıktır. Karta göre none değerine sahip reasoning_effort de etkilidir. Örnekleme (sampling) için kart temperature=1.0, top_p=0.97 ve top_k=128 değerlerini önerir.

Kendi bilgisayarınızdan erişim için açık bir porta ihtiyacınız yoktur. Bir SSH tüneli yeterlidir:

ssh -L 8000:127.0.0.1:8000 user@dein-server

Ardından API'ye kendi bilgisayarınızdan http://127.0.0.1:8000 adresi üzerinden ulaşabilirsiniz. Ağdaki diğer servislerin erişmesini istiyorsanız, ek olarak --api-key ayarını yapın ve önüne TLS (transport layer security) destekli bir reverse proxy kurun.

Kolibri-1'in saatlik maliyeti Euro cinsinden nedir?

GPU kiralama fiyatları, sağlayıcıya ve bölgeye göre büyük ölçüde değişiklik gösterir. Aşağıdaki hesaplama, Ekim 2026 itibarıyla iki varsayıma dayanmaktadır: H200 için saatlik 3,50 Euro ve H100 SXM5 için saatlik 2,50 Euro; her ikisi de isteğe bağlı (on-demand) ve KDV hariç fiyatlardır. Uzmanlaşmış GPU sağlayıcıları bazen daha düşük fiyatlar sunarken, AB bölgelerindeki büyük ölçekli bulut sağlayıcıları (hyperscaler) genellikle çok daha yüksek fiyatlar talep eder. Kendi tekliflerinizi kullanarak hesaplamayı güncelleyebilirsiniz; hesaplama yöntemi aynı kalacaktır.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

Bir ay ortalama 730 saatten oluşur. Bir H200 yedi gün yirmi dört saat çalıştırılırsa, aylık maliyeti 2555 Euro olur. Önerilen iki adet H100 içeren yapılandırma ise 3650 Euro tutarındadır. Makineyi yalnızca mesai saatlerinde, yani 22 iş günü boyunca günde 8 saat ve toplamda 176 saat çalıştıranlar 616 Euro öder. Ancak bu durumda her başlatma işleminde ağırlıkların grafik belleğine yeniden yüklenmesi gerekir ve bu işlem birkaç dakika sürer.

API token maliyetlerine kıyasla ne zaman avantajlı hale gelir?

Ekim 2026 itibarıyla, Kolibri-1 için barındırılan bir API bulunmamaktadır. Dolayısıyla token fiyatlarıyla yapılacak bir karşılaştırma, kendi GPU'nuzda çalışan Kolibri-1 ile başka bir modelin API üzerinden kullanımı arasındadır. Hesaplama için, giriş ve çıkış token'larının karışımından oluşan milyon token başına iki varsayılan fiyat kullanılır: uygun fiyatlı bir model için 0,50 Euro ve daha pahalı bir model için 2 Euro.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

Milyon token başına 0,50 Euro maliyetle, sürekli çalışan bir H200, maliyetlerini ancak ayda 5110 milyon token seviyesinde karşılar. Bu, gece gündüz kesintisiz olarak saniyede ortalama 1944 token anlamına gelir. Milyon token başına 2 Euro maliyet durumunda, mesai saatleri içinde kullanım seçeneği için eşik değer 308 milyon tokene düşer. Tek bir kartın, kendi istem (prompt) ve yanıt uzunluğu kombinasyonunuzla bu verimi sağlayıp sağlayamayacağını ölçmeniz gerekir. Bu hesaplama yalnızca hangi hacimden itibaren bu sorunun dikkate alınması gerektiğini belirtir.

Kullanım oranı ve boşta kalma sürelerini içeren detaylı yöntem, GPU sunucusu ile API token başabaş hesaplaması bölümünde yer almaktadır. Kolibri-1 için tablolarda yer almayan ek bir husus daha vardır. Kolibri-1'i verilerin gizliliği nedeniyle kendi bünyesinde barındırmak isteyenler, genellikle API ile bir karşılaştırma yapmazlar. Belgelerin kurum dışına çıkmaması gerekiyorsa, API seçeneği elenir. Bu durumda asıl soru şudur: AB veri merkezinde veri işleme sözleşmesi (AVV) ile GPU kiralamak mı, yoksa kendi donanımınızı satın almak mı? Kiralık bir GPU da üçüncü bir tarafta barındırılır. GDPR (Genel Veri Koruma Tüzüğü) uyarınca bu, kurum içi bir işletim değil, bir veri işleme hizmeti alımıdır.

Daha küçük bir yerel modelin doğru tercih olduğu durumlar

Kolibri-1, güçlü yönlerine ihtiyaç duyduğunuzda tercih edilmelidir. Teknik dokümanına göre araç çağrıları ve uzun bağlamlı belge işleme bu güçlü yönler arasındadır. 262.144 token kapasitesi, tek bir istekte koca bir sözleşme klasörünü işlemeye olanak tanır. Görevleriniz daha kısa ise hesaplama farklılaşır.

E-posta sıralama veya kısa özetler için genellikle 7 ila 14 milyar parametreli bir model yeterlidir. 4 bit nicelenmiş (quantized) haliyle Ollama üzerinde 16 ila 32 GB RAM'e sahip bir CPU-VPS'te çalışabilir. Bu, GPU'ya göre daha yavaştır ancak günde birkaç yüz istek için yeterlidir. Bunun nasıl yapılacağı Ollama'yı bir VPS üzerinde kendi kendine barındırma kılavuzunda gösterilmektedir. Maliyet, GPU saatlik ücreti yerine standart bir sunucu aylık ücreti düzeyinde kalır.

Aynı üreticiden akla gelen küçük model Pharia-1-LLM-7B-control olabilir. Ancak Open Aleph License, lisans metnine göre yalnızca ticari olmayan ve idari olmayan amaçlara izin vermektedir. Bu nedenle kurumsal kullanım için bir çözüm değildir.

Doğru kararı ancak bir test ile verebilirsiniz. Günlük işlerinizden 50 gerçek görev belirleyin. Bunları saatlik kiralanan bir GPU üzerinde Kolibri-1 ile, diğer tarafta ise CPU-VPS üzerinde küçük bir model ile çözdürün. Ardından yanıtları karşılaştırın. Birkaç saatlik test kiralaması, yanlış bir donanım satın alımına kıyasla çok daha düşük maliyetlidir.

Aynı sorunun başka bir açık modelde nasıl sonuçlandığını Kimi K3'ü kendi kendine barındırmak için gerekenler bölümünde görebilirsiniz. Bu karşılaştırma, durumu anlamanıza yardımcı olur: Kolibri-1, yaklaşık 78 GB ağırlığıyla tek bir karta sığabilen modeller arasındadır.

FAQ

Kolibri-1'i ticari olarak kullanabilir miyim?

Evet. Kolibri-1, Model Card'a göre Apache 2.0 lisansı altındadır. Lisans metnini ve uyarıları eklemeniz koşuluyla, modeli şirket içinde kullanabilir ve üzerinde değişiklik yaparak dağıtabilirsiniz. Bu durum, Kolibri-1'i önceki Pharia serisinden ayırır: Pharia-1-LLM-7B-control modelinin kartı, yalnızca ticari olmayan ve idari olmayan amaçlara izin veren Open Aleph License'a atıfta bulunur.

Kolibri-1, Ollama ile çalışır mı veya CPU üzerinde çalıştırılabilir mi?

Resmi olarak hayır. Aleph Alpha, yalnızca aleph-alpha-inference eklentisi ile NVIDIA GPU'lar üzerinde vLLM kullanımını desteklemektedir. Topluluk depolarında Q4_K_M formatında yaklaşık 47,5 GB boyutunda GGUF dosyaları bulunmaktadır. Bu dosyalar için yamalı bir llama.cpp sürümü gereklidir, çünkü standart llama.cpp kolibri1 mimarisini tanımaz. Bazı kullanıcılar, 700.000 token'ın üzerinde uzun bağlamlarla başarılı test sonuçları bildirmektedir. Ancak, kendi beyanlarına göre FP8 orijinali ile yapılmış bir kıyaslama (benchmark) bulunmamaktadır.

Kolibri-1 için 80 GB belleğe sahip tek bir H100 yeterli mi?

Hayır. FP8 ağırlıkları halihazırda yaklaşık 78 GB yer kaplamaktadır. Bağlamı tutan KV-Cache için neredeyse hiç alan kalmamaktadır. Model kartı, minimum gereksinim olarak iki adet H100 SXM5 veya bir adet H200 önermektedir. İki kart kullanıldığında vLLM, --tensor-parallel-size 2 parametresi ile başlatılmalıdır.

Kolibri-1'in düşünme modunu nasıl kapatırım?

Düşünme modu varsayılan olarak açıktır. Her istek için JSON gövdesinde "chat_template_kwargs": {"enable_thinking": false} parametresini kullanarak bu modu kapatabilirsiniz. Model kartına göre, none değerine sahip reasoning_effort parametresi de aynı etkiyi yaratır. Mod açık olduğunda, --reasoning-parser kolibri1 düşünme metnini asıl yanıttan ayırır.