Kolibri-1 self-hosting: kebutuhan GPU dan biayanya

Menyelenggarakan Kolibri-1 sendiri: jawaban singkat

Menyelenggarakan Kolibri-1 sendiri memungkinkan, tetapi tidak pada VPS biasa. Aleph Alpha dari Heidelberg merilis model ini di bawah lisensi Apache 2.0. Bobot dalam format FP8 berukuran sekitar 78 GB. Cara resmi yang tersedia adalah menggunakan vLLM pada setidaknya satu H200 atau dua kartu grafis dengan memori masing-masing 80 GB. Tidak ada cara resmi untuk CPU, GGUF, llama.cpp, atau Ollama.

Bagi banyak pembaca di Jerman, pertanyaan utamanya adalah: apakah data tetap berada di tempat sendiri? Dengan Kolibri-1, hal itu memungkinkan, dan lisensinya tidak menghalangi. Kendalanya adalah perangkat keras.

Status informasi: Semua informasi di sini mengacu pada Model Card Aleph-Alpha/Kolibri-1 dalam revisi e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, 3 Oktober 2026) dan paket aleph-alpha-inference versi 1.0.0. Terakhir diperiksa pada 10 Oktober 2026. Revisi berikutnya dapat mencantumkan angka yang berbeda. Periksa kembali informasinya sebelum menyewa atau membeli perangkat keras.

Ketentuan Model Card tentang Kolibri-1

• Arsitektur: MoE (Mixture of Experts). Model terdiri atas banyak subjaringan yang disebut expert. Hanya beberapa expert yang melakukan komputasi untuk setiap token.
• Ukuran: total 78 miliar parameter, dengan 3,46 miliar parameter aktif per token. Terdapat 50 lapisan, masing-masing dengan 384 expert, dan 6 expert dipilih untuk setiap token.
• Konteks: 262.144 token secara native. Menurut Card, kualitasnya telah divalidasi hingga 1.048.576 token.
• Bobot: FP8 (angka floating-point 8-bit) dalam format float8_e4m3fn, dengan blok berukuran 128×128. Embedding dan LM-Head menggunakan bfloat16. Menurut Card, totalnya sekitar 78 GB. Repository itu sendiri berukuran 78,9 GB.
• Data pelatihan: 62,5% bahasa Inggris, 23,9% bahasa Jerman, dan 13,6% kode, dengan 20 triliun token untuk pretraining. Selain itu, model menggunakan tokenizer yang menurut Card disesuaikan dengan struktur kata bahasa Jerman.
• Lisensi: Apache 2.0. Repository tidak gated. Jadi, Anda tidak perlu mengajukan permintaan akses.

Poin terpenting terdapat pada dua baris pertama. Sebanyak 3,46 miliar parameter aktif berarti kebutuhan komputasi per token relatif rendah. Namun, kebutuhan memori ditentukan oleh seluruh 78 miliar parameter. Router memilih expert yang berbeda untuk setiap token. Karena itu, semua expert harus selalu berada di memori GPU. Jadi, model MoE melakukan komputasi seperti model kecil, tetapi menggunakan memori seperti model besar.

Tokenizer juga memiliki dampak praktis. Tokenizer memecah teks menjadi token. Jika tokenizer tidak sesuai dengan suatu bahasa, kata bahasa Jerman yang panjang dapat dipecah menjadi banyak bagian kecil. Hal ini menggunakan lebih banyak konteks dan waktu komputasi. Tokenizer yang disesuaikan untuk bahasa Jerman membutuhkan lebih sedikit token untuk teks yang sama.

Angka benchmark dalam Card

Aleph Alpha mencantumkan dua nilai keseluruhan untuk model yang telah menjalani post-training. Nilai tersebut berasal dari evaluasi internal produsen, bukan dari pengujian independen.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

Menurut Card, Kolibri-1 memperoleh 70.8 poin dalam bahasa Jerman dan 75.5 dalam bahasa Inggris. Jadi, model ini juga sedikit lebih kuat dalam bahasa Inggris. Kecukupannya untuk tugas Anda hanya dapat ditentukan melalui pengujian menggunakan dokumen Anda sendiri.

Perubahan dibandingkan Pharia

Seri model Aleph Alpha sebelumnya bernama Pharia. Card dari Pharia-1-LLM-7B-control menyebutkan Open Aleph License. Lisensi tersebut mengizinkan penelitian dan pengajaran nonkomersial. Untuk penggunaan komersial, pengguna harus menghubungi Aleph Alpha secara langsung. Sebaliknya, Kolibri-1 menggunakan Apache 2.0. Jadi, Anda boleh menggunakan model ini di perusahaan dan mendistribusikan versi yang telah dimodifikasi, selama teks lisensi dan pemberitahuan terkait tetap disertakan.

GPU apa yang dibutuhkan Kolibri-1?

Card tersebut menyebutkan dua tingkat. Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200, atau 1× B300. Rekomendasi: 2× H100 SXM5, 2× H200, 1× B200, atau 1× B300.

Mengapa satu H100 tidak cukup? Perhitungannya sederhana. Kurangi ukuran bobot dari memori grafis, yaitu VRAM (video random access memory). Sisa kapasitas terutama diperlukan vLLM untuk KV-cache. KV-cache menyimpan key dan value (keys dan values) dari lapisan Attention untuk setiap token dalam konteks. Tanpa KV-cache, model tidak dapat mempertahankan konteks.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

H100 memiliki 80 GB, sedangkan bobot menggunakan 79 GB. Secara matematis, tersisa 1 GB. Kapasitas tersebut tidak cukup untuk konteks yang bermakna. H200 menyisakan 62 GB, sedangkan dua H200 menyisakan 203 GB. Cadangan sebenarnya lebih kecil. Secara default, vLLM hanya menggunakan 92% memori grafis (--gpu-memory-utilization, nilai default 0.92 pada vLLM 0.29.0), dan aktivasi juga memerlukan ruang. Nilai tersebut merupakan perkiraan pembulatan, bukan hasil pengukuran.

Dua karakteristik arsitektur mengurangi beban pada KV-cache. Pertama, menurut Card, Kolibri-1 menggabungkan lapisan dengan Sliding-Window-Attention dan lapisan dengan Attention penuh dalam rasio 4:1. Lapisan Sliding-Window hanya menyimpan token dalam jendela berukuran tetap. Karena itu, cache-nya tidak bertambah mengikuti panjang konteks secara penuh. Kedua, Card merekomendasikan --kv-cache-dtype fp8. Dengan demikian, setiap entri cache hanya menggunakan setengah memori dibandingkan format 16-bit. Namun, lapisan dengan Attention penuh tetap bertambah untuk setiap token. Pada 262.144 token, kapasitas satu H200 menjadi terbatas.

Mengapa VPS biasa tidak dapat menjalankan Kolibri-1

Aleph Alpha hanya mendokumentasikan penggunaan vLLM dengan GPU. Card tersebut tidak menyebut pengoperasian dengan CPU, GGUF, llama.cpp, atau Ollama. VPS CPU biasa tidak memiliki memori GPU. Karena itu, dasar yang diperlukan untuk metode ini tidak tersedia.

Namun, di Hugging Face tetap tersedia konversi GGUF dari komunitas. Pencarian “kolibri-1 gguf” menampilkan delapan repositori untuk Kolibri-1 pada 6 Oktober 2026, dan jumlahnya terus bertambah. File Q4_K_M berukuran sekitar 47,5 GB sehingga secara perhitungan dapat dimuat pada server dengan RAM 64 GB. Namun, repositori yang kami periksa pada 6 Oktober 2026 menyatakan sendiri bahwa llama.cpp standar tidak mengenali arsitektur kolibri1. Anda memerlukan versi yang telah di-patch pada commit tertentu. Menurut keterangan penulisnya, pengujian hanya dilakukan dengan proses singkat, umumnya menggunakan konteks 4.096 hingga 8.192 token. Konteks yang lebih panjang dan kualitas dibandingkan model asli belum diuji. Ini bukan dasar yang memadai untuk data perusahaan. Ini hanya eksperimen.

Panduan tentang ukuran LLM yang sesuai dengan kapasitas RAM Anda menghitung kebutuhan RAM setiap model pada berbagai kuantisasi secara bertahap: panduan tentang ukuran LLM yang sesuai dengan RAM Anda. Perbandingan Ollama dan vLLM menjelaskan alasan vLLM menjadi alat yang digunakan di sini: vLLM dirancang untuk banyak permintaan paralel pada GPU, sedangkan Ollama ditujukan untuk memulai penggunaan model terkuantisasi dengan mudah.

Menginstal Kolibri-1 dengan vLLM

Anda memerlukan server Linux dengan GPU NVIDIA yang sesuai dan driver yang sudah terpasang. Hal yang perlu diperhatikan saat menyewa server dijelaskan dalam ikhtisar VPS dengan GPU. Periksa terlebih dahulu perangkat yang benar-benar tersedia pada mesin:

nvidia-smi --query-gpu=name,memory.total --format=csv

Output tersebut menampilkan nama dan memori dalam MiB untuk setiap kartu. H100 seharusnya melaporkan sekitar 81.000 MiB, sedangkan H200 sekitar 143.000 MiB. Jika perintah tidak menampilkan driver, driver NVIDIA belum terpasang. Dalam kondisi itu, vLLM juga tidak dapat menemukan GPU.

Selanjutnya, buat lingkungan Python khusus. Paket tersebut memasang vLLM dan PyTorch dalam rentang versi tertentu. Dengan lingkungan khusus, program lain pada server tidak terpengaruh.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

Card menulis pip install 'aleph-alpha-inference>=1'. Di sini versinya ditetapkan pada 1.0.0. Dengan demikian, versi yang lebih baru tidak mengubah setup Anda tanpa diketahui. Versi 1.0.0 memerlukan Python 3.10 atau yang lebih baru dan vLLM minimal 0.29.0, tetapi di bawah 0.30.0. Jadi, pip show seharusnya menampilkan versi vLLM 0.29.x. Paket tersebut adalah plugin untuk vLLM. Plugin ini mendaftarkan parser kolibri1 untuk reasoning dan pemanggilan tool. Tanpa plugin tersebut, vLLM tidak mengenali nama-nama ini.

Aleph Alpha juga menyediakan container image: ghcr.io/aleph-alpha/aleph-alpha-inference. Jika Anda menjalankan server GPU dengan container, Anda dapat menggunakan cara ini.

Menonaktifkan telemetri vLLM

Secara default, vLLM mengirimkan statistik penggunaan anonim. Jika tujuannya adalah memastikan tidak ada data yang keluar dari server, nonaktifkan fitur tersebut sebelum memulai:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Memulai server

Perintah ini mengikuti Card, dengan dua tambahan: revisi yang ditetapkan dan binding ke localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision menentukan versi bobot yang dimuat. Tanpa opsi tersebut, vLLM memuat versi terbaru dari main. Jika Aleph Alpha mengubah repository, model Anda akan berubah saat pengunduhan berikutnya. --host 127.0.0.1 membuat API hanya dapat diakses secara lokal. Tanpa opsi ini, vLLM mendengarkan pada semua antarmuka jaringan. Port 8000 kemudian terbuka jika firewall mengizinkannya.

Jika Anda memiliki dua GPU, tambahkan --tensor-parallel-size 2. Opsi ini membagi setiap layer ke kedua kartu. Tanpa opsi tersebut, vLLM hanya menggunakan satu GPU, dan bobot tidak muat pada satu kartu 80-GB.

Saat pertama kali dijalankan, vLLM mengunduh sekitar 79 GB dari Hugging Face ke ~/.cache/huggingface. Pastikan tersedia ruang disk yang cukup untuk pengunduhan tersebut dan lingkungan Python. Setelah pengunduhan pertama berhasil, Anda dapat mencegah semua koneksi berikutnya ke Hugging Face dengan export HF_HUB_OFFLINE=1. Setelah itu, bobot hanya diambil dari cache lokal.

Jika memori tidak cukup untuk konteks penuh sebesar 262.144 token, vLLM tidak dapat dijalankan. Pesan error akan menyatakan bahwa KV cache terlalu kecil untuk panjang sequence maksimum. Dalam hal ini, tetapkan batas yang lebih kecil, misalnya --max-model-len 65536. Card menjalankan konteks yang diperluas hingga 1.048.576 token dengan --max-model-len 1048576 dan --hf-overrides '{"max_position_embeddings": 1048576}'. Konfigurasi ini memerlukan memori yang jauh lebih besar dan hanya sesuai untuk konfigurasi yang direkomendasikan.

Memeriksa apakah model merespons

Setelah log menyatakan bahwa server berjalan pada port 8000, uji API yang kompatibel dengan OpenAI:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

Pemanggilan pertama seharusnya mencantumkan Aleph-Alpha/Kolibri-1 sebagai model. Pemanggilan kedua seharusnya menghasilkan JSON yang menyebut Paris pada choices[0].message.content. enable_thinking: false menonaktifkan mode berpikir untuk permintaan ini. Secara default, mode tersebut aktif. Menurut Card, reasoning_effort juga berpengaruh dengan nilai none. Card merekomendasikan temperature=1.0, top_p=0.97, dan top_k=128 sebagai sampling.

Untuk mengaksesnya dari komputer Anda, Anda tidak perlu membuka port. Tunnel SSH sudah cukup:

ssh -L 8000:127.0.0.1:8000 user@dein-server

Setelah itu, API dapat diakses pada komputer Anda melalui http://127.0.0.1:8000. Jika layanan lain di jaringan perlu mengaksesnya, tetapkan juga --api-key dan tempatkan reverse proxy dengan TLS (transport layer security) di depannya.

Berapa biaya satu jam Kolibri-1 dalam euro?

Harga sewa GPU sangat bervariasi, bergantung pada penyedia dan wilayah. Perhitungan di bawah ini menggunakan dua asumsi per Oktober 2026: 3,50 euro per jam untuk H200 dan 2,50 euro per jam untuk H100 SXM5, masing-masing on demand dan belum termasuk pajak pertambahan nilai. Penyedia GPU khusus terkadang menawarkan harga yang lebih rendah, sedangkan hyperscaler di wilayah UE sering kali jauh lebih mahal. Gunakan penawaran harga Anda sendiri. Metode perhitungannya tetap sama.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

Rata-rata, satu bulan memiliki 730 jam. Jika H200 berjalan sepanjang waktu, biayanya 2555 euro per bulan. Varian yang direkomendasikan dengan dua H100 membutuhkan biaya 3650 euro. Jika mesin hanya dijalankan selama jam kerja, yaitu 8 jam pada 22 hari kerja, atau 176 jam, biayanya 616 euro. Namun, setiap kali dijalankan, bobot harus dimuat ulang ke memori GPU, dan proses ini memerlukan waktu beberapa menit.

Kapan opsi ini mulai lebih menguntungkan daripada token API?

Per Oktober 2026, Card tidak mencantumkan API yang di-host untuk Kolibri-1. Jadi, perbandingan berdasarkan harga token berarti membandingkan Kolibri-1 pada GPU sendiri dengan model lain melalui API. Perhitungan ini menggunakan dua asumsi harga per satu juta token, gabungan token input dan output: 0,50 euro untuk model murah dan 2 euro untuk model yang lebih mahal.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

Dengan harga 0,50 euro per satu juta token, H200 yang berjalan terus-menerus baru menutup biayanya setelah mencapai 5110 juta token per bulan. Itu setara dengan rata-rata 1944 token per detik, sepanjang siang dan malam tanpa jeda. Dengan harga 2 euro per satu juta token, ambang untuk varian yang hanya berjalan selama jam kerja turun menjadi 308 juta token. Anda harus mengukur apakah satu kartu dapat mencapai throughput ini dengan kombinasi panjang prompt dan panjang jawaban yang Anda gunakan. Perhitungan ini hanya menunjukkan pada volume berapa pertanyaan tersebut mulai relevan.

Metode lengkap yang memperhitungkan utilisasi dan waktu menganggur tersedia dalam perhitungan titik impas server GPU dibandingkan dengan token API. Untuk Kolibri-1, ada aspek tambahan yang tidak dapat ditampilkan dalam tabel. Orang yang ingin meng-host Kolibri-1 sendiri demi alasan perlindungan data sering kali tidak membandingkannya dengan API. Jika dokumen tidak boleh meninggalkan lingkungan organisasi, API tidak dapat digunakan. Dalam hal ini, pertanyaan sebenarnya adalah: menyewa GPU di pusat data UE dengan perjanjian pemrosesan data (AVV), atau membeli perangkat keras sendiri. GPU yang disewa tetap berada pada pihak ketiga. Menurut GDPR (Peraturan Perlindungan Data Umum), hal ini merupakan pemrosesan data oleh pemroses dan bukan pengoperasian di lingkungan sendiri.

Wann model lokal yang lebih kecil merupakan pilihan yang tepat

Kolibri-1 layak digunakan jika Anda membutuhkan keunggulannya. Menurut model card, keunggulan tersebut mencakup pemanggilan tool dan pemrosesan dokumen dengan konteks panjang. Kapasitas 262.144 token dapat menampung seluruh folder kontrak dalam satu permintaan. Jika tugas Anda lebih singkat, perhitungannya akan berbeda.

Untuk mengurutkan email atau membuat ringkasan singkat, model dengan 7 hingga 14 miliar parameter sering kali sudah memadai. Setelah dikuantisasi ke 4 bit, model tersebut dapat berjalan dengan Ollama pada CPU VPS dengan RAM 16 hingga 32 GB. Kinerjanya lebih lambat daripada GPU, tetapi cukup untuk beberapa ratus permintaan per hari. Cara melakukannya dijelaskan dalam panduan untuk meng-host Ollama sendiri pada VPS. Biayanya setara dengan harga bulanan server biasa, bukan tarif penggunaan GPU per jam.

Model kecil yang paling jelas dari pengembang yang sama adalah Pharia-1-LLM-7B-control. Namun, menurut teks lisensinya, Open Aleph License hanya mengizinkan penggunaan nonkomersial dan nonadministratif. Karena itu, model tersebut bukan solusi untuk penggunaan di perusahaan.

Anda hanya dapat mengambil keputusan dengan jujur melalui pengujian. Ambil 50 tugas nyata dari pekerjaan sehari-hari Anda. Minta Kolibri-1 menyelesaikannya pada GPU yang disewa per jam, lalu minta model kecil menyelesaikan tugas yang sama pada CPU VPS. Setelah itu, bandingkan jawabannya. Biaya sewa selama beberapa jam relatif kecil dibandingkan biaya pembelian perangkat keras yang keliru.

Perbandingan dengan model terbuka lain ditunjukkan oleh hal-hal yang diperlukan untuk meng-host Kimi K3 sendiri. Perbandingan ini membantu memberikan konteks: dengan bobot sekitar 78 GB, Kolibri-1 termasuk model yang masih dapat dimuat pada satu kartu.

FAQ

Bolehkah saya menggunakan Kolibri-1 untuk tujuan komersial?

Ya. Menurut Model Card, Kolibri-1 menggunakan lisensi Apache 2.0. Anda boleh menggunakannya di perusahaan dan mendistribusikan versi yang telah dimodifikasi, selama menyertakan teks lisensi dan pemberitahuan yang diperlukan. Hal ini membedakan Kolibri-1 dari seri Pharia sebelumnya: Card untuk Pharia-1-LLM-7B-control mencantumkan Open Aleph License, yang menurut teks lisensinya hanya mengizinkan penggunaan nonkomersial dan non-administratif.

Apakah Kolibri-1 dapat berjalan dengan Ollama atau pada CPU?

Tidak secara resmi. Aleph Alpha hanya menerbitkan metode melalui vLLM pada GPU NVIDIA, dengan plugin aleph-alpha-inference. Tersedia file GGUF dari beberapa repositori komunitas, termasuk varian Q4_K_M berukuran 47,5 GB. File tersebut memerlukan llama.cpp yang telah ditambal karena llama.cpp standar tidak mengenali arsitektur kolibri1. Para pembuatnya sendiri menyatakan bahwa kualitas dan konteks panjangnya belum diuji.

Apakah satu H100 dengan 80 GB cukup untuk Kolibri-1?

Tidak. Bobot FP8 saja menggunakan sekitar 78 GB. Hampir tidak ada ruang tersisa untuk KV-cache yang menyimpan konteks. Card tersebut menyebutkan setidaknya dua H100 SXM5 atau satu H200. Dengan dua kartu, jalankan vLLM menggunakan --tensor-parallel-size 2.

Bagaimana cara menonaktifkan mode berpikir Kolibri-1?

Mode berpikir aktif secara default. Untuk setiap permintaan, nonaktifkan mode tersebut dengan "chat_template_kwargs": {"enable_thinking": false} dalam JSON body. Menurut Card, reasoning_effort dengan nilai none juga berfungsi. Jika mode tersebut aktif, --reasoning-parser kolibri1 memisahkan teks pemikiran dari jawaban sebenarnya.