Bởi Matt Connor
Kolibri-1 selbst hosten: Hardware und Kosten
Kolibri-1 läuft mit Apache 2.0, braucht aber rund 78 GB FP8-Gewichte und eine H200 oder zwei H100. Prüfe Hardware, Kosten und Alternativen.
Kolibri-1 selbst hosten: die kurze Antwort
Kolibri-1 có thể tự host, nhưng không phải trên một VPS thông thường. Aleph Alpha ở Heidelberg phát hành model này theo Apache 2.0. Các weight ở định dạng FP8 có dung lượng khoảng 78 GB. Cách chính thức là dùng vLLM trên ít nhất một H200 hoặc trên hai card đồ họa, mỗi card có 80 GB bộ nhớ. Hiện không có cách chính thức để chạy trên CPU, GGUF, llama.cpp hoặc Ollama.
Với nhiều độc giả ở Đức, câu hỏi quan trọng nhất là: dữ liệu có ở lại trong nội bộ doanh nghiệp không? Với Kolibri-1 thì có thể, và license không cản trở việc này. Trở ngại nằm ở phần cứng.
Tình trạng thông tin: Toàn bộ nội dung ở đây dựa trên Model Card của Aleph-Alpha/Kolibri-1 ở revision e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, ngày 3 tháng 10 năm 2026) và package aleph-alpha-inference phiên bản 1.0.0. Kiểm tra lần cuối vào ngày 13 tháng 10 năm 2026. Các revision sau có thể nêu những con số khác. Hãy kiểm tra lại trước khi thuê hoặc mua phần cứng.
Model Card quy định gì về Kolibri-1
- Kiến trúc: MoE (Mixture of Experts). Model gồm nhiều mạng con, gọi là các expert. Mỗi token chỉ được một số ít expert xử lý.
- Kích thước: tổng cộng 78 tỷ parameter, trong đó 3,46 tỷ parameter hoạt động trên mỗi token. Model có 50 layer, mỗi layer gồm 384 expert, trong đó 6 expert được chọn cho mỗi token.
- Context: 262.144 token nguyên bản. Theo Model Card, chất lượng đã được xác thực đến 1.048.576 token.
- Weight: FP8 (số dấu phẩy động 8-bit) ở định dạng
float8_e4m3fn, theo các block 128×128. Embedding và LM-Head dùng bfloat16. Theo Model Card, tổng dung lượng khoảng 78 GB. Riêng repository có dung lượng 78,9 GB. - Dữ liệu training: 62,5% tiếng Anh, 23,9% tiếng Đức và 13,6% code, với 20 nghìn tỷ token pretraining. Model cũng có tokenizer được thiết kế theo cấu trúc từ tiếng Đức, theo Model Card.
- License: Apache 2.0. Repository không bị gated. Bạn không cần gửi yêu cầu cấp quyền truy cập.
Điểm quan trọng nhất nằm ở 2 dòng đầu. 3,46 tỷ parameter hoạt động nghĩa là lượng tính toán cho mỗi token thấp. Nhưng nhu cầu bộ nhớ phụ thuộc vào toàn bộ 78 tỷ parameter. Router chọn các expert khác nhau cho từng token. Vì vậy, toàn bộ expert phải luôn nằm trong GPU memory. MoE model tính toán như model nhỏ nhưng chiếm bộ nhớ như model lớn.
Tokenizer cũng có ảnh hưởng thực tế. Tokenizer chia văn bản thành các token. Nếu tokenizer không phù hợp với ngôn ngữ, một từ tiếng Đức dài sẽ bị tách thành nhiều mảnh nhỏ. Điều này làm tốn context và thời gian tính toán. Tokenizer được thiết kế cho tiếng Đức cần ít token hơn để biểu diễn cùng một văn bản.
Các con số benchmark trong Model Card
Aleph Alpha đưa ra 2 giá trị tổng hợp cho model đã được post-training. Đây là các con số từ đánh giá nội bộ của nhà sản xuất, không phải kết quả từ một bài test độc lập.
Dữ liệu đằng sau biểu đồ này
[
{
"label": "Deutsch (Overall DE)",
"overall": 70.8
},
{
"label": "Englisch (Overall EN)",
"overall": 75.5
}
]Theo Model Card, Kolibri-1 đạt 70.8 điểm ở tiếng Đức và 75.5 điểm ở tiếng Anh. Vì vậy, model này cũng mạnh hơn một chút ở tiếng Anh. Chỉ có test bằng tài liệu của chính bạn mới cho biết model có đáp ứng được các tác vụ của bạn hay không.
Những thay đổi so với Pharia
Dòng model trước đây của Aleph Alpha có tên là Pharia. Model Card của Pharia-1-LLM-7B-control ghi rõ Open Aleph License. License này cho phép nghiên cứu và giảng dạy phi thương mại. Để sử dụng thương mại, bạn phải liên hệ trực tiếp với Aleph Alpha. Ngược lại, Kolibri-1 dùng Apache 2.0. Bạn có thể sử dụng model trong doanh nghiệp và phân phối lại bản đã chỉnh sửa, miễn là kèm theo nội dung license và các thông báo cần thiết.
Kolibri-1 cần GPU nào?
Card nêu hai mức. Tối thiểu: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 hoặc 1× B300. Khuyến nghị: 2× H100 SXM5, 2× H200, 1× B200 hoặc 1× B300.
Tại sao một H100 không đủ? Cách tính rất đơn giản. Lấy VRAM (video random access memory) trừ đi phần bộ nhớ dành cho weights. Phần còn lại chủ yếu được vLLM dùng cho KV-cache. KV-cache lưu keys và values của các lớp Attention cho từng token trong context. Nếu không có cache này, model không thể giữ context.
Dữ liệu đằng sau biểu đồ này
[
{
"config": "1\u00d7 H100 80 GB",
"vram_gb": 80,
"gewichte_gb": 79,
"rest_gb": 1
},
{
"config": "1\u00d7 H200",
"vram_gb": 141,
"gewichte_gb": 79,
"rest_gb": 62
},
{
"config": "2\u00d7 A100 80 GB",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H100 SXM5",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H200",
"vram_gb": 282,
"gewichte_gb": 79,
"rest_gb": 203
}
]Một H100 có 80 GB, weights chiếm 79 GB. Về mặt tính toán, còn lại 1 GB. Mức này không đủ cho context có ích. Một H200 còn trống 62 GB, hai H200 còn trống 203 GB. Dung lượng dự phòng thực tế nhỏ hơn. Theo mặc định, vLLM chỉ sử dụng 92 % bộ nhớ GPU (--gpu-memory-utilization, giá trị mặc định 0.92 trong vLLM 0.29.0), và activations cũng cần không gian. Các giá trị này là phép tính ước lượng đã làm tròn, không phải kết quả đo.
Hai đặc điểm của kiến trúc giúp giảm tải cho KV-cache. Thứ nhất, theo Card, Kolibri-1 kết hợp các lớp dùng Sliding-Window-Attention với các lớp dùng full Attention theo tỷ lệ 4:1. Một lớp Sliding-Window chỉ lưu các token trong một cửa sổ cố định. Vì vậy, cache của lớp đó không tăng theo toàn bộ độ dài context. Thứ hai, Card khuyến nghị --kv-cache-dtype fp8. Nhờ đó, mỗi cache entry chỉ chiếm một nửa dung lượng so với khi dùng 16 Bit. Tuy nhiên, các lớp dùng full Attention vẫn tăng theo từng token. Với 262.144 token, dung lượng trên một H200 vẫn rất sát giới hạn.
Vì sao VPS thông thường không thể chạy Kolibri-1
Aleph Alpha chỉ công bố cách chạy qua vLLM với GPU. Card không đề cập đến việc chạy trên CPU, GGUF, llama.cpp hoặc Ollama. VPS CPU thông thường không có VRAM. Vì vậy, nền tảng cần thiết cho cách chạy này không tồn tại.
Tuy vậy, trên Hugging Face vẫn có các bản chuyển đổi sang GGUF do cộng đồng thực hiện. Tìm kiếm „kolibri-1 gguf“ liệt kê 8 repository cho Kolibri-1 vào ngày 6 tháng 10 năm 2026; đến ngày 13 tháng 10 năm 2026 là 11 repository. File Q4_K_M có dung lượng khoảng 47,5 GB và về mặt lý thuyết có thể vừa trong server với 64 GB RAM. Tuy nhiên, các repository mà chúng tôi kiểm tra vào ngày 6 tháng 10 năm 2026 tự nêu rõ: llama.cpp thông thường không biết architecture kolibri1. Bạn cần một bản đã patch tại một commit cụ thể. Đến ngày 13 tháng 10 năm 2026, điều này vẫn chưa thay đổi: llama.cpp chỉ có một feature request đang mở cho Kolibri-1. Một số tác giả đã thử nghiệm context dài. Prompt48 báo cáo rằng Q4_K_M trên A100 truy xuất chính xác thông tin kiểm thử (Needle) ở 195.935 token và, với context mở rộng, ở 718.803 token. Hob-forge truy xuất được 3 thông tin ẩn ở tối đa 253.646 token, trong một lần chạy với -c 262144. Đây là các bài kiểm tra truy xuất, không phải benchmark. Prompt48 và Hob-forge nêu rõ rằng chưa có so sánh benchmark với bản gốc FP8. Với dữ liệu doanh nghiệp, đây không phải là cơ sở đủ tin cậy. Đây chỉ là một thử nghiệm.
Hướng dẫn về kích thước LLM phù hợp với RAM của bạn tính từng bước lượng RAM mà một model cần ở mỗi mức quantization. Bài so sánh Ollama và vLLM giải thích vì sao vLLM là công cụ phù hợp ở đây: vLLM được xây dựng cho nhiều request song song trên GPU, còn Ollama phù hợp để bắt đầu đơn giản với các model đã quantize.
Cài đặt Kolibri-1 với vLLM
Bạn cần một Linux server có NVIDIA GPU phù hợp và driver đã được cài đặt. Những điểm cần lưu ý khi thuê server được nêu trong tổng quan về VPS có GPU. Trước tiên, hãy kiểm tra chính xác máy đang có gì:
nvidia-smi --query-gpu=name,memory.total --format=csvOutput cho biết tên và dung lượng bộ nhớ tính bằng MiB của từng card. H100 phải báo khoảng 81.000 MiB, còn H200 khoảng 143.000 MiB. Nếu command không báo driver, NVIDIA driver chưa được cài đặt. Khi đó vLLM cũng không tìm thấy GPU.
Tiếp theo, hãy tạo một Python environment riêng. Package sẽ cài vLLM và PyTorch trong các khoảng version cố định. Dùng environment riêng sẽ không ảnh hưởng đến các chương trình khác trên server.
sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inferenceCard ghi pip install 'aleph-alpha-inference>=1'. Ở đây version được cố định ở 1.0.0. Nhờ vậy, version mới hơn sẽ không âm thầm thay đổi setup của bạn. Version 1.0.0 yêu cầu Python 3.10 trở lên và vLLM từ 0.29.0 nhưng thấp hơn 0.30.0. Vì vậy pip show phải hiển thị một vLLM version 0.29.x. Package này là plugin cho vLLM. Nó đăng ký các parser kolibri1 để xử lý reasoning và tool call. Nếu không có plugin, vLLM không biết các tên này.
Aleph Alpha cũng cung cấp một container image: ghcr.io/aleph-alpha/aleph-alpha-inference. Nếu bạn vận hành GPU server bằng container, có thể dùng cách này.
Tắt telemetry của vLLM
Mặc định, vLLM gửi các thống kê sử dụng ẩn danh. Nếu mục tiêu là không để bất kỳ dữ liệu nào rời khỏi server, hãy tắt tính năng này trước khi khởi động:
export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1Khởi động server
Command này làm theo Card, với 2 bổ sung: cố định revision và bind vào localhost.
vllm serve Aleph-Alpha/Kolibri-1 \
--revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
--host 127.0.0.1 --port 8000 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choice--revision xác định revision của weights sẽ được load. Nếu không có option này, vLLM sẽ load revision hiện tại từ main. Nếu Aleph Alpha thay đổi repository, model của bạn cũng sẽ thay đổi trong lần download tiếp theo. --host 127.0.0.1 chỉ cho phép truy cập API từ local. Nếu không có option này, vLLM sẽ listen trên mọi network interface. Khi firewall cho phép, port 8000 sẽ mở ra.
Nếu dùng 2 GPU, hãy thêm --tensor-parallel-size 2. Option này phân phối từng layer trên cả 2 card. Nếu không có option này, vLLM chỉ dùng một GPU, trong khi weights không vừa trên một card 80-GB.
Trong lần khởi động đầu tiên, vLLM download khoảng 79 GB từ Hugging Face vào ~/.cache/huggingface. Hãy chừa đủ dung lượng ổ đĩa cho việc này và cho Python environment. Sau lần download đầu tiên thành công, bạn có thể dùng export HF_HUB_OFFLINE=1 để chặn mọi kết nối tiếp theo đến Hugging Face. Khi đó, weights chỉ được lấy từ local cache.
Nếu không đủ bộ nhớ cho context đầy đủ 262.144 Token, vLLM sẽ không khởi động. Error message sẽ cho biết KV-cache quá nhỏ đối với sequence length tối đa. Trong trường hợp này, hãy đặt giới hạn nhỏ hơn, ví dụ --max-model-len 65536. Card khởi động context mở rộng lên 1.048.576 Token bằng --max-model-len 1048576 và --hf-overrides '{"max_position_embeddings": 1048576}'. Cấu hình này cần nhiều bộ nhớ hơn đáng kể và chỉ phù hợp với các configuration được khuyến nghị.
Kiểm tra model có trả lời hay không
Ngay khi log cho biết server đang chạy trên port 8000, hãy kiểm tra OpenAI-compatible API:
curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'Lệnh gọi đầu tiên phải liệt kê Aleph-Alpha/Kolibri-1 dưới dạng model. Lệnh gọi thứ hai phải trả về JSON trong đó choices[0].message.content nêu Paris. enable_thinking: false tắt chế độ suy luận cho request này. Mặc định, chế độ này được bật. Theo Card, reasoning_effort cũng có hiệu lực với giá trị none. Card khuyến nghị các tham số sampling là temperature=1.0, top_p=0.97 và top_k=128.
Để truy cập từ máy tính của bạn, không cần mở port. Chỉ cần dùng SSH tunnel:
ssh -L 8000:127.0.0.1:8000 user@dein-serverSau đó, API có thể được truy cập trên máy tính của bạn tại http://127.0.0.1:8000. Nếu các dịch vụ khác trong mạng cần truy cập, hãy đặt thêm --api-key và đặt một reverse proxy có TLS (transport layer security) ở phía trước.
Kolibri-1 sử dụng một giờ tốn bao nhiêu Euro?
Giá thuê GPU biến động mạnh tùy nhà cung cấp và khu vực. Phép tính dưới đây dùng 2 giả định, tính đến tháng 10/2026: 3,50 Euro mỗi giờ cho một H200 và 2,50 Euro mỗi giờ cho một H100 SXM5, đều là giá on demand và chưa bao gồm VAT. Một số nhà cung cấp GPU chuyên dụng có giá thấp hơn, còn hyperscaler tại các khu vực EU thường cao hơn đáng kể. Hãy thay bằng báo giá thực tế của bạn. Cách tính vẫn giữ nguyên.
Dữ liệu đằng sau biểu đồ này
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 730,
"eur_pro_monat": 2555
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"eur_pro_stunde": 5,
"stunden_pro_monat": 730,
"eur_pro_monat": 3650
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 176,
"eur_pro_monat": 616
}
]Một tháng trung bình có 730 giờ. Nếu H200 chạy liên tục, chi phí là 2555 Euro mỗi tháng. Phương án được khuyến nghị với 2 H100 có chi phí 3650 Euro. Nếu chỉ chạy máy trong giờ làm việc, tức 8 giờ trong 22 ngày làm việc, tổng cộng 176 giờ, chi phí là 616 Euro. Đổi lại, mỗi lần khởi động phải nạp lại weights vào bộ nhớ GPU, mất vài phút.
Khi nào phương án này có lợi hơn so với API token?
Card này cho biết tính đến tháng 10/2026 chưa có API được host cho Kolibri-1. Vì vậy, so sánh theo giá token nghĩa là so sánh việc chạy Kolibri-1 trên GPU riêng với việc dùng một model khác qua API. Phép tính giả định 2 mức giá cho mỗi triệu token, gộp cả input và output: 0,50 Euro cho model giá rẻ và 2 Euro cho model đắt hơn.
Dữ liệu đằng sau biểu đồ này
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"mio_token_bei_0_50_eur": 5110,
"mio_token_bei_2_eur": 1277.5,
"token_pro_sekunde_bei_0_50_eur": 1944
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"mio_token_bei_0_50_eur": 7300,
"mio_token_bei_2_eur": 1825,
"token_pro_sekunde_bei_0_50_eur": 2778
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"mio_token_bei_0_50_eur": 1232,
"mio_token_bei_2_eur": 308,
"token_pro_sekunde_bei_0_50_eur": 1944
}
]Với mức 0,50 Euro cho mỗi triệu token, H200 chạy liên tục chỉ bù được chi phí từ 5110 triệu token mỗi tháng. Tương đương trung bình 1944 token mỗi giây, liên tục cả ngày lẫn đêm. Với mức 2 Euro cho mỗi triệu token, ngưỡng của phương án chỉ chạy trong giờ làm việc giảm xuống còn 308 triệu token. Bạn phải đo thực tế để biết một card có đạt throughput này với tỷ lệ giữa độ dài prompt và độ dài câu trả lời của mình hay không. Phép tính chỉ cho biết từ mức volume nào câu hỏi này mới thực sự cần được đặt ra.
Phương pháp đầy đủ, có tính đến utilization và thời gian idle, được trình bày trong phép tính điểm hòa vốn giữa GPU server và API token. Với Kolibri-1 còn có một yếu tố mà không bảng nào thể hiện được. Những người muốn tự host Kolibri-1 vì lý do dữ liệu thường không so sánh với API. Nếu tài liệu không được phép rời khỏi tổ chức, API không còn là lựa chọn. Khi đó, câu hỏi thực tế là: thuê GPU tại một data center ở EU có hợp đồng xử lý dữ liệu (AVV), hay mua hardware riêng. GPU thuê vẫn được đặt tại cơ sở của một bên thứ ba. Theo DSGVO (Quy định chung về bảo vệ dữ liệu), đây là hoạt động xử lý dữ liệu theo ủy quyền, không phải vận hành trong cơ sở riêng.
Khi một model cục bộ nhỏ hơn mới là lựa chọn phù hợp
Kolibri-1 đáng dùng khi bạn cần các điểm mạnh của nó. Theo Card, các điểm mạnh đó gồm gọi tool và xử lý tài liệu với context dài. 262.144 token có thể chứa toàn bộ một thư mục hợp đồng trong một request. Nếu tác vụ của bạn ngắn hơn, phép tính chi phí sẽ khác.
Để phân loại email hoặc tạo bản tóm tắt ngắn, model có 7 đến 14 tỷ parameter thường đã đủ. Khi được quantize xuống 4 bit, model có thể chạy với Ollama trên CPU-VPS có 16 đến 32 GB RAM. Cách này chậm hơn GPU, nhưng đủ cho vài trăm request mỗi ngày. Hướng dẫn tự host Ollama trên VPS trình bày cách thực hiện. Chi phí khi đó chỉ là giá thuê server theo tháng, không phải chi phí GPU tính theo giờ.
Model nhỏ dễ nghĩ đến từ cùng nhà phát triển là Pharia-1-LLM-7B-control. Tuy nhiên, theo nội dung license, Open Aleph License của model này chỉ cho phép sử dụng cho mục đích phi thương mại và phi quản trị. Vì vậy, đây không phải giải pháp để sử dụng trong doanh nghiệp.
Bạn chỉ có thể đưa ra quyết định chính xác bằng cách test. Lấy 50 tác vụ thực tế từ công việc hằng ngày của bạn. Cho Kolibri-1 xử lý trên một GPU thuê theo giờ, đồng thời cho một model nhỏ xử lý trên CPU-VPS. Sau đó so sánh các câu trả lời. Chi phí thuê để test trong vài giờ thấp hơn nhiều so với chi phí mua sai phần cứng.
Bài viết về những gì cần để tự host Kimi K3 cho thấy cùng một câu hỏi sẽ cho kết quả thế nào trên một model open khác. So sánh này giúp bạn đánh giá đúng vị trí của Kolibri-1: với khoảng 78 GB weight, Kolibri-1 thuộc nhóm model vẫn có thể chạy trên một card duy nhất.
FAQ
Tôi có được phép sử dụng Kolibri-1 cho mục đích thương mại không?
Có. Theo Model Card, Kolibri-1 được phát hành theo Apache 2.0. Bạn có thể sử dụng model này trong doanh nghiệp và phân phối lại bản đã chỉnh sửa, miễn là kèm theo nội dung license và các thông báo liên quan. Điều này phân biệt Kolibri-1 với dòng Pharia trước đây: Card của Pharia-1-LLM-7B-control nêu Open Aleph License; theo nội dung license, license này chỉ cho phép mục đích phi thương mại và không mang tính quản trị.
Kolibri-1 có chạy được với Ollama hoặc trên CPU không?
Không chính thức. Aleph Alpha chỉ công bố cách chạy qua vLLM trên GPU NVIDIA, cùng plugin aleph-alpha-inference. Có các file GGUF từ nhiều repository của cộng đồng, chẳng hạn file Q4_K_M có dung lượng khoảng 47,5 GB. Chúng cần một bản llama.cpp đã patch vì llama.cpp thông thường không biết architecture kolibri1. Một số tác giả báo cáo đã vượt qua các bài kiểm tra truy xuất với context dài, lên đến hơn 700.000 token. Tuy nhiên, theo chính thông tin họ công bố, chưa có so sánh benchmark với bản gốc FP8.
Một H100 duy nhất với 80 GB có đủ cho Kolibri-1 không?
Không. Riêng các weight FP8 đã chiếm khoảng 78 GB. Hầu như không còn chỗ cho KV-cache, nơi lưu context. Card nêu tối thiểu, trong số các cấu hình khác, là 2 H100 SXM5 hoặc 1 H200. Với 2 card, bạn khởi động vLLM bằng --tensor-parallel-size 2.
Làm thế nào để tắt chế độ suy luận của Kolibri-1?
Chế độ suy luận được bật theo mặc định. Bạn tắt chế độ này cho từng request bằng "chat_template_kwargs": {"enable_thinking": false} trong JSON body. Theo Card, reasoning_effort với giá trị none cũng có tác dụng. Khi chế độ này bật, --reasoning-parser kolibri1 tách phần nội dung suy luận khỏi câu trả lời thực tế.