Kolibri-1 tự host cần phần cứng gì?
Kolibri-1 có license Apache 2.0. FP8 cần khoảng 78 GB VRAM; Q4_K_M có thể chạy trong RAM. Tìm chi phí bằng euro, hỗ trợ Transformers 5.20 và khi nào model nhỏ là đủ.
Kolibri-1 tự host: câu trả lời ngắn gọn
Bạn có thể tự host Kolibri-1 với các weight FP8 chính thức, nhưng không thể chạy trên một VPS thông thường. Aleph Alpha ở Heidelberg phát hành model này theo giấy phép Apache 2.0. Các weight ở định dạng FP8 có dung lượng khoảng 78 GB. Model Card mô tả 2 cách chính thức: vLLM và, từ ngày 20 tháng 10 năm 2026, Transformers từ version 5.20. Card này yêu cầu tối thiểu một H200, một B200 hoặc B300, hoặc 2 GPU với mỗi GPU có 80 GB bộ nhớ. Card không nêu cách chính thức nào để chạy trên CPU, GGUF, llama.cpp hoặc Ollama. Từ release b11709 ngày 17 tháng 10 năm 2026, llama.cpp bản thông thường đã hỗ trợ kiến trúc kolibri1; không cần architecture patch cho kiến trúc này nữa. Tuy nhiên, với các file GGUF do cộng đồng tạo, khả năng tương thích còn phụ thuộc vào quá trình chuyển đổi.
Với nhiều người đọc ở Đức, câu hỏi quan trọng nhất là: Dữ liệu có ở lại trong hệ thống của mình không? Với Kolibri-1, câu trả lời là có, và license không cản trở việc đó. Trở ngại nằm ở phần cứng.
Thông tin được cập nhật đến: Nội dung này dựa trên Model Card của Aleph-Alpha/Kolibri-1 tại revision 5bb7075ba22db733e3834b1c71d2245537cc14ed (Hugging Face, ngày 20 tháng 10 năm 2026) và package aleph-alpha-inference version 1.0.0. Kiểm tra lần cuối vào ngày 26 tháng 10 năm 2026. Lệnh khởi động bên dưới vẫn pin revision e52eb4627d11516b0c01de49210ab5a4e4061444. Các commit sau đó chỉ thay đổi README, config.json và tokenizer_config.json, không thay đổi các weight. Những revision sau có thể đưa ra các con số khác. Hãy kiểm tra lại trước khi thuê hoặc mua phần cứng.
Model Card quy định gì về Kolibri-1
- Kiến trúc: MoE (Mixture of Experts). Model gồm nhiều mạng con, gọi là các expert. Mỗi token chỉ được một số ít expert xử lý.
- Kích thước: Tổng cộng 78 tỷ parameter, trong đó 3,46 tỷ parameter hoạt động trên mỗi token. Model có 50 layer, mỗi layer gồm 384 expert; mỗi token sẽ chọn 6 expert.
- Context: 262.144 token ở native. Theo Model Card, chất lượng đã được xác thực đến 1.048.576 token.
- Weight: FP8 (số dấu phẩy động 8-bit) ở định dạng
float8_e4m3fn, theo các block 128×128. Embedding và LM-Head dùng bfloat16. Theo Model Card, tổng dung lượng khoảng 78 GB. Riêng repository có dung lượng 78,9 GB. - Dữ liệu huấn luyện: 62,5 % tiếng Anh, 23,9 % tiếng Đức và 13,6 % code, với 20 nghìn tỷ token trong giai đoạn pretraining. Model cũng dùng một tokenizer được thiết kế theo cấu trúc từ tiếng Đức, theo Model Card.
- License: Apache 2.0. Repository không bị gated. Vì vậy bạn không cần gửi yêu cầu truy cập.
Điểm quan trọng nhất nằm ở 2 dòng đầu. 3,46 tỷ parameter hoạt động nghĩa là lượng tính toán trên mỗi token thấp. Nhưng nhu cầu bộ nhớ vẫn dựa trên toàn bộ 78 tỷ parameter. Router chọn các expert khác nhau cho từng token. Trong cấu hình chạy trên GPU được mô tả ở đây, toàn bộ expert nằm trong VRAM; llama.cpp cũng hỗ trợ chuyển expert sang RAM. Vì vậy, model MoE tính toán như model nhỏ nhưng chiếm bộ nhớ như model lớn.
Tokenizer cũng có ảnh hưởng thực tế. Tokenizer chia văn bản thành các token. Nếu tokenizer không phù hợp với ngôn ngữ, một từ tiếng Đức dài sẽ bị tách thành nhiều phần nhỏ. Điều này làm tốn context và thời gian tính toán. Tokenizer được tối ưu cho tiếng Đức sẽ cần ít token hơn với cùng một văn bản.
Các con số benchmark trong Model Card
Aleph Alpha đưa ra 2 giá trị tổng hợp cho model đã post-training. Đây là các con số do nhà sản xuất tự đánh giá, không phải kết quả từ một bài test độc lập.
Dữ liệu đằng sau biểu đồ này
[
{
"label": "Deutsch (Overall DE)",
"overall": 70.8
},
{
"label": "Englisch (Overall EN)",
"overall": 75.5
}
]Theo Model Card, Kolibri-1 đạt 70.8 điểm ở tiếng Đức và 75.5 điểm ở tiếng Anh. Vì vậy model này cũng mạnh hơn một chút ở tiếng Anh. Chỉ test bằng chính tài liệu của bạn mới cho biết model có đáp ứng được công việc hay không.
Những thay đổi so với Pharia
Dòng model trước đây của Aleph Alpha có tên là Pharia. Model Card của Pharia-1-LLM-7B-control ghi rõ Open Aleph License. License này cho phép nghiên cứu và giảng dạy phi thương mại. Để sử dụng thương mại, bạn phải liên hệ trực tiếp với Aleph Alpha. Ngược lại, Kolibri-1 được phát hành theo Apache 2.0. Vì vậy bạn có thể dùng model trong doanh nghiệp và phân phối lại bản đã chỉnh sửa, miễn là kèm theo nội dung license và các thông báo bắt buộc.
Cần GPU nào cho Kolibri-1?
Model card nêu hai mức. Tối thiểu: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 hoặc 1× B300. Khuyến nghị: 2× H100 SXM5, 2× H200, 1× B200 hoặc 1× B300.
Tại sao một H100 không đủ? Cách tính rất đơn giản. Lấy VRAM (video random access memory) trừ đi phần bộ trọng số chiếm dụng. Phần còn lại chủ yếu được vLLM dùng cho KV-cache. KV-cache lưu keys và values của các lớp Attention cho mỗi token trong context. Nếu không có nó, model không thể giữ context.
Dữ liệu đằng sau biểu đồ này
[
{
"config": "1\u00d7 H100 80 GB",
"vram_gb": 80,
"gewichte_gb": 79,
"rest_gb": 1
},
{
"config": "1\u00d7 H200",
"vram_gb": 141,
"gewichte_gb": 79,
"rest_gb": 62
},
{
"config": "2\u00d7 A100 80 GB",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H100 SXM5",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H200",
"vram_gb": 282,
"gewichte_gb": 79,
"rest_gb": 203
}
]Một H100 có 80 GB, bộ trọng số chiếm 79 GB. Về mặt tính toán, còn lại 1 GB. Mức này không đủ cho context có ý nghĩa. Một H200 còn trống 62 GB, hai H200 còn trống 203 GB. Dung lượng dự phòng thực tế nhỏ hơn. Theo mặc định, vLLM chỉ sử dụng 92 % VRAM (--gpu-memory-utilization, giá trị mặc định 0.92 theo tài liệu hiện tại), và activation cũng cần dung lượng. Đây là các phép tính ước lượng đã làm tròn, không phải số đo thực tế.
Hai đặc điểm của architecture giúp giảm tải cho KV-cache. Thứ nhất, theo model card, Kolibri-1 kết hợp các lớp dùng Sliding-Window-Attention với các lớp dùng full Attention theo tỷ lệ 4:1. Một lớp Sliding-Window chỉ lưu các token trong một cửa sổ cố định. Vì vậy, cache của lớp này không tăng theo toàn bộ độ dài context. Thứ hai, model card khuyến nghị --kv-cache-dtype fp8. Nhờ đó, mỗi mục trong cache chỉ chiếm một nửa dung lượng so với 16 bit. Tuy vậy, các lớp dùng full Attention vẫn tăng theo từng token. Với 262.144 token, dung lượng trên một H200 duy nhất sẽ rất hạn chế.
Khi một VPS thông thường có thể chạy Kolibri-1
Trong model card, Aleph Alpha chỉ mô tả vLLM và Transformers; cả hai đều dành cho GPU có đủ VRAM. Model card không đề cập đến việc chạy bằng CPU, GGUF, llama.cpp hay Ollama. VPS CPU thông thường không có VRAM. Vì vậy, các hướng này không có đủ nền tảng để hoạt động. Tuy nhiên, với file GGUF phù hợp và llama.cpp, vẫn có thể chạy bằng CPU nếu có đủ RAM. Hob-forge ghi nhận các bài test CPU thành công và cần 46,6 GB RAM cho các weight Q4_K_M đã load khi không dùng mmap. Ngoài ra còn cần bộ nhớ cho context và hệ điều hành. GPU không bắt buộc cho cách này.
Trên Hugging Face vẫn có các bản chuyển đổi GGUF do cộng đồng thực hiện. Tùy repository, file Q4_K_M có dung lượng khoảng 47,5 đến 49,8 GB, về lý thuyết có thể vừa trong server có 64 GB RAM. Từ ngày 17 tháng 10 năm 2026, llama.cpp bản chính thức cũng đã biết architecture kolibri1: Pull Request #30673 đã được merge và có trong Release b11709 trở lên. Tuy nhiên, các GGUF cũ không tự động load được bằng bản này. Đến ngày 25 tháng 10 năm 2026, Hob-forge vẫn yêu cầu llama.cpp đã patch tại commit 836d571. Một bài viết trong cuộc thảo luận về Kolibri-1 trên Hugging Face cho biết chỉ 7 trong 40 quant được kiểm tra có thể load nguyên trạng bằng llama.cpp bản chính thức. Với một số quant, chỉ cần hai tùy chọn --override-kv; các quant khác phải được convert lại bằng convert_hf_to_gguf.py của llama.cpp bản chính thức. Các GGUF của bartowski được build bằng llama.cpp b11716 và cần b11716 hoặc mới hơn. Vì vậy, hãy kiểm tra trong repository tương ứng để biết nó yêu cầu version nào. Một số tác giả đã thực sự test context dài. Hob-forge tìm lại được ba fact ẩn khi tối đa 253.646 token, trong một lần chạy với -c 262144. Đây là các bài test truy xuất, không phải benchmark. Hob-forge nói rõ rằng chưa có so sánh benchmark với bản gốc FP8. Đây không phải cơ sở đủ tin cậy để dùng cho dữ liệu doanh nghiệp. Đây chỉ là một thử nghiệm.
Hướng dẫn về việc model được phép có kích thước bao nhiêu so với RAM của bạn tính từng bước lượng RAM mà một model cần trong mỗi kiểu quantization. Bài so sánh Ollama và vLLM giải thích vì sao vLLM là công cụ phù hợp trong trường hợp này: vLLM được xây dựng cho nhiều request song song trên GPU, còn Ollama phù hợp để bắt đầu đơn giản với các model đã quantize.
Cài đặt Kolibri-1 với vLLM
Bạn cần một Linux server có NVIDIA GPU phù hợp và đã cài driver. Tổng quan về VPS có GPU giải thích những điểm cần lưu ý khi thuê. Trước tiên, kiểm tra chính xác máy đang có gì:
nvidia-smi --query-gpu=name,memory.total --format=csvOutput hiển thị tên và bộ nhớ tính theo MiB của từng card. Nếu command không hiển thị driver thì NVIDIA driver chưa được cài. Khi đó vLLM cũng không tìm thấy GPU.
Sau đó, tạo một Python environment riêng. Package này sẽ cài vLLM và PyTorch trong các khoảng version cố định. Dùng environment riêng sẽ không ảnh hưởng đến các chương trình khác trên server.
sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inferenceCard ghi pip install 'aleph-alpha-inference>=1'. Ở đây version được cố định ở 1.0.0. Vì vậy, version về sau sẽ không âm thầm thay đổi setup của bạn. Version 1.0.0 yêu cầu Python 3.10 trở lên và vLLM từ 0.29.0 trở lên nhưng thấp hơn 0.30.0. pip show nên hiển thị một vLLM version 0.29.x. Package này là một plugin cho vLLM. Nó đăng ký các parser kolibri1 để xử lý reasoning và tool call. Nếu không có plugin, vLLM không biết các tên này.
Aleph Alpha cũng cung cấp một container image: ghcr.io/aleph-alpha/aleph-alpha-inference. Nếu bạn chạy GPU server bằng container, có thể dùng cách này.
Từ ngày 20 tháng 10 năm 2026, Card còn nêu Transformers là một cách khác: pip install "transformers[kernels,torch]>=5.20", kèm ví dụ cho pipeline và AutoModelForCausalLM. Cách này phù hợp với các script và thử nghiệm bằng Python. Với OpenAI-compatible API có nhiều request chạy song song, vLLM vẫn là cách được dùng trong hướng dẫn này.
Tắt telemetry của vLLM
Theo mặc định, vLLM gửi các thống kê sử dụng ẩn danh. Nếu mục tiêu là không để bất kỳ dữ liệu nào rời khỏi server, hãy tắt tính năng này trước khi start:
export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1Start server
Command này làm theo Card, với hai bổ sung: cố định revision và bind vào localhost.
vllm serve Aleph-Alpha/Kolibri-1 \
--revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
--host 127.0.0.1 --port 8000 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choice--revision xác định revision của weights sẽ được load. Nếu không có option này, vLLM sẽ load revision hiện tại từ main. Nếu Aleph Alpha thay đổi repository, model của bạn sẽ thay đổi ở lần download tiếp theo. --host 127.0.0.1 chỉ cho phép truy cập API từ local. Kể cả khi allow port 8000 trên firewall, điều đó cũng không thay đổi. Để cho các máy khác truy cập trực tiếp, thay --host 127.0.0.1 bằng --host 0.0.0.0; khi đó firewall cũng phải cho phép truy cập.
Nếu dùng hai GPU, thêm --tensor-parallel-size 2. Option này phân phối từng layer trên cả hai card. Nếu không có option này, vLLM chỉ dùng một GPU, trong khi weights không vừa trên một card 80-GB.
Ở lần start đầu tiên, vLLM download khoảng 79 GB từ Hugging Face vào ~/.cache/huggingface. Hãy dành đủ dung lượng disk trống cho việc này và cho Python environment. Sau lần download thành công đầu tiên, bạn có thể dùng export HF_HUB_OFFLINE=1 để chặn mọi kết nối tiếp theo đến Hugging Face. Khi đó weights chỉ được lấy từ local cache.
Nếu không đủ memory cho context đầy đủ là 262.144 token, vLLM sẽ không start. Error message khi đó cho biết KV-cache quá nhỏ đối với sequence length tối đa. Trong trường hợp này, đặt một giới hạn nhỏ hơn, chẳng hạn --max-model-len 65536. Card start context mở rộng đến 1.048.576 token bằng --max-model-len 1048576 và --hf-overrides '{"max_position_embeddings": 1048576}'. Cấu hình này cần nhiều memory hơn đáng kể và chỉ nên dùng với các cấu hình được khuyến nghị.
Kiểm tra model có trả lời hay không
Ngay khi log cho biết server đang chạy trên port 8000, hãy test OpenAI-compatible API:
curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'Lệnh gọi đầu tiên nên liệt kê Aleph-Alpha/Kolibri-1 dưới dạng model. Lệnh gọi thứ hai nên trả về JSON trong đó choices[0].message.content nêu Paris. enable_thinking: false tắt chế độ suy luận cho request này. Theo mặc định, chế độ này được bật. Theo Card, reasoning_effort cũng có tác dụng với giá trị none. Card khuyến nghị dùng temperature=1.0, top_p=0.97 và top_k=128 cho sampling.
Để truy cập từ máy của bạn, không cần mở port. Chỉ cần một SSH tunnel:
ssh -L 8000:127.0.0.1:8000 user@dein-serverSau đó, bạn có thể truy cập API trên máy của mình tại http://127.0.0.1:8000. Nếu các service khác trong network cần truy cập, hãy thêm --api-key và đặt một reverse proxy có TLS (transport layer security) phía trước. Nếu reverse proxy chạy trên cùng server, hãy giữ vLLM bind vào 127.0.0.1; các service khác sẽ kết nối đến proxy.
Một giờ Kolibri-1 tốn bao nhiêu Euro?
Giá thuê GPU thay đổi rất nhiều tùy nhà cung cấp và khu vực. Phép tính dưới đây dùng hai giả định tùy chọn: 3,50 Euro mỗi giờ cho một H200 và 2,50 Euro mỗi giờ cho một H100 SXM5, đều chưa bao gồm thuế giá trị gia tăng. Đây là các ví dụ tính toán, không phải giá đã được kiểm chứng từ nhà cung cấp. Hãy thay bằng báo giá thực tế của bạn. Cách tính vẫn giữ nguyên.
Dữ liệu đằng sau biểu đồ này
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 730,
"eur_pro_monat": 2555
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"eur_pro_stunde": 5,
"stunden_pro_monat": 730,
"eur_pro_monat": 3650
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 176,
"eur_pro_monat": 616
}
]Trung bình một tháng có 730 giờ. Nếu chạy một H200 suốt ngày đêm, chi phí là 2555 Euro mỗi tháng. Phương án được khuyến nghị với hai H100 có chi phí 3650 Euro. Nếu chỉ chạy máy trong giờ làm việc, tức 8 giờ trong 22 ngày làm việc, tổng cộng 176 giờ, bạn sẽ trả 616 Euro. Đổi lại, mỗi lần khởi động sẽ phải nạp lại weights vào bộ nhớ đồ họa.
Khi nào phương án này có lợi hơn so với API token?
Hiện Kolibri-1 cũng có trên một API được host: Aleph Alpha quảng bá quyền truy cập API, còn Munito có tài liệu về model này aleph-alpha/kolibri-1. Vì vậy, bạn có thể so sánh cùng một model khi chạy trên GPU riêng và khi dùng API. Phép tính giả định hai mức giá cho mỗi triệu token, tính gộp token đầu vào và đầu ra: 0,50 Euro cho model rẻ và 2 Euro cho model đắt hơn.
Dữ liệu đằng sau biểu đồ này
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"mio_token_bei_0_50_eur": 5110,
"mio_token_bei_2_eur": 1277.5,
"token_pro_sekunde_bei_0_50_eur": 1944
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"mio_token_bei_0_50_eur": 7300,
"mio_token_bei_2_eur": 1825,
"token_pro_sekunde_bei_0_50_eur": 2778
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"mio_token_bei_0_50_eur": 1232,
"mio_token_bei_2_eur": 308,
"token_pro_sekunde_bei_0_50_eur": 1944
}
]Với mức giá 0,50 Euro cho mỗi triệu token, H200 chạy liên tục chỉ bắt đầu hòa vốn sau khi xử lý 5110 triệu token mỗi tháng. Tương đương trung bình 1944 token mỗi giây, liên tục cả ngày lẫn đêm. Với mức giá 2 Euro cho mỗi triệu token, ngưỡng hòa vốn của phương án chỉ chạy trong giờ làm việc giảm xuống còn 308 triệu token. Bạn phải đo thực tế để biết một card có đạt được throughput này với độ dài prompt và độ dài câu trả lời của bạn hay không. Phép tính chỉ cho biết từ mức sản lượng nào câu hỏi hòa vốn mới thực sự cần được đặt ra.
Phương pháp đầy đủ, bao gồm mức sử dụng và thời gian nhàn rỗi, được trình bày trong phép tính hòa vốn giữa GPU server và API token. Với Kolibri-1, còn có một điểm mà không bảng nào thể hiện được. Người muốn tự host Kolibri-1 vì lý do dữ liệu thường không so sánh với API ngay từ đầu. Nếu tài liệu không được phép rời khỏi tổ chức, API bị loại khỏi phương án. Khi đó, câu hỏi thực sự là: thuê GPU tại một data center ở EU có hợp đồng xử lý dữ liệu (AVV), hay mua hardware riêng. GPU thuê cũng vẫn được đặt tại bên thứ ba.
Khi một model cục bộ nhỏ hơn mới là lựa chọn đúng
Kolibri-1 đáng dùng khi bạn cần những điểm mạnh của nó. Theo model card, các điểm mạnh đó gồm gọi tool và xử lý tài liệu với context dài. 262.144 token đủ chứa cả một thư mục hợp đồng trong một request. Nếu tác vụ của bạn ngắn hơn, bài toán chi phí sẽ khác.
Để sắp xếp email hoặc tạo bản tóm tắt ngắn, model có 7 đến 14 tỷ parameter thường đã đủ. Khi được quantize xuống 4 bit, model có thể chạy bằng Ollama trên CPU VPS với 16 đến 32 GB RAM. Hướng dẫn tự host Ollama trên VPS chỉ rõ cách thực hiện. Khi đó, chi phí chỉ ở mức giá thuê server hằng tháng, thay vì tính theo giờ GPU.
Model nhỏ dễ chọn nhất trong cùng hệ sinh thái là Pharia-1-LLM-7B-control. Tuy nhiên, theo nội dung license, Open Aleph License của model này chỉ cho phép sử dụng cho mục đích phi thương mại và không mang tính quản trị. Vì vậy, đây không phải lựa chọn phù hợp cho doanh nghiệp.
Bạn chỉ có thể quyết định chính xác bằng cách thử nghiệm. Hãy lấy 50 tác vụ thực tế trong công việc hằng ngày của bạn. Cho Kolibri-1 xử lý chúng trên GPU thuê theo giờ, đồng thời cho một model nhỏ xử lý trên CPU VPS. Sau đó, so sánh các câu trả lời. Vài giờ thuê để thử nghiệm có chi phí thấp hơn nhiều so với việc mua sai phần cứng.
Cách tự host Kimi K3 cho thấy cùng một câu hỏi cho kết quả thế nào trên một model open khác. So sánh này giúp bạn đánh giá đúng quy mô: với khoảng 78 GB trọng số, Kolibri-1 thuộc nhóm model vẫn có thể chạy trên một card duy nhất.
FAQ
Tôi có thể sử dụng Kolibri-1 cho mục đích thương mại không?
Có. Theo Model Card, Kolibri-1 được phát hành theo Apache 2.0. Bạn có thể sử dụng model này trong doanh nghiệp và phân phối lại bản đã chỉnh sửa, miễn là kèm theo nội dung giấy phép và các thông báo liên quan. Đây là điểm khác giữa Kolibri-1 và dòng Pharia trước đó: Card của Pharia-1-LLM-7B-control nêu Open Aleph License, và theo nội dung giấy phép, license này chỉ cho phép sử dụng cho mục đích phi thương mại và phi quản trị.
Kolibri-1 có chạy với Ollama hoặc trên CPU không?
Aleph Alpha chỉ mô tả vLLM với plugin aleph-alpha-inference và Transformers từ version 5.20 trở lên trong Card, cả hai đều chạy trên GPU. Có thể chạy trên CPU bằng các file GGUF phù hợp thông qua llama.cpp; điều này không đồng nghĩa với việc Ollama được xác nhận là hỗ trợ. Hob-forge ghi nhận các bài test CPU thành công và cần 46,6 GB RAM cho các weight Q4_K_M đã load khi không dùng mmap, chưa tính context và hệ điều hành. Có các file GGUF từ nhiều repository cộng đồng, chẳng hạn Q4_K_M có dung lượng từ 47,5 đến 49,8 GB. llama.cpp bản thông thường hỗ trợ kiến trúc kolibri1 từ release b11709 ngày 17 tháng 10 năm 2026. Tuy vậy, nhiều GGUF cũ vẫn cần llama.cpp đã được patch, hai tùy chọn --override-kv hoặc phải convert lại. Hãy kiểm tra repository tương ứng để biết nó yêu cầu version nào. Hob-forge báo cáo các bài test truy xuất thành công với tối đa 253.646 token. Tuy nhiên, theo chính thông tin của họ, chưa có benchmark so sánh với bản gốc FP8.
Một H100 80 GB có đủ cho Kolibri-1 không?
Không đủ cho cách chạy vLLM được mô tả ở đây, với toàn bộ weight FP8 được load vào VRAM. Riêng weight FP8 đã chiếm khoảng 78 GB. Vì vậy, thực tế không còn đủ chỗ cho KV-cache, nơi lưu context. Card nêu tối thiểu cần có hai H100 SXM5 hoặc một H200. Khi dùng hai card, bạn khởi động vLLM bằng --tensor-parallel-size 2.
Làm cách nào để tắt chế độ suy luận của Kolibri-1?
Chế độ suy luận được bật theo mặc định. Với từng request, bạn tắt chế độ này bằng "chat_template_kwargs": {"enable_thinking": false} trong JSON body. Theo Card, reasoning_effort cũng có tác dụng khi đặt giá trị none. Khi chế độ này bật, --reasoning-parser kolibri1 tách phần nội dung suy luận khỏi câu trả lời thực tế.