Kolibri-1: wymagania sprzętowe i koszt hostingu

Samodzielny hosting Kolibri-1: krótka odpowiedź

Samodzielne hostowanie Kolibri-1 jest możliwe, ale nie na zwykłym VPS. Aleph Alpha z Heidelbergu publikuje model na licencji Apache 2.0. Wagi w formacie FP8 zajmują około 78 GB. Oficjalna metoda wymaga użycia vLLM na co najmniej jednej karcie H200 albo na dwóch kartach graficznych z pamięcią 80 GB każda. Nie ma oficjalnej metody uruchomienia na CPU, z użyciem GGUF, llama.cpp ani Ollama.

Dla wielu czytelników w Niemczech najważniejsze jest pytanie: czy dane pozostają we własnej firmie? W przypadku Kolibri-1 jest to możliwe, a licencja tego nie ogranicza. Problemem jest sprzęt.

Stan informacji: Wszystkie zawarte tu informacje odnoszą się do Model Card Aleph-Alpha/Kolibri-1 w wersji e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, 3 października 2026) oraz do pakietu aleph-alpha-inference w wersji 1.0.0. Ostatnia weryfikacja odbyła się 13 października 2026. Późniejsze wersje mogą podawać inne wartości. Należy je sprawdzić przed wynajęciem lub zakupem sprzętu.

Co określa Model Card modelu Kolibri-1

• Architektura: MoE (Mixture of Experts). Model składa się z wielu podsieci, czyli ekspertów. Dla każdego tokenu obliczenia wykonuje tylko niewielka ich część.
• Rozmiar: 78 miliardów parametrów łącznie, z czego 3,46 miliarda jest aktywnych dla każdego tokenu. Model ma 50 warstw, po 384 ekspertów w każdej. Dla każdego tokenu wybieranych jest 6 ekspertów.
• Kontekst: natywnie 262.144 tokenów. Według Model Card jakość została zweryfikowana dla maksymalnie 1.048.576 tokenów.
• Wagi: FP8 (8-bitowe liczby zmiennoprzecinkowe) w formacie float8_e4m3fn, w blokach 128×128. Embedding i LM-Head są zapisane w formacie bfloat16. Według Model Card zajmuje to łącznie około 78 GB. Samo repozytorium ma rozmiar 78,9 GB.
• Dane treningowe: 62,5% w języku angielskim, 23,9% w języku niemieckim i 13,6% kodu, przy wstępnym trenowaniu na 20 bilionach tokenów. Model korzysta również z tokenizera dostosowanego według Model Card do struktury słów języka niemieckiego.
• Licencja: Apache 2.0. Repozytorium nie jest gated. Nie trzeba więc składać wniosku o dostęp.

Najważniejsza informacja znajduje się w dwóch pierwszych punktach. 3,46 miliarda aktywnych parametrów oznacza niewielką ilość obliczeń dla każdego tokenu. Zapotrzebowanie na pamięć zależy jednak od wszystkich 78 miliardów parametrów. Router wybiera innych ekspertów dla każdego tokenu. Dlatego wszyscy eksperci muszą przez cały czas znajdować się w pamięci GPU. Model MoE wykonuje więc obliczenia jak mały model, ale zajmuje pamięć jak duży model.

Tokenizer ma również praktyczne znaczenie. Tokenizer dzieli tekst na tokeny. Jeśli jest słabo dopasowany do danego języka, długie niemieckie słowo zostaje podzielone na wiele małych fragmentów. Zwiększa to zużycie kontekstu i czas obliczeń. Tokenizer dostosowany do języka niemieckiego potrzebuje mniej tokenów dla tego samego tekstu.

Wyniki benchmarków podane w Model Card

Aleph Alpha podaje dla dostrojonego modelu dwie wartości łączne. Są to wyniki własnej oceny producenta, a nie niezależnego testu.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

Według Model Card Kolibri-1 uzyskuje w języku niemieckim 70.8 punktów, a w języku angielskim 75.5. Ten model również jest więc nieco lepszy w języku angielskim. To, czy jego możliwości są wystarczające do określonych zadań, można sprawdzić wyłącznie za pomocą testu na własnych dokumentach.

Co zmieniło się w porównaniu z Pharia

Wcześniejsza seria modeli firmy Aleph Alpha nosiła nazwę Pharia. Model Card Pharia-1-LLM-7B-control wskazuje licencję Open Aleph License. Zezwala ona na niekomercyjne badania i nauczanie. W przypadku zastosowań komercyjnych należało skontaktować się bezpośrednio z Aleph Alpha. Kolibri-1 jest natomiast dostępny na licencji Apache 2.0. Można więc używać tego modelu w przedsiębiorstwie i rozpowszechniać jego zmodyfikowaną wersję, pod warunkiem dołączenia treści licencji oraz wymaganych informacji.

Jakiego GPU wymaga Kolibri-1?

Karta produktu podaje dwa poziomy. Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 lub 1× B300. Zalecane: 2× H100 SXM5, 2× H200, 1× B200 lub 1× B300.

Dlaczego pojedyncza H100 nie wystarcza? Obliczenie jest proste. Od pamięci karty graficznej, czyli VRAM (video random access memory), należy odjąć pamięć zajmowaną przez wagi. Pozostała pamięć jest używana przez vLLM przede wszystkim na cache KV. Cache KV przechowuje dla każdego tokenu w kontekście klucze i wartości (keys i values) warstw attention. Bez niego model nie może zachować kontekstu.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

H100 ma 80 GB, a wagi zajmują 79 GB. Teoretycznie pozostaje 1 GB. To nie wystarcza na użyteczny kontekst. H200 pozostawia 62 GB wolnej pamięci, a dwie H200 pozostawiają 203 GB. Rzeczywisty zapas jest mniejszy. vLLM domyślnie wykorzystuje tylko 92% pamięci karty graficznej (--gpu-memory-utilization, wartość domyślna 0.92 w vLLM 0.29.0), a aktywacje również wymagają miejsca. Podane wartości są zaokrąglonymi szacunkami, a nie wynikami pomiaru.

Dwie właściwości architektury zmniejszają obciążenie cache KV. Po pierwsze, według karty produktu Kolibri-1 łączy warstwy z attention w przesuwanym oknie (Sliding-Window-Attention) oraz warstwy z pełnym attention w proporcji 4:1. Warstwa z attention w przesuwanym oknie przechowuje tylko tokeny należące do ustalonego okna. Dlatego jej cache nie rośnie wraz z pełną długością kontekstu. Po drugie, karta produktu zaleca --kv-cache-dtype fp8. Dzięki temu każdy wpis cache zajmuje o połowę mniej pamięci niż przy 16 bitach. Warstwy z pełnym attention nadal zwiększają zajętość pamięci wraz z każdym tokenem. Przy 262.144 tokenach na pojedynczej H200 zaczyna brakować pamięci.

Dlaczego zwykły VPS nie może uruchomić Kolibri-1

Aleph Alpha publikuje wyłącznie sposób uruchamiania przez vLLM z użyciem GPU. Karta nie wspomina ani o działaniu na CPU, ani o GGUF, llama.cpp lub Ollama. Zwykły VPS z CPU nie ma pamięci GPU. Brakuje więc podstawy do zastosowania tej metody.

W Hugging Face są jednak dostępne konwersje do GGUF przygotowane przez społeczność. Wyszukiwanie „kolibri-1 gguf” zwracało 6 października 2026 osiem repozytoriów dla Kolibri-1, a 13 października 2026 było ich jedenaście. Plik Q4_K_M ma około 47,5 GB, więc teoretycznie zmieściłby się na serwerze z 64 GB RAM. Repozytoria sprawdzone 6 października 2026 same jednak informują, że standardowy llama.cpp nie obsługuje architektury kolibri1. Potrzebna jest spatchowana wersja z określonego commita. Do 13 października 2026 nic się w tej kwestii nie zmieniło: w llama.cpp istnieje tylko otwarte zgłoszenie funkcji dotyczące Kolibri-1. Niektórzy autorzy testowali długie konteksty. Prompt48 zgłasza dla Q4_K_M na A100 poprawne odtworzenie informacji testowej (Needle) przy 195.935 tokenach oraz, przy rozszerzonym kontekście, przy 718.803 tokenach. Hob-forge odtwarza trzy ukryte fakty przy maksymalnie 253.646 tokenach, w przebiegu z -c 262144. Są to testy odczytu, a nie benchmarki. Prompt48 i Hob-forge wyraźnie informują, że brakuje porównania benchmarków z oryginalnym modelem FP8. Nie stanowi to podstawy do pracy z danymi firmowymi. Jest to eksperyment.

Ile RAM potrzebuje model przy określonej kwantyzacji, przedstawia krok po kroku poradnik dotyczący rozmiaru LLM odpowiedniego dla dostępnej pamięci RAM. Dlaczego w tym przypadku właściwym narzędziem jest vLLM, wyjaśnia porównanie Ollama i vLLM: vLLM jest przeznaczony do obsługi wielu równoległych żądań na GPU, a Ollama do prostego uruchamiania modeli po kwantyzacji.

Instalacja Kolibri-1 z vLLM

Potrzebny jest serwer Linux z odpowiednim GPU NVIDIA i zainstalowanym sterownikiem. Informacje o tym, na co zwrócić uwagę przy wynajmie, znajdują się w przeglądzie VPS z GPU. Najpierw sprawdź, jakie zasoby rzeczywiście ma maszyna:

nvidia-smi --query-gpu=name,memory.total --format=csv

Dane wyjściowe podają dla każdej karty jej nazwę i pamięć w MiB. H100 powinna zgłaszać około 81.000 MiB, a H200 około 143.000 MiB. Jeśli polecenie nie zgłasza sterownika, sterownik NVIDIA nie jest zainstalowany. W takiej sytuacji vLLM również nie znajdzie GPU.

Następnie utwórz własne środowisko Python. Pakiet instaluje vLLM i PyTorch w określonych zakresach wersji. W osobnym środowisku nie wpływa to na inne programy na serwerze.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

Card zapisuje pip install 'aleph-alpha-inference>=1'. W tym przypadku wersja jest ustawiona na stałe na 1.0.0. Późniejsza wersja nie zmieni więc konfiguracji bez wiedzy użytkownika. Wersja 1.0.0 wymaga Python 3.10 lub nowszego oraz vLLM od 0.29.0, ale poniżej 0.30.0. pip show powinno zatem wyświetlać wersję vLLM 0.29.x. Pakiet jest pluginem dla vLLM. Rejestruje parsery kolibri1 do obsługi rozumowania i wywołań narzędzi. Bez tego pluginu vLLM nie zna tych nazw.

Aleph Alpha udostępnia również obraz kontenera: ghcr.io/aleph-alpha/aleph-alpha-inference. W przypadku serwerów GPU obsługiwanych za pomocą kontenerów można użyć tej metody.

Wyłączenie telemetrii vLLM

vLLM domyślnie wysyła anonimowe statystyki użytkowania. Jeśli celem jest zablokowanie opuszczania serwera przez jakiekolwiek dane, wyłącz tę funkcję przed uruchomieniem:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Uruchomienie serwera

Polecenie bazuje na Card i zawiera dwa dodatki: stałą rewizję oraz nasłuchiwanie wyłącznie na localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision określa, która wersja wag zostanie załadowana. Bez tej opcji vLLM ładuje aktualną wersję z main. Jeśli Aleph Alpha zmieni repozytorium, model zmieni się przy następnym pobieraniu. --host 127.0.0.1 ogranicza dostęp do API do połączeń lokalnych. Bez tej opcji vLLM nasłuchuje na wszystkich interfejsach sieciowych. Port 8000 będzie wtedy otwarty, gdy tylko zezwoli na niego firewall.

W przypadku dwóch GPU dodaj --tensor-parallel-size 2. Ta opcja rozdziela każdą warstwę między obie karty. Bez niej vLLM używa tylko jednego GPU, a wagi nie mieszczą się na pojedynczej karcie 80-GB.

Przy pierwszym uruchomieniu vLLM pobiera około 79 GB z Hugging Face do ~/.cache/huggingface. Należy zapewnić wystarczającą ilość wolnego miejsca na dysku na ten plik oraz środowisko Python. Po pierwszym pomyślnym pobraniu można użyć export HF_HUB_OFFLINE=1, aby zablokować wszystkie kolejne połączenia z Hugging Face. Wagi będą wtedy pobierane wyłącznie z lokalnego cache.

Jeśli pamięć nie wystarcza na pełny kontekst 262.144 tokenów, vLLM nie uruchomi się. Komunikat błędu będzie wskazywał, że cache KV jest zbyt mały dla maksymalnej długości sekwencji. W takim przypadku ustaw mniejszy limit, na przykład --max-model-len 65536. Rozszerzony kontekst do 1.048.576 tokenów Card uruchamia za pomocą --max-model-len 1048576 i --hf-overrides '{"max_position_embeddings": 1048576}'. Wymaga to znacznie większej ilości pamięci i należy go używać w zalecanych konfiguracjach.

Sprawdzenie, czy model odpowiada

Gdy log zgłosi, że serwer działa na porcie 8000, przetestuj API zgodne z OpenAI:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

Pierwsze wywołanie powinno wyświetlić Aleph-Alpha/Kolibri-1 jako model. Drugie powinno zwrócić JSON, w którym choices[0].message.content wskazuje Paryż. enable_thinking: false wyłącza tryb rozumowania dla tego żądania. Domyślnie jest on włączony. Zgodnie z Card działa również reasoning_effort z wartością none. Card zaleca dla próbkowania temperature=1.0, top_p=0.97 i top_k=128.

Do dostępu z własnego komputera nie jest potrzebny otwarty port. Wystarczy tunel SSH:

ssh -L 8000:127.0.0.1:8000 user@dein-server

Następnie API będzie dostępne na komputerze pod adresem http://127.0.0.1:8000. Jeśli dostęp mają uzyskać inne usługi w sieci, ustaw dodatkowo --api-key i umieść przed serwerem reverse proxy z TLS (transport layer security).

Ile kosztuje godzina działania Kolibri-1 w euro?

Ceny wynajmu GPU znacznie różnią się zależnie od dostawcy i regionu. Poniższe obliczenia opierają się na dwóch założeniach, aktualnych w październiku 2026: 3,50 euro za godzinę za H200 oraz 2,50 euro za godzinę za H100 SXM5, w obu przypadkach w modelu on demand i bez podatku VAT. Wyspecjalizowani dostawcy GPU bywają tańsi, natomiast hyperscalerzy w regionach UE często są znacznie drożsi. Należy podstawić własne oferty. Sposób obliczeń pozostaje taki sam.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

Miesiąc ma średnio 730 godzin. Jeśli H200 działa przez całą dobę, kosztuje 2555 euro miesięcznie. Zalecany wariant z dwiema kartami H100 kosztuje 3650 euro. W przypadku uruchamiania maszyny wyłącznie w godzinach pracy, czyli przez 8 godzin w ciągu 22 dni roboczych, co daje 176 godzin, koszt wynosi 616 euro. Przy każdym uruchomieniu wagi są jednak ponownie ładowane do pamięci GPU, co trwa kilka minut.

Od kiedy jest to opłacalne w porównaniu z tokenami API?

W karcie, aktualnej w październiku 2026, nie podano hostowanego API dla Kolibri-1. Porównanie cen tokenów oznacza więc porównanie Kolibri-1 uruchomionego na własnym GPU z innym modelem używanym przez API. W obliczeniach przyjęto dwie ceny za milion tokenów, uśrednione dla tokenów wejściowych i wyjściowych: 0,50 euro dla tańszego modelu oraz 2 euro dla droższego.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

Przy cenie 0,50 euro za milion tokenów H200 działająca bez przerwy pokrywa swój koszt dopiero po przetworzeniu 5110 milionów tokenów miesięcznie. Odpowiada to średnio 1944 tokenom na sekundę, przez całą dobę i bez przerw. Przy cenie 2 euro za milion tokenów próg opłacalności wariantu używanego w godzinach pracy spada do 308 milionów tokenów. Należy zmierzyć, czy pojedyncza karta osiąga taką przepustowość przy danej kombinacji długości promptu i odpowiedzi. Obliczenia wskazują tylko, od jakiego wolumenu to pytanie w ogóle staje się istotne.

Szczegółowa metoda uwzględniająca wykorzystanie i bezczynność została opisana w obliczeniach progu opłacalności: serwer GPU kontra tokeny API. W przypadku Kolibri-1 dochodzi kwestia, której nie uwzględnia żadna tabela. Kolibri-1 jest często hostowany samodzielnie ze względu na dane, a nie porównywany z API. Jeśli dokumenty nie mogą opuścić organizacji, API nie wchodzi w grę. Wtedy rzeczywiste pytanie brzmi: wynająć GPU w centrum danych w UE na podstawie umowy powierzenia przetwarzania danych (AVV) czy kupić własny sprzęt. Wynajmowane GPU również znajduje się u podmiotu trzeciego. Zgodnie z RODO (ogólnym rozporządzeniem o ochronie danych) jest to powierzenie przetwarzania danych, a nie działanie we własnej infrastrukturze.

Kiedy mniejszy model lokalny jest uczciwą odpowiedzią

Kolibri-1 ma sens, gdy potrzebne są jego mocne strony. Zgodnie z kartą modelu należą do nich wywoływanie narzędzi i przetwarzanie dokumentów z długim kontekstem. 262.144 tokenów pozwalają umieścić cały folder umów w jednym żądaniu. Jeśli zadania są krótsze, kalkulacja wygląda inaczej.

Do sortowania wiadomości e-mail lub tworzenia krótkich podsumowań często wystarcza model z 7 do 14 miliardami parametrów. Po kwantyzacji do 4 bitów można uruchomić go za pomocą Ollama na CPU VPS z 16 do 32 GB RAM. Działa wolniej niż na GPU, ale wystarcza do obsługi kilkuset żądań dziennie. Opisano to w instrukcji samodzielnego hostowania Ollama na VPS. Koszty obejmują wtedy zwykłą miesięczną opłatę za serwer, a nie rozliczenie za godziny pracy GPU.

Naturalnym małym modelem z tego samego źródła byłby Pharia-1-LLM-7B-control. Jego licencja, Open Aleph License, zgodnie z treścią licencji zezwala jednak wyłącznie na cele niekomercyjne i nieadministracyjne. Dlatego nie jest rozwiązaniem do zastosowania w przedsiębiorstwie.

Rzetelną decyzję można podjąć wyłącznie na podstawie testu. Należy wybrać 50 rzeczywistych zadań z codziennej pracy. Następnie trzeba zlecić ich wykonanie modelowi Kolibri-1 na wynajętym na godziny GPU oraz małemu modelowi na CPU VPS. Potem należy porównać odpowiedzi. Kilka godzin testowego wynajmu kosztuje niewiele w porównaniu z zakupem niewłaściwego sprzętu.

To, jak to samo pytanie wypada w przypadku innego otwartego modelu, pokazuje co jest potrzebne do samodzielnego hostowania Kimi K3. Porównanie ułatwia ocenę: Kolibri-1 należy, z wagami o rozmiarze około 78 GB, do modeli, które nadal mieszczą się na pojedynczej karcie.

FAQ

Czy można używać Kolibri-1 komercyjnie?

Tak. Zgodnie z Model Card Kolibri-1 jest objęty licencją Apache 2.0. Można używać go w przedsiębiorstwie i rozpowszechniać zmodyfikowaną wersję, jeśli dołączone zostaną tekst licencji oraz wymagane informacje. Odróżnia to Kolibri-1 od wcześniejszej serii Pharia: Card modelu Pharia-1-LLM-7B-control wskazuje Open Aleph License, która zgodnie z tekstem licencji zezwala wyłącznie na cele niekomercyjne i nieadministracyjne.

Czy Kolibri-1 działa z Ollama lub na CPU?

Nieoficjalnie. Aleph Alpha publikuje wyłącznie sposób uruchamiania przez vLLM na GPU NVIDIA z użyciem wtyczki aleph-alpha-inference. Pliki GGUF są dostępne w kilku repozytoriach społeczności, na przykład w wariancie Q4_K_M o rozmiarze 47,5 GB. Wymagają one zmodyfikowanego llama.cpp, ponieważ standardowy llama.cpp nie obsługuje architektury kolibri1. Niektórzy autorzy informują o pomyślnych testach generowania z długim kontekstem, obejmującym ponad 700.000 tokenów. Zgodnie z ich własnymi informacjami nie ma jednak porównania benchmarkowego z oryginałem FP8.

Czy pojedyncza karta H100 z 80 GB wystarczy do uruchomienia Kolibri-1?

Nie. Same wagi FP8 zajmują około 78 GB. Na pamięć podręczną KV, która przechowuje kontekst, praktycznie nie pozostaje już miejsce. Card wskazuje między innymi dwie karty H100 SXM5 lub jedną kartę H200 jako wymagane minimum. W przypadku dwóch kart vLLM uruchamia się za pomocą --tensor-parallel-size 2.

Jak wyłączyć tryb rozumowania w Kolibri-1?

Tryb rozumowania jest domyślnie włączony. Dla pojedynczego żądania wyłącza się go za pomocą "chat_template_kwargs": {"enable_thinking": false} w treści JSON. Zgodnie z Card działa również reasoning_effort z wartością none. Gdy tryb jest włączony, --reasoning-parser kolibri1 oddziela tekst rozumowania od właściwej odpowiedzi.