Kolibri-1 selbst hosten: Hardware und Kosten
Kolibri 1 läuft unter Apache 2.0, braucht für rund 78 GB Gewichte offiziell aber eine H200, B200, B300 oder zwei Karten mit je 80 GB. Erfahren Sie Kosten und Alternativen.
Kolibri-1 selbst hosten: die kurze Antwort
Kolibri-1 selbst zu hosten ist möglich. Der offizielle Weg braucht aber eine große GPU. Auf einem gewöhnlichen VPS ohne GPU gibt es nur inoffizielle Experimente mit quantisierten Dateien und viel RAM. Aleph Alpha aus Heidelberg veröffentlicht das Modell unter Apache 2.0. Die Gewichte im FP8-Format sind rund 78 GB groß. Die Card beschreibt vLLM und seit dem 20. Oktober 2026 auch Transformers ab Version 5.20. Als Minimum nennt sie eine H200, B200 oder B300 oder zwei Grafikkarten mit je 80 GB Speicher. Die Card beschreibt keinen Weg für CPU, GGUF, llama.cpp oder Ollama. Seit dem 17. Oktober 2026 unterstützt llama.cpp selbst das Modell aber ab Release b11709.
Für viele Leser in Deutschland zählt vor allem eine Frage: Bleiben die Daten im eigenen Haus? Mit Kolibri-1 geht das, und die Lizenz steht dem nicht im Weg. Die Hürde ist die Hardware.
Stand der Angaben: Die Installationsbefehle hier beziehen sich auf die Model Card von Aleph-Alpha/Kolibri-1 in der Revision 452723312f300bf9542cd425f9d39bf832c2af40 (Hugging Face, 16. Oktober 2026) und auf das Paket aleph-alpha-inference in Version 1.0.0. Die aktuelle Model Card und die Paketversion haben wir am 20. November 2026 geprüft. Bis zum 20. Oktober 2026 gab es seit dem 19. Oktober drei neuere Revisionen. Die damals aktuelle war 5bb7075ba22db733e3834b1c71d2245537cc14ed vom 20. Oktober 2026. Sie ändern nur config.json, das Chat-Template in tokenizer_config.json und die README, die jetzt einen Abschnitt zu Transformers enthält. Die Gewichte und die Angaben zu Hardware, Kontext und Lizenz sind gleich geblieben. Die Angaben zu GGUF und llama.cpp haben wir am 20. Oktober 2026 ebenfalls neu geprüft. Die Revision vom 13. Oktober 2026 hat die Quantisierungs-Konfiguration für die Transformers-Implementierung korrigiert. Die aktuelle Revision ist ac20ff2 vom 19. November 2026. Die neueren Änderungen betreffen die README, darunter die native Unterstützung durch vLLM ab Version 0.33.0 und die Hinweise zur verantwortlichen Nutzung. Spätere Revisionen können andere Zahlen nennen. Prüfe sie, bevor du Hardware mietest oder kaufst.
Was die Model Card für Kolibri-1 festlegt
- Architektur: MoE (Mixture of Experts). Das Modell besteht aus vielen Teilnetzen, den Experten. Pro Token berechnen nur wenige davon das Ergebnis.
- Größe: 78 Milliarden Parameter insgesamt, davon 3,46 Milliarden pro Token aktiv. 50 Schichten mit jeweils 384 Experten, von denen pro Token 6 ausgewählt werden.
- Kontext: Nativ 262.144 Token. Laut Card ist die Qualität bis 1.048.576 Token validiert.
- Gewichte: FP8 (8-Bit-Gleitkommazahlen) im Format
float8_e4m3fn, in Blöcken von 128×128. Embedding und LM-Head liegen in bfloat16. Zusammen sind das laut Card rund 78 GB. Das Repository selbst ist 78,9 GB groß. - Trainingsdaten: 62,5 % Englisch, 23,9 % Deutsch und 13,6 % Code bei 20 Billionen Token Vortraining. Dazu kommt ein Tokenizer, der laut Card auf die deutsche Wortstruktur zugeschnitten ist.
- Lizenz: Apache 2.0. Das Repository ist nicht gated. Sie benötigen daher keinen Zugriffsantrag.
Der wichtigste Punkt steht in den ersten beiden Zeilen. 3,46 Milliarden aktive Parameter bedeuten wenig Rechenaufwand pro Token. Der Speicherbedarf richtet sich jedoch nach allen 78 Milliarden Parametern. Der Router wählt für jedes Token andere Experten aus. Deshalb müssen beim hier beschriebenen GPU-Betrieb alle Experten jederzeit im Grafikspeicher liegen. Ein MoE-Modell rechnet daher wie ein kleines Modell und belegt Speicher wie ein großes.
Auch der Tokenizer wirkt sich praktisch aus. Ein Tokenizer zerlegt Text in Token. Passt er schlecht zur Sprache, zerfällt ein langes deutsches Wort in viele kleine Teile. Das erhöht den Kontextbedarf und die Rechenzeit. Ein auf Deutsch zugeschnittener Tokenizer benötigt für denselben Text weniger Token.
Die Benchmark-Zahlen der Card
Aleph Alpha nennt für das nachtrainierte Modell zwei Gesamtwerte. Es handelt sich um Zahlen aus der eigenen Auswertung des Herstellers, nicht um Ergebnisse eines unabhängigen Tests.
Die Daten hinter diesem Diagramm
[
{
"label": "Deutsch (Overall DE)",
"overall": 70.8
},
{
"label": "Englisch (Overall EN)",
"overall": 75.5
}
]Auf Deutsch erreicht Kolibri-1 laut Card 70.8 Punkte, auf Englisch 75.5. Auch dieses Modell ist auf Englisch also etwas stärker. Ob es für Ihre Aufgaben ausreicht, zeigt nur ein Test mit Ihren eigenen Dokumenten.
Was sich gegenüber Pharia geändert hat
Die frühere Modellreihe von Aleph Alpha hieß Pharia. Die Card von Pharia-1-LLM-7B-control nennt die Open Aleph License. Sie erlaubt nichtkommerzielle Forschung und Lehre. Für die kommerzielle Nutzung musste man Aleph Alpha direkt kontaktieren. Kolibri-1 steht dagegen unter Apache 2.0. Sie dürfen das Modell daher im Unternehmen einsetzen und auch verändert weitergeben, solange Sie den Lizenztext und die Hinweise mitliefern.
Welche GPU braucht Kolibri-1?
Die Card nennt zwei Stufen. Minimum: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 oder 1× B300. Empfohlen: 2× H100 SXM5, 2× H200, 1× B200 oder 1× B300.
Warum reicht eine einzelne H100 nicht? Die Rechnung ist einfach. Ziehen Sie die Gewichte vom Grafikspeicher, dem VRAM (video random access memory), ab. Was übrig bleibt, braucht vLLM vor allem für den KV-Cache. Der KV-Cache speichert für jedes Token im Kontext die Schlüssel und Werte (keys und values) der Attention-Schichten. Ohne ihn kann das Modell keinen Kontext halten.
Die Daten hinter diesem Diagramm
[
{
"config": "1\u00d7 H100 80 GB",
"vram_gb": 80,
"gewichte_gb": 79,
"rest_gb": 1
},
{
"config": "1\u00d7 H200",
"vram_gb": 141,
"gewichte_gb": 79,
"rest_gb": 62
},
{
"config": "2\u00d7 A100 80 GB",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H100 SXM5",
"vram_gb": 160,
"gewichte_gb": 79,
"rest_gb": 81
},
{
"config": "2\u00d7 H200",
"vram_gb": 282,
"gewichte_gb": 79,
"rest_gb": 203
}
]Eine H100 hat 80 GB, die Gewichte belegen 79 GB. Rechnerisch bleiben 1 GB übrig. Das reicht für keinen sinnvollen Kontext. Eine H200 lässt 62 GB frei, zwei H200 lassen 203 GB frei. Die tatsächliche Reserve ist kleiner. In der hier verwendeten Version 0.29.0 nutzt vLLM standardmäßig nur 92 % des Grafikspeichers (--gpu-memory-utilization, Standardwert 0.92), und auch die Aktivierungen benötigen Speicher. Die Werte sind gerundete Überschlagsrechnungen und keine Messung.
Zwei Eigenschaften der Architektur entlasten den KV-Cache. Erstens kombiniert Kolibri-1 laut Card Schichten mit Sliding-Window-Attention und Schichten mit vollständiger Attention im Verhältnis 4:1. Eine Sliding-Window-Schicht speichert nur die Token eines festen Fensters. Deshalb wächst ihr Cache nicht mit der vollständigen Kontextlänge. Zweitens empfiehlt die Card --kv-cache-dtype fp8. Dadurch belegt jeder Cache-Eintrag halb so viel Speicher wie bei 16 Bit. Die Schichten mit vollständiger Attention wachsen trotzdem mit jedem Token.
Warum ein normaler VPS Kolibri-1 nicht ausführen kann
Die Card beschreibt nur vLLM und Transformers und nennt als Hardware ausschließlich GPUs. CPU-Betrieb, GGUF, llama.cpp oder Ollama erwähnt sie nicht. Ein gewöhnlicher CPU-VPS hat keinen Grafikspeicher. Für den offiziellen Weg fehlt damit die Grundlage. Ohne GPU bleiben nur inoffizielle Umwandlungen, die nicht von Aleph Alpha stammen.
Solche GGUF-Umwandlungen aus der Community gibt es auf Hugging Face. Die Q4_K_M-Datei von Prompt48 und Hob-forge ist etwa 47,5 GB groß und würde rechnerisch in einen Server mit 64 GB RAM passen. Die Repositories von Prompt48 und Hob-forge verlangen auch am 20. Oktober 2026 eine gepatchte llama.cpp-Version auf einem bestimmten Commit, weil das normale llama.cpp die Architektur kolibri1 bei ihrer Erstellung nicht kannte. Das hat sich am 17. Oktober 2026 geändert: llama.cpp hat den Pull Request #30673 übernommen, der Kolibri-1 mit der Architektur kolibri1 unterstützt. Er ist ab Release b11709 enthalten. Der Feature Request #29922 wurde am 17. November 2026 wegen Inaktivität geschlossen; die Unterstützung ist bereits eingebaut. Ob die älteren Community-Dateien mit dem offiziellen Release laden, haben wir nicht geprüft, und die Repositories erwähnen die Änderung noch nicht. Inzwischen gibt es auch Dateien, die mit dem offiziellen llama.cpp erstellt wurden. Laut Repository hat bartowski seine Quantisierungen mit Release b11716 gebaut. Die Q4_K_M-Datei ist dort 49,76 GB groß. Der Pull Request bringt auch einen Konverter mit. Wer selbst umwandelt, erhält laut Pull Request zunächst eine BF16-Datei mit 156 GiB und quantisiert sie danach. Einen zweiten Weg ohne GPU bietet das Community-Repository aparusel/ds4-kolibri-1-gguf für die Inferenz-Engine ds4. Laut Repository läuft Kolibri-1 dort auf Metal und auf dem CPU-Referenz-Backend (ds4 --cpu -m ...). CUDA unterstützt ds4 für dieses Modell nicht. Die Q4-Datei ist 42,56 GiB groß, die Q2-Datei 22,78 GiB. Angaben zu Tempo oder RAM-Bedarf macht das Repository nicht, und es betont, dass es nicht mit Aleph Alpha verbunden ist. Lange Kontexte haben einige Autoren durchaus getestet. Prompt48 meldet für Q4_K_M auf einer A100 eine exakt wiedergefundene Testinformation (Needle) bei 195.935 Token und, mit erweitertem Kontext, bei 718.803 Token. Hob-forge findet drei versteckte Fakten bei bis zu 253.646 Token wieder, in einem Lauf mit -c 262144. Das sind Abruftests, keine Benchmarks. Prompt48 und Hob-forge schreiben ausdrücklich, dass ein Benchmark-Vergleich mit dem FP8-Original fehlt. Für Firmendaten ist das keine Grundlage. Es ist ein Experiment. Wer es trotzdem auf einem CPU-VPS mit 64 GB RAM wagen will, sollte zuerst das Tempo auf den eigenen vCPUs messen, bevor er Arbeit darauf aufbaut. Wie das mit dem offiziellen llama.cpp ab b11709 geht, vom Laden der Q4_K_M-Datei bis zur Tempomessung, zeigt die Anleitung für Kolibri-1 mit llama.cpp auf einem CPU-VPS.
Wie viel RAM ein Modell in welcher Quantisierung braucht, rechnet der Leitfaden zur Frage, wie groß ein LLM für deinen RAM sein darf Schritt für Schritt vor. Warum hier vLLM das Werkzeug ist, erklärt der Vergleich von Ollama und vLLM: vLLM ist für viele parallele Anfragen auf GPUs gebaut, Ollama für den einfachen Start mit quantisierten Modellen.
Installation von Kolibri-1 mit vLLM
Sie benötigen einen Linux-Server mit einer geeigneten NVIDIA-GPU und installiertem Treiber. Worauf Sie bei der Anmietung achten sollten, erfahren Sie in dem Überblick zu VPS mit GPU. Prüfen Sie zuerst, welche Hardware die Maschine tatsächlich bereitstellt:
nvidia-smi --query-gpu=name,memory.total --format=csvDie Ausgabe nennt pro Karte den Namen und den Speicher in MiB. Eine H100 sollte etwa 81.000 MiB melden, eine H200 etwa 143.000 MiB. Meldet der Befehl keinen Treiber, ist der NVIDIA-Treiber nicht installiert. In diesem Fall findet auch vLLM keine GPU.
Erstellen Sie anschließend eine eigene Python-Umgebung. Das Paket installiert vLLM und PyTorch in festen Versionsbereichen. In einer eigenen Umgebung beeinträchtigt dies keine anderen Programme auf dem Server.
sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inferenceFür vLLM unter Version 0.33.0 nennt die Card pip install 'aleph-alpha-inference>=1'. Hier ist die Version fest auf 1.0.0 gesetzt. So verhindert diese Festlegung, dass eine spätere Version Ihr Setup unbemerkt verändert. Version 1.0.0 erfordert Python 3.10 oder neuer sowie vLLM ab 0.29.0, jedoch unter 0.30.0. pip show sollte daher eine vLLM-Version 0.29.x anzeigen. Das Paket fungiert als Plugin für vLLM. Es registriert die Parser kolibri1 für Reasoning und Tool-Aufrufe. Ohne das Plugin sind vLLM diese Namen nicht bekannt. Ab vLLM 0.33.0 unterstützt vLLM Kolibri-1 laut aktueller Card nativ über das Transformers-Backend. Dieser neue Weg verwendet die Parser hf statt kolibri1 und benötigt das Plugin nicht.
Aleph Alpha stellt zudem ein Container-Image bereit: ghcr.io/aleph-alpha/aleph-alpha-inference. Wer GPU-Server mit Containern betreibt, kann diesen Weg wählen.
vLLM-Telemetrie abschalten
vLLM sendet standardmäßig anonyme Nutzungsstatistiken. Um diese Übertragung abzuschalten, deaktivieren Sie dies vor dem Start:
export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1Den Server starten
Der Befehl folgt der Card für den Plugin-Betrieb, ergänzt um zwei Parameter: eine feste Revision und eine Bindung an localhost.
vllm serve Aleph-Alpha/Kolibri-1 \
--revision 452723312f300bf9542cd425f9d39bf832c2af40 \
--host 127.0.0.1 --port 8000 \
--kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choice--revision legt fest, welcher Stand der Gewichte geladen wird. Ohne diese Option lädt vLLM den aktuellen Stand von main. Ändert Aleph Alpha das Repository, ändert sich Ihr Modell beim nächsten Download. --host 127.0.0.1 macht die API nur lokal erreichbar. Daran ändert auch eine offene Firewall nichts. Mit --host 0.0.0.0 lauscht der Server auf allen IPv4-Netzwerkschnittstellen. Externer Zugriff auf Port 8000 benötigt eine geeignete Bind-Adresse oder eine Weiterleitung sowie einen freigegebenen Netzwerkweg durch die Firewall.
Bei zwei GPUs ergänzen Sie --tensor-parallel-size 2. Diese Option verteilt jede Schicht auf beide Karten. Ohne sie nutzt vLLM nur eine GPU; die Gewichte passen nicht auf eine einzelne 80-GB-Karte.
Beim ersten Start lädt vLLM etwa 79 GB von Hugging Face nach ~/.cache/huggingface. Planen Sie dafür sowie für die Python-Umgebung ausreichend freien Speicherplatz ein. Nach dem ersten erfolgreichen Download können Sie mit export HF_HUB_OFFLINE=1 jeden weiteren Kontakt zu Hugging Face unterbinden. Die Gewichte werden dann ausschließlich aus dem lokalen Cache geladen.
Reicht der Speicher nicht für den vollen Kontext von 262.144 Token, startet vLLM nicht. Die Fehlermeldung weist dann darauf hin, dass der KV-Cache für die maximale Sequenzlänge zu klein ist. Setzen Sie in diesem Fall eine kleinere Grenze, beispielsweise --max-model-len 65536. Den erweiterten Kontext bis 1.048.576 Token startet die Card mit --max-model-len 1048576 und --hf-overrides '{"max_position_embeddings": 1048576}'. Dies benötigt deutlich mehr Speicher und gehört auf die empfohlenen Konfigurationen.
Prüfen, ob das Modell antwortet
Sobald das Log meldet, dass der Server auf Port 8000 läuft, testen Sie die OpenAI-kompatible API:
curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'Der erste Aufruf sollte Aleph-Alpha/Kolibri-1 als Modell auflisten. Der zweite sollte JSON liefern, in dem choices[0].message.content Paris nennt. enable_thinking: false schaltet den Denkmodus für diese Anfrage ab. Standardmäßig ist er aktiviert. Laut Card wirkt auch reasoning_effort mit dem Wert none. Als Sampling empfiehlt die Card temperature=1.0, top_p=0.97 und top_k=128.
Für den Zugriff von Ihrem Rechner aus ist kein offener Port erforderlich. Ein SSH-Tunnel ist ausreichend:
ssh -L 8000:127.0.0.1:8000 user@dein-serverDanach erreichen Sie die API auf Ihrem Rechner unter http://127.0.0.1:8000. Sollen andere Dienste im Netzwerk zugreifen, setzen Sie zusätzlich --api-key und schalten einen Reverse Proxy mit TLS (transport layer security) davor.
Was kostet eine Stunde Kolibri-1 in Euro?
Die Preise für GPU-Miete schwanken stark nach Anbieter und Region. Die Rechnung unten nutzt zwei Annahmen, Stand Oktober 2026: 3,50 Euro pro Stunde für eine H200 und 2,50 Euro pro Stunde für eine H100 SXM5, jeweils on demand und ohne Mehrwertsteuer. Setzen Sie Ihre eigenen Angebote ein. Der Rechenweg bleibt gleich.
Die Daten hinter diesem Diagramm
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 730,
"eur_pro_monat": 2555
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"eur_pro_stunde": 5,
"stunden_pro_monat": 730,
"eur_pro_monat": 3650
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"eur_pro_stunde": 3.5,
"stunden_pro_monat": 176,
"eur_pro_monat": 616
}
]Ein Monat hat im Mittel 730 Stunden. Läuft eine H200 rund um die Uhr, kostet sie 2555 Euro im Monat. Die empfohlene Variante mit zwei H100 kommt auf 3650 Euro. Wenn Sie die Maschine nur zur Bürozeit laufen lassen, also 8 Stunden an 22 Arbeitstagen und damit 176 Stunden, zahlen Sie 616 Euro. Dafür lädt jeder Start die Gewichte neu in den Grafikspeicher, und das dauert einige Minuten.
Ab wann lohnt sich das gegenüber API-Token?
Kolibri-1 ist inzwischen selbst über eine gehostete API verfügbar. Opper führt am 20. November 2026 drei Routen für das Modell. Die globale Flex-Route von Munito kostet dort 0,07 US-Dollar pro Million Eingabe-Token und 0,26 US-Dollar pro Million Ausgabe-Token. Ein Vergleich ist damit auch zwischen Kolibri-1 auf eigener GPU und demselben Modell über eine API möglich. Für die folgende Beispielrechnung gelten weiterhin zwei angenommene Preise pro Million Token, gemischt aus Ein- und Ausgabe: 0,50 Euro und 2 Euro. Das sind Rechenannahmen, keine umgerechneten Opper-Tarife.
Die Daten hinter diesem Diagramm
[
{
"plan": "1\u00d7 H200, rund um die Uhr",
"mio_token_bei_0_50_eur": 5110,
"mio_token_bei_2_eur": 1277.5,
"token_pro_sekunde_bei_0_50_eur": 1944
},
{
"plan": "2\u00d7 H100 SXM5, rund um die Uhr",
"mio_token_bei_0_50_eur": 7300,
"mio_token_bei_2_eur": 1825,
"token_pro_sekunde_bei_0_50_eur": 2778
},
{
"plan": "1\u00d7 H200, nur B\u00fcrozeit",
"mio_token_bei_0_50_eur": 1232,
"mio_token_bei_2_eur": 308,
"token_pro_sekunde_bei_0_50_eur": 1944
}
]Bei 0,50 Euro pro Million Token deckt die H200 im Dauerbetrieb ihre Kosten erst ab 5110 Millionen Token im Monat. Das sind im Schnitt 1944 Token pro Sekunde, Tag und Nacht ohne Pause. Bei 2 Euro pro Million Token sinkt die Schwelle für die Bürozeit-Variante auf 308 Millionen Token. Ob eine einzelne Karte diesen Durchsatz mit Ihrer Mischung aus Prompt-Länge und Antwortlänge schafft, müssen Sie messen. Die Rechnung sagt nur, ab welchem Volumen sich die Frage überhaupt stellt.
Die ausführliche Methode mit Auslastung und Leerlauf steht in der Break-even-Rechnung GPU-Server gegen API-Token. Für Kolibri-1 kommt ein Punkt hinzu, den keine Tabelle abbildet. Wer Kolibri-1 wegen der Daten selbst hosten will, vergleicht oft gar nicht mit einer API. Dürfen Dokumente das Haus nicht verlassen, scheidet die API aus. Dann lautet die echte Frage: GPU in einem EU-Rechenzentrum mit Auftragsverarbeitungsvertrag (AVV) mieten oder eigene Hardware kaufen. Auch eine gemietete GPU steht bei einem Dritten. Verarbeitet der Anbieter dabei personenbezogene Daten in Ihrem Auftrag, liegt nach der DSGVO (Datenschutz-Grundverordnung) eine Auftragsverarbeitung vor.
Wann ein kleineres lokales Modell die ehrliche Antwort ist
Kolibri-1 lohnt sich, wenn Sie seine Stärken benötigen. Laut Model Card gehören dazu Tool-Aufrufe und die Verarbeitung von Dokumenten mit langem Kontext. 262.144 Token fassen einen gesamten Vertragsordner in einer einzigen Anfrage. Sind Ihre Aufgaben kürzer, fällt die Rechnung anders aus.
Für das Sortieren von E-Mails oder kurze Zusammenfassungen reicht häufig ein Modell mit 7 bis 14 Milliarden Parametern. Mit 4 Bit quantisiert läuft es mit Ollama auf einem CPU-VPS mit 16 bis 32 GB RAM. Wie viele Anfragen pro Tag der Server schafft, müssen Sie mit Ihren Aufgaben messen. Wie das funktioniert, zeigt die Anleitung zum Self-Hosting von Ollama auf einem VPS. Die Kosten entsprechen dann dem monatlichen Preis eines normalen Servers und nicht einer GPU-Abrechnung nach Stunden.
Das naheliegende kleinere Modell aus demselben Haus wäre Pharia-1-LLM-7B-control. Seine Lizenz, die Open Aleph License, erlaubt laut Lizenztext jedoch nur nicht-kommerzielle und nicht-administrative Zwecke. Für den Einsatz in Unternehmen ist es daher keine Lösung. Welche anderen offenen Modelle auf einem VPS korrektes Deutsch schreiben und unter welcher Lizenz sie stehen, können Sie mit dem wiederholbaren Deutsch-Test für offene Modelle mit Ollama selbst prüfen.
Eine belastbare Entscheidung ist nur mit einem Test möglich. Nehmen Sie 50 echte Aufgaben aus Ihrem Arbeitsalltag. Lassen Sie sie von Kolibri-1 auf einer stundenweise gemieteten GPU und von einem kleineren Modell auf dem CPU-VPS bearbeiten. Vergleichen Sie anschließend die Antworten. Einige Stunden Testbetrieb kosten im Vergleich zu einem Fehlkauf bei der Hardware wenig.
Wie dieselbe Frage bei einem anderen offenen Modell ausfällt, zeigt was für das Self-Hosting von Kimi K3 erforderlich ist. Der Vergleich erleichtert die Einordnung: Kolibri-1 gehört mit rund 78 GB Gewichten zu den Modellen, die noch auf eine einzelne Karte passen.
FAQ
Darf ich Kolibri-1 kommerziell nutzen?
Ja. Kolibri-1 steht laut Model Card unter Apache 2.0. Du darfst es im Unternehmen einsetzen und auch verändert weitergeben, wenn du den Lizenztext und die Hinweise beilegst. Das unterscheidet Kolibri-1 von der früheren Pharia-Reihe: Die Card von Pharia-1-LLM-7B-control nennt die Open Aleph License, die laut Lizenztext nur nicht-kommerzielle und nicht-administrative Zwecke erlaubt.
Läuft Kolibri-1 mit Ollama oder auf der CPU?
Die Card beschreibt dafür keinen Weg. Sie beschreibt vLLM mit dem Plugin aleph-alpha-inference, inzwischen auch vLLM ab Version 0.33.0 ohne Plugin und seit dem 20. Oktober 2026 Transformers ab Version 5.20. Als Hardware nennt sie nur GPUs. Es gibt GGUF-Dateien aus mehreren Community-Repositories, etwa 47,5 GB in Q4_K_M. Die älteren davon wurden für ein gepatchtes llama.cpp erstellt. Seit Release b11709 vom 17. Oktober 2026 kennt auch das normale llama.cpp die Architektur kolibri1, und bartowski hat seine Dateien mit dem offiziellen Release b11716 gebaut. Ob die älteren Community-Dateien damit laden, ist nicht bestätigt. Das Community-Repository aparusel/ds4-kolibri-1-gguf nennt zudem einen CPU-Betrieb mit der Engine ds4, ohne Angaben zum Tempo. Einige Autoren melden bestandene Abruftests mit langem Kontext, bis über 700.000 Token. Einen Benchmark-Vergleich mit dem FP8-Original gibt es nach ihren eigenen Angaben aber nicht.
Reicht eine einzelne H100 mit 80 GB für Kolibri-1?
Nein. Die FP8-Gewichte belegen schon rund 78 GB. Für den KV-Cache, der den Kontext hält, bleibt praktisch nichts übrig. Die Card nennt als Minimum unter anderem zwei H100 SXM5 oder eine H200. Bei zwei Karten startest du vLLM mit --tensor-parallel-size 2.
Wie schalte ich den Denkmodus von Kolibri-1 ab?
Der Denkmodus ist standardmäßig an. Pro Anfrage schaltest du ihn mit "chat_template_kwargs": {"enable_thinking": false} im JSON-Body ab. Laut Card wirkt auch reasoning_effort mit dem Wert none. Ist der Modus an, trennt --reasoning-parser kolibri1 den Denktext von der eigentlichen Antwort.