Héberger Kolibri-1 : matériel et coût réel

Kolibri-1 selbst hosten: die kurze Antwort

Kolibri-1 selbst zu hosten ist möglich, aber nicht auf einem gewöhnlichen VPS. Aleph Alpha aus Heidelberg veröffentlicht das Modell unter Apache 2.0. Die Gewichte im FP8-Format sind rund 78 GB groß. Der offizielle Weg ist vLLM auf mindestens einer H200 oder auf zwei Grafikkarten mit je 80 GB Speicher. Einen offiziellen Weg für CPU, GGUF, llama.cpp oder Ollama gibt es nicht.

Für viele Leser in Deutschland zählt vor allem eine Frage: Bleiben die Daten im eigenen Haus? Mit Kolibri-1 geht das, und die Lizenz steht dem nicht im Weg. Die Hürde ist die Hardware.

Stand der Angaben: Alles hier bezieht sich auf die Model Card von Aleph-Alpha/Kolibri-1 in der Revision e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, 3. Oktober 2026) und auf das Paket aleph-alpha-inference in Version 1.0.0. Zuletzt geprüft am 13. Oktober 2026. Spätere Revisionen können andere Zahlen nennen. Prüfe sie, bevor du Hardware mietest oder kaufst.

Ce que la Model Card définit pour Kolibri-1

• Architecture : MoE (Mixture of Experts). Le modèle se compose de nombreux sous-réseaux appelés experts. Seuls quelques-uns effectuent des calculs pour chaque token.
• Taille : 78 milliards de paramètres au total, dont 3,46 milliards actifs par token. Il comporte 50 couches de 384 experts chacune, dont 6 sont sélectionnés pour chaque token.
• Contexte : 262.144 tokens en natif. Selon la Card, la qualité a été validée jusqu’à 1.048.576 tokens.
• Poids : FP8 (nombres à virgule flottante sur 8 bits) au format float8_e4m3fn, par blocs de 128×128. L’embedding et le LM-Head sont en bfloat16. L’ensemble représente environ 78 GB selon la Card. Le repository lui-même fait 78,9 GB.
• Données d’entraînement : 62,5 % d’anglais, 23,9 % d’allemand et 13,6 % de code, pour un préentraînement sur 20 billions de tokens. Le modèle utilise également un tokenizer conçu, selon la Card, pour la structure des mots allemands.
• Licence : Apache 2.0. Le repository n’est pas gated. Vous n’avez donc pas besoin de demander un accès.

Le point essentiel se trouve dans les deux premières lignes. 3,46 milliards de paramètres actifs impliquent peu de calcul par token. En revanche, les besoins en mémoire dépendent des 78 milliards de paramètres. Le routeur sélectionne des experts différents pour chaque token. Tous les experts doivent donc rester en permanence dans la mémoire du GPU. Un modèle MoE effectue ainsi les calculs d’un petit modèle, mais occupe la mémoire d’un grand modèle.

Le tokenizer a également un effet pratique. Un tokenizer découpe le texte en tokens. S’il est mal adapté à la langue, un mot allemand long est découpé en nombreux petits éléments. Cela consomme du contexte et du temps de calcul. Un tokenizer conçu pour l’allemand nécessite moins de tokens pour un même texte.

Les résultats de benchmark de la Card

Aleph Alpha fournit deux scores globaux pour le modèle après son entraînement complémentaire. Ces chiffres proviennent de l’évaluation interne du fabricant, et non d’un test indépendant.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

Selon la Card, Kolibri-1 obtient 70.8 points en allemand et 75.5 en anglais. Ce modèle est donc également un peu plus performant en anglais. Seul un test réalisé avec vos propres documents permettra de déterminer s’il convient à vos tâches.

Ce qui a changé par rapport à Pharia

L’ancienne gamme de modèles d’Aleph Alpha s’appelait Pharia. La Card de Pharia-1-LLM-7B-control mentionne l’Open Aleph License. Elle autorise la recherche et l’enseignement non commerciaux. Pour une utilisation commerciale, il fallait contacter directement Aleph Alpha. Kolibri-1 est en revanche distribué sous licence Apache 2.0. Vous pouvez donc utiliser le modèle dans votre entreprise et le redistribuer après modification, à condition de fournir le texte de la licence et les mentions requises.

Quel GPU faut-il pour Kolibri-1 ?

La fiche technique indique deux niveaux. Minimum : 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 ou 1× B300. Recommandé : 2× H100 SXM5, 2× H200, 1× B200 ou 1× B300.

Pourquoi une seule H100 ne suffit-elle pas ? Le calcul est simple. Soustrayez les poids de la mémoire graphique, la VRAM (video random access memory). Ce qui reste sert principalement au KV-Cache de vLLM. Le KV-Cache stocke, pour chaque token du contexte, les clés et les valeurs (keys et values) des couches d’Attention. Sans lui, le modèle ne peut pas conserver le contexte.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

Une H100 dispose de 80 GB, et les poids occupent 79 GB. Il reste donc théoriquement 1 GB. Ce n’est pas suffisant pour un contexte exploitable. Une H200 laisse 62 GB libres, et deux H200 laissent 203 GB libres. La réserve réelle est plus faible. vLLM n’utilise par défaut que 92 % de la mémoire graphique (--gpu-memory-utilization, valeur par défaut 0.92 dans vLLM 0.29.0), et les activations ont également besoin d’espace. Ces valeurs sont des estimations arrondies, pas des mesures.

Deux caractéristiques de l’architecture réduisent la charge du KV-Cache. Premièrement, selon la fiche technique, Kolibri-1 combine des couches avec Sliding-Window-Attention et des couches avec Attention complète dans un rapport de 4:1. Une couche Sliding-Window ne stocke que les tokens d’une fenêtre de taille fixe. Son cache n’augmente donc pas avec toute la longueur du contexte. Deuxièmement, la fiche technique recommande --kv-cache-dtype fp8. Chaque entrée du cache occupe ainsi deux fois moins de mémoire qu’en 16 bits. Les couches avec Attention complète continuent toutefois de croître avec chaque token. Avec 262.144 tokens, la mémoire disponible devient limitée sur une seule H200.

Warum ein normaler VPS Kolibri-1 nicht ausführen kann

Aleph Alpha veröffentlicht nur den Weg über vLLM mit GPU. Die Card nennt weder CPU-Betrieb noch GGUF, llama.cpp oder Ollama. Ein gewöhnlicher CPU-VPS hat keinen Grafikspeicher. Damit fehlt die Grundlage für diesen Weg.

Auf Hugging Face gibt es trotzdem GGUF-Umwandlungen aus der Community. Die Suche nach „kolibri-1 gguf“ listete am 6. Oktober 2026 acht Repositories für Kolibri-1, am 13. Oktober 2026 sind es elf. Die Q4_K_M-Datei ist etwa 47,5 GB groß und würde rechnerisch in einen Server mit 64 GB RAM passen. Die Repositories, die wir am 6. Oktober 2026 geprüft haben, sagen aber selbst: Das normale llama.cpp kennt die Architektur kolibri1 nicht. Du brauchst eine gepatchte Version auf einem bestimmten Commit. Daran hat sich bis zum 13. Oktober 2026 nichts geändert: Bei llama.cpp gibt es zu Kolibri-1 nur einen offenen Feature Request. Lange Kontexte haben einige Autoren durchaus getestet. Prompt48 meldet für Q4_K_M auf einer A100 eine exakt wiedergefundene Testinformation (Needle) bei 195.935 Token und, mit erweitertem Kontext, bei 718.803 Token. Hob-forge findet drei versteckte Fakten bei bis zu 253.646 Token wieder, in einem Lauf mit -c 262144. Das sind Abruftests, keine Benchmarks. Prompt48 und Hob-forge schreiben ausdrücklich, dass ein Benchmark-Vergleich mit dem FP8-Original fehlt. Für Firmendaten ist das keine Grundlage. Es ist ein Experiment.

Wie viel RAM ein Modell in welcher Quantisierung braucht, rechnet der Leitfaden zur Frage, wie groß ein LLM für deinen RAM sein darf Schritt für Schritt vor. Warum hier vLLM das Werkzeug ist, erklärt der Vergleich von Ollama und vLLM: vLLM ist für viele parallele Anfragen auf GPUs gebaut, Ollama für den einfachen Start mit quantisierten Modellen.

Installer Kolibri-1 avec vLLM

Vous avez besoin d’un serveur Linux équipé d’un GPU NVIDIA compatible et du pilote installé. Les points à vérifier lors de la location sont présentés dans l’aperçu des VPS avec GPU. Vérifiez d’abord ce que la machine possède réellement :

nvidia-smi --query-gpu=name,memory.total --format=csv

La sortie indique le nom et la mémoire en MiB de chaque carte. Une H100 doit indiquer environ 81.000 MiB, et une H200 environ 143.000 MiB. Si la commande n’affiche aucun pilote, le pilote NVIDIA n’est pas installé. vLLM ne trouvera alors aucun GPU.

Créez ensuite un environnement Python dédié. Le package installe vLLM et PyTorch dans des plages de versions définies. Un environnement séparé évite que cela perturbe les autres programmes du serveur.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

La Card écrit pip install 'aleph-alpha-inference>=1'. Ici, la version est fixée à 1.0.0. Une version ultérieure ne modifiera donc pas votre configuration à votre insu. La version 1.0.0 exige Python 3.10 ou une version ultérieure, ainsi que vLLM à partir de 0.29.0, mais avant 0.30.0. pip show doit donc afficher une version vLLM 0.29.x. Le package est un plugin pour vLLM. Il enregistre les parseurs kolibri1 pour le raisonnement et les appels d’outils. Sans ce plugin, vLLM ne connaît pas ces noms.

Aleph Alpha fournit également une image de conteneur : ghcr.io/aleph-alpha/aleph-alpha-inference. Si vous exploitez des serveurs GPU avec des conteneurs, vous pouvez utiliser cette méthode.

Désactiver la télémétrie de vLLM

Par défaut, vLLM envoie des statistiques d’utilisation anonymes. Si rien ne doit quitter le serveur, désactivez cette fonction avant le démarrage :

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Démarrer le serveur

La commande reprend celle de la Card, avec deux ajouts : une révision fixe et une liaison à localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision définit la version des poids à charger. Sans cette option, vLLM charge la version actuelle depuis main. Si Aleph Alpha modifie le repository, votre modèle changera lors du prochain téléchargement. --host 127.0.0.1 rend l’API accessible uniquement en local. Sans cette option, vLLM écoute sur toutes les interfaces réseau. Le port 8000 est alors ouvert dès que le firewall l’autorise.

Avec deux GPU, ajoutez --tensor-parallel-size 2. Cette option répartit chaque couche sur les deux cartes. Sans elle, vLLM n’utilise qu’un seul GPU, et les poids ne tiennent pas sur une seule carte de 80 Go.

Lors du premier démarrage, vLLM télécharge environ 79 Go depuis Hugging Face vers ~/.cache/huggingface. Prévoyez suffisamment d’espace disque pour ce téléchargement et pour l’environnement Python. Après le premier téléchargement réussi, vous pouvez empêcher tout contact ultérieur avec Hugging Face avec export HF_HUB_OFFLINE=1. Les poids seront alors chargés uniquement depuis le cache local.

Si la mémoire ne suffit pas pour le contexte complet de 262.144 tokens, vLLM ne démarre pas. Le message d’erreur indique alors que le KV-cache est trop petit pour la longueur de séquence maximale. Dans ce cas, définissez une limite plus basse, par exemple --max-model-len 65536. La Card démarre le contexte étendu jusqu’à 1.048.576 tokens avec --max-model-len 1048576 et --hf-overrides '{"max_position_embeddings": 1048576}'. Cette configuration consomme nettement plus de mémoire et doit être réservée aux configurations recommandées.

Vérifier que le modèle répond

Dès que le log indique que le serveur fonctionne sur le port 8000, testez l’API compatible avec OpenAI :

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

Le premier appel doit répertorier Aleph-Alpha/Kolibri-1 comme modèle. Le deuxième doit renvoyer un JSON dans lequel choices[0].message.content indique Paris. enable_thinking: false désactive le mode de raisonnement pour cette requête. Il est activé par défaut. Selon la Card, reasoning_effort fonctionne également avec la valeur none. Pour le sampling, la Card recommande temperature=1.0, top_p=0.97 et top_k=128.

Pour accéder au service depuis votre ordinateur, vous n’avez pas besoin d’ouvrir le port. Un tunnel SSH suffit :

ssh -L 8000:127.0.0.1:8000 user@dein-server

Vous accédez ensuite à l’API depuis votre ordinateur à l’adresse http://127.0.0.1:8000. Pour autoriser l’accès depuis d’autres services du réseau, définissez également --api-key et placez un reverse proxy avec TLS (transport layer security) devant le service.

Was kostet eine Stunde Kolibri-1 in Euro?

Die Preise für GPU-Miete schwanken stark nach Anbieter und Region. Die Rechnung unten nutzt zwei Annahmen, Stand Oktober 2026: 3,50 Euro pro Stunde für eine H200 und 2,50 Euro pro Stunde für eine H100 SXM5, jeweils on demand und ohne Mehrwertsteuer. Spezialisierte GPU-Anbieter liegen teils darunter, Hyperscaler in EU-Regionen oft deutlich darüber. Setze deine eigenen Angebote ein. Der Rechenweg bleibt gleich.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

Ein Monat hat im Mittel 730 Stunden. Läuft eine H200 rund um die Uhr, kostet sie 2555 Euro im Monat. Die empfohlene Variante mit zwei H100 kommt auf 3650 Euro. Wer die Maschine nur zur Bürozeit laufen lässt, also 8 Stunden an 22 Arbeitstagen und damit 176 Stunden, zahlt 616 Euro. Dafür lädt jeder Start die Gewichte neu in den Grafikspeicher, und das dauert einige Minuten.

Ab wann lohnt sich das gegenüber API-Token?

Die Card nennt Stand Oktober 2026 keine gehostete API für Kolibri-1. Ein Vergleich mit Token-Preisen heißt also: Kolibri-1 auf eigener GPU gegen ein anderes Modell über eine API. Für die Rechnung gelten zwei angenommene Preise pro Million Token, gemischt aus Ein- und Ausgabe: 0,50 Euro für ein günstiges Modell und 2 Euro für ein teureres.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

Bei 0,50 Euro pro Million Token deckt die H200 im Dauerbetrieb ihre Kosten erst ab 5110 Millionen Token im Monat. Das sind im Schnitt 1944 Token pro Sekunde, Tag und Nacht ohne Pause. Bei 2 Euro pro Million Token sinkt die Schwelle für die Bürozeit-Variante auf 308 Millionen Token. Ob eine einzelne Karte diesen Durchsatz mit deinem Mix aus Prompt-Länge und Antwortlänge schafft, musst du messen. Die Rechnung sagt nur, ab welchem Volumen sich die Frage überhaupt stellt.

Die ausführliche Methode mit Auslastung und Leerlauf steht in der Break-even-Rechnung GPU-Server gegen API-Token. Für Kolibri-1 kommt ein Punkt hinzu, den keine Tabelle abbildet. Wer Kolibri-1 wegen der Daten selbst hosten will, vergleicht oft gar nicht mit einer API. Dürfen Dokumente das Haus nicht verlassen, scheidet die API aus. Dann lautet die echte Frage: GPU mieten in einem EU-Rechenzentrum mit Auftragsverarbeitungsvertrag (AVV) oder eigene Hardware kaufen. Auch eine gemietete GPU steht bei einem Dritten. Nach der DSGVO (Datenschutz-Grundverordnung) ist das eine Auftragsverarbeitung und kein Betrieb im eigenen Haus.

Quand un modèle local plus petit est la réponse honnête

Kolibri-1 vaut la peine si vous avez besoin de ses points forts. Selon sa fiche, cela comprend les appels d’outils et le traitement de documents avec un long contexte. 262.144 tokens permettent de traiter un dossier contractuel entier dans une seule requête. Si vos tâches sont plus courtes, le calcul est différent.

Pour trier des e-mails ou produire de courts résumés, un modèle de 7 à 14 milliards de paramètres suffit souvent. Quantifié en 4 bits, il fonctionne avec Ollama sur un VPS CPU doté de 16 à 32 Go de RAM. C’est plus lent qu’un GPU, mais suffisant pour quelques centaines de requêtes par jour. Le guide consacré à l’auto-hébergement d’Ollama sur un VPS montre comment procéder. Le coût correspond alors à celui d’un serveur classique, et non à une facturation horaire de GPU.

Le petit modèle le plus évident du même éditeur serait Pharia-1-LLM-7B-control. Cependant, sa licence, l’Open Aleph License, autorise selon son texte uniquement les usages non commerciaux et non administratifs. Ce n’est donc pas une solution pour une utilisation en entreprise.

Vous ne pouvez prendre une décision fiable qu’en effectuant un test. Prenez 50 tâches réelles de votre quotidien. Faites-les traiter par Kolibri-1 sur un GPU loué à l’heure, puis par un petit modèle sur le VPS CPU. Comparez ensuite les réponses. Quelques heures de location pour le test coûtent peu par rapport à un mauvais achat de matériel.

Ce qu’il faut pour auto-héberger Kimi K3 montre le résultat obtenu avec la même question sur un autre modèle ouvert. La comparaison aide à situer Kolibri-1 : avec environ 78 Go de poids, il fait partie des modèles qui tiennent encore sur une seule carte.

FAQ

Darf ich Kolibri-1 kommerziell nutzen?

Ja. Kolibri-1 steht laut Model Card unter Apache 2.0. Du darfst es im Unternehmen einsetzen und auch verändert weitergeben, wenn du den Lizenztext und die Hinweise beilegst. Das unterscheidet Kolibri-1 von der früheren Pharia-Reihe: Die Card von Pharia-1-LLM-7B-control nennt die Open Aleph License, die laut Lizenztext nur nicht-kommerzielle und nicht-administrative Zwecke erlaubt.

Läuft Kolibri-1 mit Ollama oder auf der CPU?

Nicht offiziell. Aleph Alpha veröffentlicht nur den Weg über vLLM auf NVIDIA-GPUs, mit dem Plugin aleph-alpha-inference. Es gibt GGUF-Dateien aus mehreren Community-Repositories, etwa 47,5 GB in Q4_K_M. Sie brauchen ein gepatchtes llama.cpp, weil das normale llama.cpp die Architektur kolibri1 nicht kennt. Einige Autoren melden bestandene Abruftests mit langem Kontext, bis über 700.000 Token. Einen Benchmark-Vergleich mit dem FP8-Original gibt es nach ihren eigenen Angaben aber nicht.

Reicht eine einzelne H100 mit 80 GB für Kolibri-1?

Nein. Die FP8-Gewichte belegen schon rund 78 GB. Für den KV-Cache, der den Kontext hält, bleibt praktisch nichts übrig. Die Card nennt als Minimum unter anderem zwei H100 SXM5 oder eine H200. Bei zwei Karten startest du vLLM mit --tensor-parallel-size 2.

Wie schalte ich den Denkmodus von Kolibri-1 ab?

Der Denkmodus ist standardmäßig an. Pro Anfrage schaltest du ihn mit "chat_template_kwargs": {"enable_thinking": false} im JSON-Body ab. Laut Card wirkt auch reasoning_effort mit dem Wert none. Ist der Modus an, trennt --reasoning-parser kolibri1 den Denktext von der eigentlichen Antwort.