Autohospedar Kolibri-1: requisitos de hardware y coste

Kolibri-1 selbst hosten: die kurze Antwort

Kolibri-1 selbst zu hosten ist möglich, aber nicht auf einem gewöhnlichen VPS. Aleph Alpha aus Heidelberg veröffentlicht das Modell unter Apache 2.0. Die Gewichte im FP8-Format sind rund 78 GB groß. Der offizielle Weg ist vLLM auf mindestens einer H200 oder auf zwei Grafikkarten mit je 80 GB Speicher. Einen offiziellen Weg für CPU, GGUF, llama.cpp oder Ollama gibt es nicht.

Für viele Leser in Deutschland zählt vor allem eine Frage: Bleiben die Daten im eigenen Haus? Mit Kolibri-1 geht das, und die Lizenz steht dem nicht im Weg. Die Hürde ist die Hardware.

Stand der Angaben: Alles hier bezieht sich auf die Model Card von Aleph-Alpha/Kolibri-1 in der Revision e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, 3. Oktober 2026) und auf das Paket aleph-alpha-inference in Version 1.0.0. Zuletzt geprüft am 13. Oktober 2026. Spätere Revisionen können andere Zahlen nennen. Prüfe sie, bevor du Hardware mietest oder kaufst.

Lo que establece la Model Card sobre Kolibri-1

• Arquitectura: MoE (Mixture of Experts). El modelo consta de muchas subredes, los expertos. En cada token sólo calculan unas pocas.
• Tamaño: 78 mil millones de parámetros en total, de los cuales 3,46 mil millones están activos por token. Tiene 50 capas con 384 expertos cada una, de los que se seleccionan 6 por token.
• Contexto: 262.144 tokens de forma nativa. Según la Card, la calidad se ha validado hasta 1.048.576 tokens.
• Pesos: FP8 (números de coma flotante de 8 bits) en el formato float8_e4m3fn, en bloques de 128×128. El embedding y el LM-Head están en bfloat16. En conjunto, según la Card, ocupan unos 78 GB. El repositorio ocupa 78,9 GB.
• Datos de entrenamiento: 62,5 % en inglés, 23,9 % en alemán y 13,6 % de código, con un preentrenamiento de 20 billones de tokens. Además, incluye un tokenizer que, según la Card, está adaptado a la estructura de las palabras alemanas.
• Licencia: Apache 2.0. El repositorio no está gated. Por tanto, no necesitas solicitar acceso.

El punto más importante está en las dos primeras líneas. 3,46 mil millones de parámetros activos implican poco trabajo de cálculo por token. Sin embargo, el consumo de memoria depende de los 78 mil millones de parámetros. El router selecciona expertos distintos para cada token. Por eso, todos los expertos deben estar en la memoria de la GPU en todo momento. Por tanto, un modelo MoE calcula como un modelo pequeño, pero ocupa memoria como uno grande.

El tokenizer también tiene un efecto práctico. Un tokenizer divide el texto en tokens. Si se adapta mal al idioma, una palabra alemana larga se divide en muchos fragmentos pequeños. Esto consume contexto y tiempo de cálculo. Un tokenizer adaptado al alemán necesita menos tokens para el mismo texto.

Las cifras de benchmark de la Card

Aleph Alpha proporciona dos valores globales para el modelo posentrenado. Son cifras de la evaluación propia del fabricante, no de una prueba independiente.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

Según la Card, Kolibri-1 alcanza 70.8 puntos en alemán y 75.5 en inglés. Por tanto, este modelo también es algo más potente en inglés. Sólo una prueba con tus propios documentos permite saber si es suficiente para tus tareas.

Qué ha cambiado con respecto a Pharia

La serie de modelos anterior de Aleph Alpha se llamaba Pharia. La Card de Pharia-1-LLM-7B-control menciona la Open Aleph License. Esta licencia permite la investigación y la enseñanza no comerciales. Para el uso comercial era necesario contactar directamente con Aleph Alpha. Kolibri-1, en cambio, se distribuye bajo Apache 2.0. Por tanto, puedes utilizar el modelo en la empresa y redistribuirlo modificado, siempre que incluyas el texto de la licencia y los avisos correspondientes.

¿Qué GPU necesita Kolibri-1?

La Card indica dos niveles. Mínimo: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 o 1× B300. Recomendado: 2× H100 SXM5, 2× H200, 1× B200 o 1× B300.

¿Por qué no basta una sola H100? El cálculo es sencillo. Reste los pesos de la memoria gráfica, la VRAM (video random access memory). Lo que queda lo necesita vLLM principalmente para la caché KV. La caché KV almacena las claves y los valores (keys y values) de las capas de Attention para cada token del contexto. Sin ella, el modelo no puede conservar el contexto.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

Una H100 tiene 80 GB y los pesos ocupan 79 GB. En términos teóricos, quedan 1 GB. No basta para un contexto útil. Una H200 deja libres 62 GB y dos H200 dejan libres 203 GB. La reserva real es menor. De forma predeterminada, vLLM sólo utiliza el 92 % de la memoria gráfica (--gpu-memory-utilization, valor predeterminado 0.92 en vLLM 0.29.0), y las activaciones también necesitan espacio. Los valores son cálculos aproximados redondeados, no mediciones.

Dos características de la arquitectura reducen la presión sobre la caché KV. En primer lugar, según la Card, Kolibri-1 combina capas con Sliding-Window-Attention y capas con Attention completa en una proporción de 4:1. Una capa Sliding-Window sólo almacena los tokens de una ventana fija. Por eso, su caché no crece con toda la longitud del contexto. En segundo lugar, la Card recomienda --kv-cache-dtype fp8. Así, cada entrada de la caché ocupa la mitad de memoria que con 16 bits. Aun así, las capas con Attention completa crecen con cada token. Con 262.144 tokens, esto supone una limitación importante en una sola H200.

Warum ein normaler VPS Kolibri-1 nicht ausführen kann

Aleph Alpha veröffentlicht nur den Weg über vLLM mit GPU. Die Card nennt weder CPU-Betrieb noch GGUF, llama.cpp oder Ollama. Ein gewöhnlicher CPU-VPS hat keinen Grafikspeicher. Damit fehlt die Grundlage für diesen Weg.

Auf Hugging Face gibt es trotzdem GGUF-Umwandlungen aus der Community. Die Suche nach „kolibri-1 gguf“ listete am 6. Oktober 2026 acht Repositories für Kolibri-1, am 13. Oktober 2026 sind es elf. Die Q4_K_M-Datei ist etwa 47,5 GB groß und würde rechnerisch in einen Server mit 64 GB RAM passen. Die Repositories, die wir am 6. Oktober 2026 geprüft haben, sagen aber selbst: Das normale llama.cpp kennt die Architektur kolibri1 nicht. Du brauchst eine gepatchte Version auf einem bestimmten Commit. Daran hat sich bis zum 13. Oktober 2026 nichts geändert: Bei llama.cpp gibt es zu Kolibri-1 nur einen offenen Feature Request. Lange Kontexte haben einige Autoren durchaus getestet. Prompt48 meldet für Q4_K_M auf einer A100 eine exakt wiedergefundene Testinformation (Needle) bei 195.935 Token und, mit erweitertem Kontext, bei 718.803 Token. Hob-forge findet drei versteckte Fakten bei bis zu 253.646 Token wieder, in einem Lauf mit -c 262144. Das sind Abruftests, keine Benchmarks. Prompt48 und Hob-forge schreiben ausdrücklich, dass ein Benchmark-Vergleich mit dem FP8-Original fehlt. Für Firmendaten ist das keine Grundlage. Es ist ein Experiment.

Wie viel RAM ein Modell in welcher Quantisierung braucht, rechnet der Leitfaden zur Frage, wie groß ein LLM für deinen RAM sein darf Schritt für Schritt vor. Warum hier vLLM das Werkzeug ist, erklärt der Vergleich von Ollama und vLLM: vLLM ist für viele parallele Anfragen auf GPUs gebaut, Ollama für den einfachen Start mit quantisierten Modellen.

Instalar Kolibri-1 con vLLM

Necesitas un servidor Linux con una GPU NVIDIA compatible y el controlador instalado. Consulta la guía general sobre VPS con GPU para saber qué debes tener en cuenta al alquilarlo. Comprueba primero el hardware real de la máquina:

nvidia-smi --query-gpu=name,memory.total --format=csv

La salida muestra el nombre y la memoria en MiB de cada tarjeta. Una H100 debería mostrar aproximadamente 81.000 MiB y una H200, aproximadamente 143.000 MiB. Si el comando no muestra ningún controlador, el controlador de NVIDIA no está instalado. En ese caso, vLLM tampoco encontrará ninguna GPU.

Crea después un entorno de Python independiente. El paquete instala vLLM y PyTorch dentro de rangos de versiones definidos. Un entorno independiente evita que afecte a otros programas del servidor.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

La tarjeta escribe pip install 'aleph-alpha-inference>=1'. Aquí la versión está fijada en 1.0.0. Así, una versión posterior no cambiará tu configuración sin que lo adviertas. La versión 1.0.0 requiere Python 3.10 o posterior y vLLM desde 0.29.0, pero anterior a 0.30.0. Por tanto, pip show debería mostrar una versión 0.29.x de vLLM. El paquete es un plugin para vLLM. Registra los parsers kolibri1 para el razonamiento y las llamadas a herramientas. Sin este plugin, vLLM no reconoce esos nombres.

Aleph Alpha también ofrece una imagen de contenedor: ghcr.io/aleph-alpha/aleph-alpha-inference. Si administras servidores con GPU mediante contenedores, puedes usar esta opción.

Desactivar la telemetría de vLLM

vLLM envía estadísticas de uso anónimas de forma predeterminada. Si quieres impedir que salga cualquier dato del servidor, desactívala antes de iniciar el servicio:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Iniciar el servidor

El comando sigue la tarjeta, con dos ajustes adicionales: una revisión fija y un enlace a localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision determina qué versión de los pesos se carga. Sin esta opción, vLLM carga la versión actual de main. Si Aleph Alpha modifica el repositorio, tu modelo cambiará en la siguiente descarga. --host 127.0.0.1 hace que la API sólo sea accesible localmente. Sin esta opción, vLLM escucha en todas las interfaces de red. El puerto 8000 quedará abierto en cuanto el firewall permita el tráfico.

Si tienes dos GPU, añade --tensor-parallel-size 2. Esta opción distribuye cada capa entre ambas tarjetas. Sin ella, vLLM usa una sola GPU, y los pesos no caben en una tarjeta individual de 80 GB.

En el primer inicio, vLLM descarga aproximadamente 79 GB desde Hugging Face en ~/.cache/huggingface. Reserva suficiente espacio libre en disco para esa descarga y para el entorno de Python. Después de la primera descarga correcta, puedes usar export HF_HUB_OFFLINE=1 para impedir cualquier contacto posterior con Hugging Face. A partir de entonces, los pesos se obtendrán sólo de la caché local.

Si la memoria no basta para el contexto completo de 262.144 tokens, vLLM no se iniciará. El mensaje de error indicará que la caché KV es demasiado pequeña para la longitud máxima de secuencia. En ese caso, establece un límite menor, por ejemplo --max-model-len 65536. La tarjeta inicia el contexto ampliado de hasta 1.048.576 tokens con --max-model-len 1048576 y --hf-overrides '{"max_position_embeddings": 1048576}'. Esto requiere mucha más memoria y debe usarse con las configuraciones recomendadas.

Comprobar si el modelo responde

Cuando el registro indique que el servidor se está ejecutando en el puerto 8000, prueba la API compatible con OpenAI:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

La primera llamada debería mostrar Aleph-Alpha/Kolibri-1 como modelo disponible. La segunda debería devolver un JSON en el que choices[0].message.content indique Paris. enable_thinking: false desactiva el modo de razonamiento para esta solicitud. De forma predeterminada, está activado. Según la tarjeta, reasoning_effort también funciona con el valor none. Como parámetros de sampling, la tarjeta recomienda temperature=1.0, top_p=0.97 y top_k=128.

Para acceder desde tu equipo no necesitas abrir ningún puerto. Basta con un túnel SSH:

ssh -L 8000:127.0.0.1:8000 user@dein-server

Después podrás acceder a la API desde tu equipo mediante http://127.0.0.1:8000. Si otros servicios de la red deben acceder a ella, establece también --api-key y coloca delante un reverse proxy con TLS (transport layer security).

¿Cuánto cuesta una hora de Kolibri-1 en euros?

Los precios del alquiler de GPU varían mucho según el proveedor y la región. El cálculo siguiente utiliza dos supuestos, a fecha de octubre de 2026: 3,50 euros por hora para una H200 y 2,50 euros por hora para una H100 SXM5, en ambos casos bajo demanda y sin IVA. Algunos proveedores especializados ofrecen precios inferiores, mientras que los hyperscalers suelen ser bastante más caros en las regiones de la UE. Sustituye estos valores por tus propias ofertas. El método de cálculo no cambia.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

Un mes tiene una media de 730 horas. Si una H200 funciona las 24 horas, cuesta 2555 euros al mes. La variante recomendada, con dos H100, asciende a 3650 euros. Si la máquina sólo funciona durante el horario laboral, es decir, 8 horas durante 22 días laborables, y suma 176 horas, el coste es de 616 euros. A cambio, cada arranque vuelve a cargar los pesos en la memoria de la GPU, lo que tarda varios minutos.

¿A partir de cuándo compensa frente a los tokens de una API?

La ficha no indica ninguna API alojada para Kolibri-1 a fecha de octubre de 2026. Por tanto, comparar con precios por token significa comparar Kolibri-1 en una GPU propia con otro modelo mediante una API. Para el cálculo se aplican dos precios supuestos por millón de tokens, combinando entrada y salida: 0,50 euros para un modelo económico y 2 euros para uno más caro.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

Con un precio de 0,50 euros por millón de tokens, la H200 funcionando de forma continua cubre sus costes a partir de 5110 millones de tokens al mes. Esto equivale a una media de 1944 tokens por segundo, día y noche y sin pausas. Con un precio de 2 euros por millón de tokens, el umbral de la variante para horario laboral baja a 308 millones de tokens. Debes medir si una sola tarjeta puede alcanzar este rendimiento con tu combinación de longitud de prompt y longitud de respuesta. El cálculo sólo indica a partir de qué volumen la cuestión empieza a ser relevante.

El método detallado, con utilización y tiempo de inactividad, se describe en el cálculo del punto de equilibrio entre un servidor GPU y los tokens de una API. En el caso de Kolibri-1 hay un factor adicional que ninguna tabla refleja. Quien quiera alojar Kolibri-1 por motivos de protección de datos a menudo ni siquiera lo compara con una API. Si los documentos no pueden salir de la organización, la API queda descartada. En ese caso, la pregunta real es si conviene alquilar una GPU en un centro de datos de la UE con un acuerdo de tratamiento de datos (AVV) o comprar hardware propio. Una GPU alquilada también se encuentra en las instalaciones de un tercero. Según el RGPD (Reglamento General de Protección de Datos), esto constituye un tratamiento de datos por encargo, no una operación realizada en las instalaciones propias.

Wann ein kleineres lokales Modell die ehrliche Antwort ist

Kolibri-1 lohnt sich, wenn du seine Stärken brauchst. Laut Model Card gehören Tool-Aufrufe und die Verarbeitung von Dokumenten mit langem Kontext dazu. 262.144 Token fassen einen ganzen Vertragsordner in einer einzigen Anfrage. Sind deine Aufgaben kürzer, fällt die Kostenrechnung anders aus.

Für das Sortieren von E-Mails oder kurze Zusammenfassungen reicht oft ein Modell mit 7 bis 14 Milliarden Parametern. Mit 4-Bit-Quantisierung läuft es mit Ollama auf einem CPU-VPS mit 16 bis 32 GB RAM. Das ist langsamer als eine GPU, reicht aber für einige hundert Anfragen pro Tag. Wie das funktioniert, zeigt die Anleitung zum selbst gehosteten Ollama auf einem VPS. Die Kosten entsprechen dann dem normalen Monatspreis eines Servers und nicht einer stundenweisen GPU-Abrechnung.

Das naheliegende kleinere Modell aus demselben Haus wäre Pharia-1-LLM-7B-control. Seine Lizenz, die Open Aleph License, erlaubt laut Lizenztext jedoch nur nicht-kommerzielle und nicht-administrative Zwecke. Für den Einsatz in Unternehmen ist es deshalb keine Lösung.

Eine belastbare Entscheidung ist nur mit einem Test möglich. Nimm 50 echte Aufgaben aus deinem Arbeitsalltag. Lass sie von Kolibri-1 auf einer stundenweise gemieteten GPU und von einem kleinen Modell auf dem CPU-VPS bearbeiten. Vergleiche anschließend die Antworten. Ein paar Stunden Testbetrieb kosten im Vergleich zu einem falschen Hardwarekauf wenig.

Wie dieselbe Frage bei einem anderen offenen Modell ausfällt, zeigt was für das selbst gehostete Kimi K3 erforderlich ist. Der Vergleich erleichtert die Einordnung: Kolibri-1 gehört mit rund 78 GB Gewichten zu den Modellen, die noch auf eine einzelne Karte passen.

FAQ

Darf ich Kolibri-1 kommerziell nutzen?

Ja. Kolibri-1 steht laut Model Card unter Apache 2.0. Du darfst es im Unternehmen einsetzen und auch verändert weitergeben, wenn du den Lizenztext und die Hinweise beilegst. Das unterscheidet Kolibri-1 von der früheren Pharia-Reihe: Die Card von Pharia-1-LLM-7B-control nennt die Open Aleph License, die laut Lizenztext nur nicht-kommerzielle und nicht-administrative Zwecke erlaubt.

Läuft Kolibri-1 mit Ollama oder auf der CPU?

Nicht offiziell. Aleph Alpha veröffentlicht nur den Weg über vLLM auf NVIDIA-GPUs, mit dem Plugin aleph-alpha-inference. Es gibt GGUF-Dateien aus mehreren Community-Repositories, etwa 47,5 GB in Q4_K_M. Sie brauchen ein gepatchtes llama.cpp, weil das normale llama.cpp die Architektur kolibri1 nicht kennt. Einige Autoren melden bestandene Abruftests mit langem Kontext, bis über 700.000 Token. Einen Benchmark-Vergleich mit dem FP8-Original gibt es nach ihren eigenen Angaben aber nicht.

Reicht eine einzelne H100 mit 80 GB für Kolibri-1?

Nein. Die FP8-Gewichte belegen schon rund 78 GB. Für den KV-Cache, der den Kontext hält, bleibt praktisch nichts übrig. Die Card nennt als Minimum unter anderem zwei H100 SXM5 oder eine H200. Bei zwei Karten startest du vLLM mit --tensor-parallel-size 2.

Wie schalte ich den Denkmodus von Kolibri-1 ab?

Der Denkmodus ist standardmäßig an. Pro Anfrage schaltest du ihn mit "chat_template_kwargs": {"enable_thinking": false} im JSON-Body ab. Laut Card wirkt auch reasoning_effort mit dem Wert none. Ist der Modus an, trennt --reasoning-parser kolibri1 den Denktext von der eigentlichen Antwort.