Kolibri-1 mit llama.cpp auf einem CPU-VPS

Kolibri-1 auf einem CPU-VPS: die kurze Antwort

Kolibri-1 läuft auf einem CPU-VPS ohne Grafikkarte, wenn Sie das quantisierte GGUF-Modell mit dem offiziellen llama.cpp betreiben. Für die Variante Q4_K_M brauchen Sie einen Server mit 64 GB RAM, denn die Datei allein ist 49.76 GB groß und der Kontext kommt noch dazu. Möglich ist das erst seit dem 17. Oktober 2026. An diesem Tag wurde die Unterstützung für Kolibri-1 in llama.cpp aufgenommen.

Diese Anleitung beschreibt genau diesen Weg. Sie installieren ein festes llama.cpp-Release und laden eine feste Modellversion von Hugging Face. Dann starten Sie llama-server nur auf 127.0.0.1 und mit API-Schlüssel. Am Ende messen Sie die Geschwindigkeit auf Ihren eigenen vCPUs. Eine Zahl für Token pro Sekunde auf einem VPS steht hier bewusst nicht. Wir haben sie auf keinem VPS gemessen, und eine geschätzte Zahl hilft Ihnen nicht bei der Planung.

Was dieser Weg ist und was nicht

Aleph Alpha veröffentlicht Kolibri-1 als zweisprachiges Modell für Deutsch und Englisch unter der Lizenz Apache 2.0. Laut Modellkarte hat es 78,1 Milliarden Parameter insgesamt und 3,46 Milliarden aktive Parameter pro Token. Es ist ein Reasoning-Modell: Vor der eigentlichen Antwort schreibt es einen Denkteil.

Der Weg des Herstellers sieht anders aus. Die FP8-Fassung belegt laut Aleph Alpha rund 78 GB und braucht mindestens zwei A100 mit 80 GB, zwei H100 SXM5 oder eine einzelne H200, B200 oder B300. Sie läuft mit vLLM und dem Paket aleph-alpha-inference. Was dieser GPU-Weg verlangt, steht in Was es braucht, Kolibri-1 selbst zu hosten. Hier geht es um den anderen Weg: quantisierte Gewichte im GGUF-Format auf einem einzelnen VPS ohne GPU. Die Quantisierung kostet etwas Antwortqualität. Dafür brauchen Sie keine Grafikkarte.

Warum eine CPU ein 78B-Modell überhaupt schafft

Kolibri-1 ist ein MoE-Modell (Mixture of Experts, also eine Mischung aus Experten). Jede Schicht hat 384 Experten. Laut config.json sind pro Token davon 6 aktiv, dazu kommt ein gemeinsamer Experte. Ein erzeugtes Token berührt deshalb nur einen kleinen Teil der Gewichte.

Für eine CPU ist genau das entscheidend. Beim Erzeugen von Text ist meist nicht die Rechenleistung der Engpass, sondern die Speicherbandbreite. Für jedes Token muss die CPU die benötigten Gewichte aus dem RAM lesen. Eine grobe eigene Rechnung: Die Q4_K_M-Datei speichert 78,1 Milliarden Parameter in 49.76 GB, das sind gut 5 Bit pro Parameter. Bei 3,46 Milliarden aktiven Parametern liest die CPU pro Token also etwa 2,2 GB. Ein dichtes Modell derselben Größe müsste pro Token die ganze Datei lesen, also mehr als das Zwanzigfache. Diese Rechnung ist eine Schätzung und keine Messung. Sie erklärt aber, warum ein MoE-Modell dieser Größe auf einer CPU brauchbar ist und ein dichtes Modell nicht.

Der Haken: Alle 78,1 Milliarden Parameter müssen trotzdem im RAM liegen. Welche Experten das nächste Token braucht, entscheidet das Modell erst in diesem Moment. Deshalb bestimmt die Dateigröße, wie viel RAM der Server haben muss. Die Zahl der aktiven Parameter bestimmt dagegen, wie schnell er Text erzeugt. Die allgemeine Rechnung dahinter erklärt der Artikel wie groß ein LLM für Ihren RAM sein darf.

Welche llama.cpp-Version Kolibri-1 unterstützt

Der Pull Request #30673 mit dem Titel „model : add Kolibri-1 (Aleph-Alpha) support“ wurde am 17. Oktober 2026 in llama.cpp übernommen. Die Architektur heißt dort kolibri1. b11709 ist das erste getaggte Release, das diese Unterstützung enthält. Ältere Builds kennen die Architektur nicht. Sie brechen beim Laden mit einer Meldung ab, die unknown model architecture: 'kolibri1' enthält.

Diese Anleitung nimmt trotzdem nicht b11709, sondern b11716. Der Grund steht auf der Modellkarte von bartowski: Die GGUF-Dateien wurden mit b11716 erstellt, und die Karte verlangt dieses Release oder ein neueres. Am 18. Oktober 2026 gibt es bereits b11717 bis b11719. b11716 ist also nicht die neueste Version, sondern ein bewusster Pin. llama.cpp veröffentlicht oft mehrere Builds am Tag. Ein fester Pin bedeutet, dass sich Ihr Server nur ändert, wenn Sie es entscheiden. Wie Sie solche Pins pflegen und kontrolliert anheben, zeigt llama.cpp-Releases auf einem Server festschreiben.

Welche GGUF-Datei passt in wie viel RAM?

Für Kolibri-1 gibt es inzwischen mehrere GGUF-Sammlungen. Diese Anleitung nutzt bartowski/Kolibri-1-GGUF, weil diese Dateien mit dem offiziellen Release b11716 erstellt wurden. Die Sammlung ist frei zugänglich, Sie brauchen kein Hugging-Face-Konto. Die Dateigrößen unten sind die Werte, die die Modellkarte angibt. Die zweite Spalte ist unsere Empfehlung für den RAM des VPS und keine Herstellerangabe.

[
  {
    "label": "Q4_K_M",
    "dateigroesse_gb": "49.76",
    "empfohlener_vps_ram_gb": 64
  },
  {
    "label": "Q4_K_S",
    "dateigroesse_gb": "46.40",
    "empfohlener_vps_ram_gb": 64
  },
  {
    "label": "IQ4_XS",
    "dateigroesse_gb": "43.63",
    "empfohlener_vps_ram_gb": 64
  },
  {
    "label": "Q3_K_M",
    "dateigroesse_gb": "37.62",
    "empfohlener_vps_ram_gb": 48
  }
]

Die Empfehlung folgt aus einer einfachen Regel. Modelldatei, Kontext, Rechenpuffer und Betriebssystem müssen zusammen in den RAM passen, und es muss Reserve bleiben. Fehlt die Reserve, beendet der Kernel den Prozess.

• Q4_K_M (49.76 GB): Die Karte nennt sie „Good quality, default size for most use cases“ und empfiehlt sie. Auf einem VPS mit 64 GB bleiben nach der Datei grob 12 bis 14 GB für System und KV-Cache. Diese Anleitung verwendet Q4_K_M.
• IQ4_XS (43.63 GB): Laut Karte kleiner als Q4_K_S bei ähnlicher Leistung. Auf 64 GB bleibt mehr Platz für einen langen Kontext. Auf 48 GB bleiben nur gut 4 GB, und das ist für einen stabilen Betrieb zu wenig.
• Q3_K_M (37.62 GB): Die Karte nennt sie selbst „Low quality“. Sie passt auf einen VPS mit 48 GB. Rechnen Sie mit spürbar schwächeren Antworten, gerade bei langen Denkketten.

Die Karte gibt alle Dateigrößen in GB an, sagt aber nicht, ob damit 10^9 Byte oder GiB gemeint sind. Prüfen Sie nach dem Download deshalb mit ls -lh und nach dem Start mit free -h, wie viel RAM wirklich frei bleibt. Wie sich die Stufen grundsätzlich unterscheiden, erklärt der Vergleich der Quantisierung Q4, Q8 und FP16.

Wie viel Speicher braucht der Kontext?

Aleph Alpha nennt für Kolibri-1 einen Kontext von 1.048.576 Token. Für den Betrieb empfiehlt der Hersteller aber höchstens 262.144 Token, denn das ist die native Kontextlänge aus der letzten Trainingsphase. llama-server übernimmt ohne die Option -c den Wert aus dem Modell. Setzen Sie -c deshalb immer selbst, sonst plant der Server Speicher für einen Kontext, den Sie nie brauchen.

Der KV-Cache (der Zwischenspeicher für bereits gelesene Token) ist bei Kolibri-1 klein. Der Grund: Nur 10 der 50 Schichten rechnen Attention über den ganzen Kontext. Die anderen 40 Schichten sehen nur ein gleitendes Fenster von 513 Token. Unsere eigene Rechnung für die 10 vollen Schichten lautet: 4 KV-Köpfe mal 128 Dimensionen mal 2 (K und V) mal 2 Byte (f16) mal 10 Schichten. Das ergibt 20.480 Byte pro Token. Bei 32.768 Token Kontext sind das etwa 0,67 GB, bei 262.144 Token etwa 5,4 GB. Dazu kommen Rechenpuffer und der Prompt-Cache von llama-server. Diese Zahlen sind eine Schätzung. Das Startprotokoll von llama-server nennt die echten Puffergrößen, und free -h zeigt, was danach übrig ist.

Welcher VPS-Tarif passt?

Diese Anleitung geht von Ubuntu 24.04 auf einem KVM-VPS aus. Bei SSD Nodes passt am 18. Oktober 2026 der Tarif KVM 8X-LARGE zu Q4_K_M. Er hat 64 GB RAM, 12 vCPUs vom Typ Intel Silver und 1,2 TB NVMe. Die Preisseite nennt dafür 216 US-Dollar pro Jahr, also 18 US-Dollar im Monat, bei einer Laufzeit von drei Jahren. Der Tarif 4X-LARGE mit 48 GB RAM und 720 GB NVMe kostet dort 197 US-Dollar pro Jahr und reicht für Q3_K_M. Die Preisseite zeigt nur US-Dollar und keinen Euro-Preis. Prüfen Sie den Endbetrag in Ihrer Währung deshalb im Warenkorb.

Der Speicherplatz ist kein Engpass. Auch die größte Datei aus der Tabelle braucht nur einen kleinen Teil der NVMe. Die NVMe-Geschwindigkeit merken Sie aber beim Start, denn llama-server muss rund 50 GB lesen, bevor er antwortet.

Den Server vorbereiten

Installieren Sie die wenigen Pakete, die Sie brauchen, und legen Sie einen eigenen Systembenutzer an. llama-server soll nicht als root laufen.

sudo apt update
sudo apt install -y curl ca-certificates openssl jq libgomp1
sudo useradd --system --no-create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama -m 755 /srv/models

libgomp1 ist die OpenMP-Laufzeit von GCC. Auf vielen Server-Images ist sie schon installiert. Fehlt eine Bibliothek, startet ein dynamisch gebautes Programm nicht und meldet einen Fehler, der mit error while loading shared libraries beginnt. jq brauchen Sie später, um die Antworten der API lesbar zu machen.

llama.cpp b11716 installieren und prüfen

Laden Sie das vorgebaute CPU-Paket für Ubuntu x64 und prüfen Sie die Prüfsumme, bevor Sie etwas entpacken.

cd /tmp
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b11716/llama-b11716-bin-ubuntu-x64.tar.gz
echo "8c08b19bee40d118b803d58fd8f6633ba311ce3c7f1f0138262e636f02aa11f0  llama-b11716-bin-ubuntu-x64.tar.gz" | sha256sum -c

Die Ausgabe muss llama-b11716-bin-ubuntu-x64.tar.gz: OK lauten. Steht dort FAILED, ist die Datei beschädigt oder nicht die richtige. Brechen Sie dann ab und laden Sie neu. GitHub zeigt b11716 als „Pre-release“ an. Lassen Sie sich davon nicht verunsichern: Es ist genau der Build, mit dem die Modelldateien erstellt wurden.

sudo tar -xzf llama-b11716-bin-ubuntu-x64.tar.gz -C /opt
ls /opt/llama-b11716
/opt/llama-b11716/llama-server --version

Das Archiv enthält einen Ordner llama-b11716 mit den Programmen und ihren Bibliotheken. Die Programme suchen ihre Bibliotheken im eigenen Ordner. Kopieren Sie deshalb nie einzelne Dateien an einen anderen Ort, sondern lassen Sie den Ordner zusammen. In der Liste sollten llama-server und llama-bench stehen. --version sollte die Build-Nummer 11716 und den Commit 797de63 nennen. Das Paket wurde auf Ubuntu 22.04 gebaut und läuft deshalb auch auf dem neueren Ubuntu 24.04.

Das Modell mit fester Revision herunterladen

Das Repository bartowski/Kolibri-1-GGUF ist sehr jung. Am 18. Oktober 2026 hatte es in den ersten Stunden schon 33 Commits. Laden Sie die Datei deshalb über eine feste Revision und nicht über main. Dann bekommen Sie morgen dieselbe Datei wie heute.

cd /srv/models
sudo -u llama curl -L --fail -C - \
  -o /srv/models/Kolibri-1-Q4_K_M.gguf \
  https://huggingface.co/bartowski/Kolibri-1-GGUF/resolve/ffd6001f205725f0c4af4ff93e33c04f0f8ad9f9/Kolibri-1-Q4_K_M.gguf
ls -lh /srv/models/Kolibri-1-Q4_K_M.gguf

-C - setzt einen abgebrochenen Download fort, statt neu zu beginnen. Bei rund 50 GB ist das wichtig. --fail sorgt dafür, dass curl bei einem Fehler des Servers abbricht. Ohne diese Option speichert curl sonst die Fehlerseite unter dem Namen der Modelldatei.

Prüfen Sie danach die Prüfsumme. Hugging Face zeigt auf der Dateiseite jeder großen Datei einen SHA256-Wert an. Öffnen Sie die Dateiseite für genau diese Revision und vergleichen Sie den Wert mit der Ausgabe von sha256sum /srv/models/Kolibri-1-Q4_K_M.gguf. Der Befehl braucht bei dieser Dateigröße einige Minuten.

Den API-Schlüssel anlegen

llama-server prüft API-Schlüssel selbst. Legen Sie einen zufälligen Schlüssel in einer Datei ab, die nur root und der Benutzer llama lesen dürfen.

sudo install -d -o root -g llama -m 750 /etc/llama
sudo sh -c 'umask 027; openssl rand -hex 32 > /etc/llama/api-keys'
sudo chgrp llama /etc/llama/api-keys
ls -l /etc/llama/api-keys

ls -l sollte -rw-r----- mit Besitzer root und Gruppe llama zeigen. Die Datei darf mehrere Schlüssel enthalten, einen pro Zeile. Zeilen mit # am Anfang gelten als Kommentar. So können Sie jedem Programm einen eigenen Schlüssel geben und einen einzelnen Schlüssel später wieder entfernen.

llama-server als systemd-Dienst einrichten

Ein Dienst unter systemd startet nach jedem Neustart von selbst. Legen Sie die Datei /etc/systemd/system/kolibri.service an:

[Unit]
Description=llama-server mit Kolibri-1 (Q4_K_M)
After=network-online.target
Wants=network-online.target

[Service]
User=llama
Group=llama
ExecStart=/opt/llama-b11716/llama-server \
  -m /srv/models/Kolibri-1-Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 \
  -c 32768 -np 1 -t 12 \
  --cache-ram 2048 \
  --api-key-file /etc/llama/api-keys \
  --temp 1.0 --top-p 0.97 --top-k 128 --min-p 0
Restart=on-failure

[Install]
WantedBy=multi-user.target

Jede Option hat einen Grund:

• --host 127.0.0.1 bindet den Server nur an die lokale Schnittstelle. Laut Dokumentation von b11716 ist das auch der Standard. Schreiben Sie es trotzdem hin, damit ein späteres Update den Wert nicht still ändert.
• --port 8080 legt den Port fest. Die Dokumentation von b11716 nennt als Standard 9931 und nicht 8080, wie viele ältere Anleitungen annehmen. Ein fester Wert vermeidet diese Verwirrung.
• -c 32768 begrenzt den Kontext. Ohne diese Option übernimmt llama-server den Wert aus dem Modell.
• -np 1 erlaubt eine Anfrage gleichzeitig. Mehrere parallele Anfragen teilen sich auf einer CPU dieselbe Speicherbandbreite, also wird keine davon schneller.
• -t 12 entspricht den 12 vCPUs des Tarifs. Ob weniger Threads schneller sind, messen Sie weiter unten mit llama-bench.
• --cache-ram 2048 begrenzt den Prompt-Cache im RAM auf 2048 MiB. Der Standard ist 8192 MiB. Auf einem 64-GB-Server mit Q4_K_M würde das einen großen Teil der Reserve belegen.
• --temp 1.0 --top-p 0.97 --top-k 128 sind die Werte, die Aleph Alpha auf der eigenen Modellkarte empfiehlt. llama-server nutzt sonst 0.80, 0.95 und 40. Community-Karten nennen teils andere Werte. Die Herstellerkarte ist hier die Quelle.
• --min-p 0 ist unsere eigene Wahl. Aleph Alpha nennt min-p nicht. llama-server würde sonst mit 0.05 einen zusätzlichen Filter anwenden, den der Hersteller nicht vorsieht.

Starten Sie den Dienst und beobachten Sie das Protokoll:

sudo systemctl daemon-reload
sudo systemctl enable --now kolibri
journalctl -u kolibri -f

Im Protokoll sehen Sie, wie das Modell geladen wird und wie groß KV-Cache und Puffer sind. Prüfen Sie den Zustand in einem zweiten Terminal:

curl -s http://127.0.0.1:8080/health
free -h

Solange das Modell lädt, antwortet /health mit HTTP 503 und der Meldung Loading model. Danach kommt HTTP 200 mit "status": "ok". /health ist laut Dokumentation öffentlich und verlangt keinen Schlüssel. free -h zeigt danach, wie viel RAM noch frei ist. Sinkt der freie Wert auf wenige hundert MB, ist der Kontext zu groß für diesen Server.

Erste Anfrage und Reasoning-Effort

Kolibri-1 denkt vor der Antwort nach. Wie lange, steuern Sie mit reasoning_effort. Laut Aleph Alpha sind die Werte low, medium und high erlaubt. Mit reasoning_effort gleich none oder mit enable_thinking=false schalten Sie das Denken ganz ab. Beide Werte gehen über die Chat-Vorlage an das Modell, also über chat_template_kwargs.

Wichtig ist der Fall, in dem Sie nichts setzen. Wir haben die Chat-Vorlage im BF16-Repository von Aleph Alpha gelesen. Ohne Angabe schreibt sie den Text für hohen Aufwand in den Systemprompt, und das Denken bleibt an. Ohne Einstellung erzeugt Kolibri-1 also die längsten Antworten. Auf einer CPU kostet jedes Denk-Token Zeit. Die GGUF-Datei bringt ihre eigene Kopie der Vorlage mit, und diese Kopie haben wir nicht gelesen. Prüfen Sie das Verhalten deshalb mit zwei Anfragen.

KEY=$(sudo head -n 1 /etc/llama/api-keys)
for EFFORT in low high; do
  curl -s http://127.0.0.1:8080/v1/chat/completions \
    -H "Authorization: Bearer $KEY" \
    -H "Content-Type: application/json" \
    -d '{"messages":[{"role":"user","content":"Was ist ein Mixture-of-Experts-Modell? Zwei Sätze."}],"max_tokens":2048,"chat_template_kwargs":{"reasoning_effort":"'"$EFFORT"'"}}' \
    | jq '.usage.completion_tokens'
done

Die erste Zahl gilt für low, die zweite für high. Bei low sollte die Zahl der erzeugten Token deutlich kleiner sein. Sind beide Zahlen ähnlich, kommt der Wert nicht beim Modell an. Lassen Sie dann | jq '.usage.completion_tokens' weg und lesen Sie die ganze Antwort.

Wollen Sie einen anderen Standard für alle Anfragen, ergänzen Sie in ExecStart die Option --chat-template-kwargs '{"reasoning_effort":"medium"}'. Laden Sie danach systemd neu, starten Sie den Dienst neu und wiederholen Sie den Test.

Prüfen Sie zum Schluss, dass der Schlüssel wirklich verlangt wird. Diese Anfrage sendet keinen Schlüssel:

curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"messages":[{"role":"user","content":"Hallo"}],"max_tokens":8}'

Hier darf nicht 200 stehen. Erwartet ist ein Fehlercode wie 401. Steht dort 200, liest llama-server die Schlüsseldatei nicht. Prüfen Sie dann den Pfad in ExecStart und die Rechte der Datei.

Von außen zugreifen, ohne den Port zu öffnen

Öffnen Sie Port 8080 nicht in der Firewall. Für den eigenen Rechner reicht ein SSH-Tunnel:

ssh -N -L 8080:127.0.0.1:8080 benutzer@ihr-server

Solange der Tunnel läuft, erreichen Sie die API auf Ihrem Rechner unter http://127.0.0.1:8080. Der Verkehr läuft verschlüsselt durch SSH. Sollen andere Programme oder andere Menschen den Server über das Internet nutzen, gehört ein Reverse Proxy mit TLS (Transport Layer Security) davor. Wie das mit llama-server aussieht, zeigt llama.cpp-Server auf einem VPS betreiben.

Wie schnell ist Kolibri-1 auf Ihrem VPS?

Es gibt bisher nur einen veröffentlichten Messwert für Kolibri-1 auf einer CPU, und er stammt nicht von einem VPS. Auf der Modellkarte von Hob-forge steht ein Desktop-Ergebnis vom 7. Oktober 2026: AMD Ryzen 7 7800X3D, 128 GB DDR5-6400, 8 Threads, Flash Attention an, GPU ausgeblendet, Q4_K_M. Gemessen wurden etwa 12,3 Token pro Sekunde bei der Textausgabe und etwa 83 Token pro Sekunde beim Einlesen des Prompts. Diese Messung lief auf einem gepatchten llama.cpp und nicht auf b11716. Ein Desktop mit eigenem DDR5-Speicher hat eine andere Speicherbandbreite als ein VPS, der sich den Host mit anderen Kunden teilt. Übertragen Sie die Zahl deshalb nicht auf Ihren Server.

Messen Sie stattdessen selbst. Stoppen Sie vorher den Dienst. Sonst teilen sich zwei Prozesse RAM und CPU, und die Messung zeigt zu niedrige Werte.

sudo systemctl stop kolibri
sudo -u llama /opt/llama-b11716/llama-bench \
  -m /srv/models/Kolibri-1-Q4_K_M.gguf -t 12 -p 512 -n 128
sudo -u llama /opt/llama-b11716/llama-bench \
  -m /srv/models/Kolibri-1-Q4_K_M.gguf -t 6 -p 512 -n 128
sudo systemctl start kolibri

llama-bench wiederholt jeden Test standardmäßig fünfmal. Die Ausgabe ist eine Tabelle mit den Zeilen pp512 und tg128 und einer Spalte t/s. pp512 ist das Einlesen von 512 Prompt-Token. tg128 ist das Erzeugen von 128 Token, und diese Zahl spüren Sie im Alltag. Ist der Lauf mit 6 Threads bei tg128 gleich schnell oder schneller, ist die Speicherbandbreite der Engpass und nicht die Zahl der Kerne. Tragen Sie dann den besseren Wert für -t in die Unit-Datei ein. Wie Sie solche Messungen sauber wiederholen und vergleichen, erklärt Token pro Sekunde eines lokalen LLM messen.

Läuft Kolibri-1 mit Ollama?

Das ist am 18. Oktober 2026 eine offene Frage. Die Modellkarte von bartowski nennt den Befehl ollama run hf.co/bartowski/Kolibri-1-GGUF:Q4_K_M. Ollama bringt aber sein eigenes llama.cpp mit, und dieses muss die Architektur kolibri1 kennen. Die aktuelle Version Ollama v0.40.6 vom 16. Oktober erwähnt Kolibri in den Release Notes nicht. Die Vorabversion v0.40.7-rc0 vom 18. Oktober erwähnt es ebenfalls nicht. Welchen llama.cpp-Stand Ollama intern nutzt, haben wir nicht geprüft, und den Befehl haben wir nicht ausgeführt.

In der offiziellen Ollama-Bibliothek gibt es kein Modell mit dem Namen kolibri. Die Suche findet nur das Community-Modell robit/kolibri-1. Dessen Variante q4_k_m ist dort mit 65 GB angegeben, also deutlich größer als die Q4_K_M-Datei von bartowski. Es ist damit nicht dieselbe Datei. Wenn Sie Ollama nutzen wollen, beobachten Sie die Release Notes und testen Sie selbst. Die Unterschiede der beiden Werkzeuge erklärt Ollama oder llama.cpp. Wie Sie eine vorhandene GGUF-Datei in Ollama einbinden, zeigt ein GGUF-Modell in Ollama importieren.

Was ist mit den älteren Community-GGUFs?

Vor dem 17. Oktober gab es schon GGUF-Dateien für Kolibri-1. Die Karte von Hob-forge sagt, dass ihre Dateien für ein gepatchtes llama.cpp gebaut wurden: Upstream-Commit 836d571 plus eine eigene Patch-Datei. Sie sagt auch, dass das normale llama.cpp die Architektur nicht kennt. Diese Aussage stammt aus der Zeit vor der Übernahme in llama.cpp. Für robit/kolibri-1 konnten wir nicht feststellen, für welchen Build die Datei gemacht wurde.

Ob diese älteren Dateien im offiziellen b11716 laden, haben wir nicht geprüft. Nehmen Sie für diese Anleitung deshalb die Dateien von bartowski, die nach Angabe der Karte mit b11716 erstellt wurden.

Typische Fehler und was sie bedeuten

unknown model architecture: 'kolibri1' im Protokoll. Der Build ist älter als b11709. Prüfen Sie, dass ExecStart wirklich auf /opt/llama-b11716/llama-server zeigt und nicht auf eine ältere Installation.

Der Dienst startet und stirbt nach einiger Zeit ohne eigene Fehlermeldung. Meist hat der Kernel den Prozess wegen Speichermangel beendet. sudo dmesg | grep -i "out of memory" zeigt dann eine Zeile mit Killed process und llama-server. Senken Sie -c und --cache-ram, oder wählen Sie eine kleinere Datei aus der Tabelle oben.

/health meldet lange Loading model. Der Server liest noch die Modelldatei. Bei rund 50 GB dauert das je nach Speicher eine Weile. Prüfen Sie mit journalctl -u kolibri -n 50, ob das Protokoll noch fortschreitet.

Die Antworten brauchen sehr lange und enthalten viel Denktext. Ohne reasoning_effort arbeitet die Vorlage mit hohem Aufwand. Setzen Sie pro Anfrage low, oder setzen Sie über --chat-template-kwargs einen anderen Standard.

Die API antwortet mit einem Fehler statt mit Text. Fehlt der Header Authorization: Bearer, oder enthält er einen falschen Schlüssel, lehnt llama-server die Anfrage ab. Prüfen Sie, dass KEY die erste Zeile aus /etc/llama/api-keys enthält.

Wenn Sie das Modell als Teil eines Agenten nutzen, der lange Aufgaben selbstständig abarbeitet, begrenzen Sie auch dort die Tokenzahl. Wie Sie solche Läufe planbar halten, beschreibt Kosten von KI-Agenten auf einem VPS kontrollieren.

FAQ

Wie viel RAM braucht Kolibri-1 auf einem VPS?

Für die empfohlene Variante Q4_K_M brauchen Sie einen VPS mit 64 GB RAM. Die Datei allein hat laut Modellkarte von bartowski 49.76 GB, dazu kommen Kontext und Puffer. Mit 48 GB RAM geht nur die kleinere Q3_K_M-Datei mit 37.62 GB, die die Karte selbst als „Low quality“ einstuft. Setzen Sie den Kontext mit -c immer selbst, zum Beispiel auf 32768, und prüfen Sie nach dem Start mit free -h, wie viel frei bleibt.

Welche llama.cpp-Version brauche ich für Kolibri-1?

Die Architektur kolibri1 ist seit dem 17. Oktober 2026 in llama.cpp enthalten, das erste Release damit ist b11709. Die GGUF-Dateien von bartowski wurden mit b11716 erstellt, und die Karte verlangt b11716 oder neuer. Ein älterer Build bricht beim Laden mit unknown model architecture: 'kolibri1' ab.

Kann ich Kolibri-1 mit Ollama starten?

Das war am 18. Oktober 2026 nicht bestätigt. Die bartowski-Karte nennt ollama run hf.co/bartowski/Kolibri-1-GGUF:Q4_K_M, aber weder Ollama v0.40.6 noch v0.40.7-rc0 erwähnen Kolibri in den Release Notes, und wir haben den Befehl nicht getestet. Für einen verlässlichen Betrieb nutzen Sie llama-server aus dem offiziellen llama.cpp-Release b11716.

Wie schnell ist Kolibri-1 auf einer CPU?

Für einen VPS gibt es keinen veröffentlichten Messwert. Der einzige bekannte CPU-Wert stammt von einem Desktop mit Ryzen 7 7800X3D und DDR5-6400: etwa 12,3 Token pro Sekunde bei der Ausgabe, gemessen mit einem gepatchten llama.cpp. Ein VPS hat eine andere Speicherbandbreite. Messen Sie deshalb mit llama-bench -m <datei> -t <vCPUs> -p 512 -n 128 und lesen Sie die Zeile tg128.

Wie schalte ich das Nachdenken von Kolibri-1 ab?

Senden Sie in der Anfrage "chat_template_kwargs": {"reasoning_effort": "none"} oder {"enable_thinking": false}. Für kürzeres Denken statt gar keinem nutzen Sie low oder medium. Ohne Angabe arbeitet die Chat-Vorlage von Aleph Alpha mit hohem Aufwand. Vergleichen Sie usage.completion_tokens in der Antwort, um zu sehen, ob die Einstellung ankommt.