Self-hosting di Kolibri-1: requisiti e costi

Kolibri-1 selbst hosten: die kurze Antwort

Kolibri-1 può essere self-hosted, ma non su un VPS comune. Aleph Alpha, con sede a Heidelberg, distribuisce il modello con licenza Apache 2.0. I pesi in formato FP8 occupano circa 78 GB. Il metodo ufficiale prevede vLLM su almeno una H200 oppure su due schede grafiche con 80 GB di memoria ciascuna. Non esiste un metodo ufficiale per CPU, GGUF, llama.cpp o Ollama.

Per molti lettori in Germania la domanda principale è una sola: i dati restano all'interno dell'azienda? Con Kolibri-1 è possibile, e la licenza non lo impedisce. Il limite è l'hardware.

Stato delle informazioni: tutto ciò che segue si basa sulla Model Card di Aleph-Alpha/Kolibri-1 nella revisione e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, 3 ottobre 2026) e sul pacchetto aleph-alpha-inference nella versione 1.0.0. Ultima verifica: 13 ottobre 2026. Le revisioni successive possono riportare valori diversi. Verificali prima di noleggiare o acquistare l'hardware.

Cosa stabilisce la Model Card di Kolibri-1

• Architettura: MoE (Mixture of Experts). Il modello è composto da molte sottoreti, chiamate esperti. Per ogni token ne vengono calcolate solo alcune.
• Dimensioni: 78 miliardi di parametri complessivi, di cui 3,46 miliardi attivi per token. Il modello ha 50 livelli, ciascuno con 384 esperti; per ogni token ne vengono selezionati 6.
• Contesto: 262.144 token nativi. Secondo la Card, la qualità è stata validata fino a 1.048.576 token.
• Pesi: FP8 (numeri in virgola mobile a 8 bit) nel formato float8_e4m3fn, organizzati in blocchi di 128×128. Embedding e LM-Head sono in bfloat16. Secondo la Card, il totale è di circa 78 GB. Il repository occupa 78,9 GB.
• Dati di addestramento: 62,5 % in inglese, 23,9 % in tedesco e 13,6 % di codice, con un preaddestramento su 20 bilioni di token. È incluso anche un tokenizer che, secondo la Card, è ottimizzato per la struttura delle parole tedesche.
• Licenza: Apache 2.0. Il repository non è gated. Non devi quindi richiedere l'accesso.

Il punto più importante è nelle prime due righe. 3,46 miliardi di parametri attivi significano un carico di calcolo ridotto per token. Il fabbisogno di memoria, però, dipende da tutti i 78 miliardi di parametri. Il router seleziona esperti diversi per ogni token. Per questo tutti gli esperti devono risiedere sempre nella memoria della GPU. Un modello MoE esegue calcoli come un modello piccolo, ma occupa memoria come un modello grande.

Anche il tokenizer ha un effetto pratico. Un tokenizer suddivide il testo in token. Se è poco adatto alla lingua, una parola tedesca lunga viene suddivisa in molti frammenti piccoli. Questo consuma contesto e tempo di calcolo. Un tokenizer ottimizzato per il tedesco richiede meno token per lo stesso testo.

I numeri dei benchmark della Card

Aleph Alpha indica per il modello sottoposto a fine-tuning due valori complessivi. Sono risultati della valutazione interna del produttore, non di un test indipendente.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

In tedesco, secondo la Card, Kolibri-1 raggiunge 70.8 punti; in inglese raggiunge 75.5. Anche questo modello è quindi leggermente più forte in inglese. Solo un test sui tuoi documenti può mostrare se è adatto alle tue attività.

Cosa è cambiato rispetto a Pharia

La precedente famiglia di modelli di Aleph Alpha si chiamava Pharia. La Card di Pharia-1-LLM-7B-control indica la Open Aleph License. Questa licenza consente la ricerca e l'insegnamento non commerciali. Per l'uso commerciale era necessario contattare direttamente Aleph Alpha. Kolibri-1 è invece distribuito con licenza Apache 2.0. Puoi quindi usare il modello in azienda e distribuirne anche versioni modificate, purché includa il testo della licenza e le relative comunicazioni.

Quale GPU serve per Kolibri-1?

La scheda tecnica indica due livelli. Minimo: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 o 1× B300. Consigliato: 2× H100 SXM5, 2× H200, 1× B200 o 1× B300.

Perché una singola H100 non è sufficiente? Il calcolo è semplice. Dalla memoria della GPU, la VRAM (video random access memory), si sottrae lo spazio occupato dai pesi. Lo spazio rimanente serve soprattutto al KV-cache di vLLM. Il KV-cache memorizza, per ogni token del contesto, le chiavi e i valori (keys e values) dei livelli di Attention. Senza questo cache, il modello non può mantenere il contesto.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

Una H100 dispone di 80 GB e i pesi occupano 79 GB. Il calcolo teorico lascia 1 GB liberi. Non è sufficiente per un contesto utile. Una H200 lascia liberi 62 GB, mentre due H200 lasciano liberi 203 GB. La riserva effettiva è inferiore. Per impostazione predefinita, vLLM utilizza solo il 92% della memoria della GPU (--gpu-memory-utilization, valore predefinito 0.92 in vLLM 0.29.0), e anche le attivazioni richiedono spazio. I valori sono stime arrotondate, non misurazioni.

Due caratteristiche dell’architettura riducono il carico sul KV-cache. Primo, secondo la scheda tecnica, Kolibri-1 combina livelli con Sliding-Window-Attention e livelli con Attention completa in rapporto 4:1. Un livello Sliding-Window memorizza soltanto i token contenuti in una finestra di dimensione fissa. Per questo motivo, il relativo cache non cresce con l’intera lunghezza del contesto. Secondo, la scheda tecnica consiglia --kv-cache-dtype fp8. In questo modo, ogni voce del cache occupa metà della memoria richiesta con 16 bit. I livelli con Attention completa continuano comunque a crescere a ogni token. Con 262.144 token, la memoria disponibile su una singola H200 è appena sufficiente.

Perché un VPS comune non può eseguire Kolibri-1

Aleph Alpha pubblica soltanto il metodo basato su vLLM con GPU. La Card non indica né l'esecuzione su CPU né il supporto per GGUF, llama.cpp o Ollama. Un VPS comune basato su CPU non dispone di memoria della GPU. Manca quindi il requisito fondamentale per questo metodo.

Su Hugging Face esistono comunque conversioni in GGUF realizzate dalla community. Il 6 ottobre 2026 la ricerca di "kolibri-1 gguf" mostrava otto repository per Kolibri-1; il 13 ottobre 2026 erano diventati undici. Il file Q4_K_M occupa circa 47,5 GB e, in teoria, potrebbe rientrare in un server con 64 GB di RAM. Tuttavia, i repository verificati il 6 ottobre 2026 dichiarano esplicitamente che llama.cpp standard non conosce l'architettura kolibri1. Serve una versione con patch basata su uno specifico commit. Al 13 ottobre 2026 la situazione non era cambiata: in llama.cpp esisteva soltanto una feature request aperta per Kolibri-1. Alcuni autori hanno comunque testato contesti lunghi. Prompt48 riporta, per Q4_K_M su una A100, il recupero esatto di un'informazione di test (Needle) a 195.935 token e, con contesto esteso, a 718.803 token. Hob-forge recupera tre fatti nascosti fino a 253.646 token, in un'esecuzione con -c 262144. Si tratta di test di recupero, non di benchmark. Prompt48 e Hob-forge dichiarano esplicitamente che manca un confronto prestazionale con l'originale FP8. Per i dati aziendali non è una base sufficiente. È un esperimento.

La guida su quanto può essere grande un LLM per la tua RAM calcola passo per passo quanta RAM richiede un modello con ciascun tipo di quantizzazione. Il confronto tra Ollama e vLLM spiega perché in questo caso lo strumento indicato è vLLM: vLLM è progettato per gestire molte richieste parallele su GPU, mentre Ollama è pensato per avviare facilmente modelli quantizzati.

Installare Kolibri-1 con vLLM

Ti serve un server Linux con una GPU NVIDIA compatibile e il driver installato. Per sapere cosa verificare quando noleggi il server, consulta la panoramica sui VPS con GPU. Controlla prima l’hardware effettivamente disponibile:

nvidia-smi --query-gpu=name,memory.total --format=csv

L’output indica il nome e la memoria in MiB per ogni scheda. Una H100 dovrebbe riportare circa 81.000 MiB, mentre una H200 circa 143.000 MiB. Se il comando non rileva alcun driver, il driver NVIDIA non è installato. In questo caso neppure vLLM rileverà la GPU.

Crea quindi un ambiente Python dedicato. Il pacchetto installa vLLM e PyTorch entro intervalli di versione definiti. Un ambiente separato evita interferenze con gli altri programmi presenti sul server.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

La Card scrive pip install 'aleph-alpha-inference>=1'. In questo caso la versione è fissata a 1.0.0. In questo modo una versione successiva non modifica la configurazione senza preavviso. La versione 1.0.0 richiede Python 3.10 o successivo e vLLM dalla versione 0.29.0, ma precedente alla 0.30.0. pip show dovrebbe quindi mostrare una versione vLLM 0.29.x. Il pacchetto è un plugin per vLLM. Registra i parser kolibri1 per il reasoning e le chiamate agli strumenti. Senza il plugin, vLLM non riconosce questi nomi.

Aleph Alpha fornisce anche un’immagine container: ghcr.io/aleph-alpha/aleph-alpha-inference. Se gestisci server GPU con container, puoi usare questo metodo.

Disattivare la telemetria di vLLM

Per impostazione predefinita, vLLM invia statistiche anonime sull’utilizzo. Se vuoi impedire qualsiasi comunicazione in uscita dal server, disattiva questa funzione prima dell’avvio:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Avviare il server

Il comando segue la Card, con due aggiunte: una revisione fissa e il binding su localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

--revision stabilisce quale versione dei pesi deve essere caricata. Senza questa opzione, vLLM carica la versione corrente da main. Se Aleph Alpha modifica il repository, il modello cambia al download successivo. --host 127.0.0.1 rende l’API raggiungibile soltanto localmente. Senza questa opzione, vLLM resta in ascolto su tutte le interfacce di rete. La porta 8000 sarà quindi aperta quando il firewall ne consentirà il traffico.

Se usi due GPU, aggiungi --tensor-parallel-size 2. Questa opzione distribuisce ogni layer su entrambe le schede. Senza di essa, vLLM usa una sola GPU e i pesi non entrano in una singola scheda da 80 GB.

Al primo avvio, vLLM scarica circa 79 GB da Hugging Face in ~/.cache/huggingface. Assicurati di avere spazio libero sufficiente sia per il download sia per l’ambiente Python. Dopo il primo download completato correttamente, puoi usare export HF_HUB_OFFLINE=1 per impedire ogni ulteriore accesso a Hugging Face. Da quel momento i pesi verranno letti soltanto dalla cache locale.

Se la memoria non è sufficiente per il contesto completo di 262.144 token, vLLM non si avvia. Il messaggio di errore indica che la cache KV è troppo piccola per la lunghezza massima della sequenza. In questo caso imposta un limite inferiore, ad esempio --max-model-len 65536. Per avviare il contesto esteso fino a 1.048.576 token, la Card usa --max-model-len 1048576 e --hf-overrides '{"max_position_embeddings": 1048576}'. Questa configurazione richiede molta più memoria e deve essere usata con le configurazioni consigliate.

Verificare che il modello risponda

Quando il log indica che il server è in esecuzione sulla porta 8000, verifica l’API compatibile con OpenAI:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

La prima chiamata dovrebbe elencare Aleph-Alpha/Kolibri-1 come modello. La seconda dovrebbe restituire JSON in cui choices[0].message.content indica Paris. enable_thinking: false disattiva la modalità di ragionamento per questa richiesta. Per impostazione predefinita, la modalità è attiva. Secondo la Card, anche reasoning_effort ha effetto con il valore none. Per il sampling, la Card consiglia temperature=1.0, top_p=0.97 e top_k=128.

Per accedere dal tuo computer non devi aprire una porta. È sufficiente un tunnel SSH:

ssh -L 8000:127.0.0.1:8000 user@dein-server

L’API sarà quindi raggiungibile dal tuo computer all’indirizzo http://127.0.0.1:8000. Se devono accedere altri servizi della rete, imposta anche --api-key e configura davanti un reverse proxy con TLS (transport layer security).

Quanto costa un’ora di Kolibri-1 in euro?

I prezzi del noleggio GPU variano molto in base al provider e alla regione. Il calcolo seguente usa due ipotesi, aggiornate a ottobre 2026: 3,50 euro all’ora per una H200 e 2,50 euro all’ora per una H100 SXM5, entrambe on demand ed escluse IVA. I provider specializzati di GPU possono avere prezzi inferiori, mentre i hyperscaler nelle regioni UE spesso applicano prezzi nettamente più alti. Sostituisci questi valori con le tue offerte. Il metodo di calcolo resta invariato.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

Un mese ha in media 730 ore. Se una H200 resta attiva 24 ore su 24, il costo è di 2555 euro al mese. La variante consigliata con due H100 costa 3650 euro. Chi avvia la macchina soltanto durante l’orario d’ufficio, per 8 ore al giorno e 22 giorni lavorativi, quindi per 176 ore, paga 616 euro. In questo caso, però, a ogni avvio i pesi devono essere ricaricati nella memoria della GPU, operazione che richiede alcuni minuti.

Da quando conviene rispetto ai token API?

La Card, aggiornata a ottobre 2026, non indica un’API gestita per Kolibri-1. Confrontare i prezzi dei token significa quindi confrontare Kolibri-1 eseguito su una GPU propria con un altro modello utilizzato tramite API. Per il calcolo si assumono due prezzi per milione di token, considerando insieme input e output: 0,50 euro per un modello economico e 2 euro per un modello più costoso.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

Con un prezzo di 0,50 euro per milione di token, la H200 in esecuzione continua copre i propri costi soltanto a partire da 5110 milioni di token al mese. Si tratta in media di 1944 token al secondo, giorno e notte senza interruzioni. Con 2 euro per milione di token, la soglia della variante utilizzata durante l’orario d’ufficio scende a 308 milioni di token. Devi misurare se una singola scheda raggiunge questo throughput con la tua combinazione di lunghezza del prompt e lunghezza della risposta. Il calcolo indica soltanto il volume a partire dal quale il confronto diventa rilevante.

Il metodo completo, che considera utilizzo e inattività, è descritto nel calcolo del punto di pareggio tra server GPU e token API. Per Kolibri-1 c’è inoltre un aspetto che nessuna tabella può rappresentare. Chi vuole eseguire Kolibri-1 in modalità self-hosted per motivi legati ai dati spesso non lo confronta affatto con un’API. Se i documenti non possono uscire dall’organizzazione, l’API non è un’opzione. La domanda reale diventa quindi: conviene noleggiare una GPU in un data center dell’UE con un accordo di nomina a responsabile del trattamento (AVV), oppure acquistare hardware proprio? Anche una GPU a noleggio si trova presso un terzo. Ai sensi del GDPR (Regolamento generale sulla protezione dei dati), si tratta di un trattamento dei dati per conto del titolare e non di un’operazione eseguita internamente.

Quando un modello locale più piccolo è la scelta corretta

Kolibri-1 conviene quando ti servono i suoi punti di forza. Secondo la model card, tra questi rientrano le chiamate agli strumenti e l'elaborazione di documenti con contesto lungo. 262.144 token consentono di includere un'intera cartella di contratti in una sola richiesta. Se le tue attività sono più brevi, il calcolo cambia.

Per ordinare le e-mail o generare brevi riepiloghi, spesso è sufficiente un modello con 7-14 miliardi di parametri. Quantizzato a 4 bit, può essere eseguito con Ollama su un VPS CPU con 16-32 GB di RAM. È più lento di una GPU, ma sufficiente per alcune centinaia di richieste al giorno. La procedura è descritta in questa guida per ospitare autonomamente Ollama su un VPS. In questo caso i costi corrispondono al normale canone mensile di un server, non al costo orario di una GPU.

Il modello piccolo più immediato della stessa organizzazione sarebbe Pharia-1-LLM-7B-control. Tuttavia, secondo il testo della licenza, la sua licenza, Open Aleph License, consente soltanto usi non commerciali e non amministrativi. Per l'impiego in azienda, quindi, non è una soluzione.

Puoi prendere una decisione informata soltanto con un test. Seleziona 50 attività reali del tuo lavoro quotidiano. Fai risolverle a Kolibri-1 su una GPU noleggiata a ore e a un modello piccolo sul VPS CPU. Poi confronta le risposte. Alcune ore di noleggio per il test costano poco rispetto all'acquisto di hardware inadatto.

Il risultato della stessa domanda con un altro modello aperto è descritto in cosa serve per ospitare autonomamente Kimi K3. Il confronto aiuta a inquadrare il modello: con circa 78 GB di pesi, Kolibri-1 appartiene ai modelli che possono ancora essere eseguiti su una singola scheda.

FAQ

Posso usare Kolibri-1 a fini commerciali?

Sì. Secondo la Model Card, Kolibri-1 è distribuito con licenza Apache 2.0. Puoi utilizzarlo in azienda e distribuirne anche versioni modificate, purché includa il testo della licenza e le relative note. Questo distingue Kolibri-1 dalla precedente serie Pharia: la Card di Pharia-1-LLM-7B-control indica la Open Aleph License, che secondo il testo della licenza consente soltanto usi non commerciali e non amministrativi.

Kolibri-1 funziona con Ollama o su CPU?

Non ufficialmente. Aleph Alpha pubblica soltanto il metodo basato su vLLM e GPU NVIDIA, con il plugin aleph-alpha-inference. Esistono file GGUF in diversi repository della community, per esempio file Q4_K_M di circa 47,5 GB. Richiedono una versione con patch di llama.cpp, perché llama.cpp standard non conosce l'architettura kolibri1. Alcuni autori riportano test di recupero riusciti con contesti lunghi, fino a oltre 700.000 token. Tuttavia, secondo le loro stesse indicazioni, manca un confronto prestazionale con l'originale FP8.

Una singola H100 con 80 GB è sufficiente per Kolibri-1?

No. I pesi FP8 occupano già circa 78 GB. Per la KV cache, che conserva il contesto, rimane praticamente spazio insufficiente. La Card indica come configurazione minima, tra le altre, due H100 SXM5 oppure una H200. Con due schede, avvia vLLM con --tensor-parallel-size 2.

Come disattivo la modalità di ragionamento di Kolibri-1?

La modalità di ragionamento è attiva per impostazione predefinita. Puoi disattivarla per ogni richiesta con "chat_template_kwargs": {"enable_thinking": false} nel corpo JSON. Secondo la Card, anche reasoning_effort con il valore none produce questo effetto. Quando la modalità è attiva, --reasoning-parser kolibri1 separa il testo del ragionamento dalla risposta vera e propria.