Хостинг модели Kolibri-1: требования к оборудованию

Самостоятельный хостинг Kolibri-1: краткий ответ

Самостоятельный хостинг Kolibri-1 возможен, но не на обычном VPS. Компания Aleph Alpha из Гейдельберга выпустила модель под лицензией Apache 2.0. Веса в формате FP8 занимают около 78 GB. Официальный способ запуска — использование vLLM на одной видеокарте H200 или на двух видеокартах с 80 GB памяти каждая. Официальных способов запуска на CPU, а также через GGUF, llama.cpp или Ollama не существует.

Для многих читателей в Германии важен один вопрос: остаются ли данные внутри компании? С Kolibri-1 это возможно, и лицензия этому не препятствует. Основное препятствие — аппаратное обеспечение.

Дата актуальности данных: всё изложенное относится к Model Card Aleph-Alpha/Kolibri-1 в ревизии e52eb4627d11516b0c01de49210ab5a4e4061444 (Hugging Face, 3 октября 2026 г.) и к пакету aleph-alpha-inference версии 1.0.0. Последняя проверка: 13 октября 2026 г. Последующие ревизии могут содержать другие цифры. Проверяйте их перед арендой или покупкой оборудования.

Что указано в Model Card для Kolibri-1

• Архитектура: MoE (Mixture of Experts). Модель состоит из множества подсетей — экспертов. Для обработки каждого токена задействуется лишь небольшая их часть.
• Размер: 78 миллиардов параметров всего, из них 3,46 миллиарда активны для каждого токена. 50 слоев, в каждом по 384 эксперта, из которых для одного токена выбираются 6.
• Контекст: 262.144 токена нативно. Согласно документации, качество валидировано для объема до 1.048.576 токенов.
• Веса: FP8 (8-битные числа с плавающей запятой) в формате float8_e4m3fn, блоками по 128×128. Embedding и LM-Head представлены в bfloat16. Суммарно, согласно документации, это около 78 ГБ. Размер самого репозитория составляет 78,9 ГБ.
• Данные для обучения: 62,5 % английский язык, 23,9 % немецкий язык и 13,6 % код, при 20 триллионах токенов предварительного обучения. Также используется токенизатор, который, согласно документации, оптимизирован под структуру немецкого языка.
• Лицензия: Apache 2.0. Репозиторий не является закрытым (gated). Запрос на доступ не требуется.

Самый важный момент содержится в первых двух пунктах. 3,46 миллиарда активных параметров означают низкую вычислительную нагрузку на токен. Однако потребность в памяти определяется всеми 78 миллиардами параметров. Маршрутизатор выбирает разных экспертов для каждого токена. Поэтому все эксперты должны постоянно находиться в видеопамяти. Таким образом, модель MoE вычисляет как небольшая модель, а занимает память как большая.

Токенизатор также имеет практическое значение. Токенизатор разбивает текст на токены. Если он плохо адаптирован к языку, длинное немецкое слово распадается на множество мелких фрагментов. Это расходует контекст и время вычислений. Токенизатор, оптимизированный для немецкого языка, требует меньше токенов для того же текста.

Результаты бенчмарков из документации

Aleph Alpha приводит два общих показателя для дообученной модели. Это цифры из внутренней оценки производителя, а не из независимого тестирования.

[
  {
    "label": "Deutsch (Overall DE)",
    "overall": 70.8
  },
  {
    "label": "Englisch (Overall EN)",
    "overall": 75.5
  }
]

На немецком языке Kolibri-1, согласно документации, достигает 70.8 баллов, на английском — 75.5. Таким образом, эта модель также немного сильнее в английском языке. Подойдет ли она для ваших задач, покажет только тестирование на ваших собственных документах.

Что изменилось по сравнению с Pharia

Предыдущая серия моделей от Aleph Alpha называлась Pharia. В документации Pharia-1-LLM-7B-control упоминалась лицензия Open Aleph License. Она разрешала некоммерческие исследования и обучение. Для коммерческого использования необходимо было связываться с Aleph Alpha напрямую. Kolibri-1, напротив, распространяется под лицензией Apache 2.0. Вы можете использовать модель в компании и передавать её в измененном виде, при условии сохранения текста лицензии и уведомлений.

Какой GPU требует Kolibri-1?

В спецификации указаны два уровня. Минимум: 2× A100 80 GB, 2× H100 SXM5, 1× H200, 1× B200 или 1× B300. Рекомендуется: 2× H100 SXM5, 2× H200, 1× B200 или 1× B300.

Почему одной H100 недостаточно? Расчёт прост. Вычтите веса модели из объёма видеопамяти (VRAM). Оставшееся пространство vLLM использует прежде всего для KV-кэша. KV-кэш хранит ключи (keys) и значения (values) слоёв внимания для каждого токена в контексте. Без него модель не может удерживать контекст.

[
  {
    "config": "1\u00d7 H100 80 GB",
    "vram_gb": 80,
    "gewichte_gb": 79,
    "rest_gb": 1
  },
  {
    "config": "1\u00d7 H200",
    "vram_gb": 141,
    "gewichte_gb": 79,
    "rest_gb": 62
  },
  {
    "config": "2\u00d7 A100 80 GB",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H100 SXM5",
    "vram_gb": 160,
    "gewichte_gb": 79,
    "rest_gb": 81
  },
  {
    "config": "2\u00d7 H200",
    "vram_gb": 282,
    "gewichte_gb": 79,
    "rest_gb": 203
  }
]

У H100 имеется 80 ГБ, веса занимают 79 ГБ. Математически остаётся 1 ГБ. Этого недостаточно для сколько-нибудь значимого контекста. H200 оставляет свободными 62 ГБ, а две H200 — 203 ГБ. Реальный запас меньше. По умолчанию vLLM использует только 92 % видеопамяти (--gpu-memory-utilization, стандартное значение 0.92 в vLLM 0.29.0), кроме того, место занимают активации. Приведённые значения являются округлёнными оценочными расчётами, а не результатами измерений.

Две особенности архитектуры снижают нагрузку на KV-кэш. Во-первых, согласно спецификации, Kolibri-1 сочетает слои с механизмом Sliding-Window-Attention и слои с полным вниманием в соотношении 4:1. Слой с «скользящим окном» хранит только токены фиксированного окна. Поэтому его кэш не растёт пропорционально полной длине контекста. Во-вторых, спецификация рекомендует --kv-cache-dtype fp8. Благодаря этому каждая запись в кэше занимает вдвое меньше памяти, чем при 16-битном представлении. Тем не менее, слои с полным вниманием растут с каждым новым токеном. При 262.144 токенах на одной H200 объёма памяти будет недостаточно.

Почему обычный VPS не может запустить Kolibri-1

Aleph Alpha официально поддерживает только запуск через vLLM на GPU. В документации не упоминаются работа на CPU, GGUF, llama.cpp или Ollama. Обычный CPU-VPS не имеет видеопамяти, что делает невозможным запуск данным способом.

Тем не менее, на Hugging Face существуют GGUF-конвертации от сообщества. Поиск по запросу «kolibri-1 gguf» 6 октября 2026 г. выдавал восемь репозиториев для Kolibri-1, а 13 октября 2026 г. их стало одиннадцать. Файл Q4_K_M весит около 47,5 GB и теоретически может поместиться на сервер с 64 GB RAM. Однако репозитории, которые мы проверили 6 октября 2026 г., указывают: стандартный llama.cpp не поддерживает архитектуру kolibri1. Требуется пропатченная версия с определенным коммитом. По состоянию на 13 октября 2026 г. ситуация не изменилась: для llama.cpp существует лишь открытый запрос на добавление функции (feature request) для Kolibri-1. Некоторые авторы тестировали работу с длинным контекстом. Prompt48 сообщает об успешном поиске тестовой информации (needle) в файле Q4_K_M на видеокарте A100 при 195 935 токенах, а с расширенным контекстом — при 718 803 токенах. Hob-forge находит три скрытых факта при объеме до 253 646 токенов в запуске с -c 262144. Это тесты на извлечение данных, а не полноценные бенчмарки. Prompt48 и Hob-forge прямо заявляют, что сравнение с результатами оригинальной FP8-модели отсутствует. Для корпоративных данных это не является надежной основой. Это лишь эксперимент.

О том, сколько оперативной памяти требуется модели при определенной квантовании, пошагово рассказывает руководство о том, какой размер LLM допустим для вашего объема RAM. Почему vLLM является предпочтительным инструментом, объясняет сравнение Ollama и vLLM: vLLM создан для большого количества параллельных запросов на GPU, а Ollama — для быстрого запуска квантованных моделей.

Установка Kolibri-1 с использованием vLLM

Вам потребуется Linux-сервер с подходящим графическим процессором NVIDIA и установленным драйвером. О том, на что обратить внимание при аренде, читайте в обзоре VPS с GPU. Сначала проверьте реальные характеристики оборудования:

nvidia-smi --query-gpu=name,memory.total --format=csv

Вывод команды показывает название и объем памяти в MiB для каждой карты. Модель H100 должна отображать около 81.000 MiB, а H200 — около 143.000 MiB. Если команда не возвращает данные о драйвере, значит, драйвер NVIDIA не установлен. В этом случае vLLM не обнаружит GPU.

Затем создайте отдельное окружение Python. Пакет подтянет vLLM и PyTorch в рамках фиксированных версий. Использование отдельного окружения предотвращает конфликты с другими программами на сервере.

sudo apt update && sudo apt install -y python3-venv
python3 -m venv ~/kolibri
source ~/kolibri/bin/activate
pip install 'aleph-alpha-inference==1.0.0'
pip show vllm aleph-alpha-inference

Карточка содержит pip install 'aleph-alpha-inference>=1'. Здесь версия жестко зафиксирована на 1.0.0. Это гарантирует, что последующие обновления не изменят вашу конфигурацию без вашего ведома. Версия 1.0.0 требует Python 3.10 или новее, а также vLLM версии от 0.29.0 до 0.30.0. Команда pip show должна показать версию vLLM 0.29.x. Пакет является плагином для vLLM. Он регистрирует парсеры kolibri1 для рассуждений (reasoning) и вызова инструментов. Без этого плагина vLLM не распознает данные имена.

Aleph Alpha также предоставляет образ контейнера: ghcr.io/aleph-alpha/aleph-alpha-inference. Если вы используете GPU-серверы с контейнерами, можно воспользоваться этим способом.

Отключение телеметрии vLLM

По умолчанию vLLM отправляет анонимную статистику использования. Если ваша цель — исключить передачу данных с сервера, отключите эту функцию перед запуском:

export VLLM_NO_USAGE_STATS=1
export DO_NOT_TRACK=1

Запуск сервера

Команда соответствует карточке, с двумя дополнениями: фиксацией ревизии и привязкой к localhost.

vllm serve Aleph-Alpha/Kolibri-1 \
  --revision e52eb4627d11516b0c01de49210ab5a4e4061444 \
  --host 127.0.0.1 --port 8000 \
  --kv-cache-dtype fp8 \
  --reasoning-parser kolibri1 \
  --tool-call-parser kolibri1 \
  --enable-auto-tool-choice

Параметр --revision определяет, какая версия весов будет загружена. Без этой опции vLLM загружает текущую версию из main. Если Aleph Alpha изменит репозиторий, ваша модель обновится при следующей загрузке. Параметр --host 127.0.0.1 делает API доступным только локально. Без этой опции vLLM будет прослушивать все сетевые интерфейсы. Порт 8000 станет открытым, как только его разрешит файрвол.

При наличии двух GPU добавьте --tensor-parallel-size 2. Эта опция распределяет каждый слой между обеими картами. Без неё vLLM использует только один GPU, а веса не поместятся на одну карту объемом 80 ГБ.

При первом запуске vLLM загрузит около 79 ГБ с Hugging Face в ~/.cache/huggingface. Заранее выделите достаточно места на диске для этого процесса и для окружения Python. После успешной первой загрузки вы можете запретить любое дальнейшее обращение к Hugging Face с помощью export HF_HUB_OFFLINE=1. Веса будут считываться только из локального кэша.

Если памяти недостаточно для полного контекста в 262.144 токена, vLLM не запустится. Сообщение об ошибке укажет на то, что KV-кэш слишком мал для максимальной длины последовательности. В этом случае установите меньший лимит, например --max-model-len 65536. Расширенный контекст до 1.048.576 токенов запускается согласно карточке с помощью --max-model-len 1048576 и --hf-overrides '{"max_position_embeddings": 1048576}'. Это требует значительно больше памяти и допустимо только на рекомендованных конфигурациях.

Проверка ответа модели

Как только в логах появится сообщение о том, что сервер запущен на порту 8000, протестируйте API, совместимый с OpenAI:

curl http://127.0.0.1:8000/v1/models
curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model": "Aleph-Alpha/Kolibri-1", "messages": [{"role": "user", "content": "Was ist die Hauptstadt von Frankreich?"}], "chat_template_kwargs": {"enable_thinking": false}}'

Первый вызов должен вернуть Aleph-Alpha/Kolibri-1 в качестве модели. Второй должен вернуть JSON, в котором choices[0].message.content указывает на Париж. Параметр enable_thinking: false отключает режим рассуждения для этого запроса. По умолчанию он включен. Согласно карточке, также применяется reasoning_effort со значением none. Для сэмплирования карточка рекомендует temperature=1.0, top_p=0.97 и top_k=128.

Для доступа с вашего компьютера открывать порт не нужно. Достаточно SSH-туннеля:

ssh -L 8000:127.0.0.1:8000 user@dein-server

После этого API будет доступен на вашем компьютере по адресу http://127.0.0.1:8000. Если требуется доступ для других сервисов в сети, дополнительно настройте --api-key и установите перед ним обратный прокси с TLS (transport layer security).

Сколько стоит один час работы Kolibri-1 в евро?

Цены на аренду GPU сильно варьируются в зависимости от провайдера и региона. В расчетах ниже используются два допущения по состоянию на октябрь 2026 года: 3,50 евро в час за H200 и 2,50 евро в час за H100 SXM5, при условии оплаты по требованию (on demand) без учета НДС. Специализированные GPU-провайдеры иногда предлагают более низкие цены, в то время как гиперскейлеры в регионах ЕС часто стоят значительно дороже. Подставьте свои актуальные тарифы, методика расчета останется прежней.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 2555
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "eur_pro_stunde": 5,
    "stunden_pro_monat": 730,
    "eur_pro_monat": 3650
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "eur_pro_stunde": 3.5,
    "stunden_pro_monat": 176,
    "eur_pro_monat": 616
  }
]

В месяце в среднем 730 часов. Если H200 работает круглосуточно, ее стоимость составляет 2555 евро в месяц. Рекомендуемый вариант с двумя H100 обойдется в 3650 евро. Если использовать машину только в рабочее время, то есть по 8 часов в течение 22 рабочих дней (итого 176 часов), затраты составят 616 евро. Однако при каждом запуске веса модели будут заново загружаться в видеопамять, что занимает несколько минут.

С какого момента это выгоднее, чем API-токены?

По состоянию на октябрь 2026 года для Kolibri-1 не заявлено наличие хостингового API. Таким образом, сравнение с ценами за токены означает выбор между запуском Kolibri-1 на собственном GPU и использованием другой модели через API. Для расчета приняты две цены за миллион токенов (среднее значение между входящими и исходящими): 0,50 евро для бюджетной модели и 2 евро для более дорогой.

[
  {
    "plan": "1\u00d7 H200, rund um die Uhr",
    "mio_token_bei_0_50_eur": 5110,
    "mio_token_bei_2_eur": 1277.5,
    "token_pro_sekunde_bei_0_50_eur": 1944
  },
  {
    "plan": "2\u00d7 H100 SXM5, rund um die Uhr",
    "mio_token_bei_0_50_eur": 7300,
    "mio_token_bei_2_eur": 1825,
    "token_pro_sekunde_bei_0_50_eur": 2778
  },
  {
    "plan": "1\u00d7 H200, nur B\u00fcrozeit",
    "mio_token_bei_0_50_eur": 1232,
    "mio_token_bei_2_eur": 308,
    "token_pro_sekunde_bei_0_50_eur": 1944
  }
]

При цене 0,50 евро за миллион токенов H200 при круглосуточной работе окупает свои затраты только при объеме от 5110 миллионов токенов в месяц. Это в среднем 1944 токенов в секунду, без перерывов, днем и ночью. При цене 2 евро за миллион токенов порог для варианта с использованием только в рабочее время снижается до 308 миллионов токенов. Способна ли одна карта обеспечить такую пропускную способность с учетом вашего соотношения длины промпта и ответа, необходимо измерять отдельно. Данный расчет лишь показывает, при каком объеме этот вопрос становится актуальным.

Подробная методика с учетом загрузки и простоя приведена в расчете точки безубыточности для GPU-сервера против API-токенов. Для Kolibri-1 есть дополнительный аспект, который не отражен в таблице. Те, кто хочет разместить Kolibri-1 самостоятельно из соображений безопасности данных, часто вообще не сравнивают решение с API. Если документы не должны покидать периметр организации, использование API исключается. Тогда реальный вопрос звучит так: арендовать GPU в дата-центре ЕС с заключением договора на обработку данных (AVV) или покупать собственное оборудование. Даже арендованный GPU находится у третьей стороны. Согласно GDPR (Общему регламенту по защите данных), это является обработкой данных по поручению, а не эксплуатацией на собственных мощностях.

Когда небольшая локальная модель — это честный ответ

Kolibri-1 оправдывает себя, если вам нужны его сильные стороны. Согласно документации, к ним относятся вызовы инструментов и обработка документов с длинным контекстом. 262.144 токена позволяют уместить целую папку с договорами в один запрос. Если ваши задачи короче, расчеты меняются.

Для сортировки электронной почты или кратких сводок часто достаточно модели с 7–14 миллиардами параметров. Квантованная до 4 бит, она работает через Ollama на CPU-VPS с 16–32 ГБ оперативной памяти. Это медленнее, чем на GPU, но достаточно для нескольких сотен запросов в день. О том, как это сделать, рассказано в руководстве по самостоятельному хостингу Ollama на VPS. Расходы в таком случае ограничены обычной месячной стоимостью сервера, а не почасовой оплатой GPU.

Очевидной небольшой моделью от того же разработчика была бы Pharia-1-LLM-7B-control. Однако её лицензия, Open Aleph License, согласно тексту, разрешает только некоммерческое и неадминистративное использование. Поэтому для внедрения в компании она не подходит.

Честное решение можно принять только после тестирования. Возьмите 50 реальных задач из вашей повседневной работы. Поручите их выполнение Kolibri-1 на арендованном на несколько часов GPU и небольшой модели на CPU-VPS. Затем сравните ответы. Несколько часов аренды для тестов стоят недорого по сравнению с покупкой неподходящего оборудования.

О том, как на тот же вопрос отвечает другая открытая модель, рассказано в статье что нужно для самостоятельного хостинга Kimi K3. Сравнение помогает сориентироваться: Kolibri-1 с весами около 78 ГБ относится к моделям, которые всё ещё помещаются на одну видеокарту.

FAQ

Могу ли я использовать Kolibri-1 в коммерческих целях?

Да. Согласно Model Card, Kolibri-1 распространяется под лицензией Apache 2.0. Вы можете использовать её в компании и передавать измененные версии при условии сохранения текста лицензии и уведомлений. Это отличает Kolibri-1 от предыдущей серии Pharia: в документации к Pharia-1-LLM-7B-control указана лицензия Open Aleph License, которая, согласно тексту, разрешает только некоммерческое и неадминистративное использование.

Работает ли Kolibri-1 с Ollama или на CPU?

Официально — нет. Aleph Alpha поддерживает только запуск через vLLM на NVIDIA GPU с использованием плагина aleph-alpha-inference. Существуют GGUF-файлы в нескольких репозиториях сообщества, например, около 47,5 GB в формате Q4_K_M. Для них требуется пропатченный llama.cpp, так как стандартный llama.cpp не распознает архитектуру kolibri1. Некоторые авторы сообщают об успешных тестах на извлечение данных при длинном контексте (более 700 000 токенов). Однако, по их собственным заявлениям, сравнение с бенчмарками оригинальной FP8-модели отсутствует.

Достаточно ли одной карты H100 с 80 GB для Kolibri-1?

Нет. Веса в формате FP8 занимают около 78 GB. Для KV-кэша, который хранит контекст, места практически не остается. В документации в качестве минимума указаны, в частности, две карты H100 SXM5 или одна H200. При использовании двух карт vLLM запускается с параметром --tensor-parallel-size 2.

Как отключить режим мышления (denkmodus) у Kolibri-1?

Режим мышления включен по умолчанию. Его можно отключить для каждого запроса с помощью "chat_template_kwargs": {"enable_thinking": false} в теле JSON-запроса. Согласно документации, также действует параметр reasoning_effort со значением none. Если режим включен, --reasoning-parser kolibri1 отделяет текст процесса мышления от основного ответа.