SSD Nodes Learn Hosting plans →
Руководства Matt ConnorАвтор: Matt Connor

Как запустить Inkling 2 Mini на VPS без видеокарты

Inkling 2 Mini работает на VPS с 32 ГБ RAM без GPU: llama.cpp b12600 и 4-битный GGUF на 17.6 ГБ. Какой файл скачать, почему не Ollama и где модель слабее Qwen3.8-27B.

Короткий ответ: да, на VPS с 32 ГБ RAM и без видеокарты

Запустить Inkling 2 Mini на VPS без видеокарты можно. Нужны сервер с 32 ГБ оперативной памяти или больше, llama.cpp релиза b12600 или новее и 4-битный GGUF-файл размером около 17.6 ГБ. Официальный тег Ollama на Linux VPS пока не подходит: в Ollama v0.40.17 эта модель поддерживается только на Apple silicon. На VPS с 16 ГБ модель поместится только в 2-битном файле, и за это придётся заметно заплатить качеством. Если памяти меньше 16 ГБ, запускать её не стоит.

Теперь о деньгах. Thinking Machines Lab выпустила модель под лицензией Apache 2.0. Карточка GGUF-файлов bartowski тоже указывает Apache 2.0, а на карточке ggml-org лицензия не указана вовсе. Запуск на своём сервере не требует подписки, ключа API и оплаты иностранной картой: вы скачиваете файлы и работаете с ними у себя. Облачные варианты устроены иначе. Например, Tinker от самой лаборатории это платный зарубежный сервис, о нём ниже.

Все версии, теги, размеры файлов и статусы поддержки ниже указаны по состоянию на 21 ноября 2026 года. Модель вышла накануне, и страницы проектов в эти дни менялись по несколько раз в сутки.

Что такое Inkling 2 Mini

Данные из карточки модели на Hugging Face, по состоянию на 21 ноября 2026 года:

  • Разработчик: Thinking Machines Lab. Дата выпуска: 20 ноября 2026 года.
  • Лицензия: Apache 2.0. Карточка также ссылается на политику допустимого использования моделей (Model Acceptable Use Policy) лаборатории.
  • Вход: текст и изображения. Выход: текст. Для изображений карточка советует от 40 до 4096 пикселей по каждой стороне.
  • Контекстное окно: до 1M токенов.
  • Параметры: 26.4B всего, 3.4B активных. С учётом петли на токен приходится около 5.4B «эффективно активных» параметров: каждый дополнительный проход через петлю добавляет примерно 1.0B.
  • Архитектура: 24-слойный трансформер только с декодером и разреженными слоями MoE (mixture of experts, смесь экспертов). В каждом слое токен направляется к 8 экспертам из 128. Средние 12 слоёв выполняются трижды с общими весами, поэтому на один токен приходится 48 применений слоёв. Внимание гибридное: часть слоёв локальные, часть глобальные.
  • Исходный чекпойнт: один файл около 20 ГБ в смешанной точности NVFP4 и MXFP8. В списке файлов это 19.5 ГБ весов и 636 МБ mtp.safetensors.

Названия сбивают с толку. Inkling 2 Small это модель на 594B параметров (17B активных), то есть она в двадцать с лишним раз больше. Inkling 2 Mini это модель на 26.4B. Что нужно для старшей модели, разобрано в статье можно ли запустить Inkling 2 Small на своём сервере.

Важная оговорка про железо. Карточка перечисляет три варианта: один NVIDIA DGX Spark, Apple silicon с 32 ГБ памяти или больше и «другие GPU и платформы» с рекомендованными 32 ГБ видеопамяти и выше. Сервера только с процессором в этом списке нет. Поэтому CPU VPS здесь это мой вывод из карточек GGUF-файлов и поддержки в llama.cpp, а не конфигурация, которую поддерживает производитель. Карточка сама предупреждает: поддержка «петлевых» моделей в локальных средах запуска новая, и скорость зависит от программы и железа.

Почему модель на 26B помещается в 32 ГБ и чем приходится платить за петлю

4-битный файл ggml-org весит 17.6 ГБ. На сервере с 32 ГБ после загрузки весов остаётся память для KV-кэша (кэша ключей и значений внимания), системы и самого сервера. Поэтому 32 ГБ это рабочий минимум для 4-битной версии, а не запас.

С вычислениями всё сложнее, чем подсказывает цифра «3.4B активных». Плотная модель на 27B читает из памяти все свои веса для каждого токена. Inkling 2 Mini читает только выбранных экспертов (8 из 128 в каждом слое), плюс внимание и другие веса, которые не относятся к экспертам. Значит, на один токен она перемещает через память гораздо меньше данных, чем плотная модель того же размера файла. Для процессора это важно, потому что на CPU скорость генерации обычно упирается в пропускную способность памяти.

Но у петли есть цена. Средние 12 слоёв выполняются трижды, поэтому вычислений на токен больше, чем следует из числа активных параметров. Это прямо написано в разделе ограничений карточки. Второй эффект касается памяти под контекст. Каждый проход через петлю хранит свой KV-кэш и свой кэш свёрток: это сказано и на карточке ggml-org, и в блоге vLLM о запуске модели. В итоге у модели 24 слоя, но 48 KV-кэшей. vLLM измерил это на одном GB200: с тремя проходами в ту же память поместилось 175K токенов контекста, а с одним проходом 352K. Это цифры vLLM для GPU, а не для llama.cpp, но порядок понятен: с тремя проходами контекст занимает примерно вдвое больше памяти, чем с одним.

Из-за этого привычное правило «пропускная способность памяти, делённая на размер весов» для этой модели работает плохо. Никаких измерений скорости Inkling 2 Mini на CPU я не публикую, потому что не делал их. Ниже показано, как измерить скорость на своём сервере.

Путь 1: CPU VPS и llama.cpp

Поддержка модели пришла в llama.cpp через pull request #32694 «Inkling 2 Mini», его влили 20 ноября 2026 года. Релиз b12600 собран ровно из этого коммита (29b52d398b), поэтому b12600 и все более поздние сборки модель знают. Карточка bartowski пишет то же самое: файлы сделаны на b12600, и для них нужен этот релиз или новее.

Шаг 1. Проверьте память, диск и процессор

free -h
df -h ~
nproc

В строке Mem: у free -h значение в колонке total должно быть около 31Gi или больше. Для 4-битного файла на диске нужно около 18 ГБ свободного места, для Q8_0 около 28 ГБ. Число из nproc пригодится для замеров скорости.

Шаг 2. Скачайте и закрепите релиз llama.cpp

Берите конкретный номер сборки, а не «последнюю». Тег в адресе и есть закрепление: через месяц вы скачаете тот же самый файл. Почему это важно и как обновляться без сюрпризов, описано в статье как закрепить релиз llama.cpp на сервере. GitHub помечает сборки llama.cpp как pre-release, b12600 тоже. Для этого проекта это обычное состояние.

mkdir -p ~/llama-b12600 ~/models
cd ~/llama-b12600
curl -L -o llama-b12600-bin-ubuntu-x64.tar.gz https://github.com/ggml-org/llama.cpp/releases/download/b12600/llama-b12600-bin-ubuntu-x64.tar.gz
tar -xzf llama-b12600-bin-ubuntu-x64.tar.gz
LLAMA_DIR=$(dirname "$(find ~/llama-b12600 -name llama-server -type f | head -n 1)")
"$LLAMA_DIR/llama-server" --version

Это сборка для процессора: на странице релиза она подписана как Ubuntu x64 (CPU). Команда find нужна, чтобы не гадать, в какую папку распаковался архив. Последняя строка должна вывести версию и информацию о сборке. Если вместо этого вы видите error while loading shared libraries, в сообщении будет имя недостающей библиотеки, и её нужно поставить через apt.

Переменная LLAMA_DIR живёт только в текущей сессии терминала. В новой сессии повторите строку с find.

Шаг 3. Выберите GGUF по объёму памяти

Для обычного llama.cpp годятся файлы из двух репозиториев: ggml-org/Inkling-2-Mini-GGUF и bartowski/thinkingmachines_Inkling-2-Mini-GGUF. Размеры, как их показывают карточки:

ГрафикРазмер GGUF-файлов Inkling 2 Mini, ГБ (карточки на 21.11.2026)
Данные, на которых построен график
[
  {
    "label": "bartowski IQ2_XXS",
    "file_gb": 10.32
  },
  {
    "label": "bartowski IQ2_M",
    "file_gb": 11.94
  },
  {
    "label": "bartowski IQ4_NL",
    "file_gb": 16.11
  },
  {
    "label": "ggml-org IQ4_NL",
    "file_gb": 17.6
  },
  {
    "label": "bartowski Q4_K_M",
    "file_gb": 18.66
  },
  {
    "label": "bartowski Q6_K",
    "file_gb": 24.7
  },
  {
    "label": "ggml-org Q8_0",
    "file_gb": 27.8
  },
  {
    "label": "ggml-org BF16",
    "file_gb": 52.2
  }
]

Выбор по памяти сервера:

  • 32 ГБ: ggml-org IQ4_NL (17.6 ГБ) или bartowski Q4_K_M (18.66 ГБ). Это основной вариант этой статьи.
  • 48 ГБ и больше: можно взять ggml-org Q8_0 (27.8 ГБ). На 32 ГБ он формально помещается, но для контекста и системы остаётся слишком мало.
  • 16 ГБ: только 2-битные файлы, например bartowski IQ2_XXS (10.32 ГБ) или IQ2_M (11.94 ГБ).

Файл ggml-org IQ4_NL устроен так: 4-битные эксперты в слоях 0-19, всё остальное в Q8_0, веса контроллера петли остаются в F32. ggml-org сравнил свои файлы с BF16 на wikitext-2: IQ4_NL выбирает тот же самый наиболее вероятный токен в 95.5% случаев, Q8_0 в 97.6%.

Отдельно о файлах bartowski: их размеры стоят ближе друг к другу, чем обычно. Это объясняет карточка самого bartowski, а не ggml-org: у 31.3% весов модели (например, у тензоров ffn_down_exps шириной 1152) ширина строк не подходит для блочных типов K и IQ шириной 256 в llama.cpp. Для них берётся один из типов шириной 32, поэтому разница в размере между соседними квантами bartowski меньше привычной.

Насколько падает качество на малых битах, показывает таблица Unsloth. Это измерения Unsloth на его собственных файлах против его же UD-Q8_K_XL: доля случаев, когда модель выбирает тот же самый первый токен. К файлам bartowski и ggml-org эти цифры не относятся, но направление они показывают:

ГрафикUnsloth: тот же первый токен, что у UD-Q8_K_XL, % (файлы Unsloth)
Данные, на которых построен график
[
  {
    "label": "UD-Q4_K_XL",
    "same_top_token_pct": "98.0"
  },
  {
    "label": "UD-Q3_K_XL",
    "same_top_token_pct": 96.3
  },
  {
    "label": "UD-Q2_K_XL",
    "same_top_token_pct": 91.6
  },
  {
    "label": "UD-IQ2_XXS",
    "same_top_token_pct": 90.6
  },
  {
    "label": "UD-IQ1_S",
    "same_top_token_pct": 89.4
  }
]

От 4-битного файла (98.0%) до 2-битного UD-Q2_K_XL (91.6%) совпадение падает заметно. В длинном ответе это значит, что расхождения с полной моделью будут почти в каждом абзаце. Как читать такие названия квантов вообще, объясняет статья о квантовании Q4, Q8 и FP16.

Файлы Unsloth на обычный llama.cpp не берите

Здесь ошибаются чаще всего. GGUF-файлы в корне репозитория unsloth/Inkling-2-Mini-GGUF используют собственную раскладку Unsloth для петлевых слоёв. Руководство Unsloth говорит запускать их на своей сборке llama.cpp b12588-mix-c0c3de8, потому что обычный llama.cpp читает другую раскладку. Готовая сборка для Linux x64, которую показывает руководство, собрана под CUDA 12. Отдельной сборки только для CPU я в этих инструкциях не нашёл. Если она вам нужна, проверьте список файлов на странице релиза b12588-mix-c0c3de8 в репозитории unslothai/llama.cpp.

В папке Mainline_Support того же репозитория лежат те же тензоры в раскладке обычного llama.cpp. Но этим файлам нужен свежий фикс. Pull request #32704 описывает ошибку: второй и третий проходы через слои 6-17 работали без поэкспертных масштабов, и у файлов «NVFP4 с масштабами» (например, у Unsloth) перплексия получалась 130.43 вместо 7.6531. Такая перплексия означает, что модель выдаёт бессмыслицу. Фикс влили 21 ноября 2026 года (коммит 690b87d). На момент проверки 21 ноября ни одна помеченная сборка его не содержала: самая новая сборка на странице релизов, b12606, отстаёт от фикса на 5 коммитов. b12600 его тоже не содержит. README в папке Mainline_Support ещё пишет, что фикс не влит: этот текст устарел.

Файлы ggml-org и bartowski эта ошибка не затрагивает. В тексте #32704 сказано, что ggml-кванты работают «ровно как раньше», а у ggml-org IQ4_NL перплексия до фикса и после совпала: 7.6931. Связанный общий фикс масштабов, #32669, на 21 ноября ещё открыт.

Шаг 4. Скачайте модель

curl -L -o ~/models/Inkling-2-Mini-IQ4_NL.gguf https://huggingface.co/ggml-org/Inkling-2-Mini-GGUF/resolve/main/Inkling-2-Mini-IQ4_NL.gguf
ls -lh ~/models/

ls -lh должен показать файл размером около 17G (ls считает в двоичных единицах, поэтому число чуть меньше, чем на карточке). Если файл весит несколько килобайт, скачалась страница с ошибкой, а не модель: выведите его начало командой head -c 300 и прочтите текст.

У bartowski имя файла другое: thinkingmachines_Inkling-2-Mini-Q4_K_M.gguf в репозитории bartowski/thinkingmachines_Inkling-2-Mini-GGUF.

Шаг 5. Запустите llama-server только на 127.0.0.1

"$LLAMA_DIR/llama-server" -m ~/models/Inkling-2-Mini-IQ4_NL.gguf --host 127.0.0.1 --port 8080 -c 8192 -n 2048 --n-gpu-layers 0

Каждый флаг здесь нужен:

  • --host 127.0.0.1: сервер слушает только локальный интерфейс. В b12600 это и так значение по умолчанию, но явная запись защищает от чужих конфигов. Сервер без пароля на публичном адресе означает, что вашим процессором может пользоваться кто угодно.
  • --port 8080: в справке llama-server релиза b12600 порт по умолчанию 9931, а некоторые карточки моделей пишут про 8080. Задайте порт явно, и путаницы не будет.
  • -c 8192: размер контекста. По умолчанию он равен 0, то есть берётся из модели, а у Inkling 2 Mini это до 1M токенов. Начните с 8192 и поднимайте, следя за памятью.
  • -n 2048: предел длины ответа в токенах. По умолчанию -1, то есть без предела. Карточка предупреждает, что модель может застрять в длинном повторяющемся рассуждении, и советует ограничивать число выходных токенов.
  • --n-gpu-layers 0: так руководство Unsloth советует запускать модель только на CPU. На CPU-сборке это просто явная запись.

Изображения эта команда не обрабатывает. Для них скачайте файл проектора тем же способом и добавьте --mmproj ~/models/mmproj-Inkling-2-Mini-Q8_0.gguf (у ggml-org он весит 346 МБ, BF16-версия 642 МБ).

Есть и короткий вариант: llama.cpp сам скачает файл с Hugging Face.

"$LLAMA_DIR/llama-server" -hf ggml-org/Inkling-2-Mini-GGUF:IQ4_NL --no-mmproj --host 127.0.0.1 --port 8080 -c 8192 -n 2048

С -hf llama.cpp по умолчанию скачивает и проектор для изображений. Флаг --no-mmproj отключает это, если картинки вам не нужны. Как держать сервер запущенным постоянно и подключаться к нему безопасно, описано в статье как запустить llama-server на VPS.

Шаг 6. Проверьте ответ

Во втором окне терминала:

curl -s http://127.0.0.1:8080/v1/chat/completions -H 'Content-Type: application/json' -d '{"messages":[{"role":"user","content":"Объясни в двух предложениях, что такое swap в Linux."}],"max_tokens":512}'

В ответе должен прийти JSON с полем choices, а в нём текст ответа. Модель рассуждает перед ответом, поэтому первый ответ может прийти не сразу. Пока идёт генерация, посмотрите на память через free -h: колонка available не должна подходить к нулю. Если она близка к нулю, уменьшите -c или возьмите файл поменьше.

Шаг 7. Измерьте скорость на своём сервере

Чужие цифры для этой модели почти бесполезны: поддержка новая, а скорость петлевой MoE зависит от сборки и процессора. Измерьте сами:

ls "$LLAMA_DIR"
"$LLAMA_DIR/llama-bench" -m ~/models/Inkling-2-Mini-IQ4_NL.gguf -p 512 -n 128 -t "$(nproc)"

ls покажет, лежит ли в архиве llama-bench рядом с llama-server. -p 512 измеряет обработку промпта из 512 токенов, -n 128 генерацию 128 токенов. Первая цифра показывает, как долго модель будет читать длинный вопрос. Вторая показывает, как быстро она пишет ответ. Как правильно сравнивать результаты, рассказано в статье как измерить токены в секунду у локальной модели. На VPS с общими ядрами повторите замер несколько раз в разное время. Если цифры сильно плавают, посмотрите значение st в строке %Cpu(s) у top: это время процессора, которое забирают соседи по хосту. Подробнее в статье о steal time и шумных соседях.

Почему ollama run inkling-2-mini пока не путь для VPS

В библиотеке Ollama у модели три тега: latest, 26b-a5b и 26b-a5b-nvfp4. У всех трёх один и тот же дайджест d183b1321cb5, размер 20 ГБ, контекст 1M, вход текст и изображения. Тег 26b-a5b-nvfp4 помечен как MLX. Тега :cloud нет. Сами страницы библиотеки говорят о запуске на Mac с 32 ГБ памяти или больше либо на DGX Spark.

Главное написано в примечаниях к релизу Ollama v0.40.17, актуальному на 21 ноября 2026 года: в этом релизе inkling-2-mini поддерживается только на Apple silicon, поддержка ПК появится в одном из следующих релизов. Linux VPS без видеокарты к Apple silicon не относится. Можно ли загрузить в Ollama на Linux импортированный GGUF этой модели, не сказано ни на одной странице, которую я открывал. Поэтому такой путь я не предлагаю. Чем Ollama и llama.cpp отличаются в целом и когда какой удобнее, разобрано в статье Ollama или llama.cpp.

Сервер с GPU: vLLM и SGLang

Если у вас есть сервер с подходящей видеокартой, официальные среды запуска работают с исходным чекпойнтом.

Рецепт vLLM называет NVIDIA Blackwell (B200, GB200, B300, GB300), Hopper (H100, H200) и DGX Spark. Самой эффективной рецепт называет конфигурацию с одной GPU. Поддержки пока нет в релизе vLLM: нужна версия 0.35.0 или новее, которая ещё не вышла, а последний релиз на GitHub v0.34.0. До выхода релиза рецепт советует образ vllm/vllm-openai:inkling-2-mini. На H100 и DGX Spark рецепт ограничивает контекст 262,144 токенами, чтобы модель поместилась в память.

docker run --gpus all --privileged --ipc=host -p 127.0.0.1:8000:8000 -v ~/.cache/huggingface:/root/.cache/huggingface vllm/vllm-openai:inkling-2-mini thinkingmachines/Inkling-2-Mini --tensor-parallel-size 1 --reasoning-parser inkling --speculative-config '{"method":"dspark","num_speculative_tokens":7,"draft_sample_method":"probabilistic"}'

В рецепте стоит -p 8000:8000. Я заменил его на -p 127.0.0.1:8000:8000, потому что по умолчанию Docker публикует порт на всех интерфейсах хоста, и API без ключа станет доступен извне, если его не закрывает файрвол. Флаг --privileged тоже из рецепта. Он даёт контейнеру широкий доступ к хосту, так что запускайте это на отдельном сервере.

Книга рецептов SGLang (cookbook на docs.sglang.io) перечисляет B300/GB300, B200/GB200, H200, RTX PRO 6000, RTX 5090, DGX Spark, AMD MI350X/MI355X и TPU7x. Образ называется lmsysorg/sglang:inkling-2-mini, для AMD с суффиксом -mi35x, для TPU7x с суффиксом -tpu. В релизе SGLang поддержки тоже пока нет. Команду запуска страница собирает в браузере под выбранное железо, поэтому возьмите её там. Если в ней будет --host 0.0.0.0, сервер слушает все интерфейсы: закройте порт файрволом или замените адрес на 127.0.0.1.

Окупается ли своя GPU по сравнению с оплатой токенов, зависит от нагрузки. Как это посчитать, показано в статье когда GPU-сервер выгоднее API.

Tinker: облачный вариант от лаборатории

Thinking Machines продаёт доступ к модели через свой сервис Tinker. Это платный зарубежный сервис. Можно ли оплатить его из России, я не проверял. Цены за 1M токенов в долларах США, по странице, прочитанной 21 ноября 2026 года (в шапке страницы стоит дата 19 октября 2026 года):

ГрафикTinker, Inkling 2 Mini: доллары США за 1M токенов (страница на 21.11.2026)
Данные, на которых построен график
[
  {
    "label": "Prefill",
    "usd_per_1m": "0.15"
  },
  {
    "label": "Prefill \u0438\u0437 \u043a\u044d\u0448\u0430",
    "usd_per_1m": "0.015"
  },
  {
    "label": "\u0413\u0435\u043d\u0435\u0440\u0430\u0446\u0438\u044f",
    "usd_per_1m": "0.50"
  },
  {
    "label": "\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, 64K",
    "usd_per_1m": "0.75"
  },
  {
    "label": "\u041e\u0431\u0443\u0447\u0435\u043d\u0438\u0435, 256K",
    "usd_per_1m": "1.50"
  }
]

Prefill (обработка входа) стоит $0.15, генерация $0.50. Эти цены одинаковы для контекста 64K и 256K. Обучение стоит $0.75 при 64K и $1.50 при 256K.

Где Inkling 2 Mini сильнее Qwen3.8-27B, а где отстаёт

Для владельца VPS честное сравнение это Qwen3.8-27B. Это плотная модель на 27B параметров под Apache 2.0, с контекстом 262,144 токена без расширения и до 1,000,000 с расширением. Обе модели есть в одной таблице на карточке Inkling 2 Mini. Все цифры ниже опубликовала Thinking Machines на своей карточке. Кто именно проводил замеры, карточка не пишет, а условия оценки у разных моделей отличаются. Я привожу все строки, где есть обе модели, а не только выгодные:

ГрафикКарточка Inkling 2 Mini: Mini против Qwen3.8-27B, % (AA Index в баллах)
Данные, на которых построен график
[
  {
    "label": "DeepSWE v1.1",
    "inkling_2_mini": 48.2,
    "qwen3_8_27b": 42.2
  },
  {
    "label": "SWE-bench Pro v2 Hard",
    "inkling_2_mini": 77.9,
    "qwen3_8_27b": 73.8
  },
  {
    "label": "SWE-bench Verified (bash only)",
    "inkling_2_mini": 79.2,
    "qwen3_8_27b": 77.8
  },
  {
    "label": "MCP Atlas",
    "inkling_2_mini": 82.7,
    "qwen3_8_27b": 77.3
  },
  {
    "label": "DeepSearchQA",
    "inkling_2_mini": 85.3,
    "qwen3_8_27b": 79.7
  },
  {
    "label": "ScreenSpot Pro",
    "inkling_2_mini": 76.5,
    "qwen3_8_27b": 57.6
  },
  {
    "label": "OmniDocBench v1.6",
    "inkling_2_mini": 92.8,
    "qwen3_8_27b": 91.5
  },
  {
    "label": "LongBench v2",
    "inkling_2_mini": 66.9,
    "qwen3_8_27b": 52.3
  },
  {
    "label": "AA Index v5.0",
    "inkling_2_mini": 20.1,
    "qwen3_8_27b": 20.1
  },
  {
    "label": "Terminal Bench v4.0",
    "inkling_2_mini": 5.6,
    "qwen3_8_27b": 5.6
  },
  {
    "label": "MMMU Pro",
    "inkling_2_mini": 74.9,
    "qwen3_8_27b": 76.3
  },
  {
    "label": "Terminal Bench v2.1",
    "inkling_2_mini": 71.6,
    "qwen3_8_27b": 73.0
  },
  {
    "label": "AutomationBench-AA",
    "inkling_2_mini": 41.8,
    "qwen3_8_27b": 48.2
  },
  {
    "label": "EnterpriseOps-Gym",
    "inkling_2_mini": 42.0,
    "qwen3_8_27b": 44.2
  },
  {
    "label": "AA-Omniscience, \u0434\u043e\u043b\u044f \u0431\u0435\u0437 \u0433\u0430\u043b\u043b\u044e\u0446\u0438\u043d\u0430\u0446\u0438\u0439",
    "inkling_2_mini": 63.4,
    "qwen3_8_27b": 71.4
  }
]
ГрафикGDPVal-AA (рейтинг, не проценты)
Данные, на которых построен график
[
  {
    "label": "GDPVal-AA",
    "inkling_2_mini": 1319,
    "qwen3_8_27b": 1427
  }
]

Mini впереди в задачах по коду: в DeepSWE v1.1 48.2% против 42.2%. Она впереди в работе с инструментами и поиском (MCP Atlas, DeepSearchQA), в понимании экранов (ScreenSpot Pro 76.5% против 57.6%) и документов. Самый большой отрыв в длинном контексте: LongBench v2 66.9% против 52.3%.

В общем индексе AA Index v5.0 и в Terminal Bench v4.0 модели набрали одинаково. Qwen3.8-27B впереди в MMMU Pro, Terminal Bench v2.1, AutomationBench-AA, EnterpriseOps-Gym и GDPVal-AA (1427 против 1319). Для повседневной работы важнее всего последняя строка большой таблицы: доля ответов без галлюцинаций в AA-Omniscience у Mini 63.4%, у Qwen 71.4%. Это совпадает с предупреждением на самой карточке: Mini чаще уверенно говорит неправду. Если вам нужны факты, а не код, Qwen3.8-27B выглядит надёжнее. Как запустить её, описано в статье как запустить Qwen 3.8 27B на VPS.

Ограничения из карточки модели

Раздел ограничений на карточке стоит прочитать до того, как вы доверите модели что-то важное:

  • Mini слабее Inkling 2 Small в большинстве оценок лаборатории. Сильнее всего разница в знании фактов. Mini чаще уверенно сообщает неверные сведения.
  • Модель может застрять в длинном повторяющемся рассуждении, особенно при отладке кода. Лаборатория советует ограничивать число выходных токенов и число шагов агента. Поэтому в команде выше стоит -n 2048.
  • С инструментами модель может не следовать подробным инструкциям и соглашениям проекта. Она может выполнить разрушительные действия, например удалить или перезаписать файлы, без подтверждения.
  • Минимальный уровень рассуждения не отключает рассуждение полностью.
  • Из-за трёх проходов через средние слои вычислений на токен больше, чем подсказывает число активных параметров.

Отдельно про русский язык. Карточка говорит, что вне английского качество ответов может быть ниже. При проверке на китайском лаборатория видела обрывистые формулировки и смешение языков. Результатов для русского на карточке нет, и в анонсе модели я их тоже не нашёл. Прежде чем строить на модели что-то русскоязычное, прогоните на ней свои реальные русские запросы и посмотрите, не переходит ли она на английский посреди ответа. Если вы ещё выбираете модель под свой сервер, обзор вариантов есть в статье какие ИИ-модели можно запустить у себя.

Агента для кода запускайте в песочнице

Mini сильна в задачах по коду, поэтому её захочется подключить к агенту. Но карточка прямо говорит, что с инструментами модель может удалять и перезаписывать файлы без подтверждения. Лаборатория советует запускать агентные задачи в изолированной среде и под присмотром человека. Самый простой способ: отдельная одноразовая виртуальная машина, которую не жалко пересоздать. Как её устроить, описано в статье агенты для кода в одноразовой VM. Как подключить локальную модель к агенту в целом, разобрано в статье локальная модель для агента по коду. llama-server тоже отдаёт API, совместимый с OpenAI, так что подход тот же. Ограничьте и число шагов агента, а не только длину ответа.

FAQ

Можно ли запустить Inkling 2 Mini на VPS с 16 ГБ RAM?

Только в 2-битном варианте, например bartowski IQ2_XXS (10.32 ГБ) или IQ2_M (11.94 ГБ), на llama.cpp b12600 или новее. Качество при этом падает заметно. По измерениям Unsloth на его собственных файлах 2-битная версия UD-Q2_K_XL совпадает с эталоном по первому токену в 91.6% случаев, а 4-битная UD-Q4_K_XL в 98.0%. Контекст держите небольшим, потому что каждый из трёх проходов петли хранит свой KV-кэш. Меньше 16 ГБ запускать не стоит.

Работает ли ollama run inkling-2-mini на Linux-сервере?

На 21 ноября 2026 года нет. В примечаниях к Ollama v0.40.17 сказано, что inkling-2-mini поддерживается только на Apple silicon, а поддержка ПК появится в одном из следующих релизов. На Linux VPS используйте llama.cpp b12600 или новее с GGUF-файлом от ggml-org или bartowski.

Какой GGUF скачать для llama.cpp?

Для сервера с 32 ГБ берите ggml-org IQ4_NL (17.6 ГБ) или bartowski Q4_K_M (18.66 ГБ). Оба работают на обычном llama.cpp начиная с b12600. Файлы из корня репозитория Unsloth на обычный llama.cpp не подходят: им нужна сборка Unsloth b12588-mix-c0c3de8. Файлам из папки Mainline_Support нужен фикс #32704, а на 21 ноября 2026 года ни одна помеченная сборка llama.cpp его ещё не содержала.

Нужно ли платить за Inkling 2 Mini?

Нет, если запускать у себя. Модель выпущена под Apache 2.0, а llama.cpp и GGUF-файлы скачиваются без подписки и без ключа API. Платите вы только за сам VPS. Платный вариант есть у лаборатории: облачный сервис Tinker, на 21 ноября 2026 года $0.15 за 1M входных токенов и $0.50 за 1M сгенерированных.

Насколько быстро Inkling 2 Mini работает на CPU?

Надёжных опубликованных замеров для CPU я не нашёл, и сам я модель на CPU не измерял. За один токен модель читает намного меньше весов, чем плотная модель на 27B, потому что каждый токен идёт только к 8 экспертам из 128. Но средние 12 слоёв выполняются трижды, поэтому вычислений больше, чем подсказывают 3.4B активных параметров. Запустите llama-bench -m <файл> -p 512 -n 128 на своём сервере и повторите замер несколько раз.

Была ли эта статья полезной?

#inkling-2-mini#llama-cpp#gguf#local-llm#cpu-vps