Можно ли запустить Inkling 2 Small локально и из России
На обычном VPS Inkling 2 Small не запустить. Исключение требует от 180 ГБ свободной RAM, GGUF примерно в один бит и подходящей сборки llama.cpp. Облако и оплата из России.
Короткий ответ: можно ли запустить Inkling 2 Small локально
На обычном VPS запустить Inkling 2 Small локально нельзя. Исключение: CPU-запуск на сервере с большой памятью, примерно от 180 ГБ свободной RAM, с самым сжатым GGUF Unsloth UD-IQ1_S, квантованием примерно в один бит, и сборкой llama.cpp с поддержкой архитектуры inkling2. Файл весов занимает 171,7 ГБ; примерно 180 ГБ или больше это нижняя оценка из размера файла с запасом на KV-кэш, runtime и ОС, а не требование, опубликованное Unsloth. Для длинного контекста памяти потребуется больше. Это и самое низкое качество среди квантований Unsloth, а 594B MoE на CPU работает медленно. Руководство Unsloth.
Релиз llama.cpp b12406 от 15 ноября 2026 года и более поздние релизы включают поддержку Inkling 2 из PR 32217. Руководство Unsloth всё ещё предлагает сборку из PR 32187 и не подтверждает совместимость своих файлов с влитой upstream-реализацией. По карточке модели её основному чекпойнту NVFP4 нужен кластер GPU, где в сумме не меньше 500 ГБ видеопамяти, но это требование не относится ко всем форматам весов. Unsloth прямо документирует запуск GGUF на CPU с -ngl 0, без обязательной видеокарты. С небольшого VPS модель можно вызывать через Ollama Cloud, но это платный сервис, и для читателя в России главная преграда там оплата, а не техника. Сами веса выложены под лицензией Apache 2.0, и в лицензии нет ограничений по странам.
Цены, теги и статусы поддержки ниже проверены по первоисточникам на 15 ноября 2026 года, кроме прямо отмеченных непроверенных условий сервисов. Модель вышла около недели назад, и картина меняется почти каждый день.
Что такое Inkling 2 Small
Inkling 2 Small выпустила лаборатория Thinking Machines Lab. Анонс опубликован 5 ноября 2026 года. 12 ноября в него добавили обновление: веса доступны для скачивания на Hugging Face. Сама лаборатория называет эту модель своим вторым поколением.
Основные данные на 13 ноября 2026 года:
- Архитектура: Mixture-of-Experts (MoE, «смесь экспертов»), 594 млрд параметров всего и 17 млрд активных. Это цифры лаборатории.
- Устройство по карточке: 48 слоёв, только декодер. Каждый токен направляется к 8 из 384 экспертов. Внимание гибридное, локальное и глобальное.
- Вход: текст и изображения. Выход: текст. Аудио, по словам анонса, модель не поддерживает.
- Зрение: кодировщик изображений на 292 млн параметров на основе Perception Encoder.
- Контекст: по карточке до 1 млн токенов.
- Лицензия: apache-2.0. Репозиторий на Hugging Face открыт без запроса доступа.
- Чекпойнты: основной NVFP4 (4-битный формат NVIDIA) и альтернативный MXFP8 в отдельном репозитории
thinkingmachines/Inkling-2-Small-MXFP8.
Счётчик параметров Hugging Face показывает для репозитория NVFP4 594 млрд. Конфигурацию исправили коммитом «Add minimal quantization config to correct Hub parameter count (#3)». Теперь счётчик совпадает с цифрой лаборатории.
Почему 17B активных не значит модель на 17B
В обычной («плотной») модели каждый токен проходит через все параметры. В MoE каждый слой содержит много небольших блоков, «экспертов». У Inkling 2 Small их 384. Для каждого токена маршрутизатор выбирает 8 экспертов, и считаются только они. Поэтому вычислений на один токен примерно столько же, сколько у плотной модели на 17 млрд параметров.
С памятью всё иначе. Заранее неизвестно, какие эксперты понадобятся следующему токену: ему может понадобиться любой из 384. Но хранить все веса именно в памяти GPU не обязательно: GGUF можно запускать с системной RAM или распределять между RAM и VRAM. Объём скачивания и памяти под веса определяют полное число параметров, 594 млрд, и выбранное квантование. Активные 17 млрд влияют только на объём вычислений.
Данные, на которых построен график
[
{
"label": "NVFP4: \u0444\u0430\u0439\u043b\u044b safetensors",
"gb": 393.48
},
{
"label": "NVFP4: \u043c\u0438\u043d\u0438\u043c\u0443\u043c VRAM \u043f\u043e \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435",
"gb": 500
},
{
"label": "MXFP8: \u0444\u0430\u0439\u043b\u044b safetensors",
"gb": 622.8
},
{
"label": "MXFP8: \u043c\u0438\u043d\u0438\u043c\u0443\u043c VRAM \u043f\u043e \u043a\u0430\u0440\u0442\u043e\u0447\u043a\u0435",
"gb": 800
},
{
"label": "\u0421\u0430\u043c\u044b\u0439 \u043c\u0430\u043b\u044b\u0439 GGUF (UD-IQ1_S), \u0442\u043e\u043b\u044c\u043a\u043e \u0432\u0435\u0441\u0430",
"gb": 171.7
}
]Посчитаем на этих числах. Файлы safetensors в репозитории NVFP4 по данным на 13 ноября 2026 года занимают 393.48 ГБ. Это только диск и загрузка. Сюда не входит KV-кэш (key-value cache, память, в которой модель держит уже обработанный контекст). Для работы NVFP4 карточка требует не меньше 500 ГБ суммарной видеопамяти. Версия MXFP8 по данным на ту же дату весит 622.8 ГБ и требует не меньше 800 ГБ. Для GGUF эти требования к VRAM не действуют: самый малый вариант занимает 171.7 ГБ только под веса, а для запуска на CPU нужна системная RAM с запасом на систему, KV-кэш и буферы.
Ту же арифметику для другой большой MoE-модели мы разбирали в материале о том, что нужно, чтобы развернуть Kimi K3 у себя. Где на диске лежат веса моделей, которые Ollama умеет запускать локально, описано в разборе ollama pull, ollama run и хранения моделей.
Путь 1: Ollama Cloud с небольшого VPS
В библиотеке Ollama у модели на 15 ноября 2026 года ровно один тег: inkling-2-small:cloud. У него метки vision, tools, thinking и cloud, вход текст и изображения, контекст 1M. Слово cloud значит, что модель работает на серверах Ollama. Ваш VPS только отправляет запрос и получает ответ, поэтому ему не нужны ни GPU, ни сотни гигабайт памяти.
Как подключить Inkling 2 Small через Ollama Cloud
Установите Ollama командой из официальной документации и проверьте службу:
curl -fsSL https://ollama.com/install.sh | sh
sudo systemctl status ollamaВ выводе systemctl status должна быть строка Active: active (running). Если служба не запущена, запустите её командой sudo systemctl start ollama.
Затем войдите в аккаунт Ollama. Облачные модели работают только с аккаунтом:
ollama signinПосле входа Ollama сама подписывает облачные запросы. Модель запускается той же командой, что и локальная:
ollama run inkling-2-small:cloudОблачная модель доступна и через локальный API на http://localhost:11434, и ключ в запросе тогда не нужен. В документации Ollama этот приём показан на модели gpt-oss:120b-cloud. Для Inkling 2 Small меняется только имя модели:
curl http://localhost:11434/api/generate -d '{
"model": "inkling-2-small:cloud",
"prompt": "Why is the sky blue?"
}'Второй способ не требует установки Ollama. Создайте API-ключ на странице ollama.com/settings/keys, сохраните его в переменной окружения и обращайтесь к облачному API напрямую. Этот запрос взят со страницы модели:
export OLLAMA_API_KEY="your_api_key"
curl https://ollama.com/api/chat \
-H "Authorization: Bearer $OLLAMA_API_KEY" \
-d '{
"model": "inkling-2-small",
"messages": [{"role": "user", "content": "Hello!"}]
}'Обратите внимание: в прямом API модель называется inkling-2-small, без суффикса :cloud. Если переменная пуста, заголовок уйдёт без ключа. Проверьте её командой echo ${OLLAMA_API_KEY:+set}: она должна вывести set. Ключи Ollama не истекают сами, но их можно отозвать. Ключ даёт доступ к вашему платному балансу, поэтому не пишите его в скрипты, которые видят другие люди.
Чтобы подключить модель к агенту для программирования, на странице модели есть команда ollama launch:
ollama launch claude --model inkling-2-small:cloudВместо claude там же указаны opencode, hermes и openclaw. Что делает ollama launch и как агент получает модель, описано в руководстве по Ollama вместе с агентом для программирования.
Сколько стоит Inkling 2 Small в Ollama Cloud
Цены на 13 ноября 2026 года, в долларах США за миллион токенов: $0,30 за входные токены, $0,03 за кэшированные входные и $1,00 за выходные. Внепикового тарифа для этой модели в таблице нет. Такие ставки там указаны только для двух моделей DeepSeek. Для примера: миллион входных токенов и 200 тысяч выходных обойдутся в $0,30 + $0,20 = $0,50.
Планы Ollama на ту же дату:
- Pay as you go, $0: без подписки, каждый токен оплачивается по тарифу модели, 3 одновременных запроса.
- Pro, $20 в месяц или $200 в год: $60 кредитов на использование в месяц, 3 одновременных запроса.
- Max, $100 в месяц: $300 кредитов в месяц, 10 одновременных запросов.
- Team, $500 в месяц, в раннем доступе: $1000 кредитов в месяц на всю команду. Есть и Enterprise с индивидуальной ценой.
Кредиты из плана не переносятся на следующий месяц. Они обновляются в день начала подписки. Сначала расходуются кредиты плана, потом купленный баланс. По условиям использования Ollama купленные кредиты сгорают через год после зачисления.
Облако и локальный запуск дают разную приватность
На странице цен Ollama пишет, что данные запросов и ответов никогда не логируются и не используются для обучения. Для моделей, которые размещают партнёры, Ollama требует политику «no logging, no training, and zero data retention», то есть без логов, без обучения и без хранения данных. Модели размещены «primarily in the United States», а при высокой нагрузке запросы могут уходить в Европу.
Это обещание поставщика о данных, которые уже покинули ваш сервер. При локальном запуске данные никуда не уходят, и обещания не нужны. Разница подробно разобрана в сравнении Ollama Cloud и собственного сервера.
Что значит оплата из России для Ollama Cloud
Политика конфиденциальности Ollama называет Stripe платёжным обработчиком: «Payment information (processed by Stripe)». Условия использования Ollama тоже говорят, что платежи обрабатывает Stripe. Ни в политике, ни в условиях Ollama нет правил о российских картах, о России или о списке стран. Поэтому нельзя сказать, что Ollama сама отказывает пользователям из России.
Правила есть у Stripe. На странице поддержки Stripe о санкциях сказано: «transactions involving Russian-issued cards are unlikely to be successful», то есть платежи российскими картами вряд ли пройдут. Там же: «Stripe currently does not support users located in Russia, Ukraine and Belarus». И ещё одно: Stripe «does not support the Mir card payment system». Это правила Stripe о своих пользователях, а не правило Ollama. Но оплата Ollama идёт через Stripe, поэтому на практике это и есть преграда.
Инструкций по VPN, зарубежным картам и платёжным посредникам на этом сайте нет, и здесь их тоже не будет. Если вы всё же думаете о посреднике, помните простую вещь: посредник держит ваши деньги, а перепродавец API ещё и видит ваши запросы.
Путь 2: Tinker и сторонние API
Tinker от Thinking Machines
Tinker это платформа самой лаборатории для обучения и запуска моделей. Страница цен Tinker, открытая 13 ноября 2026 года (собственная дата таблицы на странице: 19 октября 2026 года), показывает для Inkling 2 Small такие цены в долларах за миллион токенов:
- Обучение и сэмплирование с контекстом 64K: вход $0,30, кэшированный вход $0,03, выход $1,00, обучение $1,50.
- Обучение и сэмплирование с контекстом 256K: те же $0,30, $0,03 и $1,00, обучение $3,00.
- Serverless inference, в бете, только 256K: $0,30, $0,03 и $1,00.
Serverless inference сейчас в бете, и для использования в продакшене клиенты записываются в лист ожидания. Хранение чекпойнтов стоит $0,10 за гигабайт в месяц. Контекста 1M у Tinker в списке нет. Это нормально: модель может поддерживать 1 млн токенов, но поставщик сам решает, какое окно обслуживать, потому что длинный контекст требует больше памяти GPU на каждый запрос.
Россия в условиях Thinking Machines не названа. В разделе о торговых ограничениях (§10(h)) пользователь подтверждает, что он «not located, organized or resident in a country that is or becomes subject to comprehensive Trade Controls». Там же сказано, что компания может менять функции в зависимости от местоположения пользователя. Списка стран нет ни в условиях, ни на страницах Tinker. Попадает ли Россия под это условие, решают юристы, и отвечать на этот вопрос здесь мы не будем. Можно сказать только одно: доступ из России в этих документах прямо не описан.
Сторонние API
В обновлении анонса от 12 ноября лаборатория перечисляет API у NVIDIA, Fireworks, Together, Baseten, Nebius, Modal и Cloudflare. Мы не открывали страницы этих сервисов с ценами на Inkling 2 Small, поэтому цен здесь нет. Мы также не проверяли, что каждый из них уже обслуживает модель. Вот что 13 ноября 2026 года говорят доступные нам условия о странах:
- Together AI: стран не называет, запрещает только использование с нарушением применимого права, включая экспортное.
- Baseten: §12.7 называет санкционные юрисдикции «as of the Effective Date»: Кубу, Иран, Северную Корею, Крым и так называемые ДНР и ЛНР. Россию целиком не называет. Трафик из санкционной юрисдикции указан как тревожный признак.
- Fireworks: действующие условия 13 ноября 2026 года открыть не удалось. Правила доступа из России и оплаты сегодня не подтверждены.
- Modal: стран не называет.
- Cloudflare: общие условия запрещают работу с санкционными лицами и экспорт в страны с ограничениями, но стран не перечисляют. Отдельные условия Workers AI мы не открывали.
- NVIDIA и Nebius: условия их API мы открыть не смогли. Что они говорят о доступе из России, неизвестно.
Ни один из открытых нами документов не говорит прямо, что доступ из России разрешён или запрещён. Читайте условия выбранного сервиса в день регистрации.
Путь 3: свои веса на кластере GPU
Это путь для тех, у кого есть доступ к серверу с несколькими GPU уровня дата-центра. Карточка модели формулирует требования так: основной чекпойнт NVFP4 «requires a GPU cluster with at least 500GB of aggregated VRAM», примеры: 2x NVIDIA B300 или 4x NVIDIA H200. Чекпойнту MXFP8 нужно «at least 800GB of aggregated VRAM», примеры: 4x B300 или 8x H200. Лаборатория рекомендует NVFP4 для всех сценариев. По её словам, MXFP8 даёт прирост на тестах в 1 или 2 процентных пункта, и на практике это незаметно.
Карточка модели не содержит команд запуска, а ссылается на рецепты движков. На 15 ноября 2026 года рецепт vLLM требует nightly-сборку, а рецепт SGLang указывает, что поддержка ещё не вошла в релиз, и предлагает образы dev-inkling-2-small. Выбирайте в рецепте своё оборудование и берите команду вместе с флагами параллелизма и ограничением контекста.
--host 0.0.0.0 значит, что сервер слушает на всех сетевых интерфейсах, в том числе на публичном адресе. Доступность порта 30000 извне зависит от файрвола и сетевых правил. Закройте порт файрволом или укажите приватный адрес вместо 0.0.0.0. Те же правила, что и для Ollama, разобраны в руководстве по защите API-эндпойнта Ollama.
Перед запуском также проверьте место на диске: по данным на 13 ноября 2026 года одни файлы NVFP4 занимают около 393,5 ГБ.
Есть ли GGUF, llama.cpp и локальный Ollama
Для Ollama локального тега нет: на 15 ноября 2026 года в списке тегов только inkling-2-small:cloud.
GGUF-файлы уже есть. Unsloth выложила репозиторий unsloth/Inkling-2-Small-GGUF с восемью квантованиями и версией BF16. Размер от 171,7 ГБ у самого малого UD-IQ1_S до 484,4 ГБ у BF16. Но в карточке репозитория сказано, что модель использует новую архитектуру inkling2 и нужна сборка llama.cpp с её поддержкой. Сборки, которые понимают только первое поколение Inkling, эти файлы не загрузят. Руководство Unsloth предлагает собрать llama.cpp из pull request 32187. Оно же напоминает, что 171,7 ГБ это только веса на диске, а памяти для работы нужно больше: на систему, KV-кэш, буферы и проектор изображений.
Для запуска без GPU Unsloth указывает -DGGML_CUDA=OFF при сборке и -ngl 0 при запуске. На обычном VPS с несколькими десятками гигабайт RAM модель не поместится. Исключение: сервер с большой памятью, примерно от 180 ГБ свободной RAM для UD-IQ1_S, квантования примерно в один бит, и местом на диске для весов. Это нижний ориентир из 171,7 ГБ весов и дополнительной памяти для работы, а не опубликованная Unsloth цифра. UD-IQ1_S даёт самое низкое качество среди предлагаемых Unsloth квантований, а 594B MoE на CPU работает медленно. Требование 500 ГБ VRAM из основной карточки относится к NVFP4, а не к этому способу запуска. Для текстовых запросов проектор изображений можно не загружать, убрав --mmproj.
Статус llama.cpp на 15 ноября 2026 года такой. Pull request 32217 («feat: add Inkling 2 support (text + vision)») влит в master коммитом 5c008e0 14 ноября. Релиз llama.cpp b12406 от 15 ноября 2026 года и более поздние релизы включают поддержку Inkling 2 из PR 32217. Это видно из истории коммита слияния и страницы b12406, который указывает на тот же коммит 5c008e0. PR 32187, который использует руководство Unsloth, остаётся открытым. Карточка и руководство Unsloth пока не подтверждают, что их GGUF загружаются в новую upstream-сборку; для этих файлов следуйте указанному Unsloth способу сборки.
По данным на 13 ноября 2026 года для Mac появилась 4-битная MLX-версия mlx-community/Inkling-2-Small-4bit, её веса занимали около 381 ГБ. Она создана 13 ноября, и мы не проверяли, на каком железе она работает.
Даже самый малый GGUF больше 170 ГБ, поэтому VPS с несколькими десятками гигабайт RAM для такого запуска не подходит. Чем низкобитные квантования платят за размер, объяснено в сравнении квантований Q4, Q8 и FP16. Следить за изменениями удобно в трёх местах: список тегов модели на ollama.com, карточка и руководство Unsloth и список релизов llama.cpp с проверкой, включает ли коммит нового тега слияние 5c008e0; b12406 от 15 ноября 2026 года уже включает его, а оставшийся открытый вопрос состоит в том, подтвердит ли Unsloth загрузку своих файлов в upstream-релизе.
Где Inkling 2 Small сильна, а где отстаёт
Все цифры ниже опубликовала сама Thinking Machines. Независимой проверки пока нет. У лаборатории две разные таблицы, и их нельзя смешивать.
Первая таблица в анонсе короткая. Там Inkling 2 Small сравнивается с четырьмя открытыми моделями: GLM-5.3-Flash, DeepSeek-V4.1-Flash-1017, Muse Spark Open и Kimi K3. В ней Inkling выше всех на GDP.pdf, MMMU Pro, PerceptionBench и ScreenSpot Pro: GDP.pdf 25,2%, MMMU Pro 81,6%, PerceptionBench 64,7%, ScreenSpot Pro 83,8% (92,0% с Python).
Вторая таблица полная, на 13 моделей. Она есть в карточке и в анонсе. В неё добавлены закрытые модели GPT-6 Luna, Gemini 3.8 Flash и Claude Haiku 5.5, а также более крупные открытые.
Данные, на которых построен график
[
{
"label": "Finance Agent v2.1",
"inkling_2_small_pct": 67.5,
"best_other_pct": 65.8
},
{
"label": "GDP.pdf",
"inkling_2_small_pct": 25.2,
"best_other_pct": 22.8
},
{
"label": "PerceptionBench",
"inkling_2_small_pct": 64.7,
"best_other_pct": 68.7
},
{
"label": "MMMU Pro",
"inkling_2_small_pct": 81.6,
"best_other_pct": 85.6
},
{
"label": "ScreenSpot Pro",
"inkling_2_small_pct": 83.8,
"best_other_pct": 85.4
},
{
"label": "ScreenSpot Pro \u0441 Python",
"inkling_2_small_pct": 92.0,
"best_other_pct": 93.7
}
]В полной таблице Inkling 2 Small первая на Finance Agent v2.1 с 67.5%, следом Gemini 3.8 Flash с 65.8%. Первая она и на GDP.pdf с 25.2%, следом GPT-6 Luna с 22.8%. На PerceptionBench и MMMU Pro она вторая: впереди Gemini 3.8 Flash с 68.7% и 85.6%. На ScreenSpot Pro в исходной постановке впереди Claude Haiku 5.5 с 85.4%, а с Python впереди Gemini 3.8 Flash с 93.7%. Поэтому честная формулировка такая: на перечисленных тестах зрения она опережает остальные открытые модели в сравнении самой лаборатории. Лучшей по зрению вообще её назвать нельзя.
Программирование сильное, но не лучшее.
Данные, на которых построен график
[
{
"label": "Inkling 2 Small",
"deepswe_pct": 72.1
},
{
"label": "MiniMax-M3.1-Flash",
"deepswe_pct": 73.7
},
{
"label": "Gemini 3.8 Flash",
"deepswe_pct": 73.8
},
{
"label": "DeepSeek-V4.1-Flash-1017",
"deepswe_pct": 77.0
}
]На DeepSWE v1.1 у Inkling 72.1%, а у DeepSeek-V4.1-Flash-1017 77.0%. На FrontierCode v2.0 у Inkling 25,4%, у DeepSeek-V4.1-Flash-1017 28,5%, у Claude Haiku 5.5 34,9%. В индексе Artificial Analysis Intelligence Index модель набирает 31 по тексту анонса и 30,6 (AA Index v5.0) по таблице. Это ниже, чем у Claude Haiku 5.5 (36,5), DeepSeek-V4.1-Flash-1017 (32,6), GLM 5.3 (31,7) и Gemini 3.8 Flash (30,8).
Для чего лаборатория предлагает модель: распознавание текста (OCR), grounding (поиск объекта на изображении по описанию), чтение инфографики, визуальные рассуждения и работа с документами, особенно в финансах и юриспруденции. В разделе о такой работе сказано, что модель «calls tools over MCP», то есть вызывает инструменты через MCP (Model Context Protocol). Все тесты лаборатория запускала с уровнем рассуждения effort 0.99 («xhigh») и температурой 1.0.
Ограничения лаборатория называет сама. Модель многословна и не всегда выбирает лучший инструмент. Она хуже оптимизирована для обычного чата. Ещё она слишком остро реагирует на запросы о психическом здоровье и другие темы безопасности.
Что запустить на VPS из России уже сегодня
Если вам нужна модель на своём сервере, где данные никуда не уходят и платить иностранному сервису не надо, выбирайте модели, которые помещаются в память VPS. Для VPS с несколькими десятками гигабайт RAM это модели в десятки раз меньше Inkling 2 Small. Пример с пошаговой настройкой есть в руководстве по запуску Qwen 3.8 27B на VPS. Чем отличаются два основных движка для такого запуска, объяснено в сравнении Ollama и llama.cpp. Общий обзор того, что реально помещается на сервер, собран в обзоре моделей, которые можно развернуть у себя.
Перед выбором проверьте на своём сервере одну вещь: открывается ли с него источник, откуда вы будете скачивать веса. Мы этот вопрос для России не проверяли, поэтому не обещаем ни одного источника.
Если модели для VPS вам мало, а облачная модель недоступна из-за оплаты, сравните аренду GPU и оплату токенов. Расчёт есть в материале о том, когда GPU-сервер окупается по сравнению с API. Для Inkling 2 Small учитывайте и запуск GGUF на CPU: он не требует кластера с 500 ГБ видеопамяти, но требует большого объёма системной RAM и места на диске.
FAQ
Можно ли запустить Inkling 2 Small на обычном VPS без видеокарты?
Нет, на обычном VPS с несколькими десятками гигабайт RAM модель не поместится. Исключение: CPU-запуск на сервере с большой памятью, примерно от 180 ГБ свободной RAM для самого сжатого GGUF Unsloth UD-IQ1_S, квантования примерно в один бит, и сборкой llama.cpp с поддержкой inkling2. Сам файл занимает 171,7 ГБ; оценка RAM включает дополнительную память для работы и не является опубликованным требованием Unsloth. Unsloth документирует CPU-запуск с -ngl 0, но 594B MoE на CPU работает медленно, а UD-IQ1_S даёт самое низкое качество среди её квантований. Релиз llama.cpp b12406 от 15 ноября 2026 года и более поздние релизы включают поддержку Inkling 2 из PR 32217; руководство Unsloth использует открытый PR 32187 и пока не подтверждает загрузку своих файлов в upstream-релизе. Требование не меньше 500 ГБ VRAM относится к основному чекпойнту NVFP4. Для небольшого VPS остаётся удалённый вызов, например через тег inkling-2-small:cloud в Ollama Cloud.
Сколько стоит Inkling 2 Small в Ollama Cloud?
На 13 ноября 2026 года Ollama берёт $0,30 за миллион входных токенов, $0,03 за миллион кэшированных входных и $1,00 за миллион выходных. Внепикового тарифа для этой модели нет. Можно платить за токены без подписки или взять Pro за $20 в месяц с $60 кредитов, либо Max за $100 в месяц с $300 кредитов.
Можно ли оплатить Ollama Cloud российской картой?
Сама Ollama не публикует правил о России или российских картах. Но её политика конфиденциальности называет платёжным обработчиком Stripe. Stripe пишет, что платежи российскими картами вряд ли пройдут, что он не обслуживает пользователей, находящихся в России, и не поддерживает платёжную систему Мир. На практике это главная преграда для оплаты из России.
Есть ли GGUF-версия Inkling 2 Small для llama.cpp или Ollama?
GGUF-файлы есть, например в репозитории Unsloth, от 171,7 ГБ у самого малого квантования. Обычному VPS они не подходят: даже UD-IQ1_S, квантование примерно в один бит, требует ориентировочно от 180 ГБ свободной RAM с учётом памяти сверх весов. Это расчётный нижний ориентир, а не цифра Unsloth. Нужна сборка llama.cpp с архитектурой inkling2. Релиз llama.cpp b12406 от 15 ноября 2026 года и более поздние релизы включают поддержку Inkling 2 из PR 32217. Руководство Unsloth по-прежнему использует PR 32187 и не подтверждает совместимость этих файлов с новой upstream-сборкой. Unsloth документирует запуск на CPU с -ngl 0, но он медленный, а самый малый файл даёт самое низкое качество среди её квантований. Локального тега в Ollama нет, есть только inkling-2-small:cloud.
Почему Tinker обслуживает Inkling 2 Small только с контекстом 256K, если модель поддерживает 1M?
Окно контекста, которое поддерживает модель, и окно, которое обслуживает поставщик, это разные вещи. Длинный контекст требует больше памяти GPU на каждый запрос, поэтому поставщик может ограничить окно. Страница цен Tinker на 13 ноября 2026 года показывает для этой модели 64K и 256K, а в Ollama Cloud у тега указан контекст 1M.