Як запустити Qwen 3.8 27B на VPS через Ollama
Qwen 3.8 27B доступна в Ollama як qwen3.8:27b. Дізнайтеся, скільки RAM потрібно для CPU-only VPS і що реально працює на планах від 8 до 64 GB.
Чи можна запускати Qwen 3.8 27B на VPS без GPU?
Щоб запустити Qwen 3.8 27B на VPS, потрібен тег qwen3.8:27b. Станом на 21 October 2026 бібліотека Ollama містить цей тег для локального завантаження: 27.3 billion параметрів, квантизація Q4_K_M, ліцензія Apache 2.0, контекстне вікно на 256K і завантаження розміром 18 GB, яке містить vision projector приблизно на 0.9 GB. Ollama додала підтримку Qwen 3.8 27B у v0.32.12, випущеній 14 August 2026, тому старішу інсталяцію спочатку потрібно оновити. Станом на 29 October 2026 останньою стабільною версією є v0.40.13, опублікована 28 October 2026.
Коротка відповідь: так, на VPS із 32 GB або більше, але повільно. Щільна модель 27B у форматі Q4 потребує приблизно 17 GB RAM лише для ваг, ще до збереження першого токена контексту. Тому плани на 8 GB і 16 GB повністю непридатні. На типовому VPS із двоканальною DDR4 верхня межа становить приблизно 3 токенів за секунду. Це повільніше, ніж читає більшість людей.
Попередні теги 27B досі доступні в бібліотеці: qwen3.6:27b і qwen3.5:27b — це збірки Q4_K_M приблизно однакового розміру. Qwen3.8-27B зберігає архітектуру Qwen3.6-27B, а офіційні файли конфігурації для обох моделей містять однакову структуру шарів, тому наведені нижче розрахунки використання пам’яті застосовні до обох моделей. Перед копіюванням будь-якої команди перевірте актуальний список на сторінці тегів qwen3.8 в Ollama. Наведені розрахунки залежать від кількості параметрів, кількості бітів на вагу та структури attention, а не від номера версії.
Який тег Ollama завантажувати та як його перевірити
Завантаження неіснуючого тега повертає зрозумілу помилку, тому це можна швидко перевірити безпосередньо на сервері. Тег, який існує, усе одно може не запускатися локально. Саме на цьому часто помиляються з GLM 5.2, який є в бібліотеці, але обслуговується лише з хмари Ollama.
ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27bollama show виводить архітектуру, кількість параметрів, довжину контексту та квантизацію фактично встановленого тега. Якщо рядок із параметрами містить 27.3B, а рядок із квантизацією — Q4_K_M, у вас збірка, для якої написано цей посібник. У бібліотеці також доступні qwen3.8:27b-q8_0 і qwen3.8:27b-bf16 для тих самих ваг із вищою точністю, варіанти 27b-mtp, а також теги 27b-nvfp4, 27b-mxfp8, 27b-mlx і 27b-mlx-bf16, які на сторінці тегів позначені як MLX. Цей формат призначений для Apple Silicon, а не для Linux VPS. На відміну від qwen3.6, запис qwen3.8 не має тегів 35b-a3b. Ці моделі MoE (mixture of experts) усе ще належать до qwen3.6 і працюють на CPU зовсім інакше. Нижче наведено додаткові відомості про них.
Кількість параметрів, помножена на кількість байтів на вагу
Дані, на яких побудовано графік
[
{
"label": "Q4_K_M",
"size_gb": 17,
"bits_per_weight": 4.98,
"notes": "published tag qwen3.8:27b, language model file"
},
{
"label": "Q5_K_M",
"size_gb": 19.5,
"bits_per_weight": 5.7,
"notes": "computed, no official library tag exists"
},
{
"label": "NVFP4",
"size_gb": 18,
"bits_per_weight": 5.27,
"notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
},
{
"label": "Q8_0",
"size_gb": 29,
"bits_per_weight": 8.5,
"notes": "published tag 27b-q8_0, language model file"
},
{
"label": "BF16",
"size_gb": 55,
"bits_per_weight": 16.1,
"notes": "published tag 27b-bf16, language model file"
}
]Формула складається з одного рядка. Кількість байтів ваг = кількість параметрів * кількість бітів на вагу / 8. За точності 4 біти 27.3 мільярда параметрів займали б 13.7 GB. Файл language model у випущеному тегу Q4_K_M має розмір 17 GB. Це відповідає 4.98 бітам на вагу на практиці.
Ця різниця не є помилкою. Формати K-quant не зберігають кожен tensor із номінальною розрядністю. Tensor-и, які найбільше втрачають якість під час стиснення, отримують більше бітів. У списку tensor-ів Ollama для випущеного файлу qwen3.8:27b у Q6_K перебувають output layer, приблизно половина feed-forward down projections, attention V projections приблизно в половині шарів full-attention і приблизно половина fused QKV projections у шарах linear-attention. Невеликі tensors нормалізації зберігаються з повною 32-bit precision. Token embedding, attention Q і K projections, а також feed-forward gate і up projections залишаються в Q4_K, як і більшість моделі. Назва формату означає середнє значення, і це середнє наближається до 5. Такий самий ефект спостерігається на іншому кінці шкали: 55 GB для BF16 відповідає 16.1 бітам на вагу, а не фіксованим 16. У цьому випадку token embedding має BF16, як і решта моделі, а невеликий надлишок пояснюється metadata файлу, tensors нормалізації, що зберігаються з 32-bit precision, і округленням зазначеного розміру до найближчого gigabyte.
Плануйте обсяг для всього тегу, а не лише для файлу language model. Кожен GGUF tag із qwen3.8:27b також містить vision projector обсягом приблизно 0.9 GB. Саме тому для тегу Q4_K_M зазначено 18 GB.
У офіційному записі бібліотеки qwen3.8 немає опублікованого тегу Q5_K_M, тому рядок 19.5 GB розраховано за типовим значенням 5.7 бітів на вагу для цього формату, а не виміряно. Q8_0 майже вдвічі збільшує обсяг порівняно з Q4 — до 29 GB. На системі, що працює лише на CPU, це подвоює обсяг memory traffic для кожного token, тому швидкість також приблизно зменшується вдвічі — до tokens per second. Саме тому Q4_K_M тут є оптимальним варіантом за замовчуванням. Якщо вас цікавить вплив цього вибору на якість, а не на обсяг пам’яті, детальніше порівняння Q4, Q8 і fp16 показує, на якому етапі якість output починає погіршуватися.
Вартість KV-кешу зі збільшенням контексту
Ваги мають фіксований розмір. KV-кеш (кеш ключів і значень, стан attention, який модель зберігає для кожного вже обробленого токена) зростає лінійно зі збільшенням довжини контексту. Саме через нього найчастіше закінчується RAM.
Дані, на яких побудовано графік
[
{
"label": "4k tokens",
"kv_f16_gb": 0.25,
"kv_q8_gb": 0.13
},
{
"label": "8k tokens",
"kv_f16_gb": 0.5,
"kv_q8_gb": 0.25
},
{
"label": "16k tokens",
"kv_f16_gb": 1,
"kv_q8_gb": 0.5
},
{
"label": "32k tokens",
"kv_f16_gb": 2,
"kv_q8_gb": 1
},
{
"label": "64k tokens",
"kv_f16_gb": 4,
"kv_q8_gb": 2
},
{
"label": "128k tokens",
"kv_f16_gb": 8,
"kv_q8_gb": 4
}
]Ці значення взято з власного конфігураційного файлу моделі. Qwen3.8-27B, як і Qwen3.6-27B, використовує hybrid attention. Лише 16 із 64 шарів використовують full attention і зберігають кеш, який зростає з кожним токеном. У цих шарах є 4 key/value heads у режимі GQA (grouped-query attention) і head dimension 256. Інші 48 шарів використовують linear attention (Gated DeltaNet) і натомість зберігають стан фіксованого розміру. За моїм розрахунком, це близько 150 MB на один слот розмови незалежно від довжини контексту. У результаті для f16 потрібно 64 KiB на токен: 2 GB для 32k токенів і 8 GB для 128k. Не покладайтеся на мій розрахунок для власної системи. Завантажте модель і прочитайте стовпець SIZE у ollama ps. Він показує сумарний розмір ваг, кешу та службових накладних витрат.
Контекст 256K, зазначений на сторінці моделі, доступний на цій архітектурі, але не без додаткових витрат. Заповнення такого контексту у форматі f16 потребує близько 16 GB кешу додатково до ваг. При цьому сама машина вже використовує 17 GB для ваг. Ollama за замовчуванням не надає повне контекстне вікно. Документація Ollama щодо довжини контексту визначає значення за замовчуванням залежно від VRAM: 4k токенів за обсягу менше ніж 24 GiB, 32k для 24–48 GiB і 256k за 48 GiB або більше. CPU-only VPS взагалі не має VRAM, тому використовується рівень 4k. Збільшити його можна явно за допомогою OLLAMA_CONTEXT_LENGTH. Ця змінна діє на рівні всього сервера, але вона не є єдиним способом налаштування. Налаштування num_ctx для окремого запиту дає змогу зберегти невелике значення за замовчуванням для інших запитів і надати більше вікно одному тривалому завданню. Збільшуйте значення поступово та після кожної зміни перевіряйте ollama ps.
Два параметри дають змогу зменшити кеш. OLLAMA_KV_CACHE_TYPE=q8_0 зберігає кеш у 8 біт замість 16, зменшуючи його для 32k токенів із 2 GB до 1 GB. Для цього потрібен flash attention, тому також встановіть OLLAMA_FLASH_ATTENTION=1 і перевірте зменшення в ollama ps, а не припускайте, що параметр застосувався. Якщо ви раніше не змінювали тип кешу, покроковий приклад порівняння q8_0 і f16 для KV-кешу Ollama показує, як встановити обидві змінні та порівняти значення до і після зміни. OLLAMA_NUM_PARALLEL=1 має таке саме значення. Ollama може обслуговувати кілька запитів одночасно, і кожен слот отримує власну частину контексту. Тому збільшення паралельності непомітно множить обсяг кешу, який потрібно закласти в розрахунок. Поточне значення за замовчуванням уже дорівнює 1, а наведене нижче перевизначення фіксує його на цьому рівні. Якщо цим сервером користуватиметься більше однієї людини, саме це множення створює проблему. Кількість одночасних користувачів, яких може обслуговувати self-hosted модель, визначається слотами кешу та глибиною черги задовго до того, як її починає визначати кількість ядер.
Що вміщується в 8, 16, 32 і 64 GB RAM
Дані, на яких побудовано графік
[
{
"label": "8 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "Weights alone exceed the box. Use a 4b or 8b model."
},
{
"label": "16 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "17 GB of weights does not fit in 16 GB of RAM."
},
{
"label": "32 GB",
"q4_max_ctx_ktok": 128,
"q8_max_ctx_ktok": null,
"notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
},
{
"label": "64 GB",
"q4_max_ctx_ktok": 256,
"q8_max_ctx_ktok": 256,
"notes": "Both fit with the full 256K window."
}
]Читайте ці два числа як тисячі токенів контексту, які вміщуються разом із вагами та vision projector за f16 cache на headless Linux VPS, де для операційної системи та невеликого запасу залишається близько 1.5 GB. Нуль означає, що самі ваги не вміщуються, тому нічого вмістити неможливо; null означає, що ваги вміщуються, але підтвердженого показника придатного контексту для цього рівня немає.
8 GB і 16 GB — це не прикордонні випадки. 17 GB ваг не вміщуються в 16 GB RAM, і жодне налаштування контексту цього не змінить. Додавання swap також не допоможе. Ollama відображає файл GGUF у пам’ять, тому після перевищення обсягу RAM резидентними сторінками kernel починає витісняти їх і знову зчитувати з диска. У результаті кожен токен завантажує з диска по кілька GB. Сервер переходить у стан високого iowait і генерує значно менше одного токена за секунду.
32 GB — це мінімальний придатний рівень. Ваги займають 17 GB, vision projector додає близько 0.9 GB, і залишається приблизно 12.5 GB. Цього вистачає приблизно для 128k токенів f16 context із запасом. Ваги Q8_0 обсягом 29 GB вміщуються в 32 GB, але придатний обсяг контексту також залежить від vision projector, cache, операційної системи та runtime memory. Перш ніж вважати Q8 придатним для цього рівня, перевірте загальний обсяг пам’яті на своєму сервері.
64 GB — це комфортний варіант. Q4 залишає місце для повного вікна 256k, а ваги Q8_0 також вміщуються разом із повним контекстом 256k. Перш ніж платити за 64 GB заради Q8, чітко визначте, що саме ви купуєте: трохи кращий результат на половині швидкості на машині, яка і без того була повільною. Q4 уже підтримує 128k токенів на тарифі з 32 GB, і майже для всіх це вигідніший компроміс.
Наскільки швидкий CPU inference на VPS?
Генерація одного токена щільною моделлю означає одноразове читання всіх ваг із пам’яті. Не частини ваг, а всіх. Тому швидкість обмежує не кількість ядер, а пропускна здатність пам’яті, поділена на розмір ваг. Для Q4 це 17 GB трафіку пам’яті на токен.
Дані, на яких побудовано графік
[
{
"label": "DDR4-2666, 2 channel",
"mem_bandwidth_gb_s": 42.6,
"ceiling_tok_s": 2.5
},
{
"label": "DDR4-3200, 2 channel",
"mem_bandwidth_gb_s": 51.2,
"ceiling_tok_s": 3
},
{
"label": "DDR5-4800, 2 channel",
"mem_bandwidth_gb_s": 76.8,
"ceiling_tok_s": 4.5
},
{
"label": "DDR4-3200, 8 channel",
"mem_bandwidth_gb_s": 204.8,
"ceiling_tok_s": 12
},
{
"label": "DDR5-4800, 12 channel",
"mem_bandwidth_gb_s": 460.8,
"ceiling_tok_s": 27.1
}
]Це граничні значення, а не результати вимірювань. Фактична швидкість зазвичай становить приблизно 50–70 відсотків показаного значення, оскільки затримки пам’яті та неповне попереднє завантаження не дають досягти теоретичного максимуму. VPS із двоканальною DDR4-3200 має граничну швидкість 3 токенів за секунду, тому очікуйте приблизно 2. Сервер із двоканальною DDR5-4800 має граничну швидкість 4.5, тому очікуйте приблизно 3.
Для потужніших серверів є важливе застереження. Платформа з дванадцятьма каналами EPYC має пропускну здатність 460.8 GB/s і граничну швидкість 27.1 токенів за секунду, але ви не орендуєте цілий EPYC. Пропускна здатність пам’яті є спільним ресурсом усього хоста, яким користуються всі орендарі цієї машини, тому slice на 8 vCPU не отримує дванадцять каналів виділеної пропускної здатності. У посібниках, орієнтованих на GPU, це зазвичай не розглядають. Саме тому два VPS-плани з однаковою кількістю vCPU можуть утричі відрізнятися за швидкістю на одній моделі.
Більша кількість vCPU також перестає допомагати на ранньому етапі з тієї самої причини. Коли ядра починають запитувати дані швидше, ніж контролер пам’яті може їх передавати, додаткові потоки лише збільшують накладні витрати планування. Більше вони нічого не дають. В Ollama немає загальної для сервера змінної середовища, яка задає кількість потоків, тому встановіть num_thread у запиті options відповідно до кількості фізичних ядер, виміряйте швидкість, а потім спробуйте половину цього значення. На багатьох спільних планах нижче значення працює швидше.
Обробка промпту працює інакше. Prefill, тобто обробка вхідних даних до появи першого токена, обмежується обчислювальною потужністю, а не пропускною здатністю пам’яті, тому масштабується разом із кількістю ядер. Практично це означає тривалу паузу перед початком виведення для великого промпту, після якої встановлюється повільна стабільна швидкість, описана вище. Вимірюйте обидві частини окремо за допомогою --verbose. Ця команда виводить prompt eval rate і eval rate для кожного запиту.
Якщо щільна модель 27B працює надто повільно, перед відмовою від CPU перевірте теги qwen3.6:35b-a3b. Вони активують приблизно 3 мільярди параметрів на токен замість усіх 27.3 мільярда. Тому трафік пам’яті на токен зменшується майже на порядок, хоча файл на диску стає більшим. Ви обмінюєте обсяг RAM на швидкість. Вибір runtime також має значення: Ollama і llama.cpp надають різні засоби налаштування CPU для одного й того самого базового коду inference.
Коли замість цього орендувати GPU на годину
Дані, на яких побудовано графік
[
{
"label": "L40S, 48 GB",
"mem_bandwidth_gb_s": 864,
"ceiling_tok_s": 51
},
{
"label": "RTX 4090, 24 GB",
"mem_bandwidth_gb_s": 1008,
"ceiling_tok_s": 59
},
{
"label": "A100, 80 GB",
"mem_bandwidth_gb_s": 2039,
"ceiling_tok_s": 120
},
{
"label": "H100 SXM, 80 GB",
"mem_bandwidth_gb_s": 3350,
"ceiling_tok_s": 197
}
]Та сама формула, застосована до опублікованої пропускної здатності пам’яті GPU, дає інший результат. Межа для споживчої карти на 24 GB із цими вагами становить 59 токенів за секунду. Сучасна дата-центрова карта досягає 197. Таку різницю не усунути налаштуванням кількості потоків. Карта працює з пам’яттю на швидкості 1008 GB/s, тоді як VPS — на швидкості в десятки GB/s.
Тому визначайте межу за робочим навантаженням, а не за власними уподобаннями. CPU inference підходить, коли робота виконується асинхронно і ніхто не чекає на результат: наприклад, для нічного узагальнення набору документів або нічної класифікації, яка виконується, поки ви спите. Орендуйте GPU, щойно людина починає чекати на результат або запити надходять швидше, ніж ваш сервер встигає їх обробляти. CPU runtime не обмежується одним запитом за раз: документація сервера llama.cpp описує parallel decoding і continuous batching як для CPU, так і для GPU, а Ollama також може обробляти паралельні запити, хоча для цього потрібно більше cache. Вирішальним є виміряний rate обробки запитів порівняно з rate їх надходження, тому виміряйте час виконання реалістичного batch на власному сервері. Щойно запити почнуть надходити швидше, ніж сервер їх обробляє, черга зростатиме.
Порівняння вартості не таке очевидне, як здається. VPS із 64 GB оплачується щогодини протягом усього місяця незалежно від того, завантажена модель чи ні, тоді як погодинна оренда GPU відокремлює витрати на compute від витрат на storage, які можуть нараховуватися й після його зупинки. Якщо фактичне використання становить 2 години на день, орендований GPU може бути одночасно швидшим і дешевшим. Спочатку визначте duty cycle, а потім розрахуйте вартість. У Вибір VPS із GPU описано, що потрібно перевірити безпосередньо в інстансі, а vLLM випереджає Ollama після переходу до обробки паралельних запитів на GPU — тому що vLLM належно групує їх у batch.
Є і третій варіант, про який часто забувають. Залиште 27B на CPU для пакетної обробки, а для інтерактивного шляху використовуйте hosted API model. Ніщо не вимагає, щоб одна модель обслуговувала обидва типи навантаження.
Встановіть Ollama та виміряйте продуктивність власного сервера
Скрипт встановлення є офіційним і налаштовує systemd-сервіс, який працює від імені окремого користувача ollama.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -gКоманда ollama --version має вивести 0.32.12 або новішу версію — це перший реліз із підтримкою Qwen 3.8 27B. Перевірте free -g, перш ніж завантажувати будь-що. Вона показує значення в GiB, тому система, заявлена як така, що має 32 GB RAM, може показувати приблизно 29 у стовпці total; порівняйте доступну пам’ять із наведеними вище обсягами ваг і кешу.
Задайте параметри runtime у systemd override, а не в shell. Модель працює всередині сервісу, тому не бачить ваше інтерактивне середовище.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."Вивід --verbose містить потрібні вам вимірювання. eval rate — це кількість токенів за секунду під час генерації. prompt eval rate — швидкість prefill. load duration — час читання ваг із диска, тому параметр OLLAMA_KEEP_ALIVE=60m задано саме так: на CPU повторне завантаження 17 GB із диска для кожного запиту коштує більше, ніж саме виконання запиту. Стандартний idle timeout становить п’ять хвилин. Цього достатньо, щоб batch queue із паузами між елементами щоразу повторно сплачувала цю вартість завантаження. Параметри для збереження моделі в пам’яті охоплюють як поле keep_alive для окремого запиту, так і збереження цього параметра після перезавантаження.
Поки модель завантажена, перевірте використання пам’яті з другого термінала.
ollama psСтовпець SIZE показує фактичний обсяг пам’яті разом із KV cache. Він має бути близьким до обсягу ваг, vision projector і значення для вашої довжини контексту в таблиці KV. Для 8192 токенів і 8-бітного кешу частина кешу, що зростає, займає лише приблизно чверть гігабайта порівняно з 0.5 GB, якби кеш залишався у форматі f16, а зверху додається фіксований стан лінійної уваги. У стовпці PROCESSOR має бути значення 100% CPU. Якщо там указано щось інше, якийсь процес використовує GPU, і показники швидкості в цьому посібнику не описують вашу систему.
Режими відмови та точні рядки, які ви побачите
Модель відмовляється завантажуватися. Ollama виводить рядок із назвами обох показників у форматі model requires more system memory (18.6 GiB) than is available (15.2 GiB). Це сприятливий варіант відмови, оскільки Ollama виконала перевірку до виділення пам’яті, а не залишила це ядру. Зменште довжину контексту, виберіть менший tag або перейдіть на план із більшим обсягом ресурсів.
Процес зникає посеред відповіді. Клієнт не показує нічого корисного, а journalctl -u ollama -n 50 показує, що сервіс перезапускається. Виконайте dmesg -T | tail. Рядок Out of memory: Killed process ... (ollama) означає, що процес завершив kernel OOM killer. Це відбувається, коли попередня перевірка перед завантаженням пройшла успішно, але під час тривалої розмови cache перевищив розрахунковий обсяг. Зменште довжину контексту.
Завантаження завершується помилкою одразу. Error: pull model manifest: file does not exist означає, що tag відсутній у library. Номер версії, яка ще не вийшла, спричиняє саме таку помилку. Те саме відбувається через будь-яку помилку в tag. qwen3.8:27b є справжнім tag, тому якщо саме цей tag не завантажується, спочатку перевірте помилку в написанні. Підтвердьте tag на сторінці library, перш ніж звинувачувати мережу. Якщо справжній tag завантажується, але не запускається, перевірте ollama --version щодо 0.32.12.
Усе працює, але швидкість нестерпно низька. Швидкість менше одного token на секунду на системі з достатнім обсягом RAM вказує на paging, а не на нестачу обчислювальної потужності. Виконайте vmstat 1 під час генерації. Ненульове значення у стовпці si або so означає, що kernel використовує swap. Виправлення: зменшити довжину контексту або кількість завантажених моделей. Стабільно високе значення wa без активності swap означає, що memory-mapped weights повторно зчитуються з диска. Це означає, що вони фактично не вміщуються в пам’ять.
Перший token з’являється через 30 секунд, після чого виведення пришвидшується. Це prefill, і така поведінка є нормальною. Довгий system prompt обробляється під час кожного запиту, для якого cache не використовується. Спочатку скоротіть system prompt, а вже потім змінюйте інші параметри.
Для чого насправді придатна модель 27B, що працює лише на CPU
Формуйте очікування на основі чисел, а не надій. За швидкості від двох до чотирьох токенів на секунду відповідь із 500 токенів займає від двох до чотирьох хвилин. Для чату це неприйнятно, але для черги завдань цілком придатно. Модель, яка обмірковує відповідь перед її надсиланням, погіршує цю арифметику, оскільки приховані токени міркування генеруються з такою самою низькою швидкістю, як і відповідь. Тому узгодження рівня зусиль під час міркування із завданням — один із небагатьох способів скоротити час відповіді без заміни моделі. Узагальнення документів, масове додавання тегів, вилучення полів із черги файлів і фоновий перегляд коду це витримують, оскільки ніхто не чекає на відповідь. Допомога в написанні коду перебуває саме на цій межі. Тому підключення coding agent до моделі, яку ви розміщуєте самостійно, виправдане для фонових завдань, наприклад створення повідомлень комітів і каркаса тестів, але не для вбудованих підказок, на які доводиться чекати.
Справжній аргумент на користь приватності. Модель працює на обладнанні, яке ви орендуєте й контролюєте. Жоден запит не залишає сервер. Плата за кожен токен відсутня. Для регульованих даних це має велику цінність навіть за швидкості три токени на секунду. Водночас чесно порівнюйте цей варіант з альтернативою: для self-hosting моделі frontier-scale потрібне на порядок потужніше обладнання, а 27B на CPU — найдешевша точка на цій кривій, де результат усе ще варто читати.
Щоб перевірити будь-який із цих показників, потрібні реальні структуровані вхідні дані. Більшість публічних API даних вимагають обліковий запис ще до того, як ви зможете виміряти пропускну здатність. Демонстраційна схема Strasmore (ми її використовуємо) описує SQL-запити лише для читання до даних про акції та опціони США без ключа й реєстрації, використовуючи імена таблиць із кваліфікацією бази даних: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5. Обмеження демоверсії становлять 500 рядків і 20 секунд на виклик. Історія доступна від 1 January 2025, чого з великим запасом достатньо для системи зі швидкістю два токени на секунду. Повний список стовпців наведено в https://ai.strasmore.com/api/demo/schema.
Якщо ви вперше встановлюєте Ollama, повний посібник із запуску Ollama на VPS охоплює налаштування сервісу, HTTP API і правила firewall, які цей посібник припускає вже налаштованими. Не відкривайте порт 11434 для інтернету. Локальний API Ollama не потребує автентифікації, тому будь-хто, хто отримує доступ до порту, може використовувати вашу модель.
FAQ
Чи є в Ollama модель Qwen 3.8 27B?
Так. Станом на 21 October 2026 бібліотека Ollama містить запис qwen3.8, а qwen3.8:27b (також із тегом latest) — це збірка 27.3 billion parameter dense model у форматі Q4_K_M розміром 18 GB, із vision projector і вікном контексту 256K. Вона працює локально й потребує Ollama v0.32.12 або новішої версії. Старіші теги qwen3.6:27b і qwen3.5:27b також залишаються в списку. Поточний список дивіться в https://ollama.com/library/qwen3.8/tags. Неіснуючий тег завершується помилкою Error: pull model manifest: file does not exist.
Скільки RAM потрібно, щоб запустити модель Qwen 27B на VPS?
32 GB — практичний мінімум для Q4_K_M. Ваги займають 17 GB, vision projector додає приблизно 0.9 GB, операційній системі потрібно близько 1.5 GB, а KV cache додає орієнтовно 1 GB на кожні 16,000 токенів контексту в f16, оскільки лише 16 із 64 шарів моделі зберігають кеш, який постійно зростає. План на 16 GB не вміщує навіть ваги, а swap не допомагає, оскільки файл відображається в пам’ять, і kernel просто повторно читає його з диска для кожного токена. 64 GB дають змогу використовувати повне вікно 256K навіть із вагами Q8_0 розміром 29 GB.
Скільки токенів за секунду дасть модель 27B на CPU?
Поділіть пропускну здатність пам’яті на розмір ваг, а потім візьміть від 50 до 70 відсотків отриманого значення. VPS із двоканальною DDR4-3200 має теоретичну межу близько 3 токенів за секунду й забезпечує приблизно 2. Сервер із двоканальною DDR5-4800 має теоретичну межу близько 4.5 і забезпечує приблизно 3. Серверні платформи з більшою кількістю каналів на папері виглядають значно краще, але пропускна здатність пам’яті розподіляється між усіма орендарями хоста. Тому виміряйте власний результат за допомогою ollama run qwen3.8:27b --verbose і прочитайте рядок eval rate.
Чи використовувати Q4 або Q8 на VPS лише з CPU?
Майже завжди Q4_K_M. Q8_0 займає 29 GB проти 17 GB, тому його ваги вміщуються в 32 GB, але projector, cache, операційна система та runtime залишають мало вільної пам’яті; 64 GB дають запас для довгого контексту. Така модель переміщує майже вдвічі більше даних пам’яті для кожного токена, тому швидкість генерації токенів приблизно вдвічі нижча. Для більшості завдань різниця в якості між Q4_K_M і Q8_0 у моделі 27B невелика. Краще використати RAM для довшого контексту, оскільки це змінює можливості моделі, а не лише формулювання відповідей.
Коли оренда GPU дешевша за VPS із великим обсягом RAM?
Коли навантаження нерегулярне або користувач очікує на результат. GPU із 24 GB пам’яті має теоретичну межу близько 59 токенів за секунду для цих ваг, тоді як типовий VPS забезпечує приблизно 2 або 3; погодинна оплата GPU compute припиняється після зупинки інстансу, але persistent storage усе одно може коштувати грошей. За VPS із 64 GB плата нараховується весь місяць незалежно від того, завантажена модель чи ні. Визначте, скільки годин на день ви фактично генеруєте токени. Точка беззбитковості залежить від тарифів оренди, вартості runtime і persistent storage. Для безперервної пакетної роботи з низьким пріоритетом вигіднішим є постійно запущений VPS.