NATS, RabbitMQ чи Kafka на одному VPS: що вибрати
Порівняння NATS, RabbitMQ і Kafka на одному VPS: гарантії доставки, витрати пам’яті та диска, відновлення після збою, перевірка черги й переваги Postgres.
Коротка відповідь для одного сервера
Черга повідомлень на одному VPS — це рішення про гарантії доставки, а не про швидкість. На одному сервері брокер рідко є вузьким місцем, оскільки спочатку обмеженнями стають код застосунку, база даних і один диск. Виберіть інструмент, чия поведінка під час відмов вас влаштовує, а потім виміряйте фактичні характеристики свого сервера.
Чотири варіанти в порядку, у якому їх варто розглядати більшості читачів.
- Використовуйте базу даних, яку вже запускаєте. Postgres із
SELECT ... FOR UPDATE SKIP LOCKEDпідходить для черги завдань і не додає нового процесу, за яким потрібно стежити. - Використовуйте RabbitMQ, якщо кожне повідомлення є окремою одиницею роботи, яку потрібно підтверджувати, обмежену кількість разів повторювати після помилки, а потім переміщувати в місце, де його може переглянути адміністратор.
- Використовуйте NATS, якщо повідомлення є подіями, на які реагують кілька компонентів системи. Увімкніть JetStream для подій, які мають зберігатися після перезапуску.
- Використовуйте Kafka, якщо downstream-інструмент підтримує лише протокол Kafka. На одному сервері це майже єдина вагома причина залишити цей варіант.
Далі в цьому посібнику наведено обґрунтування: скільки пам’яті та дискового простору потребує кожен варіант на невеликому VPS, як він поводиться після перезавантаження сервера та яка точна команда показує накопичені повідомлення до того, як це відчують користувачі.
Що насправді означає гарантія доставки
At most once означає, що брокер передає повідомлення й забуває про нього. Якщо жоден consumer не підключений або consumer завершує роботу посеред обробки, повідомлення втрачається, і система не повідомляє про це.
At least once означає, що consumer надсилає підтвердження (ack) після успішного завершення роботи. Поки це підтвердження не надійшло, брокер зберігає повідомлення та доставить його повторно. Повторна доставка означає, що ваші обробники мають бути ідемпотентними: повторна обробка того самого повідомлення не повинна двічі списувати кошти з картки. Гарантію exactly once від початку до кінця брокер не забезпечує. Вона досягається за допомогою унікального ключа у вашій базі даних.
Replay — це окрема властивість. Queue видаляє повідомлення після його підтвердження. Log зберігає повідомлення протягом періоду retention, тому новий consumer може почати з початку й прочитати всю історію. Kafka і NATS JetStream — це log. RabbitMQ підтримує queue та streams із можливістю replay; у цьому посібнику використовуються quorum queues. Ця відмінність впливає на архітектуру сильніше, ніж пропускна здатність.
Dead lettering — це обробка повідомлення, яке постійно завершується помилкою. Без цього poison message зациклиться назавжди, а цикл виглядатиме як активна робота worker, а не як несправність.
Почніть із Postgres і перевірте брокер на практиці
Більшість навантажень для одного застосунку — це кілька тисяч фонових завдань на день. Для цього достатньо однієї таблиці.
CREATE TABLE job (
id bigserial PRIMARY KEY,
payload jsonb NOT NULL,
run_after timestamptz NOT NULL DEFAULT now(),
attempts int NOT NULL DEFAULT 0
);
CREATE INDEX job_ready_idx ON job (run_after, id);Воркер отримує одне завдання в межах транзакції.
BEGIN;
SELECT id, payload
FROM job
WHERE run_after <= now()
ORDER BY id
FOR UPDATE SKIP LOCKED
LIMIT 1;
-- run the work, then remove the row
DELETE FROM job WHERE id = $1;
COMMIT;FOR UPDATE SKIP LOCKED — основний механізм. Він блокує повернений рядок і пропускає рядки, які вже заблокувала інша транзакція, тому два воркери ніколи не отримають одне й те саме завдання. Якщо воркер аварійно завершується, Postgres скасовує його транзакцію, блокування звільняється, і рядок стає доступним для наступного воркера. Ви отримуєте доставку щонайменше один раз, повторні спроби через збільшення attempts і таблицю недоставлених повідомлень — усе на основі надійності збереження даних, за яку ви вже платите. Весь backlog отримується одним запитом: SELECT count(*) FROM job WHERE run_after <= now();
Коли це перестає працювати. Кожне отримання і видалення завдання є операцією запису, тому висока частота завдань залишає після себе невидалені версії рядків, а таблиця черги — класичний випадок, коли розростання перевищує можливості autovacuum. Тривалі завдання погіршують ситуацію, оскільки транзакція, відкрита протягом усього виконання, також затримує горизонт vacuum для всієї бази даних. Опитування додає затримку, а LISTEN разом із NOTIFY усуває опитування, але не операції запису. Якщо таблиця завдань є найбільш завантаженою таблицею або другому сервісу потрібні ті самі події, винесіть цю роботу в окрему систему. Це рішення залежить від способу розгортання самої бази даних, тому спочатку визначте чи працює база даних у Docker, чи на хості, а вже потім додавайте брокер поруч із нею.
Redis — ще один компонент, який у вас уже може працювати. Redis Streams надають групи споживачів із XADD і XREADGROUP, список очікуваних повідомлень для кожної групи та XAUTOCLAIM, щоб забрати роботу у споживача, який завершився аварійно. Це компактне й швидке рішення. Але на одному сервері є важливе обмеження: зі стандартним параметром appendfsync everysec у разі втрати живлення можна втратити приблизно секунду операцій запису. Для інвалідації кешу це прийнятно, але для платежів — ні. Якщо ваш застосунок є одним процесом і побудований навколо SQLite у production на VPS, той самий шаблон отримання і видалення завдань працює, хоча SQLite не має аналога SKIP LOCKED, а всі воркери послідовно очікують на єдине блокування запису.
Маршрутизація subject у NATS core без збереження
docker run -d --name nats \
-p 4222:4222 -p 127.0.0.1:8222:8222 \
nats:2.15 -m 8222Станом на жовтень 2026 року актуальною є лінійка серверів 2.15. Параметр -m 8222 вмикає HTTP-порт моніторингу. За замовчуванням він вимкнений і не має автентифікації, тому прив’яжіть його до localhost, як описано вище.
Core NATS забезпечує доставку не більше одного разу й нічого не зберігає. Видавець надсилає повідомлення в subject, наприклад orders.created, а кожен підписник із відповідним фільтром отримує копію. Якщо підписників немає, повідомлення відкидається, а видавець не отримує помилки, оскільки його робота завершується після прийняття сервером байтів. Queue group — це кілька підписників зі спільним ім’ям групи. Сервер вибирає одного учасника для кожного повідомлення. Це дає змогу розподіляти роботу без збереження черги.
Обсяг використовуваних ресурсів складається зі стану підписок і буфера запису для кожного з’єднання. Тому він залежить від кількості з’єднань, а не від обсягу повідомлень. На диску нічого не накопичується. З цього випливає поведінка після перезапуску: повідомлення, які перебували в обробці, втрачаються, клієнти самостійно підключаються повторно, а етапу відновлення, якого потрібно чекати, немає.
Черги невідправлених повідомлень немає, тому потрібно контролювати втрати. Якщо підписник читає свій сокет повільніше, ніж сервер записує в нього дані, буфер сервера для цього клієнта заповнюється. Якщо клієнт не встигає надолужити відставання до завершення часу очікування запису, сервер закриває все з’єднання й збільшує лічильник.
curl -s http://localhost:8222/varz | jq '.slow_consumers, .connections, .in_msgs, .out_msgs'Значення slow_consumers, яке постійно зростає, означає, що повідомлення відкидаються. Тому налаштуйте сповіщення за цим показником, а не перевіряйте його одноразово. Core NATS підходить для повідомлень, цінність яких швидко втрачає актуальність: метрики, оновлення стану присутності або інвалідація кешу, яку все одно замінить наступна подія.
NATS JetStream: постійні потоки та повторне відтворення в тому самому процесі
JetStream — не окремий продукт. Це підсистема в тому самому бінарному файлі, яку вмикають одним прапорцем.
docker run -d --name nats \
-p 4222:4222 -p 127.0.0.1:8222:8222 \
-v nats-data:/data \
nats:2.15 -js -sd /data -m 8222-sd /data задає каталог сховища. Якщо його не вказати, JetStream зберігає дані в /tmp, що повністю відповідає очікуванням щодо надійності такого сховища. Створіть потік за допомогою CLI, який входить до образу nats-box.
docker run --rm -it --network host natsio/nats-box:latest \
nats stream add ORDERS \
--subjects 'orders.>' \
--storage file \
--retention limits \
--max-age 72h \
--max-bytes=1073741824 \
--discard old \
--defaultsКожен із цих лімітів має практичне значення на невеликому сервері. Файлове сховище зберігається після аварійного завершення процесу брокера, але стандартний двохвилинний інтервал fsync означає, що після аварійного завершення ОС або втрати живлення можна втратити підтверджені повідомлення; memory-потоки втрачають дані після завершення процесу. --max-bytes=1073741824 обмежує потік розміром 1 GiB, заданим у байтах, а --discard old видаляє найстаріші повідомлення після досягнення ліміту, замість того щоб відхиляти нові записи. Якщо не задати ліміт, один неконтрольований publisher заповнить диск. Після цього зупиниться і база даних, оскільки вони використовують той самий диск.
Постійний consumer зберігає власну позицію в потоці та не втрачає її після перезапуску. Задайте --max-deliver для consumer, щоб повідомлення, обробка якого постійно завершується помилкою, не доставлялося повторно без кінця. Коли для повідомлення вичерпано кількість спроб доставки, JetStream публікує advisory у $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.>. Підписка на цей subject дає змогу самостійно реалізувати dead letter path, який RabbitMQ надає як вбудовану функцію. Цю логіку потрібно написати самостійно.
Щоб переглянути backlog, виконайте nats stream report для отримання кількості збережених повідомлень і nats consumer report ORDERS для отримання кількості непідтверджених та необроблених повідомлень у кожному consumer. На кількість необроблених повідомлень слід налаштувати сповіщення. Використання дискового простору можна переглянути за допомогою du -sh для каталогу сховища. Воно зростатиме, доки retention limit не видалить старі дані.
RabbitMQ: підтверджуйте кожне повідомлення, а помилкові переміщуйте в окрему чергу
docker run -d --name rabbitmq \
-p 5672:5672 -p 127.0.0.1:15672:15672 \
-v rabbitmq-data:/var/lib/rabbitmq \
rabbitmq:4-managementСтаном на November 1, 2026 поточною є серія 4.4, а останній випуск — 4.4.0. Порт 5672 призначений для AMQP (advanced message queuing protocol), а 15672 — для інтерфейсу керування. Залиште інтерфейс доступним лише з localhost і підключайтеся до нього через SSH-тунель.
Оголошуйте черги з аргументом x-queue-type, установленим у quorum; значенням за замовчуванням досі є classic. Quorum queues завжди є durable і записують дані на диск до виконання будь-яких інших дій. Тому на одному вузлі ви отримуєте одну однозначну поведінку замість комбінації durable і transient параметрів. Установлюйте dead letter target за допомогою policy.
docker exec rabbitmq rabbitmqctl set_policy DLX ".*" \
'{"dead-letter-exchange":"my-dlx", "dead-letter-routing-key":"my-routing-key"}' \
--apply-to queues --priority 7Оголосіть my-dlx і прив’яжіть до нього durable dead letter queue за допомогою my-routing-key; policy не створює ці об’єкти.
Повідомлення потрапляє в dead letter з 4 причин: consumer відхиляє його за допомогою basic.reject або basic.nack, а requeue має значення false; спливає per-message TTL (time to live); черга досягає обмеження довжини; або повідомлення перевищує delivery limit quorum queue. Починаючи з RabbitMQ 4.0 це обмеження за замовчуванням дорівнює 20. Починаючи з RabbitMQ 4.3 явні nack із requeue не збільшують delivery-count, тому повідомлення можуть зациклитися назавжди. Для помилок, які мають враховуватися в цьому обмеженні, використовуйте basic.reject разом із requeue. Перевищення обмеження переміщує повідомлення в dead letter лише за налаштованого DLX; інакше повідомлення видаляється.
На невеликому VPS саме пам’ять часто спричиняє несподівану поведінку RabbitMQ. Значення high watermark за замовчуванням дорівнює 0.6 доступної RAM. Коли вузол перевищує цей поріг, RabbitMQ блокує всі з’єднання, які публікують повідомлення. Застосунок не отримує помилку. Він отримує операцію публікації, яка не повертається, і у вашому коді це виглядає як зависання. У startup log виводиться значення, обчислене вузлом:
Memory high watermark set to 1024 MiB (1073741824 bytes) of 8192 MiB (8589934592 bytes) totalDisk alarm так само блокує publisher, коли вільного місця стає менше за 50 MB за замовчуванням. Quorum queues додають власні вимоги: документація закладає щонайменше 32 bytes in-memory metadata на повідомлення, приблизно 1 MB на 30,000 повідомлень, і рекомендує мати в RAM щонайменше потрійний effective write-ahead log size. Обмеження WAL за замовчуванням дорівнює 512 MiB, тому лише ця рекомендація потребує 1.5 GiB. На сервері з 2 GB зменште це значення у rabbitmq.conf, а не розраховуйте, що стандартне значення підійде.
raft.wal_max_size_bytes = 64000000
vm_memory_high_watermark.relative = 0.5Backlog — це 2 числа, і їхня комбінація показує, яка саме сталася помилка.
docker exec rabbitmq rabbitmqctl list_queues name messages messages_ready messages_unacknowledgedmessages_ready очікує на consumer. messages_unacknowledged було доставлено, але для нього так і не надійшов ack. Зростання кількості unacknowledged повідомлень за незмінної кількості ready означає, що ваші worker-и отримали завдання, але перестали завершувати їх. Це інша помилка, ніж черга, яка просто не встигає обробляти повідомлення.
Kafka на одному сервері та коли це перестає мати сенс
KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
bin/kafka-storage.sh format --standalone -t $KAFKA_CLUSTER_ID -c config/server.properties
bin/kafka-server-start.sh config/server.propertiesЦе короткий посібник із Kafka 4.4.0, актуальний станом на November 1, 2026, із запуском у режимі KRaft (Kafka Raft — вбудований контролер, який замінив ZooKeeper у Kafka 4.0). Еквівалент для контейнера — apache/kafka:4.4.0.
Скрипт запуску встановлює export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G", якщо ви не встановили його самостійно. Тому брокер резервує 1 GB Java heap ще до збереження першого повідомлення. Крім того, йому потрібна вільна RAM для page cache, з якого він читає дані. На VPS із 2 GB ваш застосунок конкурує з JVM за залишок пам’яті.
Retention — наступне джерело несподіваних проблем. log.retention.hours за замовчуванням дорівнює 168, тобто семи дням, а log.retention.bytes за замовчуванням дорівнює -1, тобто обмеження за розміром відсутнє. Kafka зберігає повідомлення протягом усього цього періоду незалежно від того, чи прочитав їх кожен consumer. Це потрібна вам функція, але на одному невеликому диску вона також може спричинити збій. Тому встановіть обмеження в байтах для кожного topic заздалегідь. Обмеження в байтах застосовується до кожної partition, тому під час планування дискового простору помножте його на кількість partition.
Тепер про головне. Один broker означає replication factor 1, тому acks=all очікує лише на цей broker, а не на fsync. За стандартних параметрів flush підтверджені дані все ще можуть перебувати в OS page cache. Ви отримуєте надійність однієї машини та операційні витрати JVM broker разом із controller. Partitions також дають змогу кільком consumer в одній group розподіляти роботу між собою на одному broker. Replication, rack awareness та інші функції для fleet залишаються невикористаними. JetStream забезпечує таке саме надійне повторне читання на тому самому сервері, використовуючи значно менше пам’яті. Тут Kafka все ще виправдана у двох випадках: downstream-інструмент підтримує лише Kafka protocol (наприклад, change data capture за допомогою Debezium або завантаження даних в analytics-систему), або ви відтворюєте production topology у зменшеному вигляді. План розширити систему до cluster означає план придбати додаткові машини. До цього моменту компроміс такий самий, як у випадку запуску k3s на одному вузлі: ви сплачуєте за складність cluster, отримуючи надійність одного вузла.
Backlog у Kafka називається consumer lag.
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-groupПрочитайте column LAG, значення якого для кожної partition дорівнює LOG-END-OFFSET мінус CURRENT-OFFSET. Якщо lag зростає в одній partition, а в інших залишається незмінним, це вказує на нерівномірний розподіл ключів: усі повідомлення з однаковим key потрапляють в одну partition, і їх обробляє лише один consumer.
Що відбувається після перезапуску сервера
Core NATS втрачає всі повідомлення в обробці та одразу запускається знову, оскільки відновлювати нічого. JetStream завантажує streams і позиції consumer із каталогу сховища, тому consumer продовжує роботу з того самого offset. RabbitMQ відновлює quorum queues із диска незалежно від режиму доставки повідомлень; classic transient queues і non-persistent messages у classic queues втрачаються. Починаючи з RabbitMQ 4.3, non-durable, non-exclusive classic queues за замовчуванням не можна оголошувати. Kafka під час запуску повторно відтворює сегменти журналу. Після некоректного завершення роботи сканування для відновлення може тривати кілька хвилин на невеликому диску, перш ніж broker почне приймати з’єднання.
Два параметри варто налаштувати один раз. Додайте для контейнера restart policy (restart: unless-stopped) або увімкніть unit systemd, щоб broker запускався після перезавантаження через оновлення ядра без ручного втручання. Потім налаштуйте порядок запуску. Якщо broker стає готовим через двадцять секунд після запуску застосунку, він відхилить перші з’єднання, а деякі клієнтські бібліотеки завершать роботу замість повторної спроби. Залежність застосунку від broker можна налаштувати через healthcheck у Compose, який затримує запуск залежного сервісу, доки broker не буде готовий.
Вартість на власному VPS: вимірюйте, а не покладайтеся на заявлені дані
Опубліковані показники пропускної здатності вимірюють на обладнанні, якого у вас немає, зазвичай на багатоядерному сервері з локальним NVMe. Розглядайте їх як верхню межу та виміряйте показники на своєму сервері.
docker stats --no-stream
free -m
sudo du -sh /var/lib/docker/volumes/*/_dataЗапустіть їх, коли broker простоює, а потім повторіть тест під реальним навантаженням. Різниця між цими двома результатами визначає, чи зможе broker працювати поруч із вашим застосунком. Для приблизної нижньої межі пропускної здатності використовуйте власний генератор навантаження кожного проєкту, а не допис у чиємусь блозі: nats bench pub test --msgs 100000 --clients 2 для NATS, bin/kafka-producer-perf-test.sh для Kafka і PerfTest для RabbitMQ. Якщо запустити генератор на тому самому VPS, ви виміряєте broker і генератор разом. Це прийнятно, якщо під час звітування ви зазначите це.
Для всіх цих систем діє одна верхня межа. Надійне зберігання зрештою залежить від диска, але підтвердження не завжди очікує на fsync: типовий параметр Kafka вимикає fsync на рівні застосунку, а типовий інтервал синхронізації JetStream становить дві хвилини. На VPS із мережевим сховищем виміряйте пропускну здатність диска та затримку flush разом із вибраними параметрами надійності зберігання.
Три робочі навантаження та черга повідомлень, потрібна для кожного з них
- Фонові завдання для одного вебзастосунку, наприклад надсилання електронної пошти, зміна розміру зображень або доставка webhook. Почніть із Postgres і
SKIP LOCKED. Переходьте на RabbitMQ із quorum queues, якщо потрібні підтвердження для кожного повідомлення, ліміт доставок і dead letter queue, яку можна перевіряти без самостійної реалізації цієї логіки, або якщо таблиця завдань стала найбільш завантаженою таблицею в базі даних. - Події, на які реагують кілька внутрішніх сервісів, коли втрачене повідомлення швидко замінюється новішим. Використовуйте Core NATS із subject як схемою маршрутизації та queue groups, якщо потрібно розподіляти обробку. Додайте потік JetStream для вузького набору subject, які мають зберігатися після перезапуску, а решту залиште в пам’яті.
- Журнал подій, який споживачі читають від початку, щоб вести аудит, відновлювати read model або згодом передавати дані в аналітичні системи. Використовуйте JetStream із файловим сховищем і явним обмеженням у байтах. Обирайте Kafka лише тоді, коли downstream-інструмент потребує протоколу Kafka, і враховуйте JVM heap як плату за таку сумісність.
На одному сервері наслідком неправильного вибору буде не низька пропускна здатність. Проблема виникне під час відновлення о третій ночі, коли потрібно буде знати, чи збереглися повідомлення. Обирайте з урахуванням цього.
FAQ
Чи можна запускати Kafka на VPS із 2 GB?
Kafka запуститься, але ресурсів буде впритул. bin/kafka-server-start.sh встановлює KAFKA_HEAP_OPTS="-Xmx1G -Xms1G", якщо ви не змінили це значення, тому JVM займає 1 GB ще до збереження будь-якого повідомлення. Крім того, Kafka використовує вільну пам’ять для page cache. Якщо на тому самому сервері працюють застосунок і база даних, починається використання swap. Також використовується replication factor 1: існує лише одна копія без резервної репліки. acks=all не вимагає fsync, тому підтверджені дані все ще можуть перебувати в page cache операційної системи. NATS JetStream забезпечує довговічне відтворення повідомлень на тому самому обладнанні, використовуючи значно менше пам’яті.
Чи потрібна message queue, якщо я вже використовую Postgres?
Часто ні. Таблиця job із читанням через SELECT ... FOR UPDATE SKIP LOCKED у межах транзакції забезпечує доставку at-least-once, безпечну паралельну обробку, повторні спроби та dead letter table. Для цього не потрібен додатковий сервіс, який треба моніторити, а резервні копії ви вже створюєте. Переходити на окрему чергу варто за конкретних умов: таблиця черги стає найбільшим джерелом записів, а autovacuum не встигає; довгі завдання утримують відкриті транзакції та блокують vacuum для всієї бази даних; або другому сервісу потрібно незалежно споживати ті самі події.
Що вибрати для фонових завдань: NATS JetStream чи RabbitMQ?
Обирайте RabbitMQ, якщо потрібні підтвердження для кожного повідомлення, ліміт доставок і dead letter routing як вбудована поведінка. Quorum queues завжди довговічні, а ліміт доставок у RabbitMQ 4.0 за замовчуванням дорівнює 20. Починаючи з 4.3, явні nack із requeue не враховуються в цьому ліміті. Для підрахунку невдалих доставок використовуйте basic.reject з requeue та налаштуйте DLX для збереження повідомлень, які вичерпали ліміт. Обирайте JetStream, якщо ті самі події згодом мають повторно читати інші consumers: stream зберігає повідомлення після підтвердження, а queue — ні. У JetStream потрібно встановити --max-deliver і самостійно реалізувати dead letter path на основі advisory $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.>.
Як визначити, наскільки consumers відстають?
Для кожного брокера є окрема команда. У RabbitMQ rabbitmqctl list_queues name messages messages_ready messages_unacknowledged розділяє завдання, що очікують consumer, і завдання, які доставлено, але для них не отримано підтвердження. У JetStream nats consumer report <stream> показує кількість необроблених повідомлень і непідтверджених доставок для кожного consumer. У Kafka kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <group> виводить стовпчик LAG для кожного partition. У Core NATS немає backlog, який можна прочитати, оскільки він нічого не зберігає. Натомість стежте за лічильником slow_consumers у http://localhost:8222/varz: він рахує з’єднання, які сервер закрив через відставання клієнта, що означає втрату повідомлень.