SSD Nodes Learn Hosting plans →
ガイド Matt Connor著者 Matt Connor

1台のVPSならNATS、RabbitMQ、Kafka、Postgresのどれ?

1台のVPSで選ぶべきメッセージキューを比較します。配送保証、メモリとディスク使用量、再起動時の動作、滞留確認コマンド、Postgresを選ぶ条件が分かります。

1 台のサーバーでの簡潔な答え

1 台の VPS でメッセージキューを使うかどうかは、速度ではなく配送保証に関する判断です。1 台構成では、ブローカーがボトルネックになることはほとんどありません。通常は、アプリケーションコード、データベース、単一のディスクが先に限界に達します。障害時の動作を受け入れられるツールを選び、実際に使用するサーバーで測定してください。

検討する順序として、多くの読者には次の 4 つの選択肢が適しています。

  • すでに運用しているデータベースを使います。Postgres と SELECT ... FOR UPDATE SKIP LOCKED の組み合わせは実用的なジョブキューとして機能し、新たに監視するプロセスも増えません。
  • 各メッセージを確認応答が必要な作業単位として扱い、回数を限定して再試行した後、人が確認できる場所に退避したい場合は RabbitMQ を使います。
  • システムの複数の部分が反応するイベントをメッセージとして扱う場合は NATS を使います。再起動後も保持する必要があるイベントには JetStream を有効にします。
  • 下流のツールが Kafka プロトコルだけに対応している場合は Kafka を使います。1 台のサーバーでは、それが現在ほぼ唯一の採用理由です。

以降では、その判断理由を説明します。小規模な VPS で各選択肢がメモリとディスクに与える負荷、サーバーが再起動したときの動作、そしてユーザーが問題を感じる前に滞留を確認できる正確なコマンドを扱います。

配送保証が実際に意味すること

最大1回とは、ブローカーがメッセージを渡して破棄する方式です。コンシューマーが接続されていない場合や、処理の途中でコンシューマーが停止した場合、メッセージは失われ、何も通知されません。

最低1回とは、処理が成功した後にコンシューマーが確認応答(ack)を送信する方式です。その ack が届くまで、ブローカーはメッセージを保持し、再度配送します。再配送があるため、ハンドラーは冪等でなければなりません。同じメッセージを2回処理しても、カードに2回課金してはいけません。エンドツーエンドの正確に1回の処理をブローカーだけで実現することはできません。これは、独自のデータベースに一意キーを持たせて実現します。

リプレイは別の特性です。キューはメッセージを確認応答済みにすると破棄します。ログは保持期間の間メッセージを保持するため、新しいコンシューマーは先頭から開始して履歴全体を読み取れます。Kafka と NATS JetStream はログです。RabbitMQ はキューとリプレイ可能なストリームを提供します。このガイドでは quorum queues を使用します。この違いは、スループットよりも多くのアーキテクチャに影響します。

デッドレター処理とは、メッセージの処理が繰り返し失敗した場合の動作です。これがないと、問題のあるメッセージが永久にループします。そのループは、壊れたワーカーではなく、忙しく動作しているワーカーのように見えます。

Postgres から始め、ブローカーの必要性を実証させる

単一アプリケーションのワークロードの多くは、1 日数千件のバックグラウンドジョブです。これは 1 つのテーブルに収まります。

CREATE TABLE job (
  id        bigserial   PRIMARY KEY,
  payload   jsonb       NOT NULL,
  run_after timestamptz NOT NULL DEFAULT now(),
  attempts  int         NOT NULL DEFAULT 0
);
CREATE INDEX job_ready_idx ON job (run_after, id);

ワーカーはトランザクション内で 1 件のジョブを取得します。

BEGIN;
SELECT id, payload
  FROM job
 WHERE run_after <= now()
 ORDER BY id
   FOR UPDATE SKIP LOCKED
 LIMIT 1;
-- run the work, then remove the row
DELETE FROM job WHERE id = $1;
COMMIT;

FOR UPDATE SKIP LOCKED がすべての要です。取得する行をロックし、別のトランザクションがすでにロックしている行をスキップするため、2 つのワーカーが同じジョブを取得することはありません。ワーカーがクラッシュすると、Postgres はそのトランザクションを中止してロックを解放するため、その行は次のワーカーから見えるようになります。すでに利用している永続性の仕組みだけで、少なくとも 1 回の配信、attempts を増やすことによる再試行、デッドレターテーブルを実現できます。バックログの確認も 1 つのクエリで済みます。SELECT count(*) FROM job WHERE run_after <= now();

機能しなくなる場面もあります。取得と削除はどちらも書き込みであるため、ジョブの処理速度が高いと不要な行バージョンが残り、キューテーブルでは肥大化が autovacuum の処理速度を上回るという典型的な問題が起きます。長時間のジョブではさらに悪化します。処理時間いっぱいトランザクションを開いたままにすると、データベース全体の vacuum の基準点が進まなくなるためです。ポーリングには遅延が加わります。また、LISTEN と NOTIFY を使えばポーリングはなくせますが、書き込みはなくなりません。ジョブテーブルが最も頻繁に使用されるテーブルになった場合や、別のサービスが同じイベントを必要とする場合は、処理を外部に移します。この選択はデータベース自体のデプロイ方法にも関係するため、ブローカーを隣に追加する前に、データベースを Docker で実行するかホスト上で実行するかを決めてください。

Redis は、すでに実行している可能性があるもう 1 つの選択肢です。Redis Streams は、XADD と XREADGROUP によるコンシューマーグループ、グループごとの保留リスト、停止したコンシューマーから処理を引き取る XAUTOCLAIM を提供します。小規模で高速です。ただし、1 台構成での注意点があります。一般的な appendfsync everysec 設定では、電源障害によって約 1 秒分の書き込みが失われる可能性があります。キャッシュの無効化には問題ありませんが、決済には適していません。アプリケーションが VPS 上の本番環境で SQLite を使用する単一プロセスで構成されている場合も、同じ取得・削除パターンを使用できます。ただし、SQLite には SKIP LOCKED に相当する機能がなく、すべてのワーカーが 1 つの書き込みロックで直列化されます。

NATS core: メモリを持たないサブジェクトルーティング

docker run -d --name nats \
  -p 4222:4222 -p 127.0.0.1:8222:8222 \
  nats:2.15 -m 8222

2026年10月現在、サーバーの現行ラインは 2.15 です。-m 8222 は HTTP 監視ポートを有効にしますが、デフォルトでは無効であり認証もありません。そのため、上記のように localhost にバインドしてください。

Core NATS は「最大1回」の配送を保証し、何も保存しません。パブリッシャーが orders.created のようなサブジェクトに送信すると、フィルタが一致するすべてのサブスクライバーにコピーが届きます。サブスクライバーがいない場合、メッセージは破棄されます。サーバーがバイト列を受け取った時点でパブリッシャーの仕事は完了しているため、パブリッシャーにエラーは通知されません。キューグループ(複数のサブスクライバーが1つのグループ名を共有する仕組み)を使用すると、サーバーはメッセージごとにメンバーを1つ選択します。これにより、キューを保存することなく負荷を分散できます。

フットプリントは、サブスクリプションの状態と各接続の書き込みバッファのみです。そのため、メッセージ量ではなく接続数に依存し、ディスク上にデータが蓄積されることはありません。再起動時の挙動もこれに準じます。送信中のメッセージは消失し、クライアントは自動的に再接続するため、復旧プロセスを待つ必要はありません。

監視すべきバックログは存在しないため、代わりに損失を監視してください。サブスクライバーがソケットから読み取る速度よりもサーバーの書き込み速度が速い場合、そのクライアント用のサーバーバッファが満杯になります。書き込み期限までにクライアントが追いつかない場合、サーバーは接続全体を閉じ、カウンターをインクリメントします。

curl -s http://localhost:8222/varz | jq '.slow_consumers, .connections, .in_msgs, .out_msgs'

slow_consumers の値が上昇し続けることは、メッセージが破棄されていることを意味します。一度確認するだけでなく、アラートを設定してください。Core NATS は、メトリクス、プレゼンス更新、次のイベントで上書きされるキャッシュ無効化など、値がすぐに失効するメッセージに適しています。

NATS JetStream: 同一プロセスでの durable stream と replay

JetStream は別製品ではありません。同じバイナリに含まれるサブシステムで、1 つの flag で有効にできます。

docker run -d --name nats \
  -p 4222:4222 -p 127.0.0.1:8222:8222 \
  -v nats-data:/data \
  nats:2.15 -js -sd /data -m 8222

-sd /data は store directory を設定します。これを省略すると、JetStream は /tmp の下にデータを保存します。その永続性は名前どおりです。CLI で stream を作成します。この CLI は nats-box image に含まれています。

docker run --rm -it --network host natsio/nats-box:latest \
  nats stream add ORDERS \
    --subjects 'orders.>' \
    --storage file \
    --retention limits \
    --max-age 72h \
    --max-bytes=1073741824 \
    --discard old \
    --defaults

小規模なサーバーでは、ここで指定する各制限に意味があります。File storage は broker process のクラッシュ後も保持されます。ただし、デフォルトの fsync 間隔は 2 分です。そのため、OS のクラッシュや電源断が発生すると、acknowledged message が失われる可能性があります。memory stream は process の終了時にデータを失います。--max-bytes=1073741824 は stream の容量を 1 GiB の byte count で制限し、--discard old は上限に達したときに新しい書き込みを拒否せず、古い message を削除します。上限を設定しないと、1 つの runaway publisher が disk を使い切ります。その disk を database も共有しているため、database も停止します。

durable consumer は stream 内で自身の位置を保持し、restart 後もその位置を維持します。consumer に --max-deliver を設定すると、常に失敗する message が無期限に再配信されることを防げます。message の配信回数が上限に達すると、JetStream は $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.> に advisory を publish します。この subject を subscribe すれば、RabbitMQ が機能として提供する dead letter path を構築できます。ただし、その処理は自分で実装する必要があります。

backlog を確認するには、保存されている message 数に nats stream report を、consumer ごとの未処理の acknowledgement と未処理 message の確認に nats consumer report ORDERS を実行します。監視対象にするべきなのは、未処理 message 数です。disk 使用量は store directory に対して du -sh を実行すると確認できます。retention limit によって削除されるまで、disk 使用量は増加します。

RabbitMQ: 各メッセージを acknowledge し、失敗したメッセージを退避する

docker run -d --name rabbitmq \
  -p 5672:5672 -p 127.0.0.1:15672:15672 \
  -v rabbitmq-data:/var/lib/rabbitmq \
  rabbitmq:4-management

2026 年 11 月 1 日時点の現行シリーズは 4.4 で、最新リリースは 4.4.0 です。ポート 5672 は AMQP(advanced message queuing protocol)用で、15672 は管理インターフェース用です。管理インターフェースは localhost に限定し、SSH トンネル経由でアクセスします。

x-queue-type 引数を quorum に設定してキューを宣言します。デフォルトは引き続き classic です。Quorum queue は常に durable で、他の処理を行う前にデータをディスクへ書き込みます。そのため、1 ノード構成では durable と transient の組み合わせを考える必要がなく、明確な動作になります。dead letter の転送先は policy で設定します。

docker exec rabbitmq rabbitmqctl set_policy DLX ".*" \
  '{"dead-letter-exchange":"my-dlx", "dead-letter-routing-key":"my-routing-key"}' \
  --apply-to queues --priority 7

my-dlx を宣言し、my-routing-key を指定して durable な dead letter queue を bind します。policy はこれらを作成しません。

メッセージが dead letter になる理由は 4 つあります。consumer が basic.reject または basic.nack で拒否し、requeue が false に設定されている場合、メッセージ単位の TTL(time to live)が期限切れになった場合、キューが長さの上限を超えた場合、または quorum queue の delivery limit を超えた場合です。RabbitMQ 4.0 以降、この上限のデフォルトは 20 です。RabbitMQ 4.3 以降、requeue を指定した明示的な nack は delivery-count を増やさないため、無限にループする可能性があります。上限の対象にする失敗には、requeue とともに basic.reject を使用します。上限を超えたメッセージが dead letter になるのは、DLX が設定されている場合だけです。設定されていなければ破棄されます。

小規模な VPS では、RabbitMQ のメモリ動作に注意が必要です。デフォルトの high watermark は利用可能 RAM の 0.6 です。ノードがこの値を超えると、RabbitMQ は publish 中のすべての接続をブロックします。アプリケーションはエラーを受け取りません。publish が戻らない状態になるため、アプリケーション側ではハングしているように見えます。起動ログには、ノードが計算した値が出力されます。

Memory high watermark set to 1024 MiB (1073741824 bytes) of 8192 MiB (8589934592 bytes) total

ディスクアラームも同様に publisher をブロックします。デフォルトでは空き容量が 50 MB 未満になると発生します。Quorum queue には、さらに独自のメモリ要件があります。ドキュメントでは、メッセージ 1 件あたり少なくとも 32 bytes のメモリ上のメタデータ、30,000 件あたり約 1 MB を見積もり、実効 write-ahead log サイズの少なくとも 3 倍の RAM を推奨しています。WAL の上限はデフォルトで 512 MiB なので、この推奨だけで 1.5 GiB が必要です。2 GB のサーバーでは、デフォルトで収まることを期待せず、rabbitmq.conf で値を下げます。

raft.wal_max_size_bytes = 64000000
vm_memory_high_watermark.relative = 0.5

backlog は 2 つの数値で表されます。この組み合わせから、発生している障害の種類が分かります。

docker exec rabbitmq rabbitmqctl list_queues name messages messages_ready messages_unacknowledged

messages_ready は consumer を待っているメッセージです。messages_unacknowledged は配信済みですが、ack されていないメッセージです。unacknowledged の数が増え、ready の数が横ばいの場合、worker はジョブを受け取ったものの処理を完了していません。これは、単にキューの処理が遅れている場合とは異なる問題です。

Kafka を 1 台で運用する場合と、合理性を失う境界

KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
bin/kafka-storage.sh format --standalone -t $KAFKA_CLUSTER_ID -c config/server.properties
bin/kafka-server-start.sh config/server.properties

これは、2026 年 11 月 1 日時点の Kafka 4.4.0 のクイックスタートです。KRaft モード(Kafka Raft)で実行します。KRaft は、Kafka 4.0 で ZooKeeper に置き換わった組み込みコントローラーです。コンテナ版は apache/kafka:4.4.0 です。

起動スクリプトは、export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" を自分で設定していない場合に値を設定します。そのため、ブローカーは 1 件もメッセージを保存する前に 1 GB の Java ヒープを確保します。さらに、読み取りに使用するページキャッシュ用に、それ以上の空き RAM が必要です。2 GB の VPS では、残りのメモリをアプリケーションと JVM が奪い合うことになります。

次に問題になるのが保持期間です。log.retention.hours のデフォルト値は 168、つまり 7 日です。log.retention.bytes のデフォルト値は -1 で、サイズ制限がありません。Kafka は、すべてのコンシューマーが読み取ったかどうかに関係なく、設定した期間全体にわたってメッセージを保持します。これは Kafka を選ぶ理由となる機能ですが、小さなディスクでは障害の原因にもなります。問題が発生する前に、トピックごとのバイト数上限を設定してください。バイト数上限は各パーティションに適用されるため、ディスク容量を見積もる際はパーティション数を掛けます。

率直に言うと、ブローカーが 1 台だけの場合、レプリケーション係数は 1 です。そのため acks=all はそのブローカーだけを待機し、fsync は待機しません。デフォルトのフラッシュ設定では、確認応答済みのデータが OS のページキャッシュに残ることもあります。得られる耐久性は 1 台のマシンの耐久性であり、運用コストとして JVM ブローカーとコントローラーが必要です。パーティションを使えば、1 台のブローカー上でも、1 つのコンシューマーグループ内で複数のコンシューマーが処理を分担できます。レプリケーション、ラック認識、その他のクラスタ機能は使われないままです。同じマシン上での耐久性のあるリプレイであれば、JetStream を使うことで、必要なメモリを大幅に減らせます。それでもここで Kafka を選ぶ理由は 2 つあります。下流のツールが Kafka プロトコルにしか対応していない場合(Debezium による変更データキャプチャや分析基盤へのロードなど)、または本番トポロジーを小規模に再現する場合です。クラスタへ拡張する計画は、より多くのマシンを購入する計画でもあります。それまでは、1 台のノードで k3s を実行する場合と同じトレードオフになります。1 台の信頼性のために、クラスタの複雑性を負担することになるためです。

Kafka におけるバックログは、コンシューマーラグです。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

LAG 列を確認します。これは、各パーティションについて LOG-END-OFFSET から CURRENT-OFFSET を引いた値です。1 つのパーティションだけでラグが増え、他のパーティションが横ばいの場合は、キーの偏りが疑われます。同じキーを持つすべてのメッセージは同じパーティションに配置され、1 つのコンシューマーだけが処理するためです。

再起動時の動作

Core NATS は、復旧対象がないため、処理中のデータをすべて失い、直ちに復帰します。JetStream はストアディレクトリからストリームとコンシューマーの位置を再読み込みするため、コンシューマーは直前のオフセットから処理を再開します。RabbitMQ はメッセージの配信モードに関係なく、クォーラムキューをディスクから復旧します。一方、classic キューの一時キューと非永続メッセージは失われます。RabbitMQ 4.3 以降では、デフォルトで非 durable、非 exclusive の classic キューを宣言できません。Kafka は起動時にログセグメントを再生します。正常でないシャットダウンの後は、小容量のディスクでも復旧スキャンに数分かかり、ブローカーが接続を受け付けるまで時間がかかることがあります。

一度設定しておく価値がある点が 2 つあります。コンテナに再起動ポリシー(restart: unless-stopped)を設定するか、systemd unit を有効にします。これにより、kernel upgrade に伴う再起動後も、ブローカーが自動的に復帰します。次に、起動順序を処理します。アプリケーションの起動から 20 秒後にブローカーが ready になる場合、最初の接続は拒否されます。また、一部のクライアントライブラリは再試行せずに終了します。ブローカーの準備が完了するまで依存サービスを待機させる Compose healthcheck を使い、アプリケーションの起動をブローカーの準備完了に連動させます。

自分の VPS のコストは、公称値ではなく実測する

公表されているスループット値は、通常はマルチコア CPU とローカル NVMe を備えた、手元にはないハードウェアで測定されています。これらは上限値として扱い、自分のサーバーで測定してください。

docker stats --no-stream
free -m
sudo du -sh /var/lib/docker/volumes/*/_data

ブローカーがアイドル状態のときにこれらを実行し、その後、実際のトラフィックを流した状態でもう一度実行します。2 つの測定値の差が、ブローカーをアプリケーションと同じ環境で運用できるかどうかを判断する数値になります。スループットの下限を大まかに確認するには、他人のブログ記事ではなく、各プロジェクトに付属する負荷生成ツールを使用します。NATS には nats bench pub test --msgs 100000 --clients 2、Kafka には bin/kafka-producer-perf-test.sh、RabbitMQ には PerfTest を使用してください。同じ VPS 上で負荷生成ツールを実行すると、ブローカーと負荷生成ツールを合わせた性能が測定されます。測定値を報告するときに、その点を明記すれば問題ありません。

全製品に共通する上限が 1 つあります。永続ストレージの性能は最終的にディスクに依存しますが、確認応答が常に fsync の完了を待つとは限りません。Kafka はデフォルトでアプリケーションによる fsync を無効にし、JetStream のデフォルトの同期間隔は 2 分です。ネットワーク接続ストレージを使用する VPS では、選択した耐久性設定と併せて、ディスクのスループットと flush の遅延も測定してください。

3つのワークロードと、それぞれに適したメッセージキュー

  1. 1つの Web アプリケーションで実行するバックグラウンドジョブです。メール送信、画像のリサイズ、webhook の配信などが該当します。まずは Postgres と SKIP LOCKED から始めます。メッセージごとの ack、配信回数の上限、検査可能な dead letter queue が必要になり、それらの処理を自前で実装したくない場合は、quorum queue を備えた RabbitMQ に移行します。ジョブテーブルがデータベースで最も頻繁にアクセスされるテーブルになった場合も同様です。
  1. 複数の内部サービスが反応するイベントです。メッセージを失っても、新しいメッセージですぐに置き換えられるものが該当します。ルーティングには subject を使い、処理の分担が必要な場合は queue group を使う Core NATS を選びます。再起動後も保持する必要がある一部の subject には JetStream stream を追加し、それ以外はメモリ上に置きます。
  1. コンシューマーが先頭から読み取るイベントログです。監査証跡、read model の再構築、後からの分析基盤への供給などに使います。file storage と明示的な byte 上限を設定した JetStream を選びます。下流のツールが Kafka プロトコルを必要とする場合に限り Kafka を選び、その互換性の対価として JVM heap を受け入れます。

1台のサーバーで誤った選択をした場合のコストは、スループットではありません。午前3時に復旧作業を行い、メッセージがまだ存在するかを確認しなければならないことです。その点を基準に選択してください。

FAQ

2 GB VPS で Kafka を実行できますか?

起動はしますが、余裕はありません。bin/kafka-server-start.sh は上書きしていない場合に KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" を設定するため、JVM はメッセージを 1 件も保存する前に 1 GB を確保します。また、Kafka はそれとは別にページキャッシュ用の空きメモリを必要とします。同じサーバーでアプリケーションとデータベースも実行すると、swap が発生します。レプリケーション係数も 1 になるため、コピーは 1 つだけで、冗長レプリカはありません。acks=all は fsync を要求しないため、確認済みのデータが OS のページキャッシュに残る可能性もあります。同じハードウェアで、より少ないメモリで永続的な再生が必要なら、NATS JetStream の方が適しています。

すでに Postgres を実行している場合、メッセージキューは必要ですか?

多くの場合、必要ありません。トランザクション内で SELECT ... FOR UPDATE SKIP LOCKED を使って job テーブルを読み取れば、少なくとも 1 回の配信、安全な並列ワーカー、再試行、dead letter テーブルを実現できます。監視する追加サービスは不要で、既存のバックアップも利用できます。移行を検討すべき兆候は明確です。キューテーブルが最大の書き込み負荷になり autovacuum が追いつかない場合、長時間実行されるジョブがトランザクションを開いたままにしてデータベース全体の vacuum を妨げる場合、または別のサービスが同じイベントを独立して消費する必要がある場合です。

バックグラウンドジョブには NATS JetStream と RabbitMQ のどちらを使うべきですか?

メッセージ単位の確認応答、配信上限、dead letter ルーティングを組み込み動作として必要とするなら、RabbitMQ を使います。Quorum queues は常に永続化され、配信上限のデフォルト値は RabbitMQ 4.0 から 20 です。4.3 以降では、requeue を指定した明示的な nack はこの上限に加算されません。失敗としてカウントする場合は、requeue とともに basic.reject を使い、上限に達したメッセージを保持するために DLX を設定します。同じイベントを後から別のコンシューマーでも再生する必要があるなら、JetStream を使います。ストリームは確認応答後もメッセージを保持しますが、キューは保持しないためです。JetStream では --max-deliver を設定し、$JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.> の advisory から dead letter の処理経路を自分で構築します。

コンシューマーがどの程度遅れているかを確認するにはどうすればよいですか?

各ブローカーには確認用のコマンドがあります。RabbitMQ では、rabbitmqctl list_queues name messages messages_ready messages_unacknowledged により、コンシューマーを待っている処理と、配信済みだが確認応答されていない処理を区別できます。JetStream では、nats consumer report <stream> により、コンシューマーごとの未処理メッセージ数と未確認応答数を確認できます。Kafka では、kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <group> がパーティションごとに LAG 列を出力します。Core NATS には読み取るべき backlog がありません。何も保存しないためです。代わりに http://localhost:8222/varz の slow_consumers カウンターを監視します。この値は、処理の遅延を理由にサーバーが切断した接続数を示します。これはメッセージの損失を意味します。

この記事は役に立ちましたか?

#nats#rabbitmq#kafka#message-queue#architecture