SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor

單一 VPS 訊息佇列怎麼選?NATS、RabbitMQ、Kafka 比較

比較單一 VPS 上的 NATS、RabbitMQ、Kafka 與 Postgres:交付保證、記憶體與磁碟成本、重開機行為、待處理訊息查詢命令,以及適用時機。

單一伺服器的簡短答案

在單一 VPS 上使用訊息佇列,考量的是交付保證,而不是速度。在單一伺服器上,broker 很少會成為瓶頸,因為應用程式程式碼、資料庫和唯一的磁碟通常會先達到限制。請選擇你能接受其故障行為的工具,然後測量實際使用的伺服器。

以下列出 4 個選項,順序是大多數讀者應考慮的順序。

  • 使用現有的資料庫。Postgres 搭配 SELECT ... FOR UPDATE SKIP LOCKED 可以作為可用的工作佇列,而且不會增加需要監控的新程序。
  • 當每則訊息都是必須確認、在限定次數內重試,最後停放到人員可以檢視的位置的工作單位時,使用 RabbitMQ。
  • 當訊息是系統多個部分都會處理的事件時,使用 NATS。對於必須在重新啟動後保留的事件,啟用 JetStream。
  • 當下游工具只支援 Kafka protocol 時,使用 Kafka。在單一伺服器上,這幾乎是剩下的唯一理由。

本指南其餘內容會說明背後的理由:每個選項在小型 VPS 上需要多少記憶體與磁碟資源、伺服器重新開機時的行為,以及能在使用者察覺之前顯示待處理訊息數量的確切命令。

實際上,傳遞保證代表什麼

至多一次表示 broker 將訊息交給消費者後就不再保留。如果沒有消費者連線,或消費者在處理途中終止,訊息就會遺失,也不會有任何元件回報。

至少一次表示消費者在工作成功後傳送確認(ack)。在收到 ack 之前,broker 會保留訊息,並再次傳遞。這也是處理常式必須具備冪等性的原因:相同訊息處理兩次時,不得造成信用卡扣款兩次。端對端的恰好一次並不是 broker 能直接提供的保證,而是透過你自己的資料庫中的唯一鍵實現。

重播是另一項獨立的特性。佇列在訊息獲得確認後就會捨棄該訊息。日誌則會在保留期間內持續保存訊息,因此新的消費者可以從開頭開始讀取完整歷史。Kafka 和 NATS JetStream 都是日誌。RabbitMQ 提供佇列與可重播的串流;本指南使用 quorum queues。這項差異對架構的影響通常大於吞吐量。

Dead lettering指的是訊息持續處理失敗時的處置方式。若沒有這項機制,有問題的訊息會無限循環,造成的現象看起來像工作程序忙碌,而不是工作程序發生故障。

從 Postgres 開始,讓 broker 證明自己的價值

多數單一應用程式工作負載每天只有幾千個背景工作。用一張資料表就能處理。

CREATE TABLE job (
  id        bigserial   PRIMARY KEY,
  payload   jsonb       NOT NULL,
  run_after timestamptz NOT NULL DEFAULT now(),
  attempts  int         NOT NULL DEFAULT 0
);
CREATE INDEX job_ready_idx ON job (run_after, id);

worker 會在交易中認領一個工作。

BEGIN;
SELECT id, payload
  FROM job
 WHERE run_after <= now()
 ORDER BY id
   FOR UPDATE SKIP LOCKED
 LIMIT 1;
-- run the work, then remove the row
DELETE FROM job WHERE id = $1;
COMMIT;

FOR UPDATE SKIP LOCKED 是整個技巧的核心。它會鎖定所回傳的資料列,並跳過其他交易已鎖定的資料列,因此兩個 worker 不會認領同一個工作。如果 worker 當機,Postgres 會中止其交易、釋放鎖定,該資料列就會重新對下一個 worker 可見。這樣可取得至少一次投遞、透過增加 attempts 實作重試,以及 dead letter table,而且都建立在你已經支付成本的持久性上。待處理工作只需執行一個查詢即可查看:SELECT count(*) FROM job WHERE run_after <= now();

它何時會失效。每次認領與刪除都是寫入操作,因此工作速率高時會留下大量無效資料列版本;佇列表正是膨脹速度超過 autovacuum 處理能力的典型案例。長時間工作會讓問題更嚴重,因為交易若在整個工作期間保持開啟,也會延後整個資料庫的 vacuum horizon。輪詢會增加延遲,而 LISTEN 搭配 NOTIFY 雖然能移除輪詢,卻無法減少寫入。當工作資料表成為最繁忙的資料表,或第二個服務需要相同事件時,就應將工作移出資料庫。這項選擇會受到資料庫部署方式影響,因此請先確定 資料庫是在 Docker 中執行,還是在主機上執行,再在旁邊加入 broker。

Redis 是另一個你可能已經在執行的元件。Redis Streams 提供 consumer groups,以及 XADD 和 XREADGROUP、每個群組的 pending list,還能使用 XAUTOCLAIM 從已停止的 consumer 取回工作。它體積小且速度快。在單一主機上,必須如實說明其限制:使用常見的 appendfsync everysec 設定時,電源中斷可能遺失約 1 秒的寫入。這對快取失效處理沒有問題,但不適用於付款。如果你的應用程式是建立在 VPS 上的正式環境 SQLite 單一程序,則相同的認領與刪除模式仍然可行;但 SQLite 沒有 SKIP LOCKED 的等效功能,而且每個 worker 都會在同一個寫入鎖上序列化。

NATS core:無記憶的 subject 路由

docker run -d --name nats \
  -p 4222:4222 -p 127.0.0.1:8222:8222 \
  nats:2.15 -m 8222

截至 2026 年 10 月,目前的伺服器版本系列為 2.15。-m 8222 會啟用 HTTP 監控埠。此功能預設關閉且沒有驗證機制,因此應如上所述繫結至 localhost。

Core NATS 採用至多一次傳遞,且不儲存任何資料。發布者會傳送至例如 orders.created 這類 subject,所有篩選條件相符的訂閱者都會取得一份副本。若沒有任何訂閱者,訊息就會遭到捨棄,發布者也不會收到錯誤,因為發布者在伺服器接受資料後即完成工作。Queue group 由多個共用同一組名稱的訂閱者組成。伺服器會為每則訊息選擇其中一個成員,因此可以分攤工作,但不會儲存佇列。

資源占用量主要包括訂閱狀態,以及每個連線的寫入緩衝區。因此,資源使用量取決於連線數,而不是訊息量,磁碟上也不會累積資料。重新啟動後的行為由此決定:傳輸中的訊息會遺失,客戶端會自行重新連線,也不需要等待任何復原步驟。

由於沒有待處理佇列可供監控,因此應監控訊息遺失。當訂閱者讀取 socket 的速度低於伺服器寫入速度時,該客戶端的伺服器端緩衝區就會填滿。若客戶端在寫入期限內仍未追上,伺服器會關閉整個連線,並遞增計數器。

curl -s http://localhost:8222/varz | jq '.slow_consumers, .connections, .in_msgs, .out_msgs'

slow_consumers 的值若持續上升,表示訊息正在遭到捨棄,因此應針對它設定警示,而不是只讀取一次。Core NATS 適合傳遞有效期很短的訊息,例如指標、存在狀態更新,或下一個事件即將取代的快取失效通知。

NATS JetStream:同一個程序中的持久化串流與重播

JetStream 不是另一個產品,而是同一個 binary 中的子系統,只需透過一個 flag 啟用。

docker run -d --name nats \
  -p 4222:4222 -p 127.0.0.1:8222:8222 \
  -v nats-data:/data \
  nats:2.15 -js -sd /data -m 8222

-sd /data 會設定儲存目錄。省略此設定時,JetStream 會將資料儲存在 /tmp 下方;這個位置的持久性正如其名稱所示。使用 CLI 建立 stream;此 CLI 隨附於 nats-box image。

docker run --rm -it --network host natsio/nats-box:latest \
  nats stream add ORDERS \
    --subjects 'orders.>' \
    --storage file \
    --retention limits \
    --max-age 72h \
    --max-bytes=1073741824 \
    --discard old \
    --defaults

小型伺服器上的每個限制都有其必要性。File storage 可在 broker process crash 後保留資料,但預設的 2 分鐘 fsync 間隔表示,OS crash 或電源中斷可能導致已確認的訊息遺失;memory stream 則會在 process 結束時遺失資料。--max-bytes=1073741824 會將 stream 上限設為 1 GiB,並以 byte count 表示;達到上限時,--discard old 會捨棄最舊的訊息,而不是拒絕新的寫入。省略上限時,失控的 publisher 可能填滿磁碟;此時資料庫也會停止運作,因為兩者共用同一個磁碟。

durable consumer 會在 stream 中保留自己的位置,並在重新啟動後保留該位置。在 consumer 上設定 --max-deliver,讓持續處理失敗的訊息不會無限期重新傳送。訊息達到傳送次數上限時,JetStream 會在 $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.> 上發布 advisory;訂閱該 subject 是建立 dead letter 路徑的方式,而 RabbitMQ 會將此功能直接提供給你。這部分必須自行實作。

若要查看 backlog,請執行 nats stream report 取得儲存的訊息數量,並執行 nats consumer report ORDERS 取得每個 consumer 的待處理確認數與尚未處理的訊息數。應針對尚未處理的數量設定告警。使用 du -sh 檢視 store directory 的磁碟用量;用量會持續增加,直到 retention limit 進行清理。

RabbitMQ:逐一確認每則訊息,將失敗訊息暫存

docker run -d --name rabbitmq \
  -p 5672:5672 -p 127.0.0.1:15672:15672 \
  -v rabbitmq-data:/var/lib/rabbitmq \
  rabbitmq:4-management

截至 November 1, 2026,目前的系列版本為 4.4,最新版本為 4.4.0。Port 5672 是 AMQP(advanced message queuing protocol),15672 是管理介面。請讓管理介面只監聽 localhost,並透過 SSH tunnel 存取。

使用 x-queue-type 引數將佇列宣告為 quorum;預設值仍為 classic。Quorum queue 一律具備 durable 屬性,且會先將資料寫入磁碟,再執行其他操作。因此,在單一節點上,行為明確,不必處理 durable 與 transient 選項的多種組合。請使用 policy 設定 dead letter target。

docker exec rabbitmq rabbitmqctl set_policy DLX ".*" \
  '{"dead-letter-exchange":"my-dlx", "dead-letter-routing-key":"my-routing-key"}' \
  --apply-to queues --priority 7

宣告 my-dlx,並使用 my-routing-key 將 durable dead letter queue 綁定至該交換器;policy 不會建立這些物件。

訊息會因以下 4 種原因進入 dead letter:consumer 使用 basic.reject 或 basic.nack 拒絕訊息,且 requeue 設為 false;訊息本身的 TTL(time to live)到期;佇列超過長度限制;或超過 quorum queue 的 delivery limit。自 RabbitMQ 4.0 起,該限制預設為 20。自 RabbitMQ 4.3 起,明確使用 nack 並設定 requeue,不會增加 delivery-count,因此可能無限迴圈。對於應計入限制的失敗,請搭配 requeue 使用 basic.reject。超過限制後,只有在設定 DLX 時,訊息才會進入 dead letter;否則會被丟棄。

在小型 VPS 上,記憶體是 RabbitMQ 最容易造成意外的因素。預設 high watermark 為可用 RAM 的 0.6。節點超過此值後,RabbitMQ 會阻擋所有正在發布訊息的連線。應用程式不會收到錯誤,而是收到一個永遠不返回的 publish,導致自己的程式看起來像是掛起。啟動日誌會列出節點計算出的數值:

Memory high watermark set to 1024 MiB (1073741824 bytes) of 8192 MiB (8589934592 bytes) total

當可用空間低於預設的 50 MB 時,disk alarm 也會以相同方式阻擋 publisher。Quorum queue 還會增加額外的記憶體需求:文件建議每則訊息至少配置 32 bytes 的記憶體中繼資料,約每 30,000 則訊息配置 1 MB,並建議 RAM 至少為有效 write-ahead log 大小的 3 倍。WAL 限制預設為 512 MiB,因此僅此建議就需要 1.5 GiB。在 2 GB 的伺服器上,請在 rabbitmq.conf 中降低該值,不要假設預設值一定適用。

raft.wal_max_size_bytes = 64000000
vm_memory_high_watermark.relative = 0.5

待處理訊息量由 2 個數字組成,這一對數字能指出發生的是哪一類故障。

docker exec rabbitmq rabbitmqctl list_queues name messages messages_ready messages_unacknowledged

messages_ready 正在等待 consumer。messages_unacknowledged 已送出,但尚未收到 ack。若 unacknowledged 數量持續上升,而 ready 數量維持不變,表示 worker 已接收工作但停止完成處理。這與佇列單純積壓是不同的問題。

單機執行 Kafka,以及何時不再適用

KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
bin/kafka-storage.sh format --standalone -t $KAFKA_CLUSTER_ID -c config/server.properties
bin/kafka-server-start.sh config/server.properties

這是 Kafka 4.4.0 的快速入門,目前內容截至 November 1, 2026,並以 KRaft mode 執行(Kafka Raft,也就是 Kafka 4.0 中取代 ZooKeeper 的內建 controller)。容器版本為 apache/kafka:4.4.0。

如果你未自行設定 export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G",啟動指令碼會設定該值。因此,broker 在儲存第一則訊息前,就會先保留 1 GB 的 Java heap,並預期還有額外的可用 RAM,供讀取資料時使用的 page cache 使用。在 2 GB VPS 上,應用程式只能與 JVM 競爭剩餘的記憶體。

Retention 是下一個容易忽略的問題。log.retention.hours 的預設值為 168,也就是 7 天;log.retention.bytes 的預設值為 -1,表示完全沒有大小限制。無論每個 consumer 是否已讀取訊息,Kafka 都會在整個保留期間保存這些訊息。這正是使用 Kafka 的原因,但在單一小容量磁碟上,也可能因此耗盡空間並導致服務失效。因此,請在發生問題前,先為每個 topic 設定 byte limit。此 byte limit 會套用至每個 partition,因此規劃磁碟空間時,必須將該限制乘以 partition 數量。

現在說明實際限制。單一 broker 代表 replication factor 為 1,因此 acks=all 只需等待該 broker,而不是等待 fsync;在預設 flush 設定下,已確認的資料仍可能位於 OS page cache 中。你取得的是單一機器的 durability,卻要負擔 JVM broker 加上 controller 的營運成本。Partition 也能讓同一個 group 中的多個 consumer,在單一 broker 上分擔工作。Replication、rack awareness 及其他 fleet 功能則不會發揮作用。JetStream 在同一台機器上即可提供相同的 durable replay,而記憶體用量只有 Kafka 的一小部分。這裡仍有兩個理由可以使用 Kafka:下游工具只支援 Kafka protocol(例如使用 Debezium 進行 change data capture,或使用 analytics loader),或你正在將 production topology 縮小重現。若計畫日後擴充為 cluster,就必須購買更多機器。在此之前,這項取捨與 在單一節點上執行 k3s 相同:你為單一節點的 reliability 承擔 cluster 的複雜度。

Kafka 中的 backlog 稱為 consumer lag。

bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-group

查看 LAG 欄位;對每個 partition 而言,它等於 LOG-END-OFFSET 減去 CURRENT-OFFSET。如果某個 partition 的 lag 持續上升,而其他 partition 維持不變,通常表示 key 分布不均,因為具有相同 key 的所有訊息都會進入同一個 partition,並由單一 consumer 獨自處理。

重新啟動伺服器時會發生什麼事

Core NATS 會遺失所有處於傳輸中的資料,並立即恢復,因為沒有需要復原的內容。JetStream 會從 store directory 重新載入 streams 與 consumer 位置,因此 consumers 會從原本的 offset 繼續處理。RabbitMQ 會從磁碟復原 quorum queues,不受訊息傳遞模式影響;classic queues 中的 transient queues 與 non-persistent messages 會遺失。自 RabbitMQ 4.3 起,預設無法宣告 non-durable、non-exclusive 的 classic queues。Kafka 會在啟動時重新播放 log segments;若先前未正常關閉,復原掃描在小容量磁碟上可能需要數分鐘,broker 才會接受連線。

有兩項設定值得預先完成。為容器設定 restart policy(restart: unless-stopped),或啟用 systemd unit,讓 broker 能在 kernel upgrade 重新開機後自行恢復。接著處理啟動順序:如果 broker 比應用程式晚 20 秒才就緒,就會拒絕應用程式的初始連線,而部分 client libraries 會直接結束,不會重試。使用 讓 Compose healthchecks 在 broker 就緒前暫緩相依服務的啟動,讓應用程式等待 broker。

自行管理的 VPS 成本:以實測數據為準,而不是引用報價

已發布的吞吐量數據,是在你沒有的硬體上測得的,通常使用具備多核心與本機 NVMe 的伺服器。請將這些數據視為上限,並在自己的主機上進行測量。

docker stats --no-stream
free -m
sudo du -sh /var/lib/docker/volumes/*/_data

先在 broker 閒置時執行這些測試,再於實際網路流量下重新執行。兩次測試的差距,會決定 broker 是否能與你的應用程式共用資源。若要取得粗略的吞吐量下限,請使用各專案自己的負載產生器,不要採用他人部落格文章中的數據:NATS 使用 nats bench pub test --msgs 100000 --clients 2,Kafka 使用 bin/kafka-producer-perf-test.sh,RabbitMQ 使用 PerfTest。在同一台 VPS 上執行產生器,測得的是 broker 與產生器的合併效能;只要在報告數據時明確說明,這樣做即可接受。

這些 broker 都受同一項上限限制。持久化儲存最終取決於磁碟,但確認回應不一定會等待 fsync:Kafka 預設停用應用程式 fsync,而 JetStream 的預設同步間隔為兩分鐘。在使用網路附加儲存的 VPS 上,請同時測量磁碟吞吐量與 flush 延遲,並納入你選定的持久性設定。

三種工作負載,以及各自需要的訊息佇列

  1. 單一 Web 應用程式的背景工作,例如寄送電子郵件、調整圖片大小或傳送 webhook。先使用 Postgres 和 SKIP LOCKED。需要逐則訊息確認、訊息傳遞上限,以及可直接檢查而不必自行實作處理邏輯的 dead letter queue 時,改用具備 quorum queues 的 RabbitMQ。若工作資料表已成為資料庫中最繁忙的資料表,也應改用 RabbitMQ。
  2. 多個內部服務都會處理的事件,而且遺失的訊息很快就會由較新的訊息取代。使用 Core NATS,以 subjects 作為路由機制;需要分攤工作時,使用 queue groups。只有少數必須在重新啟動後保留的 subjects 才加入 JetStream stream,其餘訊息留在記憶體中。
  3. 消費者會從開頭讀取的事件日誌,用於稽核軌跡、重建讀取模型,或日後提供給分析系統。使用具備檔案儲存且設定明確位元組上限的 JetStream。只有在下游工具要求 Kafka protocol 時才選擇 Kafka,並接受 JVM heap 是這項相容性的代價。

在單一伺服器上選錯訊息佇列,代價不是吞吐量,而是凌晨 3 點進行復原時,必須確認訊息是否仍然存在。請依此選擇。

FAQ

我可以在 2 GB 的 VPS 上執行 Kafka 嗎?

可以啟動,但記憶體會很緊張。若未自行覆寫,bin/kafka-server-start.sh 會將 KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" 設為 1 GB,因此 JVM 在儲存任何訊息前就會先占用 1 GB;Kafka 還需要額外的可用記憶體作為 page cache。同一台主機若同時執行應用程式與資料庫,就會開始使用 swap。此外,replication factor 會是 1,表示只有一份資料,沒有備援 replica;acks=all 不要求 fsync,因此已確認的資料仍可能位於 OS page cache 中。在相同硬體上,NATS JetStream 只需少得多的記憶體,就能提供具持久性的 replay。

如果我已經執行 Postgres,還需要 message queue 嗎?

通常不需要。在 transaction 中搭配 SELECT ... FOR UPDATE SKIP LOCKED 讀取 job table,可以提供 at-least-once delivery、安全的並行 worker、重試與 dead letter table,無須監控額外服務,也能沿用既有的備份。需要移出資料庫的情況很明確:queue table 成為寫入量最大的工作負載,而 autovacuum 開始落後;長時間執行的工作讓 transaction 持續開啟,阻礙整個資料庫的 vacuum;或第二個服務需要獨立消費相同事件。

背景工作應該使用 NATS JetStream 還是 RabbitMQ?

如果需要內建的逐訊息確認、delivery limit 與 dead letter routing,請使用 RabbitMQ。Quorum queues 一律具備持久性,而 delivery limit 從 RabbitMQ 4.0 起預設為 20。自 4.3 起,使用 requeue 的明確 nack 不會計入該上限;請使用帶有 requeue 的 basic.reject 來計算失敗次數,並設定 DLX 以保留超過上限的訊息。如果相同事件之後也需要由其他 consumer replay,請使用 JetStream,因為 stream 在確認後仍會保留訊息,queue 則不會。使用 JetStream 時,請設定 --max-deliver,並根據 $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.> advisory 自行建立 dead letter path。

如何判斷 consumer 落後了多少?

每個 broker 都有對應的 command。對 RabbitMQ 而言,rabbitmqctl list_queues name messages messages_ready messages_unacknowledged 會區分等待 consumer 處理的工作,以及已交付但尚未 ack 的工作。對 JetStream 而言,nats consumer report <stream> 會顯示每個 consumer 尚未處理的訊息與待處理的確認。對 Kafka 而言,kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <group> 會針對每個 partition 列印 LAG 欄位。Core NATS 沒有可讀取的 backlog,因為它不儲存任何內容;請改為監控 http://localhost:8222/varz 上的 slow_consumers counter。該 counter 會統計伺服器因 consumer 落後而關閉的連線,這表示訊息已遺失。

這篇文章對您有幫助嗎?

#nats#rabbitmq#kafka#message-queue#architecture