Tek Sunucu İçin Mesaj Kuyruğu: NATS, RabbitMQ ve Kafka
Tek bir VPS üzerinde mesaj kuyruğu seçerken teslimat garantileri, bellek tüketimi ve disk maliyetlerini karşılaştırın. Hangi durumda Postgres kullanmanın daha verimli olduğunu öğrenin.
Tek bir sunucu için kısa cevap
Tek bir VPS üzerinde mesaj kuyruğu kullanmak, hızdan ziyade teslimat garantileriyle ilgili bir karardır. Tek bir makinede darboğaz genellikle broker değildir; uygulama kodunuz, veritabanınız ve diskiniz çok daha önce darboğaz haline gelir. Hata davranışını kabul edebileceğiniz aracı seçin ve ardından elinizdeki makineyi ölçümleyin.
Okuyucuların çoğunun değerlendirmesi gereken sırayla dört seçenek şunlardır:
- Halihazırda kullandığınız veritabanını kullanın.
SELECT ... FOR UPDATE SKIP LOCKEDile Postgres çalışan bir iş kuyruğudur ve izlenmesi gereken yeni bir süreç eklemez. - Her mesajın onaylanması, sınırlı sayıda yeniden denenmesi ve ardından bir insanın inceleyebileceği bir yere park edilmesi gereken iş birimleri olduğu durumlarda RabbitMQ kullanın.
- Mesajlar, sisteminizin çeşitli bölümlerinin tepki verdiği olaylar olduğunda NATS kullanın. Yeniden başlatma sonrasında varlığını sürdürmesi gereken olaylar için JetStream özelliğini açın.
- Bir alt sistem yalnızca Kafka protokolü ile iletişim kurabiliyorsa Kafka kullanın. Tek bir sunucuda bu, geriye kalan tek geçerli nedene yakındır.
Bu kılavuzun geri kalanı gerekçeleri açıklamaktadır: her seçeneğin küçük bir VPS üzerinde bellek ve disk maliyeti nedir, makine yeniden başlatıldığında ne olur ve kullanıcılarınız hissetmeden önce birikmiş iş yükünü görmenizi sağlayan kesin komut nedir.
Teslimat garantisi gerçekte ne anlama gelir
En fazla bir kez (At most once), broker mesajı teslim eder ve unutur. Eğer hiçbir tüketici bağlı değilse veya bir tüketici işlem sırasında hata verirse, mesaj kaybolur ve bu durum raporlanmaz.
En az bir kez (At least once), tüketicinin işlem başarıyla tamamlandıktan sonra bir onay (ack) göndermesi anlamına gelir. Bu onay gelene kadar broker mesajı tutar ve tekrar teslim eder. Yeniden teslimat nedeniyle işleyicilerinizin idempotent (eşgüçlü) olması gerekir: aynı mesajın iki kez işlenmesi, kredi kartından iki kez çekim yapılmasına neden olmamalıdır. Uçtan uca "tam olarak bir kez" teslimat, bir broker tarafından sağlanan bir özellik değildir. Bu, kendi veritabanınızdaki benzersiz bir anahtar ile sağlanır.
Yeniden oynatma (Replay) ayrı bir özelliktir. Bir kuyruk, mesaj onaylandığında onu siler. Bir günlük (log) ise mesajı belirli bir saklama süresi boyunca tutar; böylece yeni bir tüketici en baştan başlayarak tüm geçmişi okuyabilir. Kafka ve NATS JetStream birer günlük yapısıdır. RabbitMQ hem kuyruklar hem de yeniden oynatılabilir akışlar sunar; bu kılavuzda quorum queues kullanılmaktadır. Bu fark, mimarileri verimden (throughput) daha fazla şekillendirir.
Ölü mektup kuyruğu (Dead lettering), sürekli hata veren mesajların başına gelen durumdur. Bu mekanizma olmazsa, hatalı bir mesaj sonsuz döngüye girer ve bu döngü, sistemin bozuk olduğunu değil, yoğun bir işçi süreci olduğunu düşündürür.
Postgres ile başlayın ve broker'ın yetkinliğini kanıtlayın
Çoğu tek uygulamalı iş yükü, günde birkaç bin arka plan işinden oluşur. Bu miktar bir tabloya sığar.
CREATE TABLE job (
id bigserial PRIMARY KEY,
payload jsonb NOT NULL,
run_after timestamptz NOT NULL DEFAULT now(),
attempts int NOT NULL DEFAULT 0
);
CREATE INDEX job_ready_idx ON job (run_after, id);Bir worker, bir işlem (transaction) içerisinde tek bir işi sahiplenir.
BEGIN;
SELECT id, payload
FROM job
WHERE run_after <= now()
ORDER BY id
FOR UPDATE SKIP LOCKED
LIMIT 1;
-- run the work, then remove the row
DELETE FROM job WHERE id = $1;
COMMIT;FOR UPDATE SKIP LOCKED tüm işin püf noktasıdır. Döndürdüğü satırı kilitler ve başka bir işlemin halihazırda kilitlediği satırları atlar; böylece iki worker asla aynı işi sahiplenmez. Bir worker çökerse, Postgres işlemini iptal eder, kilit serbest kalır ve satır bir sonraki worker için görünür hale gelir. En az bir kez teslimat (at-least-once delivery), attempts değerini artırarak yeniden deneme ve bir ölü mektup (dead letter) tablosuna sahip olursunuz; üstelik tüm bunları zaten ödemesini yaptığınız dayanıklılık özellikleri ile elde edersiniz. Birikmiş işleri sorgulamak tek bir sorgu ile mümkündür: SELECT count(*) FROM job WHERE run_after <= now();
Sistemin tıkandığı nokta burasıdır. Her sahiplenme ve silme işlemi bir yazma işlemidir; bu nedenle yüksek iş hacmi, geride ölü satır sürümleri bırakır. Kuyruk tablosu, autovacuum sürecinin hızına yetişemediği şişme (bloat) sorununun klasik örneğidir. Uzun süren işler durumu daha da kötüleştirir; çünkü iş süresince açık tutulan bir işlem, tüm veritabanı için vacuum ufuk çizgisini (vacuum horizon) geride tutar. Polling (sorgulama) gecikmeye neden olur; LISTEN ve NOTIFY kullanımı polling işlemini ortadan kaldırsa da yazma yükünü azaltmaz. İş tablosu en yoğun tablonuz haline geldiğinde veya ikinci bir servisin aynı olaylara ihtiyacı olduğunda, iş yükünü dışarı taşıyın. Bu seçim, veritabanının nasıl dağıtıldığı ile doğrudan ilişkilidir; bu nedenle yanına bir broker eklemeden önce veritabanının Docker içinde mi yoksa ana makinede mi çalışacağına karar verin.
Redis, halihazırda çalıştırıyor olabileceğiniz diğer seçenektir. Redis Streams, XADD ve XREADGROUP ile tüketici grupları, grup başına bekleyenler listesi ve ölen bir tüketiciden işi geri almak için XAUTOCLAIM özelliklerini sunar. Küçük ve hızlıdır. Tek bir sunucudaki dürüst gerçek şudur: yaygın appendfsync everysec ayarı ile bir elektrik kesintisi yaklaşık bir saniyelik yazma kaybına neden olabilir. Bu durum önbellek geçersiz kılma işlemleri için kabul edilebilir olsa da ödemeler için yanlıştır. Uygulamanız üretim ortamında VPS üzerinde SQLite etrafında inşa edilmiş tek bir süreç ise, aynı sahiplen-ve-sil modeli çalışır; ancak SQLite'ın SKIP LOCKED karşılığı yoktur ve her worker tek bir yazma kilidi üzerinde serileşir.
NATS core: bellek tutmayan konu tabanlı yönlendirme
docker run -d --name nats \
-p 4222:4222 -p 127.0.0.1:8222:8222 \
nats:2.15 -m 8222Ekim 2026 itibarıyla güncel sunucu sürümü 2.15'tir. -m 8222 parametresi, varsayılan olarak kapalı olan ve kimlik doğrulama içermeyen HTTP izleme portunu açar; bu nedenle yukarıda belirtildiği gibi localhost adresine bağlayın.
Core NATS "en fazla bir kez" (at most once) teslimat prensibiyle çalışır ve hiçbir veriyi saklamaz. Bir yayıncı, orders.created gibi bir konuya mesaj gönderdiğinde, filtreleri eşleşen tüm aboneler mesajın bir kopyasını alır. Eğer abone yoksa mesaj silinir ve yayıncı herhangi bir hata almaz; çünkü yayıncının görevi, sunucu baytları kabul ettiği anda sona ermiştir. Bir kuyruk grubu (aynı grup adını paylaşan birden fazla abone), sunucunun her mesaj için gruptan bir üyeyi seçmesini sağlar; bu da kuyruk verisi saklamadan iş yükünün paylaşılmasına olanak tanır.
Sistem üzerindeki yük, bağlantı sayısı ve her bağlantı için ayrılan yazma tamponu (write buffer) ile sınırlıdır; dolayısıyla mesaj hacminden ziyade bağlantı sayısı takip edilir ve disk üzerinde hiçbir birikme olmaz. Yeniden başlatma davranışı da bu prensibe dayanır: iletim halindeki mesajlar kaybolur, istemciler otomatik olarak yeniden bağlanır ve beklenmesi gereken bir kurtarma süreci yoktur.
İzlenecek bir birikmiş mesaj (backlog) listesi bulunmadığından, veri kaybını izlemeniz gerekir. Bir abone, soket verisini sunucunun yazma hızından daha yavaş okuduğunda, sunucunun o istemci için ayırdığı tampon dolar. İstemci, yazma süresi dolana kadar yetişemezse, sunucu bağlantıyı tamamen kapatır ve bir sayacı artırır.
curl -s http://localhost:8222/varz | jq '.slow_consumers, .connections, .in_msgs, .out_msgs'Sürekli artan bir slow_consumers değeri, mesajların silindiği anlamına gelir; bu nedenle değeri tek seferlik kontrol etmek yerine bu durum için bir uyarı mekanizması kurun. Core NATS, değeri hızla geçerliliğini yitiren mesajlar için uygundur: bir metrik, bir durum güncellemesi veya bir sonraki olayın zaten geçersiz kılacağı bir önbellek temizleme işlemi gibi.
NATS JetStream: aynı süreçte kalıcı akışlar ve yeniden oynatma
JetStream ikinci bir ürün değildir. Aynı binary dosyası içinde yer alan ve tek bir bayrak ile etkinleştirilen bir alt sistemdir.
docker run -d --name nats \
-p 4222:4222 -p 127.0.0.1:8222:8222 \
-v nats-data:/data \
nats:2.15 -js -sd /data -m 8222-sd /data, depolama dizinini belirler. Bu ayarı boş bırakırsanız JetStream verilerini /tmp altında saklar; bu da kulağa geldiği kadar kalıcıdır. nats-box imajı ile birlikte gelen CLI aracını kullanarak bir akış oluşturun.
docker run --rm -it --network host natsio/nats-box:latest \
nats stream add ORDERS \
--subjects 'orders.>' \
--storage file \
--retention limits \
--max-age 72h \
--max-bytes=1073741824 \
--discard old \
--defaultsBuradaki her limit, küçük bir sunucuda yerini hak eder. Dosya depolama, broker süreci çöktüğünde verileri korur ancak varsayılan iki dakikalık fsync aralığı, işletim sistemi çökmesi veya güç kesintisi durumunda onaylanmış mesajların kaybolabileceği anlamına gelir; bellek içi akışlar ise süreç kapandığında verilerini kaybeder. --max-bytes=1073741824, akışı bayt cinsinden 1 GiB ile sınırlar ve --discard old, sınıra ulaşıldığında yeni yazma işlemlerini reddetmek yerine en eski mesajları siler. Sınırı kaldırırsanız, kontrolden çıkan bir yayıncı diski doldurabilir; bu durumda diskleri paylaştıkları için veritabanınız da duracaktır.
Kalıcı bir tüketici (durable consumer), akış içindeki kendi konumunu korur ve yeniden başlatma sonrasında da bu konumu hatırlar. Tüketici üzerinde --max-deliver ayarını yapın; böylece sürekli başarısız olan bir mesajın tekrar tekrar gönderilmesi engellenir. Bir mesajın teslimat hakkı tükendiğinde, JetStream $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.> üzerinde bir bildirim yayınlar. RabbitMQ'nun bir özellik olarak sunduğu "dead letter" yolunu, bu konuya abone olarak kendiniz oluşturursunuz. Bu, bizzat yazmanız gereken gerçek bir iş yüküdür.
Birikmiş işleri görmek için depolanan mesaj sayıları için nats stream report, tüketici başına bekleyen onaylar ve işlenmemiş mesajlar için nats consumer report ORDERS komutunu çalıştırın. Alarm kurmanız gereken değer, işlenmemiş mesaj sayısıdır. Disk maliyeti, depolama dizini üzerinde du -sh ile görülebilir ve bir saklama limiti onu kırpana kadar büyümeye devam eder.
RabbitMQ: her mesajı onaylayın, hataları ayırın
docker run -d --name rabbitmq \
-p 5672:5672 -p 127.0.0.1:15672:15672 \
-v rabbitmq-data:/var/lib/rabbitmq \
rabbitmq:4-management1 Kasım 2026 itibarıyla güncel seri 4.4, en son sürüm ise 4.4.0'dır. 5672 numaralı port AMQP (advanced message queuing protocol) için, 15672 numaralı port ise yönetim arayüzü içindir. Arayüzü localhost üzerinde tutun ve SSH tüneli aracılığıyla erişin.
Kuyrukları x-queue-type argümanı quorum olarak ayarlanmış şekilde tanımlayın; varsayılan değer hala classic'dir. Quorum kuyrukları her zaman kalıcıdır ve herhangi bir işlem yapmadan önce veriyi diske yazar; bu sayede tek bir düğümde kalıcı ve geçici seçenekler matrisi yerine tek ve net bir davranış elde edersiniz. Ölü mektup (dead letter) hedefini bir politika ile belirleyin.
docker exec rabbitmq rabbitmqctl set_policy DLX ".*" \
'{"dead-letter-exchange":"my-dlx", "dead-letter-routing-key":"my-routing-key"}' \
--apply-to queues --priority 7my-dlx tanımlayın ve my-routing-key kullanarak buna kalıcı bir ölü mektup kuyruğu bağlayın; politika bunları otomatik oluşturmaz.
Bir mesaj dört nedenden dolayı ölü mektup olarak işaretlenir: bir tüketici onu basic.reject veya basic.nack ile reddederse ve requeue değeri false olarak ayarlanmışsa, mesajın TTL (time to live) süresi dolarsa, kuyruk bir uzunluk sınırını aşarsa veya quorum kuyruğu teslimat sınırını geçerse. Bu sınır, RabbitMQ 4.0 sürümünden itibaren varsayılan olarak 20'dir. RabbitMQ 4.3'ten bu yana, requeue içeren açık nack işlemleri teslimat sayacını (delivery-count) artırmaz, bu nedenle mesajlar sonsuz döngüye girebilir. Sınır dahilinde sayılması gereken hatalar için requeue ile birlikte basic.reject kullanın. Sınırın aşılması durumunda mesaj yalnızca yapılandırılmış bir DLX varsa ölü mektup olarak işaretlenir; aksi takdirde mesaj silinir.
Bellek, RabbitMQ'nun küçük bir VPS üzerinde insanları şaşırttığı noktadır. Varsayılan yüksek su işareti (high watermark) mevcut RAM'in 0.6'sıdır ve düğüm bu sınırı aştığında RabbitMQ yayın yapan tüm bağlantıları engeller. Uygulamanız bir hata almaz. Yayınlama işlemi asla geri dönmez, bu da kendi kodunuzda bir donma olarak görünür. Başlangıç günlüğü, düğümün hesapladığı değeri yazdırır:
Memory high watermark set to 1024 MiB (1073741824 bytes) of 8192 MiB (8589934592 bytes) totalDisk alarmı, varsayılan olarak boş alan 50 MB'ın altına düştüğünde yayıncıları aynı şekilde engeller. Quorum kuyrukları bunun üzerine kendi hesaplamalarını ekler: dokümantasyon, mesaj başına en az 32 bayt bellek içi meta veri (her 30.000 mesaj için yaklaşık 1 MB) bütçeler ve RAM'de etkili write-ahead log boyutunun en az üç katını önerir. WAL sınırı varsayılan olarak 512 MiB'dir, bu nedenle sadece bu öneri bile 1.5 GiB RAM gerektirir. 2 GB'lık bir sunucuda, varsayılan değerin uygun olacağını ummak yerine rabbitmq.conf dosyasında bu değeri düşürün.
raft.wal_max_size_bytes = 64000000
vm_memory_high_watermark.relative = 0.5Birikmiş iş (backlog) iki sayıdan oluşur ve bu çift, hangi hataya sahip olduğunuzu size söyler.
docker exec rabbitmq rabbitmqctl list_queues name messages messages_ready messages_unacknowledgedmessages_ready bir tüketici bekliyor demektir. messages_unacknowledged teslim edilmiş ancak asla onaylanmamıştır (acked). Sabit bir hazır (ready) sayısı yanında yükselen bir onaylanmamış (unacknowledged) sayısı, çalışanlarınızın işleri aldığını ancak bitiremediğini gösterir; bu, sadece geride kalmış bir kuyruktan farklı bir hatadır.
Tek sunucuda Kafka ve sınırları
KAFKA_CLUSTER_ID="$(bin/kafka-storage.sh random-uuid)"
bin/kafka-storage.sh format --standalone -t $KAFKA_CLUSTER_ID -c config/server.properties
bin/kafka-server-start.sh config/server.propertiesBu, 1 Kasım 2026 itibarıyla güncel olan ve Kafka 4.0 ile ZooKeeper'ın yerini alan yerleşik denetleyici KRaft (Kafka Raft) modunda çalışan Kafka 4.4.0 hızlı başlangıç kılavuzudur. Konteyner karşılığı apache/kafka:4.4.0 şeklindedir.
Başlatma betiği, siz kendiniz ayarlamadığınız sürece export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" değerini atar; bu nedenle broker, tek bir mesaj depolamadan önce 1 GB Java heap ayırır ve okuma yaptığı page cache için bunun üzerinde boş RAM bekler. 2 GB RAM'e sahip bir VPS üzerinde uygulamanız, kalan kaynaklar için JVM ile rekabet eder.
Saklama süresi (retention) bir sonraki sürprizdir. log.retention.hours varsayılan olarak 168 saattir, yani yedi gündür; log.retention.bytes ise -1 değerindedir, bu da boyut sınırı olmadığı anlamına gelir. Kafka, mesajları her tüketici okumuş olsun ya da olmasın, tüm süre boyunca saklar. Bu, Kafka'yı tercih etme sebebinizdir ancak küçük bir diskte aynı zamanda bir hata modudur; bu yüzden disk dolmadan önce konu (topic) başına bir bayt sınırı belirleyin. Bayt sınırı her bölüm (partition) için geçerlidir, bu nedenle disk alanı planlaması yaparken bu değeri bölüm sayısı ile çarpın.
Şimdi işin dürüst kısmı. Tek bir broker, 1 adet çoğaltma faktörü (replication factor) demektir; bu nedenle acks=all, fsync işlemini değil, yalnızca o broker'ın yanıtını bekler. Varsayılan flushing ayarlarıyla, onaylanmış veriler hala işletim sistemi page cache'inde kalabilir. Tek bir makinenin dayanıklılığına sahip olursunuz, ancak JVM broker ve denetleyicinin operasyonel maliyetini üstlenirsiniz. Bölümler, bir gruptaki birden fazla tüketicinin tek bir broker üzerindeki işi paylaşmasına olanak tanır. Çoğaltma, raf farkındalığı (rack awareness) ve diğer filo özellikleri atıl kalır. JetStream, aynı kutuda aynı dayanıklı tekrar oynatma (replay) özelliğini çok daha az bellek tüketimiyle sunar. Burada Kafka kullanmayı haklı çıkaran iki neden vardır: alt sistemdeki bir aracın yalnızca Kafka protokolü ile konuşması (Debezium ile veri değişimi yakalama veya analitik yükleyici) ya da üretim topolojisini minyatür ölçekte yeniden oluşturuyor olmanız. Bir kümeye (cluster) dönüşmeyi planlamak, daha fazla makine satın almayı planlamaktır; o zamana kadar yapılan takas, tek düğümde k3s çalıştırmak ile aynıdır; tek bir düğümün güvenilirliği için küme karmaşıklığının bedelini ödersiniz.
Kafka'daki birikmiş iş (backlog), tüketici gecikmesidir (consumer lag).
bin/kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group my-groupLAG sütununu okuyun; bu, her bölüm için LOG-END-OFFSET eksi CURRENT-OFFSET değeridir. Diğerleri sabit kalırken bir bölümdeki gecikmenin artması, dengesiz bir anahtara (key) işaret eder; çünkü aynı anahtara sahip tüm mesajlar aynı bölüme düşer ve tek bir tüketici bunları tek başına işler.
Sunucu yeniden başlatıldığında ne olur
Core NATS, uçuş halindeki tüm verileri kaybeder ve kurtarılacak bir şey olmadığı için anında geri gelir. JetStream, stream yapılarını ve consumer konumlarını depolama dizininden yeniden yükler, böylece consumer'lar kaldıkları offset değerinden devam ederler. RabbitMQ, mesaj teslim moduna bakılmaksızın quorum kuyruklarını diskten kurtarır; klasik geçici kuyruklar ve klasik kuyruklardaki kalıcı olmayan mesajlar ise silinir. RabbitMQ 4.3 sürümünden itibaren, kalıcı olmayan ve özel olmayan klasik kuyruklar varsayılan olarak tanımlanamaz. Kafka, başlangıçta log segmentlerini yeniden oynatır; temiz olmayan bir kapatma sonrasında bu kurtarma taraması, broker bağlantı kabul etmeden önce küçük bir diskte bile dakikalar sürebilir.
İki ayarın bir kez yapılması faydalıdır. Broker'ın bir çekirdek yükseltmesi sonrası yeniden başlatmanın ardından sizin müdahaleniz olmadan geri dönmesi için container'a bir yeniden başlatma politikası (restart: unless-stopped) atayın veya systemd birimini etkinleştirin. Ardından sıralamayı yönetin: uygulamanızdan yirmi saniye sonra hazır hale gelen bir broker, ilk bağlantıları reddedecektir ve bazı istemci kütüphaneleri yeniden denemek yerine sonlanmayı tercih eder. Uygulamanızı, broker hazır olana kadar bağımlı servisi bekleten Compose sağlık kontrolleri ile broker'a bağlayın.
Kendi VPS'nizdeki maliyet, tahmin yerine ölçümle belirlenir
Yayınlanan iş hacmi (throughput) verileri, sizin sahip olmadığınız donanımlar üzerinde, genellikle yerel NVMe diskli çok çekirdekli sunucularda ölçülür. Bu verileri bir üst sınır olarak kabul edin ve kendi sunucunuzu kendiniz ölçün.
docker stats --no-stream
free -m
sudo du -sh /var/lib/docker/volumes/*/_dataBu testleri önce broker boşta çalışırken, ardından gerçek trafiğiniz altında tekrar gerçekleştirin. İki sonuç arasındaki fark, broker'ın uygulamanızın yanına sığıp sığmayacağına karar vermenizi sağlayan değerdir. Kaba bir iş hacmi tabanı belirlemek için başkalarının blog yazılarını değil, her projenin kendi yük oluşturucusunu kullanın: NATS için nats bench pub test --msgs 100000 --clients 2, Kafka için bin/kafka-producer-perf-test.sh ve RabbitMQ için PerfTest. Yük oluşturucuyu aynı VPS üzerinde çalıştırmak, broker ve oluşturucuyu birlikte ölçer; bu durumu raporunuzda belirttiğiniz sürece bir sakıncası yoktur.
Hepsi için geçerli olan tek bir üst sınır mevcuttur. Kalıcı depolama nihayetinde diske bağlıdır, ancak onay mekanizması her zaman fsync işlemini beklemez: Kafka'nın varsayılan ayarı uygulama düzeyinde fsync işlemini devre dışı bırakır, JetStream'in varsayılan eşitleme aralığı ise iki dakikadır. Ağ tabanlı depolama (network-attached storage) kullanan bir VPS üzerinde, seçtiğiniz dayanıklılık ayarlarıyla birlikte disk iş hacmini ve flush gecikmesini ölçün.
Üç iş yükü ve her birinin ihtiyaç duyduğu mesaj kuyruğu
- E-posta gönderme, görsel boyutlandırma veya webhook iletme gibi bir web uygulaması için arka plan işleri. Postgres ve
SKIP LOCKEDile başlayın. Mesaj bazlı onay mekanizmasına, teslimat sınırına ve kendi mantığınızı yazmadan inceleyebileceğiniz bir ölü mektup kuyruğuna (dead letter queue) ihtiyaç duyduğunuzda veya iş tablosu veritabanındaki en yoğun tablo haline geldiğinde RabbitMQ ve quorum kuyruklarına geçiş yapın. - Kaybolan bir mesajın daha yenisiyle hızla değiştirildiği, birden fazla dahili servisin tepki verdiği olaylar. Yönlendirme şeması olarak konu başlıklarını (subjects) ve iş paylaşımı gereken yerlerde kuyruk gruplarını (queue groups) kullanan Core NATS tercih edin. Yeniden başlatma sonrasında hayatta kalması gereken dar kapsamlı konu başlıkları için bir JetStream akışı ekleyin, geri kalanını bellekte tutun.
- Denetim izi oluşturmak, okuma modelini yeniden inşa etmek veya daha sonra analitik verisi sağlamak amacıyla tüketicilerin en baştan okuduğu bir olay günlüğü. Dosya depolama ve açık bayt sınırı ile JetStream kullanın. Yalnızca bir alt sistem Kafka protokolünü zorunlu kılıyorsa Kafka'yı seçin ve bu uyumluluğun bedeli olarak JVM heap kullanımını kabul edin.
Tek bir sunucuda yanlış seçimin maliyeti throughput değildir. Mesajların hala var olup olmadığını bilmeniz gereken, sabahın üçündeki kurtarma sürecidir. Seçiminizi buna göre yapın.
FAQ
Kafka'yı 2 GB RAM'e sahip bir VPS üzerinde çalıştırabilir miyim?
Çalışır ancak kaynaklar oldukça kısıtlı olacaktır. bin/kafka-server-start.sh, siz aksi bir ayar yapmadığınız sürece KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" değerini atar; bu nedenle JVM, tek bir mesaj depolamadan önce 1 GB bellek talep eder ve Kafka, bunun üzerindeki boş belleği sayfa önbelleği (page cache) için kullanır. Aynı sunucuda uygulamanızı ve veritabanınızı da çalıştırırsanız sistem swap kullanmaya başlar. Ayrıca replikasyon faktörü 1 olur, yani tek bir kopya kalır ve yedekli bir replika bulunmaz; acks=all fsync gerektirmediği için onaylanan veriler işletim sistemi sayfa önbelleğinde kalabilir. NATS JetStream, aynı donanım üzerinde çok daha az bellek tüketimiyle kalıcı mesaj tekrarı (durable replay) sağlar.
Zaten Postgres kullanıyorsam bir mesaj kuyruğuna ihtiyacım var mı?
Genellikle hayır. Bir işlem (transaction) içerisinde SELECT ... FOR UPDATE SKIP LOCKED ile yapılan bir job tablo okuması; en az bir kez teslimat (at-least-once delivery), güvenli eşzamanlı çalışanlar, yeniden denemeler ve hatalı mesaj tablosu (dead letter table) sağlar. Üstelik izlenmesi gereken ek bir servis yoktur ve mevcut veritabanı yedekleme süreçleriniz buna dahildir. Kuyruk sistemine geçişi gerektiren durumlar bellidir: kuyruk tablosu en ağır yazma yükünüz haline gelir ve autovacuum süreci yetişemez, uzun süren işler işlemleri açık tutarak tüm veritabanı için vacuum sürecini engeller veya ikinci bir servisin aynı olayları bağımsız olarak tüketmesi gerekir.
Arka plan işleri için NATS JetStream mi yoksa RabbitMQ mu kullanmalıyım?
Mesaj bazlı onay mekanizması, teslimat sınırı ve hatalı mesaj yönlendirme (dead letter routing) gibi özelliklerin yerleşik olarak gelmesini istiyorsanız RabbitMQ tercih edilmelidir. Quorum kuyrukları her zaman kalıcıdır ve RabbitMQ 4.0 sürümünden itibaren teslimat sınırı varsayılan olarak 20'dir. 4.3 sürümünden bu yana, requeue ile yapılan açık nack işlemleri bu sınıra dahil edilmez; sayılan hatalar için requeue ile basic.reject kullanın ve tükenen mesajları tutmak için bir DLX yapılandırın. Aynı olayların daha sonra başka tüketiciler tarafından da tekrar oynatılması gerekiyorsa JetStream tercih edilmelidir; çünkü bir kuyruk onaylanan mesajı silerken, bir stream mesajları onaydan sonra da tutar. JetStream ile --max-deliver ayarını yapabilir ve $JS.EVENT.ADVISORY.CONSUMER.MAX_DELIVERIES.> bildiriminden yola çıkarak kendi hatalı mesaj yolunuzu oluşturabilirsiniz.
Tüketicilerimin ne kadar geride kaldığını nasıl anlarım?
Her broker'ın kendine ait bir komutu vardır. RabbitMQ için rabbitmqctl list_queues name messages messages_ready messages_unacknowledged, tüketici bekleyen işleri, teslim edilmiş ancak onaylanmamış işlerden ayırır. JetStream için nats consumer report <stream>, tüketici başına işlenmemiş mesajları ve bekleyen onayları gösterir. Kafka için kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group <group>, her bölüm (partition) için bir LAG sütunu yazdırır. Core NATS hiçbir şey depolamadığı için okunacak bir birikmiş iş (backlog) yoktur; bunun yerine http://localhost:8222/varz üzerindeki slow_consumers sayacını izleyin: bu sayaç, sunucunun geride kaldığı için kapattığı bağlantıları, yani mesaj kaybını gösterir.