systemd ile işlem CPU ve bellek sınırı nasıl konur?
systemd unit dosyasında MemoryMax ve CPUQuota kullanarak kaynak kısıtlaması yapın. Servis Section başlığı eksikse systemd hatası alırsınız. OOM kill durumlarını inceleyin.
systemd drop-in dosyası ile işlem bellek ve CPU sınırlandırması
Bir Linux VPS üzerinde çalışan bir sürecin bellek ve CPU kullanımını, süreci çalıştıran unit dosyasına birkaç satır ekleyerek sınırlandırabilirsiniz. MemoryMax=, bellek üzerindeki kesin üst sınırdır. CPUQuota= ise işlemci süresi üzerindeki üst sınırdır. Her iki kısıtlama da, systemd'nin sunucudaki her servisi izlemek için halihazırda kullandığı çekirdek özelliği olan cgroup v2 (control groups, version 2) tarafından uygulanır.
sudo systemctl edit myapp.serviceBu komut, açıklama satırları içeren bir drop-in dosyası açar. Bu satırların üzerine aşağıdakileri ekleyin:
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show, girdiğiniz değerleri çekirdeğin kendi birimleri olan MemoryMax=805306368 ve CPUQuotaPerSecUSec=800ms cinsinden geri yansıtmalıdır. Eğer MemoryMax=infinity çıktısını alıyorsanız, drop-in dosyası yüklenmemiş demektir. Dosyanın /etc/systemd/system/myapp.service.d/override.conf yoluna kaydedildiğinden ve [Service] başlığı ile başladığından emin olun; çünkü üzerinde bir bölüm başlığı bulunmayan ayar satırları, systemd'nin Assignment outside of section. Ignoring. hatasını günlüğe kaydetmesine ve servisin hiçbir sınırlandırma olmadan başlamasına neden olur.
Bu kılavuzun geri kalanı, bu sayıların nasıl seçileceğini ve ayarlandıktan sonra nelerin hala hatalı gidebileceğini açıklamaktadır.
Kontrolsüz bir sürecin, dolmadığı halde VPS'i neden dondurduğu
Bellek sınırına takılan bir süreç yaklaşık bir saniye içinde sonlanır ve servis yeniden başlatılır. Bu iyi senaryodur. Kötü senaryoda ise hiçbir şey sonlanmaz: makine ping isteklerine yanıt verir, SSH bağlantıyı kabul eder ancak komut satırı istemi asla gelmez. Makine çalışır durumdadır ve meşguldür, ancak yapılan işlerin hiçbiri faydalı değildir.
Mekanizma şu şekildedir, çünkü ilk bakışta anlaşılır değildir. Boş bellek azaldığında, çekirdek yeni sayfalar dağıtmak yerine mevcut sayfaları geri kazanmaya çalışır. Geri kazanılması en kolay sayfalar dosya destekli olanlardır ve sayfa önbelleği (page cache), çalışan her şeyin yürütülebilir kodunu tutar. Bu nedenle çekirdek sshd metin sayfalarını bellekten atar; sshd bir sonraki komutu çalıştırmak istediğinde, bu baytların depolama biriminden tekrar okunmasını gerektiren bir sayfa hatası (page fault) oluşur. Her süreç, çalışmak yerine diskten veri bekler hale gelir. Aynı sayfalar sürekli bellekten atılıp tekrar yüklenir; bu döngüye thrashing denir.
İki durum, bu sorunu bir dizüstü bilgisayara kıyasla VPS üzerinde daha kötü hale getirir. Depolama birimi genellikle ağa bağlıdır veya paylaşımlıdır; bu nedenle her sayfa hatası, yerel bir NVMe cihazına göre daha fazla milisaniye kaybettirir. Ayrıca çekirdek zamanı değil, başarısızlığı ölçer: Geri kazanım süreci yavaş da olsa bir sayfa döndürdüğü sürece, çekirdek ilerleme kaydedildiğini varsayar ve OOM (out of memory) killer mekanizmasını çalıştırmaz. Bir makine, herhangi bir süreç sonlandırılmadan önce dakikalarca bu durumda kalabilir.
Bunun gerçekleştiğini izleyebilirsiniz. Çekirdek, Linux 4.20 ve sonraki sürümlerde PSI (pressure stall information) verilerini dışa aktarır:
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233Önemli olan satır full satırıdır. full avg10=48.15, son on saniyenin %48'inde makinedeki boşta olmayan tüm görevlerin aynı anda bellek nedeniyle bekletildiği ve dolayısıyla hiçbir işin ilerleme kaydedemediği anlamına gelir. Sağlıklı bir sunucuda full değeri sıfıra yakındır. 10'un üzerindeki değerler insan tarafından yavaşlık olarak hissedilir; 40 ve üzeri değerler ise insanların "donmuş" olarak tanımladığı durumdur.
Sınırlandırmanın tek başına bir garanti olmamasının nedeni de budur. MemoryHigh= altında tutulan bir birim sonlandırılmak yerine kısıtlanır (throttled); bu nedenle çalışmaya devam eder ve yavaş kalır. systemd açısından bir başarısızlık oluşmadığı için servis yeniden başlatılmaz. Swap kullanımına izin verilen sınırlandırılmış bir birim, paylaşılan tek bir cihaz üzerinden okuma ve yazma işlemleri gerçekleştirir; bu durum, sunucudaki diğer tüm servisler için /proc/pressure/io değerini yükseltebilir. Sınırlar, kıtlığın bedelini kimin ödeyeceğine karar verir; ancak kapasite yaratamazlar.
VPS üzerinde cgroup v2 kullanıldığını doğrulama
stat -fc %T /sys/fs/cgroupcgroup2fs, aşağıdaki bellek ayarlarının gerektirdiği birleşik hiyerarşidir. tmpfs, sistemin eski v1 düzeniyle başlatıldığını gösterir. Bu düzende MemoryHigh= ve MemorySwapMax= desteklenmez ve birim başına OOM davranışı farklıdır. Ancak CPUQuota=, eski cpu.cfs_quota_us dosyası üzerinden burada da çalışır. Ubuntu 22.04 ve sonraki sürümler ile Debian 11 ve sonraki sürümler varsayılan olarak v2 kullanır. Eski bir imaj v2 kullanmaz. systemd 255 veya daha eski sürümlerde, systemd.unified_cgroup_hierarchy=0 ile başlatılan bir kernel de v2 kullanmaz. systemd 256 ve 257, kernel komut satırında SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1 de bulunmadığı sürece v1 altında başlatmayı reddeder. systemd 258, cgroup v1 desteğini kaldırdı ve açılışta birleşik hiyerarşiyi her zaman bağlar. Bu nedenle, bu sürümleri içeren dağıtımlarda hiçbir argüman v1'i geri getiremez.
cgroup v2 üzerinde systemd, her birim için bellek muhasebesini varsayılan olarak etkinleştirir. Bu nedenle değerler zaten kullanılabilir durumdadır:
systemd-cgtop -mBu komut, cgroup'ları bellek kullanımına göre sıralar. Sunucu hâlâ yanıt verebilir durumdayken "bu sistemi ne tüketiyor" sorusunun yanıtını bulmanın en hızlı yoludur. Sunucu yeniyse, yeni bir VPS üzerinde ilk on dakikadaki hesap ve firewall işlemleri bundan önce yapılmalıdır.
MemoryHigh kısıtlamaları ve MemoryMax sonlandırmaları.
İki bellek ayarı arasındaki fark, bir hata durumunun nasıl görüneceğini belirler.
MemoryHigh=yumuşak bir sınırdır. Bu değer aşıldığında çekirdek, ilgili cgroup içindeki kaynakları agresif bir şekilde geri alır ve bellek tahsislerini kasıtlı olarak yavaşlatır. Kullanım bu değerin üzerine çıkabilir ve hiçbir süreç sonlandırılmaz.MemoryMax=sert bir sınırdır. Bu sınır dahilinde bir bellek tahsisi karşılanamadığında, OOM killer ilgili cgroup içinde çalışır ve o birime ait süreçlerden birini sonlandırır.
İkinci durum, tam olarak güvenmediğiniz her şey için MemoryMax= ayarını yapmanızın asıl nedenidir. Bir sınır olmadığında, bellek yetersizliği tüm sunucuyu etkileyen bir soruna dönüşür ve global OOM killer kurbanını oom_score değerine göre seçer; bu da genellikle en büyük süreç anlamına gelir. En büyük süreç ise genellikle sızıntı yapan betik değil, veritabanınızdır. Bir sınır olduğunda ise sonlandırma işlemi, soruna neden olan birimin içinde gerçekleşir.
Her iki ayarı da yapın ve MemoryHigh= değerini MemoryMax= değerinin yaklaşık yüzde 20 ila 30 altına yerleştirin. Bu boşluk bir uyarı bölgesidir: yavaş bir sızıntı High değerini aşar ve servis yavaşlaması olarak kendini gösterir; ani bir bellek artışı ise doğrudan Max değerini geçer ve servis sonlanır.
Yüzde değerleri, kurulu fiziksel belleğe göre hesaplanır; bu nedenle 4 GB'lık bir planda MemoryMax=25% değeri 1 GB'a denk gelir ve planı yükselttiğinizde de sunucunun dörtte biri oranında kalmaya devam eder. MemorySwapMax=0 ayarı, ilgili birimi tamamen swap kullanımından uzak tutar; böylece MemoryMax= değerine ulaşıldığında, swap üzerinde uzun bir sürünme süreci yerine hızlı bir sonlandırma gerçekleşir. Bu noktanın altında MemoryHigh= birimi yavaşlatabilir, ancak yüksek sınırı aşmak asla OOM killer'ı tetiklemez; bu sayede iki değer arasında gidip gelen bir birim, sonlanmak yerine yavaş kalmaya devam eder.
Bazı servisler, bellek ihtiyacını ölçmek yerine önceden belirlemenize olanak tanır: bir Ollama birimi, KV önbelleğini verdiğiniz bağlam penceresine (context window) göre boyutlandırır; bu nedenle bir üst sınır belirlemeden önce num_ctx değerini artırmanın RAM maliyeti konusunu okuyun.
Bir sınır ayarı, yanında bir yeniden başlatma politikası gerektirir; aksi takdirde sonlandırma işlemi sizi durdurulmuş bir servis ile baş başa bırakır.
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit* ayarı [Unit] bölümünde, Restart= ayarı ise [Service] bölümünde yer almalıdır. Herhangi birini yanlış bölüme koyarsanız systemd bunu yok sayar. Beş dakika içinde beş yeniden başlatma, anlık bir sorundan ziyade bir sızıntıya işaret eder; bu nedenle systemd bu noktadan sonra pes eder ve birimi failed durumunda bırakır. Sorunu gizleyen bir crash loop yerine, daha sonra incelemek istediğiniz durum budur.
CPUQuota ile CPU sınırlandırma veya CPUWeight ile paylaşım
CPUQuota=, tek bir CPU üzerindeki kullanılabilir sürenin bir yüzdesini alır. CPUQuota=50%, bir çekirdeğin yarısıdır. CPUQuota=200%, iki çekirdeğe eşdeğerdir ve birim, bu gücü istediği kadar iş parçacığına (thread) yayabilir. 2 vCPU'lu bir planda, CPUQuota=200% tüm makineyi temsil eder.
CPUWeight=, çoğu servis için daha iyi bir varsayılan değerdir. 1 ile 10000 arasında değişen göreceli bir paydır ve çekirdek (kernel) varsayılanı 100'dür. Yalnızca bir kaynak çekişmesi olduğunda devreye girer: CPUWeight=20 değerindeki bir yedekleme işi, yük altında 100 değerindeki bir web sunucusuna öncelik verir, ancak sunucu boşta olduğunda tüm makineyi kullanmaya devam eder. Katı bir kota ise bu boş kapasitenin heba olmasına neden olur.
Bir CPU sınırının size ne kazandırdığı konusunda gerçekçi olun. CPU yoğunluklu bir süreç nadiren Linux'u dondurur, çünkü zamanlayıcı (scheduler) herkese işlem süresi tanımaya devam eder. Bir sunucuyu çökerten şey bellektir. Bir derleme işlemi veya aksi takdirde bir saat boyunca tam kapasite çalışacak bir aracı gibi, öngörülebilir bir tavan değerine ihtiyaç duyduğunuzda CPUQuota= seçeneğine başvurun. Bu tür bir iş yükünün boyutlandırılması ayrı bir konudur ve bir kodlama aracısı VPS'inin ne kadar RAM ve CPU'ya ihtiyaç duyduğu başlığında ele alınmıştır.
Eğer süreçlerinizden hiçbiri yoğun işlem yapmadığı halde CPU meşgul görünüyorsa, bunun nedeni hipervizörün diğer tarafında olabilir. Bu durum gürültülü komşudan kaynaklanan CPU steal time sorunudur ve belirleyeceğiniz hiçbir kota bunu değiştirmeyecektir.
TasksMax, fork döngülerini durdurur
TasksMax=, bir birimin barındırabileceği süreç ve iş parçacığı sayısıdır. İş parçacıkları da sayıma dahil edildiğinden, Java veya Go tabanlı bir servis, süreç listesinin önerdiğinden daha fazla alana ihtiyaç duyar. Bu, döngü içinde fork yapan bir betiğe karşı en düşük maliyetli korumadır; çünkü fork işlemi, sunucunun süreç kimlikleri (PID) tükenmek yerine birim içinde başarısız olur.
TasksMax=128Bir birim sınıra ulaştığında, çekirdek cgroup adını belirten bir satırı günlüğe kaydeder:
cgroup: fork rejected by pids controller in /system.slice/myapp.serviceProgramın kendisi genellikle fork: retry: Resource temporarily unavailable hatası verir. Yöneticinin varsayılan olarak ne uyguladığını systemctl show -p DefaultTasksMax ile kontrol edin.
systemd-run ile tek seferlik işleri sınırlandırma
Bunun için bir unit dosyasına ihtiyacınız yoktur. systemd-run, tek bir komut etrafında geçici bir yapı oluşturur.
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope, Running scope as unit: run-r7c1a....scope yazdırdıktan sonra komutu terminalinizde çalıştırır. Çıktı ekranınızda kalır ve komut sonlandığında sınırlar ortadan kalkar. systemd.resource-control içindeki her özellik -p sonrasında kullanılabilir.
Uzun süren bir iş için --scope parametresini kaldırın ve bir isim verin. Bu durumda iş, arka planda geçici bir servis olarak çalışır ve kayıtları journal içine yazar:
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -fAynı seçenekler root olmadığınızda --user ile de çalışır; ancak kullanıcı yöneticiniz yalnızca kendisine devredilen denetleyicilere sahiptir, bu nedenle bir özellik orada reddedilebilir. Böyle bir durumda komutu sudo ile çalıştırın. Bir iş kalıcı hale geldiğinde, ayarlar hiçbir değişiklik yapılmadan gerçek bir unit dosyasına taşınır: bkz. bir betiği systemd servisi ve zamanlayıcısı olarak çalıştırma.
Swap sorusuna dürüst bir yanıt
Swap, sistem çökmesini engellemek yerine çökmenin biçimini değiştirir.
Swap alanı yoksa, bellek sızıntısı sınıra ulaştığında süreç saniyeler içinde sonlanır. Kesinti gürültülü, kısa süreli ve sonrasında günlük kayıtlarında okunması kolaydır. Swap alanı olduğunda ise çekirdek, kullanılmayan anonim sayfaları diske yazar ve zaman kazanır. Eğer süreç bir noktada dengelenecekse, swap sizi kurtarır. Ancak süreç kontrolden çıkmışsa, swap beş saniyelik bir kesintiyi yirmi dakikalık bir donmaya dönüştürür. Donma durumu daha kötüdür; çünkü ölü bir süreç size hala çalışan bir kabuk bırakırken, disk üzerinde sürekli veri takası yapan (thrashing) bir sistem hiçbir yanıt vermez.
swapon --show
free -hKüçük bir VPS üzerinde uygulanabilir bir orta yol şudur: Bir kez ayrılan ve bir daha erişilmeyen sayfalar için mütevazı bir swap dosyası tutun ve kaybetmeyi göze aldığınız birimler üzerinde MemorySwapMax=0 ayarını yapılandırın. Önemli servisler swap alanını kullanmaya devam eder. Öngörülemez olanlar ise hızla sınıra çarpar ve sınır değerinin yanındaki yeniden başlatma politikası sayesinde tekrar ayağa kalkar.
vm.swappiness değerini düşürmek zayıf bir yöntemdir ve nedenini bilmek gerekir. Bu işlem yalnızca sayfa önbelleğinin (page cache) boşaltılması ile anonim sayfaların swap alanına taşınması arasındaki dengeyi değiştirir; her iki durum da daha sonra bir disk okuma maliyeti doğurur. Bu ayar, sistemin disk üzerinde sürekli veri takası yapıp yapmayacağını değil, hangi sayfaların bu takasa dahil olacağını belirler.
Tıkanma başlamadan önce öldüren OOM daemon'ları
Kernel, reclaim işleminin tamamen başarısız olmasını bekler. Küçük bir VPS üzerinde bu bekleme, makineye erişimin kaybedildiği zaman aralığıdır. Userspace'te çalışan iki daemon, belleği kendileri izleyip daha erken kill işlemi gerçekleştirerek bu aralığı kapatır.
earlyoom, kullanılabilir belleği ve boş swap alanını saniyede on defaya kadar kontrol eder. Her ikisi de eşik değerlerinin altına düştüğünde yalnızca oom_score değeri en yüksek olan process'i kill eder. Swap bulunmayan bir sistemde kararı yalnızca bellek eşiği verir.
sudo apt install earlyoom
systemctl status earlyoomDebian ve Ubuntu paketleri, kurulum sırasında servisi başlatır. Seçenekler /etc/default/earlyoom içinde bulunur:
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT kullanılabilir bellek minimumunu, -s PERCENT ise boş swap minimumunu belirler. Her ikisi de varsayılan olarak 10 percent değerindedir. Her çifte ait ikinci sayı SIGKILL eşiğidir: earlyoom, bellek ve swap değerleri ilk eşiklerinin altına birlikte düştüğünde SIGTERM gönderir. Her ikisi ikinci eşiklerinin altına düştüğünde SIGKILL gönderir. İkinci eşik varsayılan olarak ilk eşiğin yarısıdır. Unit, bu değişkeni $EARLYOOM_ARGS olarak earlyoom'a aktarır. Bu nedenle systemd, değeri whitespace karakterlerinde argümanlara ayırır. --avoid ve --prefer pattern'lerini tırnak içine almak güvenlidir. systemd, dosyayı okurken dıştaki çift tırnakları kaldırır. Ardından değeri ayırırken içteki tek tırnaklara uyar ve bunları kaldırır. Bu nedenle --avoid '^(sshd|systemd)$', yukarıdaki tırnaksız biçimle aynı şekilde çalışır. Boşluk içeren bir pattern için bu tek tırnaklar gerekir. Aksi halde pattern iki argümana ayrılır. Değişikliği sudo systemctl restart earlyoom ile uygulayın. Hangi process'in kill edildiğini ve bu process'in ne kadar bellek kullandığını görmek için journalctl -u earlyoom çıktısını okuyun.
systemd-oomd diğer seçenektir. Manual page bunu "kernel space içinde bir OOM oluşmadan önce cgroups-v2 ve pressure stall information (PSI) kullanarak izleme yapan ve düzeltici işlem uygulayan bir sistem servisi" olarak tanımlar. Tek tek process'ler yerine bütün cgroup'lar üzerinde işlem yapar. Bu nedenle başıboş bir child process'i değil, bir unit'i kill eder. Unit'ler ManagedOOMMemoryPressure=kill veya ManagedOOMSwap=kill ile bu özelliği etkinleştirir. Eşikler /etc/systemd/oomd.conf içinde bulunur.
systemctl status systemd-oomd
oomctloomctl, o anda neyi izlediğini gösterir. Unit bazında opt-in olduğu için bir server image üzerinde çoğu zaman hiçbir şey izlenmez. Daemon'lardan birini seçin ve yalnızca onu kullanın. İkisini birlikte çalıştırmak, victim seçmek için yarışan iki mekanizma oluşturur. Ayrıca herhangi bir kill işleminin nedenini sonradan belirlemek zorlaşır.
Hangi birim sorumluydu?
Çekirdek ile başlayın, çünkü gerçekleştirdiği her sonlandırma işlemini kaydeder.
journalctl -k --grep "Killed process" --since "2 hours ago"Global OOM killer tarafından yapılan bir sonlandırma şu şekilde görünür:
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss, sürecin öldüğü sırada RAM'de tuttuğu heap gibi anonim bellektir; burada yaklaşık 1.8 GB'tır. Yerleşik dosya eşlemeleri ve paylaşımlı bellek, file-rss ve shmem-rss olarak ayrı ayrı sayılır. Köşeli parantez içindeki isme şüpheyle yaklaşın. Bu, çekirdeğin seçtiği kurbandır; çekirdek en büyük süreci seçer, ancak bu her zaman bellek yetersizliğine neden olan süreç değildir.
Bir cgroup limitinden kaynaklanan sonlandırma farklı bir ön eke sahiptir ve üzerinde yazdırılan rapor, kendi sınırına ulaşan cgroup'u belirtir:
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0Bu ön ek, teşhisin büyük bir kısmını oluşturur. Memory cgroup out of memory, bir birimin kendisine verdiğiniz MemoryMax= sınırına ulaştığı ve sunucunun geri kalanının iyi durumda olduğu anlamına gelir. Sade bir Out of memory, makinenin genelinde bellek tükendiği anlamına gelir; yani limitleriniz ya eksikti ya da toplamda makine kapasitesini aşacak kadar cömertti.
Ardından systemd'ye ne gördüğünü sorun:
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status, aynı şeyi Active: failed (Result: oom-kill) olarak tek bir satırda belirtir.
Cgroup sayaçları üçüncü kaynaktır ve hiçbir log satırı üretmeyen kısıtlamayı (throttling) kaydeden tek yerdir:
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high, birimin kaç kez MemoryHigh= sınırının üzerine itildiğini ve kısıtlandığını sayar. max, sert sınıra ne sıklıkla ulaşıldığını, oom_kill ise fiilen öldürülen süreçleri sayar. oom_kill 0 ile birlikte yüksek bir high değeri, daha önce bahsedilen sessiz durumdur: cgroup oluşturulduğundan beri birim, tek bir sonlandırma olmadan tekrar tekrar kısıtlanmıştır, bu yüzden systemd herhangi bir hata kaydetmemiştir. Sayaç sadece artar, bu yüzden bir dakika arayla iki kez okuyun: hala artmakta olan bir high, kısıtlamanın şu anda gerçekleştiği anlamına gelir. memory.peak (Linux 5.19 ve üzeri), cgroup'un ulaştığı en yüksek kullanımı tutar; bu, MemoryMax= değerini belirlemek için kullanılması gereken sayıdır. Her iki dosya da birim yeniden başlatıldığında sıfırlanır, çünkü systemd cgroup'u yeniden oluşturur.
Tüm bunların altında bir ön koşul yatar. Eğer /var/log/journal mevcut değilse, journal RAM üzerinde yaşar ve sunucuyu kurtarmak için yaptığınız yeniden başlatmanın ardından her satır silinir.
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsjournalctl --list-boots değerinin mevcut boot'tan daha fazlasını göstermesi, geçmişin artık kalıcı olduğu anlamına gelir; bu sayede journalctl -k -b -1, çöken boot'a ait çekirdek mesajlarını size gösterebilir.
Küçük bir VPS için başlangıç noktası
2 GB kapasiteli bir planda, çekirdek ve sayfa önbelleği (page cache) için 300 ila 400 MB boşluk bırakın. Tüm limitlerin toplamının 2 GB'a ulaşmasına izin vermeyin; çünkü her birim aynı anda en yüksek kullanım seviyesine çıkabilir. En önemli servise en büyük payı ayırın, ardından çevresindeki tüm spekülatif servisleri sınırlandırın.
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5sSisteme erişim yolunu açık tutmak, fazladan bir ayar yapmaya değer. ssh.service için bir drop-in dosyası içerisindeki OOMScoreAdjust=-500 ayarı, global OOM killer'ın SSH daemon sürecinizi kurban olarak seçme olasılığını ciddi oranda düşürür. Bu, sunucuyu onarmak ile kontrol panelinden yeniden başlatmak arasındaki farktır. Bu ayar yalnızca çekirdeğin kurban seçimini değiştirir; sistemdeki donma süresini kısaltmaz.
Konteynerler, unit dosyalarınız tarafından değil, konteyner çalışma zamanı (runtime) tarafından oluşturulan kendi cgroup'ları içinde çalışır. Bu nedenle docker.service üzerindeki bir limit, tek bir konteyner için limit haline gelmez. MemoryMax= ve CPUQuota= ayarlarının konteyner bazlı karşılıkları, Docker Compose içinde bellek ve CPU limitlerini ayarlama bölümünde ele alınmıştır.
FAQ
VPS'im neden kontrolden çıkan süreci sonlandırmak yerine dondu?
Çünkü çekirdek, ilerlemeyi sayfa geri kazanımının (reclaim) sonuç verip vermediğine göre değerlendirir, işlemin ne kadar sürdüğüne göre değil. Bellek kısıtlıyken çekirdek, çalışan programların yürütülebilir sayfaları da dahil olmak üzere sayfa önbelleğini boşaltır ve bir sonraki komutta bunları tekrar okur. Her şey depolama biriminden yanıt beklediği ve teknik olarak hiçbir bellek tahsisatı başarısız olmadığı için OOM killer devreye girmez. Bu durum yaşanırken /proc/pressure/memory komutunu kontrol edin: full avg10 değerinin 40'ın üzerinde olması, son on saniyenin %40'ından fazlasında boşta olmayan tüm görevlerin aynı anda bellek nedeniyle beklediği anlamına gelir. earlyoom gibi bir kullanıcı alanı arka plan süreci, sunucu bu duruma ulaşmadan önce müdahale eder.
MemoryHigh ve MemoryMax arasındaki fark nedir?
MemoryHigh=, kısıtlama (throttle) uygulayan yumuşak bir sınırdır. Çekirdek, birimden belleği zorla geri kazanır ve tahsisatları yavaşlatır ancak kullanım bu sayıyı aşabilir ve hiçbir süreç sonlandırılmaz. MemoryMax= ise katı bir sınırdır: bu sınır altında karşılanamayan bir tahsisat, ilgili cgroup içinde OOM killer'ı tetikler. Böylece sunucudaki en büyük süreç yerine, soruna neden olan süreç sonlandırılır. MemoryHigh= değerini MemoryMax= değerinin altında tutun ve aradaki farkı bir uyarı bölgesi olarak değerlendirin.
OOM killer'ın hangi servisi sonlandırdığını nasıl bulurum?
journalctl -k --grep "Killed process" --since "2 hours ago" komutunu çalıştırın. Memory cgroup out of memory ile başlayan bir satır, bir birimin kendi MemoryMax= sınırına ulaştığı anlamına gelir; düz bir Out of memory ifadesi ise tüm makinenin belleğinin tükendiğini gösterir. Ardından journalctl -u <unit> -n 50 komutunu çalıştırın ve Failed with result 'oom-kill' ifadesini arayın. Eğer sunucunuzda /var/log/journal dizini yoksa, günlük kayıtları RAM'de tutuluyordur ve kanıtlar yeniden başlatma ile silinmiştir; bu nedenle bir sonraki olaydan önce bu dizini oluşturun.
Küçük bir VPS'e swap eklemeli miyim?
Küçük bir swap dosyası, bir kez tahsis edilen ve bir daha asla erişilmeyen soğuk sayfalar için faydalıdır. Kontrolden çıkan bir süreçte işe yaramaz; sadece sonlandırma işlemini geciktirir ve kısa süreli bir kesintiyi, düzeltmek için giriş yapamayacağınız uzun süreli bir donmaya dönüştürür. Swap miktarını makul tutun ve kaybetmeyi göze aldığınız birimlerde MemorySwapMax=0 ayarını yapın. Böylece bu birimler sınıra hızla ulaşır ve Restart=on-failure ayarı ile kendi kendilerine yeniden başlarken, önemli servisler swap alanlarını korumaya devam eder.
Bir komutu unit dosyası yazmadan kısıtlayabilir miyim?
Evet. sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh, komutu terminalinizde bu kısıtlamalarla geçici bir kapsam (transient scope) içinde çalıştırır ve komut çıktığında kısıtlamalar kaybolur. systemd.resource-control içindeki her özellik -p sonrasında kullanılabilir; bu nedenle MemorySwapMax=, TasksMax= ve CPUWeight= burada da çalışır. İşi arka planda çalıştırmak ve çıktısını günlük kayıtlarına aktarmak için --scope parametresini kaldırıp --unit=name ekleyin.