Jak ograniczyć zużycie CPU i RAM przez systemd
Ogranicz zasoby procesów za pomocą dyrektyw MemoryMax, MemoryHigh oraz CPUQuota. Dowiedz się, jak poprawnie skonfigurować pliki drop-in i uniknąć błędu MemoryMax=infinity.
Ograniczanie pamięci i procesora procesu za pomocą pliku drop-in systemd
Ograniczenie pamięci i procesora procesu na serwerze VPS z systemem Linux polega na dodaniu kilku linii do jednostki (unit), która uruchamia dany proces. MemoryMax= stanowi twardy limit pamięci. CPUQuota= stanowi limit czasu procesora. Oba parametry są wymuszane przez cgroup v2 (control groups, wersja 2), czyli funkcję jądra, z której systemd korzysta do rozliczania każdej usługi w systemie.
sudo systemctl edit myapp.serviceTo polecenie otwiera plik drop-in z instrukcjami w komentarzach. Należy dodać poniższą treść powyżej nich:
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show musi zwrócić podane wartości w jednostkach używanych przez jądro: MemoryMax=805306368 oraz CPUQuotaPerSecUSec=800ms. Jeśli polecenie wyświetli MemoryMax=infinity, oznacza to, że plik drop-in nie został wczytany. Należy sprawdzić, czy plik znajduje się w /etc/systemd/system/myapp.service.d/override.conf oraz czy zaczyna się od nagłówka [Service], ponieważ linia z ustawieniami bez poprzedzającej sekcji powoduje, że systemd rejestruje Assignment outside of section. Ignoring. i uruchamia usługę bez żadnych ograniczeń.
Dalsza część tego przewodnika wyjaśnia, jak dobrać te wartości oraz co może pójść nie tak po ich ustawieniu.
Dlaczego proces typu runaway zamraża VPS, mimo że nie wyczerpuje pamięci
Proces, który osiąga twardy limit pamięci, kończy działanie w około sekundę, a usługa jest restartowana. To scenariusz optymistyczny. Scenariusz pesymistyczny występuje wtedy, gdy nic nie zostaje przerwane: serwer odpowiada na ping, SSH akceptuje połączenie, ale znak zachęty powłoki nigdy się nie pojawia. Maszyna jest aktywna i zajęta, ale żadna z wykonywanych operacji nie jest użyteczna.
Oto mechanizm tego zjawiska, ponieważ nie jest on oczywisty. Gdy ilość wolnej pamięci spada, jądro odzyskuje strony zamiast przydzielać nowe. Najtańsze do odzyskania są strony oparte na plikach, a pamięć podręczna stron (page cache) przechowuje kod wykonywalny wszystkich uruchomionych procesów. Jądro usuwa więc strony kodu sshd, a kolejna instrukcja, którą sshd ma wykonać, powoduje błąd strony (page fault), co wymusza odczyt tych bajtów z nośnika. Każdy proces kończy oczekiwaniem na dysk zamiast wykonywaniem obliczeń. Te same strony są usuwane i wczytywane w pętli, co nazywa się thrashingiem.
Dwie rzeczy pogarszają tę sytuację na VPS w porównaniu z laptopem. Pamięć masowa jest często sieciowa lub współdzielona, więc każdy błąd strony kosztuje więcej milisekund niż w przypadku lokalnego urządzenia NVMe. Ponadto jądro nie mierzy czasu, lecz niepowodzenia: dopóki proces odzyskiwania stron zwraca stronę, niezależnie od tego, jak wolno to przebiega, jądro uważa, że czyni postępy i nie wywołuje mechanizmu OOM (out of memory) killer. Serwer może pozostawać w tym stanie przez wiele minut, zanim cokolwiek zostanie przerwane.
Można obserwować ten proces. Jądro udostępnia informacje o zatorach (PSI – pressure stall information) w systemie Linux 4.20 i nowszych:
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233Linia full jest kluczowa. full avg10=48.15 oznacza, że przez 48% czasu w ciągu ostatnich dziesięciu sekund wszystkie zadania niebędące w stanie bezczynności były jednocześnie zablokowane przez oczekiwanie na pamięć, więc żadna praca nie była wykonywana. Zdrowy serwer wykazuje wartości bliskie zeru w full. Powyżej 10 system staje się odczuwalnie wolny dla użytkownika, a wartość 40 lub wyższa to stan opisywany jako zamrożenie.
Dlatego też sam limit nie jest gwarancją wydajności. Jednostka ograniczona przez MemoryHigh= jest dławiona zamiast przerywana, więc pozostaje aktywna i działa wolno, a nic jej nie restartuje, ponieważ z punktu widzenia systemd nie wystąpiła awaria. Ograniczona jednostka, która nadal może korzystać ze swapu, generuje operacje odczytu i zapisu, które są przypisywane do tej jednostki, ale obsługiwane przez jedno współdzielone urządzenie, co może podnieść /proc/pressure/io dla każdej innej usługi na serwerze. Limity określają, kto ponosi koszty niedoboru, ale nie tworzą dodatkowej wydajności.
Sprawdzenie, czy VPS korzysta z cgroup v2
stat -fc %T /sys/fs/cgroupcgroup2fs to ujednolicona hierarchia, której wymagają poniższe ustawienia pamięci. tmpfs oznacza, że system uruchomił się w starszym układzie v1, w którym MemoryHigh= oraz MemorySwapMax= nie są obsługiwane, a zachowanie OOM dla poszczególnych jednostek jest inne, mimo że CPUQuota= nadal działa tam poprzez starszy plik cpu.cfs_quota_us. Ubuntu 22.04 i nowsze oraz Debian 11 i nowsze domyślnie korzystają z v2. Stary obraz systemu tego nie robi, a w przypadku systemd 255 lub starszego nie robi tego również jądro uruchomione z systemd.unified_cgroup_hierarchy=0. systemd 256 i 257 odmawiają uruchomienia w trybie v1, chyba że SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1 znajduje się również w linii poleceń jądra. systemd 258 usunął obsługę cgroup v1 i zawsze montuje ujednoliconą hierarchię podczas startu, więc w wydaniach, które go zawierają, żaden z tych argumentów nie przywróci v1.
W cgroup v2 systemd domyślnie włącza rozliczanie pamięci dla każdej jednostki, więc dane są już dostępne:
systemd-cgtop -mTo polecenie wyświetla cgroups posortowane według zużycia pamięci, co jest najszybszym sposobem na odpowiedź na pytanie „co obciąża ten serwer”, dopóki system jest w stanie odpowiadać. Jeśli serwer jest nowy, konfiguracja konta i zapory sieciowej opisana w pierwsze dziesięć minut na nowym VPS powinna zostać wykonana wcześniej.
Ograniczenia MemoryHigh i MemoryMax.
Różnica między tymi dwoma ustawieniami pamięci decyduje o sposobie obsługi awarii.
MemoryHigh=to miękki limit. Po jego przekroczeniu jądro systemu agresywnie odzyskuje pamięć z danej grupy cgroup i celowo spowalnia przydzielanie zasobów. Zużycie może przekroczyć tę wartość, a procesy nie są ubijane.MemoryMax=to twardy limit. Gdy przydzielenie pamięci w ramach tego limitu jest niemożliwe, mechanizm OOM killer uruchamia się wewnątrz tej grupy cgroup i kończy jeden z procesów danej jednostki.
To drugie rozwiązanie jest głównym powodem stosowania MemoryMax= dla usług, do których nie ma pełnego zaufania. Bez limitu niedobór pamięci staje się problemem całego systemu, a globalny OOM killer wybiera ofiarę na podstawie oom_score, co zazwyczaj oznacza proces zajmujący najwięcej pamięci. Największym procesem jest zazwyczaj baza danych, a nie skrypt, w którym wystąpił wyciek. Dzięki limitowi, proces kończący jest ograniczony do jednostki, która spowodowała problem.
Należy ustawić oba parametry, przy czym MemoryHigh= powinno wynosić od 20 do 30 procent mniej niż MemoryMax=. Ta różnica tworzy strefę ostrzegawczą: powolny wyciek przekracza High i objawia się spowolnieniem usługi, podczas gdy nagły skok zużycia przekracza Max i powoduje jej zakończenie.
Wartości procentowe są obliczane względem zainstalowanej pamięci fizycznej, więc MemoryMax=25% na planie 4 GB oznacza 1 GB i pozostaje jedną czwartą zasobów po zmianie rozmiaru planu. MemorySwapMax=0 całkowicie chroni jednostkę przed użyciem swapu, więc po osiągnięciu MemoryMax= zakończenie procesu następuje szybko, zamiast po długim okresie spowolnienia spowodowanego wymianą stron. Poniżej tego punktu MemoryHigh= może nadal ograniczać wydajność, a przekroczenie górnego limitu nigdy nie wywołuje OOM killera, dzięki czemu jednostka oscylująca między tymi wartościami pozostaje spowolniona, zamiast zostać zamknięta.
Niektóre usługi pozwalają na wcześniejsze określenie zapotrzebowania zamiast jego pomiaru: jednostka Ollama ustala rozmiar pamięci podręcznej KV na podstawie podanego okna kontekstowego, dlatego przed ustaleniem limitu warto zapoznać się z kosztem zwiększenia num_ctx w pamięci RAM.
Limit wymaga zdefiniowania polityki restartu, w przeciwnym razie zakończenie procesu pozostawi usługę w stanie zatrzymanym.
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit* należy umieścić w [Unit], a Restart= w [Service]. Umieszczenie ich w niewłaściwej sekcji spowoduje, że systemd je zignoruje. Pięć restartów w ciągu pięciu minut wskazuje na wyciek, a nie na chwilowy błąd, dlatego po tym czasie systemd przerywa próby i pozostawia jednostkę w stanie awarii. Jest to pożądany stan, pozwalający na późniejszą diagnostykę, zamiast pętli restartów maskującej problem.
Ograniczanie procesora za pomocą CPUQuota lub przydzielanie zasobów przez CPUWeight
CPUQuota= przyjmuje wartość procentową czasu dostępnego na jednym rdzeniu CPU. CPUQuota=50% to połowa jednego rdzenia. CPUQuota=200% odpowiada dwóm rdzeniom, które jednostka może rozdzielić między dowolną liczbę wątków. W planie z 2 vCPU, CPUQuota=200% oznacza wykorzystanie całej maszyny.
CPUWeight= stanowi lepsze ustawienie domyślne dla większości usług. Jest to względny udział w zakresie od 1 do 10000, przy czym domyślna wartość jądra wynosi 100. Ograniczenie to aktywuje się tylko w przypadku rywalizacji o zasoby: zadanie kopii zapasowej z CPUWeight=20 ustąpi serwerowi WWW z wartością 100 w warunkach obciążenia, ale w czasie bezczynności systemu wykorzysta pełną moc obliczeniową. Sztywny limit (quota) powoduje utratę tej niewykorzystanej wydajności.
Należy realnie ocenić korzyści płynące z limitowania procesora. Proces obciążający CPU rzadko powoduje zawieszenie systemu Linux, ponieważ harmonogram zadań stale przydziela czas wszystkim procesom. To pamięć RAM jest czynnikiem, który doprowadza do awarii serwera. Warto sięgnąć po CPUQuota=, gdy wymagany jest przewidywalny górny limit, na przykład w przypadku procesu budowania lub agenta, który w przeciwnym razie pracowałby z pełną wydajnością przez godzinę. Dobór rozmiaru dla tego typu obciążeń to osobne zagadnienie, omówione w ile pamięci RAM i CPU potrzebuje VPS dla agenta programistycznego.
Jeśli procesor wykazuje wysokie zużycie, mimo że uruchomione procesy nie wykonują intensywnych zadań, przyczyna może leżeć po stronie hypervisora. Jest to zjawisko CPU steal time od hałaśliwego sąsiada, którego nie wyeliminuje żadne ustawienie limitu.
TasksMax zatrzymuje pętlę fork
TasksMax= to liczba procesów i wątków, które może posiadać jednostka. Wątki są wliczane, więc usługa w Java lub Go wymaga większego zapasu, niż sugerowałaby sama lista procesów. Jest to najtańsza ochrona przed skryptem, który wykonuje fork w pętli, ponieważ operacja fork kończy się niepowodzeniem wewnątrz jednostki, zamiast wyczerpywać identyfikatory procesów w całym systemie.
TasksMax=128Gdy jednostka osiągnie limit, jądro systemu rejestruje w dzienniku linię wskazującą na cgroup:
cgroup: fork rejected by pids controller in /system.slice/myapp.serviceSam program zazwyczaj zgłasza fork: retry: Resource temporarily unavailable. Sprawdź, jakie wartości domyślne stosuje menedżer za pomocą systemctl show -p DefaultTasksMax.
Ograniczanie jednorazowych zadań za pomocą systemd-run
Nie ma potrzeby tworzenia pliku jednostki, aby skorzystać z tych rozwiązań. systemd-run tworzy tymczasową jednostkę wokół pojedynczego polecenia.
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope uruchamia polecenie w terminalu po wyświetleniu Running scope as unit: run-r7c1a....scope. Dane wyjściowe pozostają na ekranie, a limity znikają po zakończeniu działania polecenia. Każda właściwość z systemd.resource-control działa po użyciu -p.
W przypadku długotrwałego zadania należy pominąć --scope i nadać mu nazwę. Zadanie uruchomi się wtedy w tle jako tymczasowa usługa, a dziennik zostanie zapisany w journal:
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -fTe same opcje działają z --user, gdy użytkownik nie posiada uprawnień root, jednak menedżer użytkownika dysponuje tylko tymi kontrolerami, które zostały mu delegowane, więc właściwość może zostać odrzucona. W takim przypadku należy uruchomić polecenie z sudo. Gdy zadanie wymaga stałej konfiguracji, ustawienia można przenieść bez zmian do właściwej jednostki: zobacz uruchamianie skryptu jako usługi i timera systemd.
Kwestia swapu – szczera odpowiedź
Swap zmienia charakter awarii, zamiast jej zapobiegać.
Bez swapu wyciek pamięci szybko osiąga limit i proces zostaje przerwany w ciągu sekund. Awaria jest głośna, krótka i łatwa do zdiagnozowania w dzienniku systemowym. Z włączonym swapem jądro zapisuje nieużywane strony pamięci anonimowej na dysk, co pozwala zyskać czas. Jeśli proces miał się ustabilizować, swap ratuje sytuację. Jeśli jednak jest to niekontrolowany wyciek, swap zamienia pięciosekundową awarię w dwudziestominutowe zawieszenie systemu. Zawieszenie jest gorsze, ponieważ martwy proces pozwala zachować dostęp do powłoki, podczas gdy system w stanie thrashingu przestaje reagować.
swapon --show
free -hRozsądnym rozwiązaniem na małym VPS jest utrzymywanie niewielkiego pliku swap dla stron, które są alokowane jednorazowo i nie są później używane, oraz ustawienie MemorySwapMax=0 dla jednostek, których utrata jest akceptowalna. Kluczowe usługi zachowują dostęp do swapu. Te nieprzewidywalne szybko osiągają limit, a polityka restartu zdefiniowana przy ich limicie przywraca je do działania.
Obniżanie wartości vm.swappiness jest mało skutecznym narzędziem i warto wiedzieć dlaczego. Zmienia ono jedynie balans między usuwaniem pamięci podręcznej stron (page cache) a przenoszeniem stron anonimowych do swapu, a oba te działania wiążą się z późniejszym kosztem odczytu z dysku. Zmienia to jedynie, które strony powodują thrashing, a nie sam fakt jego wystąpienia.
Demon wczesnego OOM przerywa procesy przed wystąpieniem zatoru
Jądro systemu czeka, aż odzyskiwanie pamięci całkowicie zawiedzie. Na małym serwerze VPS ten czas oczekiwania to dokładnie moment, w którym tracisz dostęp do maszyny. Dwa demony działające w przestrzeni użytkownika rozwiązują ten problem, samodzielnie monitorując pamięć i przerywając procesy wcześniej.
earlyoom sprawdza dostępną pamięć oraz wolną przestrzeń wymiany do dziesięciu razy na sekundę. Przerywa proces o najwyższym oom_score tylko wtedy, gdy oba parametry spadną poniżej swoich progów. Na maszynie bez partycji swap decyduje wyłącznie próg pamięci.
sudo apt install earlyoom
systemctl status earlyoomPakiet w systemach Debian i Ubuntu uruchamia usługę podczas instalacji. Opcje konfiguracyjne znajdują się w /etc/default/earlyoom:
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT określa minimalną ilość dostępnej pamięci, a -s PERCENT minimalną ilość wolnej przestrzeni swap. Domyślnie obie wartości wynoszą 10 procent. Druga liczba w każdej parze to punkt wysłania sygnału SIGKILL: earlyoom wysyła SIGTERM, gdy pamięć i swap spadną poniżej pierwszych wartości, a następnie SIGKILL, gdy oba parametry spadną poniżej drugich wartości (domyślnie stanowiących połowę pierwszych). Jednostka przekazuje tę zmienną do earlyoom jako $EARLYOOM_ARGS, więc systemd dzieli ją na argumenty w miejscach występowania spacji. Użycie cudzysłowów dla wzorców --avoid oraz --prefer jest bezpieczne: systemd usuwa zewnętrzne podwójne cudzysłowy podczas odczytu pliku, a następnie uwzględnia i usuwa pojedyncze cudzysłowy wewnątrz wartości podczas dzielenia, więc --avoid '^(sshd|systemd)$' działa tak samo jak forma bez cudzysłowów powyżej. Wzorzec zawierający spację wymaga użycia pojedynczych cudzysłowów, w przeciwnym razie zostanie podzielony na dwa argumenty. Zmiany należy wprowadzić za pomocą sudo systemctl restart earlyoom, a polecenie journalctl -u earlyoom pozwala sprawdzić, który proces został przerwany i ile pamięci zajmował.
systemd-oomd to druga opcja. Strona podręcznika systemowego opisuje go jako „usługę systemową, która wykorzystuje cgroups-v2 oraz informacje o zatorach (PSI) do monitorowania i podejmowania działań naprawczych, zanim wystąpi stan OOM w przestrzeni jądra”. Działa na całych grupach cgroups, a nie na pojedynczych procesach, więc przerywa całą jednostkę, a nie tylko pojedynczy proces potomny. Jednostki zgłaszają chęć uczestnictwa za pomocą ManagedOOMMemoryPressure=kill lub ManagedOOMSwap=kill, a progi znajdują się w /etc/systemd/oomd.conf.
systemctl status systemd-oomd
oomctloomctl wyświetla listę aktualnie monitorowanych elementów, która na obrazie serwerowym często jest pusta, ponieważ ustawienie wymaga jawnego włączenia dla każdej jednostki. Wybierz jednego demona i na tym poprzestań. Uruchomienie obu oznacza, że dwa narzędzia rywalizują o wybór ofiary, co utrudnia ustalenie przyczyny przerwania procesu.
Która jednostka była odpowiedzialna?
Należy zacząć od jądra, ponieważ rejestruje ono każde wykonane przerwanie procesu.
journalctl -k --grep "Killed process" --since "2 hours ago"Przerwanie procesu przez globalny mechanizm OOM killer wygląda następująco:
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss to pamięć anonimowa, taka jak sterta, którą proces utrzymywał w pamięci RAM w momencie zakończenia; w tym przypadku około 1.8 GB. Mapowania plików w pamięci rezydentnej oraz pamięć współdzielona są zliczane oddzielnie, jako file-rss oraz shmem-rss. Nazwę w nawiasach należy traktować z rezerwą. Jest to ofiara wybrana przez jądro, a jądro wybiera proces o największym zużyciu pamięci, co nie zawsze oznacza proces, który spowodował niedobór.
Przerwanie procesu wynikające z limitu cgroup posiada inny prefiks, a raport wyświetlony powyżej wskazuje nazwę cgroup, która osiągnęła swój limit:
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0Ten prefiks stanowi większość diagnozy. Memory cgroup out of memory oznacza, że jedna jednostka osiągnęła limit MemoryMax=, który został jej nadany, podczas gdy reszta systemu działała poprawnie. Zwykły komunikat Out of memory oznacza, że zasoby pamięci wyczerpały się w całym systemie, co sugeruje, że limity były nieobecne lub zbyt wysokie w stosunku do sumarycznego zapotrzebowania.
Następnie należy sprawdzić informacje zarejestrowane przez systemd:
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status podaje tę samą informację w jednej linii, jako Active: failed (Result: oom-kill).
Liczniki cgroup stanowią trzecie źródło informacji i jedyne, które rejestruje dławienie (throttling), które nie generuje żadnego wpisu w dzienniku:
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high zlicza, ile razy jednostka przekroczyła limit MemoryHigh= i została poddana dławieniu. max zlicza, jak często osiągnięto twardy limit, a oom_kill zlicza procesy, które faktycznie zostały przerwane. Wysoka wartość high przy oom_kill 0 to wspomniany wcześniej przypadek cichy: od momentu utworzenia cgroup jednostka była wielokrotnie dławiona bez ani jednego przerwania procesu, więc systemd nie zarejestrował błędu. Licznik stale rośnie, dlatego należy odczytać go dwukrotnie w odstępie minuty: wartość high, która nadal rośnie, oznacza, że dławienie występuje w czasie rzeczywistym. memory.peak (Linux 5.19 i nowsze) przechowuje najwyższe zużycie osiągnięte przez cgroup; jest to wartość, w oparciu o którą należy dobrać MemoryMax=. Oba pliki są resetowane przy restarcie jednostki, ponieważ systemd tworzy cgroup od nowa.
Podstawowym warunkiem jest odpowiednia konfiguracja. Jeśli /var/log/journal nie istnieje, dziennik znajduje się w pamięci RAM, a każda linia znika po restarcie wymaganym do przywrócenia działania serwera.
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsjournalctl --list-boots pokazujące więcej niż bieżący rozruch oznacza, że historia jest trwała, więc journalctl -k -b -1 może wyświetlić komunikaty jądra z rozruchu, podczas którego nastąpiła awaria.
Punkt wyjścia dla małego VPS
W planie 2 GB należy pozostawić od 300 do 400 MB dla jądra systemu i pamięci podręcznej stron (page cache). Suma limitów nie powinna osiągać pełnych 2 GB, ponieważ wszystkie jednostki mogą osiągnąć szczytowe zużycie w tym samym momencie. Największy przydział zasobów należy nadać kluczowej usłudze, a następnie ograniczyć wszystkie pozostałe, mniej istotne procesy.
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5sZapewnienie dostępu do serwera wymaga dodatkowej konfiguracji. Użycie OOMScoreAdjust=-500 w pliku typu drop-in dla ssh.service sprawia, że globalny mechanizm OOM killer znacznie rzadziej wybierze demona SSH jako swoją ofiarę. Decyzja ta stanowi różnicę między naprawą systemu a koniecznością jego restartu z poziomu panelu sterowania. Ustawienie to zmienia jedynie wybór ofiary przez jądro systemu, nie skraca natomiast czasu zawieszenia procesu.
Kontenery działają we własnych grupach cgroups, tworzonych przez środowisko uruchomieniowe kontenerów, a nie przez pliki jednostek systemd. Z tego powodu limit nałożony na docker.service nie staje się limitem dla pojedynczego kontenera. Odpowiedniki MemoryMax= oraz CPUQuota= dla poszczególnych kontenerów zostały omówione w ustawianiu limitów pamięci i procesora w Docker Compose.
FAQ
Dlaczego mój VPS zawiesił się zamiast ubić proces zużywający zasoby?
Ponieważ jądro ocenia postęp na podstawie tego, czy odzyskiwanie pamięci zwraca strony, a nie na podstawie czasu trwania tej operacji. Gdy pamięci brakuje, system usuwa pamięć podręczną stron (page cache), w tym strony wykonywalne uruchomionych programów, a następnie odczytuje je ponownie przy kolejnej instrukcji. Wszystko oczekuje na nośnik danych, a technicznie żadna alokacja nie zakończyła się niepowodzeniem, więc mechanizm OOM killer nie jest wywoływany. Należy sprawdzić /proc/pressure/memory w trakcie trwania problemu: wartość full avg10 powyżej 40 oznacza, że przez ponad 40% czasu z ostatnich dziesięciu sekund każde zadanie niebędące w stanie bezczynności było wstrzymane z powodu braku pamięci. Demon działający w przestrzeni użytkownika, taki jak earlyoom, kończy procesy, zanim serwer osiągnie ten stan.
Jaka jest różnica między MemoryHigh a MemoryMax?
MemoryHigh= to miękki limit, który powoduje dławienie (throttling). Jądro agresywnie odzyskuje pamięć z jednostki i spowalnia jej alokacje, ale zużycie może przekroczyć tę wartość i żaden proces nie zostanie ubity. MemoryMax= to twardy limit: alokacja, której nie można zrealizować w jego ramach, wywołuje OOM killer wewnątrz danej grupy kontrolnej (cgroup), dzięki czemu ginie proces, który spowodował problem, a nie największy proces w systemie. Należy ustawić MemoryHigh= poniżej MemoryMax= i traktować różnicę między nimi jako strefę ostrzegawczą.
Jak sprawdzić, którą usługę ubił OOM killer?
Należy wykonać journalctl -k --grep "Killed process" --since "2 hours ago". Linia rozpoczynająca się od Memory cgroup out of memory oznacza, że jednostka osiągnęła własny limit MemoryMax=, podczas gdy zwykły komunikat Out of memory oznacza, że pamięć wyczerpała się w całym systemie. Następnie należy uruchomić journalctl -u <unit> -n 50 i wyszukać Failed with result 'oom-kill'. Jeśli /var/log/journal nie istnieje na serwerze, dziennik był przechowywany w pamięci RAM i dowody zniknęły wraz z restartem, dlatego należy utworzyć ten katalog przed kolejnym incydentem.
Czy warto dodać swap na małym VPS?
Niewielki plik wymiany pomaga w przypadku "zimnych" stron pamięci, które są alokowane raz i nigdy więcej nieużywane. Nie pomaga on jednak w przypadku procesu wymykającego się spod kontroli: opóźnia jego ubicie i zamienia krótką awarię na długie zawieszenie, w którym nie można się zalogować, aby naprawić problem. Należy zachować umiarkowaną wielkość swapu i ustawić MemorySwapMax=0 dla jednostek, które można poświęcić, aby szybko osiągnęły swój limit i – przy ustawionym Restart=on-failure – zrestartowały się samodzielnie, podczas gdy ważne usługi zachowają swój dostęp do swapu.
Czy można ograniczyć polecenie bez tworzenia pliku jednostki?
Tak. sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh uruchamia polecenie w terminalu wewnątrz tymczasowego zakresu (transient scope) z określonymi limitami, które znikają po zakończeniu pracy. Każda właściwość z systemd.resource-control jest dostępna po -p, więc MemorySwapMax=, TasksMax= oraz CPUWeight= również tam działają. Należy pominąć --scope i dodać --unit=name, aby uruchomić zadanie w tle z wyjściem przekierowanym do dziennika.