systemd: Speicher und CPU für Prozesse begrenzen
Ein Prozesslimit kann Ihren VPS trotzdem ausbremsen. Setzen Sie MemoryHigh, MemoryMax, CPUQuota und TasksMax per Drop-in und prüfen Sie den OOM-Kill.
Prozessspeicher und CPU-Zeit mit einem systemd-Drop-in begrenzen
Sie begrenzen den Speicher und die CPU-Zeit eines Prozesses auf einem Linux-VPS, indem Sie der Unit, die den Prozess ausführt, einige Zeilen hinzufügen. MemoryMax= ist die harte Speicherobergrenze. CPUQuota= ist die Obergrenze für die Prozessorzeit. Beide Grenzen werden durch cgroup v2 (Control Groups, Version 2) erzwungen. Dabei handelt es sich um eine Kernel-Funktion, die systemd bereits verwendet, um jeden Dienst auf dem Server zu erfassen.
sudo systemctl edit myapp.serviceDamit öffnen Sie eine Drop-in-Datei mit Anweisungen in Kommentaren. Fügen Sie die folgenden Zeilen oberhalb dieser Kommentare ein:
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show muss Ihre Werte in den Einheiten des Kernels ausgeben: MemoryMax=805306368 und CPUQuotaPerSecUSec=800ms. Wenn MemoryMax=infinity ausgegeben wird, wurde das Drop-in nicht geladen. Prüfen Sie, ob die Datei unter /etc/systemd/system/myapp.service.d/override.conf angelegt wurde und mit dem Header [Service] beginnt. Eine Einstellung ohne vorherigen Abschnitt veranlasst systemd, Assignment outside of section. Ignoring. zu protokollieren und den Dienst vollständig ohne Limits zu starten.
Im restlichen Verlauf dieses Leitfadens erfahren Sie, wie Sie diese Werte auswählen und welche Probleme nach dem Setzen der Limits weiterhin auftreten können.
Warum ein Amok laufender Prozess einen VPS einfriert, obwohl er ihn nicht vollständig auslastet
Ein Prozess, der eine harte Speichergrenze erreicht, wird nach etwa einer Sekunde beendet, und der Dienst wird neu gestartet. Das ist der gute Fall. Der schlechte Fall tritt ein, wenn nichts beendet wird: Der Server antwortet auf Ping, SSH akzeptiert die Verbindung, und die Shell-Eingabeaufforderung erscheint nicht. Die Maschine läuft und ist ausgelastet, aber keine dieser Aktivitäten bringt einen Nutzen.
Der Mechanismus ist nicht offensichtlich. Wenn der freie Speicher knapp wird, gibt der Kernel keine neuen Speicherseiten aus, sondern fordert vorhandene Seiten zurück. Am günstigsten lassen sich dateigestützte Seiten zurückfordern. Der Page Cache enthält den ausführbaren Code aller laufenden Prozesse. Deshalb verdrängt der Kernel die Textseiten von sshd, und die nächste auszuführende Anweisung sshd verursacht einen Page Fault. Die fehlenden Bytes müssen vom Speichergerät zurückgelesen werden. Jeder Prozess wartet dadurch auf das Speichergerät, statt ausgeführt zu werden. Dieselben Seiten werden fortlaufend verdrängt und wieder eingelesen. Dieser Zustand wird als Thrashing bezeichnet.
Zwei Faktoren verschärfen dieses Problem auf einem VPS gegenüber einem Laptop. Der Speicher ist häufig über das Netzwerk angebunden oder wird gemeinsam genutzt. Dadurch kostet jeder Page Fault mehr Millisekunden als auf einem lokalen NVMe-Gerät. Außerdem misst der Kernel nicht die benötigte Zeit, sondern ob ein Vorgang erfolgreich war. Solange die Rückforderung noch eine Speicherseite freigibt, glaubt der Kernel, Fortschritte zu machen, auch wenn dies sehr langsam geschieht. Deshalb startet er den Out-of-Memory-Killer (OOM-Killer) nicht. Ein Server kann viele Minuten in diesem Zustand bleiben, bevor überhaupt ein Prozess beendet wird.
Sie können den Vorgang beobachten. Der Kernel stellt unter Linux 4.20 und neuer Pressure Stall Information (PSI) bereit:
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233Die Zeile full ist entscheidend. full avg10=48.15 bedeutet, dass während 48% der letzten zehn Sekunden alle nicht im Leerlauf befindlichen Tasks auf dem Server gleichzeitig wegen Speichermangels blockiert waren. Keine Ihrer Aufgaben konnte dadurch Fortschritte machen. Auf einem gesunden Server liegt full nahe bei null. Ab 10 wirkt das System für Menschen langsam. Werte von 40 oder mehr entsprechen dem Zustand, den Benutzer als eingefroren beschreiben.
Deshalb ist eine Begrenzung allein keine Garantie. Eine Unit unter MemoryHigh= wird gedrosselt, statt beendet zu werden. Sie bleibt aktiv und langsam. Nichts startet sie neu, weil sie aus Sicht von systemd nie fehlgeschlagen ist. Eine begrenzte Unit, die weiterhin Swap verwenden darf, erzeugt Lese- und Schreibzugriffe. Diese werden der Unit zugerechnet, aber von einem gemeinsam genutzten Gerät bedient. Dadurch kann sie /proc/pressure/io für alle anderen Dienste auf dem Server erhöhen. Limits legen fest, wer für einen Engpass bezahlt. Sie schaffen jedoch keine zusätzliche Kapazität.
Prüfen Sie, ob Ihr VPS cgroup v2 verwendet
stat -fc %T /sys/fs/cgroupcgroup2fs ist die vereinheitlichte Hierarchie, die die folgenden Speichereinstellungen benötigen. tmpfs bedeutet, dass der Server mit dem älteren v1-Layout gestartet wurde. Dort werden MemoryHigh= und MemorySwapMax= nicht unterstützt, und das OOM-Verhalten pro Unit unterscheidet sich. CPUQuota= funktioniert dort jedoch weiterhin über die veraltete Datei cpu.cfs_quota_us. Ubuntu 22.04 und höher sowie Debian 11 und höher verwenden standardmäßig v2. Ein altes Image verwendet v1. Das gilt auch für einen Kernel, der mit systemd.unified_cgroup_hierarchy=0 gestartet wurde, wenn systemd 255 oder älter verwendet wird. systemd 256 und 257 verweigern den Start unter v1, sofern SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1 nicht ebenfalls in der Kernel-Befehlszeile angegeben ist. systemd 258 hat die Unterstützung für cgroup v1 entfernt und bindet beim Start immer die vereinheitlichte Hierarchie ein. Bei Releases mit dieser Version bringt daher kein Argument v1 zurück.
Unter cgroup v2 aktiviert systemd standardmäßig die Speicherabrechnung für jede Unit. Die Werte sind daher bereits verfügbar:
systemd-cgtop -mDamit werden die cgroups nach Speichernutzung sortiert aufgelistet. Das ist die schnellste Möglichkeit, die Frage „was verbraucht auf diesem Server Ressourcen“ zu beantworten, solange der Server noch antwortet. Wenn der Server neu ist, haben die Kontoeinrichtung und die Firewall-Konfiguration unter die ersten zehn Minuten auf einem neuen VPS Vorrang vor diesem Schritt.
MemoryHigh drosselt. MemoryMax beendet.
Der Unterschied zwischen den beiden Speichereinstellungen bestimmt, wie sich ein Fehler auswirkt.
MemoryHigh=ist eine weiche Obergrenze. Darüber fordert der Kernel aus dieser cgroup aggressiver Speicher zurück und drosselt ihre Speicherzuweisungen absichtlich. Die Auslastung kann weiterhin über den Wert steigen. Es wird kein Prozess beendet.MemoryMax=ist eine harte Obergrenze. Kann eine Speicherzuweisung unter dieser Grenze nicht erfüllt werden, startet der OOM-Killer innerhalb dieser cgroup und beendet einen eigenen Prozess dieser Unit.
Dieser zweite Punkt ist der eigentliche Grund, MemoryMax= für alles zu setzen, dem Sie nicht vollständig vertrauen. Ohne Obergrenze betrifft ein Speichermangel das gesamte System. Der globale OOM-Killer wählt sein Opfer anhand von oom_score aus, was meistens bedeutet: den größten Prozess. Der größte Prozess ist normalerweise Ihre Datenbank und nicht das Skript, das das Speicherleck verursacht hat. Mit einer Obergrenze wird der Prozess innerhalb der Unit beendet, die den Speichermangel verursacht hat.
Setzen Sie beide Werte. Legen Sie MemoryHigh= etwa 20 bis 30 Prozent unter MemoryMax= fest. Der Abstand bildet eine Warnzone: Ein langsames Speicherleck überschreitet High und zeigt sich als langsamer gewordener Dienst. Ein plötzlicher Anstieg überschreitet Max direkt und führt zum Beenden des Prozesses.
Prozentwerte beziehen sich auf den installierten physischen Speicher. MemoryMax=25% entspricht bei einem 4-GB-Tarif also 1 GB und bleibt auch nach einer Vergrößerung des Tarifs ein Viertel des Systems. MemorySwapMax=0 hält diese Unit vollständig vom Swap fern. Wenn sie MemoryMax= erreicht, erfolgt das Beenden daher schnell und nicht erst nach einem langen Durchlauf durch den Swap. Unterhalb dieses Werts kann MemoryHigh= die Unit weiterhin drosseln. Das Überschreiten der hohen Grenze löst den OOM-Killer jedoch nie aus. Eine Unit, die zwischen den beiden Grenzen pendelt, bleibt daher langsam, statt beendet zu werden.
Bei einigen Diensten können Sie den Speicherbedarf im Voraus festlegen, statt ihn zu messen. Eine Ollama-Unit dimensioniert ihren KV-Cache anhand des von Ihnen festgelegten Kontextfensters. Lesen Sie daher was die Erhöhung von num_ctx an RAM kostet, bevor Sie dafür eine Obergrenze festlegen.
Neben einer Obergrenze benötigen Sie eine Neustart-Richtlinie. Andernfalls bleibt nach dem Beenden lediglich ein gestoppter Dienst zurück.
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit* gehört in [Unit] und Restart= in [Service]. Wenn Sie einen der Werte im falschen Abschnitt eintragen, ignoriert systemd ihn. Fünf Neustarts innerhalb von fünf Minuten sind ein Leck und kein kurzer Aussetzer. Danach gibt systemd auf und lässt die Unit in einem fehlgeschlagenen Zustand zurück. Diesen Zustand möchten Sie später vorfinden, statt eine Neustartschleife zu haben, die das Problem verdeckt.
CPU mit CPUQuota begrenzen oder mit CPUWeight anteilig zuweisen
CPUQuota= belegt einen prozentualen Anteil der auf einer CPU verfügbaren Zeit. CPUQuota=50% entspricht der Hälfte eines CPU-Kerns. CPUQuota=200% entspricht zwei Kernen, die die Unit nach Bedarf auf beliebig viele Threads verteilen kann. Bei einem Tarif mit 2 vCPUs entspricht CPUQuota=200% der gesamten Maschine.
CPUWeight= ist für die meisten Dienste die bessere Standardeinstellung. Der Wert legt einen relativen Anteil von 1 bis 10000 fest. Der Kernel-Standardwert ist 100. Die Einstellung wirkt sich nur aus, wenn Prozesse um CPU-Zeit konkurrieren: Ein Sicherungsjob mit CPUWeight=20 wird unter Last gegenüber einem Webserver mit 100 nachrangig behandelt. Wenn die Maschine nicht ausgelastet ist, kann der Sicherungsjob weiterhin die gesamte CPU-Kapazität nutzen. Eine harte Quote würde diese ungenutzte Kapazität verwerfen.
Seien Sie realistisch, was eine CPU-Begrenzung bewirkt. Ein CPU-intensiver Prozess bringt Linux nur selten zum Stillstand, weil der Scheduler die CPU-Zeit weiterhin auf alle Prozesse verteilt. Arbeitsspeicher bringt eine Maschine hingegen zum Absturz. Verwenden Sie CPUQuota=, wenn Sie eine vorhersehbare Obergrenze benötigen, beispielsweise für einen Build oder einen Agenten, der sonst eine Stunde lang die CPU vollständig auslasten würde. Die Dimensionierung solcher Workloads ist eine eigene Frage. Sie wird in wie viel RAM und CPU ein Coding-Agent-VPS benötigt behandelt.
Wenn die CPU als ausgelastet angezeigt wird, obwohl keiner Ihrer Prozesse nennenswert CPU-Zeit verbraucht, kann die Ursache auf der anderen Seite des Hypervisors liegen. Das ist CPU-Steal-Time durch einen ausgelasteten Nachbarn. Keine von Ihnen gesetzte Quote kann daran etwas ändern.
TasksMax verhindert eine Fork-Schleife
TasksMax= ist die maximale Anzahl von Prozessen und Threads, die eine Unit enthalten darf. Threads werden mitgezählt. Ein Java- oder Go-Dienst benötigt daher mehr Spielraum, als die Prozessliste vermuten lässt. Dies ist der einfachste Schutz gegen ein Skript, das in einer Schleife neue Prozesse erzeugt. Der Fork-Aufruf schlägt dann innerhalb der Unit fehl, bevor dem System die Prozess-IDs ausgehen.
TasksMax=128Wenn eine Unit das Limit erreicht, schreibt der Kernel eine Zeile mit dem Namen der Cgroup ins Log:
cgroup: fork rejected by pids controller in /system.slice/myapp.serviceDas Programm selbst meldet in der Regel fork: retry: Resource temporarily unavailable. Prüfen Sie mit systemctl show -p DefaultTasksMax, welche Vorgabe der Manager verwendet.
Ein einmaliges Job mit systemd-run begrenzen
Dafür benötigen Sie keine Unit-Datei. systemd-run erstellt für einen einzelnen Befehl eine temporäre Unit.
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope führt den Befehl in Ihrem Terminal aus, nachdem Running scope as unit: run-r7c1a....scope ausgegeben wurde. Die Ausgabe bleibt auf Ihrem Bildschirm. Die Begrenzungen werden aufgehoben, sobald der Befehl beendet wird. Jede Eigenschaft aus systemd.resource-control funktioniert nach -p.
Für einen längeren Job lassen Sie --scope weg und vergeben einen Namen. Der Job läuft dann im Hintergrund als temporärer Dienst. Die Protokolle werden in das Journal geschrieben:
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -fDieselben Optionen funktionieren mit --user, wenn Sie nicht als root arbeiten. Der Benutzer-Manager verfügt jedoch nur über die Controller, die an ihn delegiert wurden. Daher kann eine Eigenschaft dort abgelehnt werden. Verwenden Sie in diesem Fall sudo. Wenn ein Job dauerhaft eingerichtet werden soll, übernehmen Sie die Einstellungen unverändert in eine echte Unit: siehe ein Skript als systemd-Dienst und Timer ausführen.
Die Swap-Frage, ehrlich beantwortet
Swap verändert die Art des Fehlers, statt ihn zu verhindern.
Ohne Swap erreicht ein Leak die Obergrenze, und innerhalb weniger Sekunden fällt etwas aus. Der Ausfall ist deutlich, kurz und lässt sich anschließend im Journal leicht nachvollziehen. Mit Swap schreibt der Kernel selten verwendete anonyme Seiten auf die Festplatte und gewinnt dadurch Zeit. Wenn sich der Prozess wieder stabilisiert, hilft Swap. Wenn er jedoch ungebremst weiterläuft, macht Swap aus einem fünf Sekunden langen Ausfall einen zwanzigminütigen Stillstand. Dieser Stillstand ist schlimmer, weil ein beendeter Prozess weiterhin eine funktionierende Shell ermöglicht, während ein System mit massivem Swapping das nicht tut.
swapon --show
free -hEin praktikabler Mittelweg auf einem kleinen VPS besteht darin, eine moderate Swap-Datei für Seiten bereitzuhalten, die einmal reserviert und danach nie wieder verwendet werden, und bei den Units, auf deren Ausfall Sie vorbereitet sind, MemorySwapMax=0 zu setzen. Die wichtigen Dienste behalten ihren Swap. Die unvorhersehbaren Dienste erreichen schnell die Obergrenze, und die neben ihrem Limit konfigurierte Neustartregel startet sie anschließend wieder.
vm.swappiness zu verringern, ist ein schwacher Stellhebel. Es ist wichtig zu wissen, warum. Dadurch verschiebt sich nur das Verhältnis zwischen dem Verdrängen des Page Cache und dem Auslagern anonymer Seiten. Beides verursacht später einen Lesezugriff auf die Festplatte. Es ändert, welche Seiten stark thrashen, nicht ob das System stark thrashen wird.
Ein Early-OOM-Daemon beendet Prozesse, bevor das System ins Stocken gerät
Der Kernel wartet, bis die Rückgewinnung von Speicher vollständig fehlschlägt. Auf einem kleinen VPS ist genau dieses Warten das Zeitfenster, in dem der Rechner nicht mehr erreichbar wird. Zwei Daemons im Userspace verkürzen dieses Zeitfenster. Sie überwachen den Speicher selbst und beenden Prozesse früher.
earlyoom prüft bis zu zehnmal pro Sekunde den verfügbaren Speicher und den freien Swap. Ein Prozess mit dem höchsten oom_score wird nur beendet, wenn beide Werte unter ihre Schwellenwerte fallen. Auf einem System ohne Swap entscheidet allein der Speicherschwellenwert.
sudo apt install earlyoom
systemctl status earlyoomDas Debian- und Ubuntu-Paket startet den Dienst bei der Installation. Seine Optionen stehen in /etc/default/earlyoom:
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT legt das Minimum für den verfügbaren Speicher fest, -s PERCENT das Minimum für den freien Swap. Beide Werte betragen standardmäßig 10 Prozent. Die zweite Zahl in jedem Paar ist der SIGKILL-Schwellenwert: earlyoom sendet SIGTERM, sobald Speicher und Swap unter ihre jeweils ersten Werte fallen. Anschließend sendet es SIGKILL, sobald beide unter dem jeweils zweiten Wert liegen. Dieser beträgt standardmäßig die Hälfte des ersten Werts. Die Unit übergibt diese Variable als $EARLYOOM_ARGS an earlyoom. systemd teilt sie daher an Leerzeichen in Argumente auf. Die Muster --avoid und --prefer können sicher in Anführungszeichen gesetzt werden: systemd entfernt beim Einlesen der Datei die äußeren doppelten Anführungszeichen. Anschließend berücksichtigt und entfernt es die einfachen Anführungszeichen innerhalb des Werts beim Aufteilen. Daher funktioniert --avoid '^(sshd|systemd)$' genauso wie die oben gezeigte Form ohne Anführungszeichen. Ein Muster mit einem Leerzeichen benötigt diese einfachen Anführungszeichen. Andernfalls wird es in zwei Argumente aufgeteilt. Wenden Sie eine Änderung mit sudo systemctl restart earlyoom an. Lesen Sie anschließend journalctl -u earlyoom, um zu sehen, welchen Prozess der Dienst beendet hat und wie viel Speicher dieser Prozess belegt hatte.
systemd-oomd ist die andere Option. Die Manualpage beschreibt es als „einen Systemdienst, der cgroups-v2 und Pressure Stall Information (PSI) verwendet, um den Zustand zu überwachen und Korrekturmaßnahmen einzuleiten, bevor im Kernel-Space ein OOM auftritt“. Der Dienst arbeitet mit ganzen cgroups statt mit einzelnen Prozessen. Er beendet daher eine Unit und nicht einen einzelnen untergeordneten Prozess. Units aktivieren diese Funktion mit ManagedOOMMemoryPressure=kill oder ManagedOOMSwap=kill. Die Schwellenwerte stehen in /etc/systemd/oomd.conf.
systemctl status systemd-oomd
oomctloomctl zeigt an, was der Dienst derzeit überwacht. Auf einem Server-Image ist das häufig nichts, weil die Einstellung für jede Unit einzeln aktiviert werden muss. Wählen Sie einen der beiden Daemons und verwenden Sie nur diesen. Wenn beide laufen, konkurrieren sie bei der Auswahl eines Prozesses. Dadurch lässt sich der Grund für eine Beendigung schwerer nachvollziehen.
Welche Unit war verantwortlich?
Beginnen Sie beim Kernel, weil er jeden von ihm ausgelösten Kill protokolliert.
journalctl -k --grep "Killed process" --since "2 hours ago"Ein Kill durch den globalen OOM-Killer sieht so aus:
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss ist der anonyme Speicher, beispielsweise der Heap, den der Prozess beim Absturz im RAM belegt hatte, hier etwa 1.8 GB. Resident-Datei-Mappings und gemeinsam genutzter Speicher werden separat als file-rss und shmem-rss gezählt. Lesen Sie den Namen in den Klammern mit Vorsicht. Das ist das Opfer, das der Kernel ausgewählt hat. Der Kernel wählt den größten Prozess, der nicht immer die Knappheit verursacht hat.
Ein Kill aufgrund eines cgroup-Limits hat ein anderes Präfix. Der Bericht darüber nennt die cgroup, die ihr eigenes Limit erreicht hat:
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0Dieses Präfix liefert bereits den größten Teil der Diagnose. Memory cgroup out of memory bedeutet, dass eine Unit das von Ihnen gesetzte MemoryMax= erreicht hat und der Rest des Systems ausreichend Speicher hatte. Ein einfaches Out of memory bedeutet, dass dem gesamten System der Speicher ausgegangen ist. Ihre Limits fehlten also entweder oder waren zusammen zu großzügig.
Fragen Sie anschließend systemd ab, was es erkannt hat:
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status sagt in einer Zeile dasselbe aus wie Active: failed (Result: oom-kill).
Die cgroup-Zähler sind die dritte Quelle und die einzige, die Throttling protokolliert. Throttling erzeugt überhaupt keine Logzeile:
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high zählt, wie oft die Unit MemoryHigh= überschritten hat und gedrosselt wurde. max zählt, wie oft sie das harte Limit erreicht hat, und oom_kill zählt tatsächlich beendete Prozesse. Ein hoher Wert für high zusammen mit oom_kill 0 ist der zuvor beschriebene stille Fall: Seit dem Erstellen der cgroup wurde die Unit wiederholt gedrosselt, ohne dass ein einziger Kill erfolgt ist. Deshalb hat systemd keinen Fehler protokolliert. Der Zähler steigt nur an. Lesen Sie ihn zweimal im Abstand von einer Minute aus. Ein high, das weiter steigt, bedeutet, dass das Throttling gerade stattfindet. memory.peak (Linux 5.19 und neuer) enthält den höchsten erreichten Verbrauch der cgroup. Gegen diesen Wert müssen Sie MemoryMax= dimensionieren. Beide Dateien werden beim Neustart der Unit zurückgesetzt, weil systemd die cgroup erneut erstellt.
Eine Voraussetzung liegt unter all dem. Wenn /var/log/journal nicht vorhanden ist, befindet sich das Journal im RAM. Nach dem für die Wiederherstellung des Systems erforderlichen Reboot ist dann jede Zeile verschwunden.
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsWenn journalctl --list-boots mehr als den aktuellen Boot anzeigt, bleibt die Historie nun erhalten. Dann kann journalctl -k -b -1 die Kernelmeldungen des fehlgeschlagenen Boots anzeigen.
Ein Ausgangspunkt für einen kleinen VPS
Planen Sie bei einem Tarif mit 2 GB 300 bis 400 MB für den Kernel und den Page Cache ein. Lassen Sie die Limits nicht zusammen die vollen 2 GB erreichen, weil jede Unit gleichzeitig ihren Spitzenverbrauch erreichen kann. Geben Sie dem wichtigsten Dienst den größten Anteil. Begrenzen Sie anschließend alle weniger wichtigen Dienste, die ihn umgeben.
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5sEine Möglichkeit für den weiteren Zugriff ist eine zusätzliche Einstellung wert. OOMScoreAdjust=-500 in einem Drop-in für ssh.service macht es deutlich unwahrscheinlicher, dass der globale OOM-Killer Ihren SSH-Daemon als Opfer auswählt. Das kann den Unterschied zwischen der Reparatur des Systems und einem Neustart über das Control Panel ausmachen. Die Einstellung ändert nur die Auswahl des Prozesses durch den Kernel. Sie verkürzt die Dauer des Stillstands nicht.
Container laufen in eigenen cgroups. Diese werden von der Container-Runtime und nicht von Ihren Unit-Dateien erstellt. Daher wird ein Limit für docker.service nicht zu einem Limit für einen einzelnen Container. Die Entsprechungen für einzelne Container von MemoryMax= und CPUQuota= werden unter Speicher- und CPU-Limits in Docker Compose festlegen erläutert.
FAQ
Warum ist mein VPS eingefroren, statt den außer Kontrolle geratenen Prozess zu beenden?
Weil der Kernel den Fortschritt danach bewertet, ob das Zurückfordern von Speicherseiten erfolgreich ist, nicht danach, wie lange es dauert. Bei knappem Speicher verdrängt er den Page Cache, einschließlich der ausführbaren Seiten laufender Programme, und liest sie bei der nächsten Instruktion wieder ein. Alles wartet auf den Speicher und keine Speicheranforderung ist technisch fehlgeschlagen. Deshalb wird der OOM-Killer nie aufgerufen. Prüfen Sie während des Vorgangs /proc/pressure/memory: Ein full avg10 über 40 bedeutet, dass während mehr als 40% der letzten zehn Sekunden gleichzeitig jede nicht im Leerlauf befindliche Aufgabe auf Speicher warten musste. Ein Userspace-Daemon wie earlyoom beendet Prozesse, bevor dieser Zustand erreicht wird.
Was ist der Unterschied zwischen MemoryHigh und MemoryMax?
MemoryHigh= ist eine weiche Obergrenze, die drosselt. Der Kernel fordert Speicher von der Unit zurück und verlangsamt ihre Speicherzuweisungen. Die Nutzung kann die Zahl jedoch überschreiten, und es wird nichts beendet. MemoryMax= ist eine harte Obergrenze: Eine Speicherzuweisung, die darunter nicht erfüllt werden kann, ruft den OOM-Killer innerhalb der eigenen Cgroup der Unit auf. Dadurch wird der Prozess beendet, der das Problem verursacht hat, und nicht der größte Prozess auf dem System. Setzen Sie MemoryHigh= unter MemoryMax= und behandeln Sie den Abstand zwischen beiden als Warnbereich.
Wie finde ich heraus, welchen Dienst der OOM-Killer getroffen hat?
Führen Sie journalctl -k --grep "Killed process" --since "2 hours ago" aus. Eine mit Memory cgroup out of memory beginnende Zeile bedeutet, dass eine Unit ihr eigenes MemoryMax= erreicht hat. Ein einfaches Out of memory bedeutet dagegen, dass der gesamte Rechner keinen Speicher mehr hatte. Führen Sie anschließend journalctl -u <unit> -n 50 aus und suchen Sie nach Failed with result 'oom-kill'. Wenn /var/log/journal auf Ihrem Server nicht vorhanden ist, wurde das Journal im RAM gehalten und die Informationen gingen beim Reboot verloren. Erstellen Sie dieses Verzeichnis daher vor dem nächsten Vorfall.
Sollte ich einem kleinen VPS Swap hinzufügen?
Eine kleine Swap-Datei hilft bei selten verwendeten Speicherseiten, die einmal zugewiesen und danach nicht mehr verwendet werden. Bei einem außer Kontrolle geratenen Prozess hilft sie nicht. Sie verzögert das Beenden und ersetzt einen kurzen Ausfall durch einen langen Stillstand, während dessen Sie sich nicht anmelden können, um das Problem zu beheben. Halten Sie den Swap-Bereich klein. Setzen Sie MemorySwapMax=0 für die Units, auf deren Beendigung Sie verzichten können. Diese erreichen dann schnell ihre Obergrenze und starten mit gesetztem Restart=on-failure selbstständig neu, während wichtige Dienste ihren Swap behalten.
Kann ich einen Befehl begrenzen, ohne eine Unit-Datei zu schreiben?
Ja. sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh führt den Befehl in Ihrem Terminal innerhalb eines temporären Scopes mit diesen Begrenzungen aus. Die Begrenzungen entfallen, sobald der Befehl beendet wird. Nach -p ist jede Eigenschaft aus systemd.resource-control verfügbar. Daher funktionieren dort auch MemorySwapMax=, TasksMax= und CPUWeight=. Entfernen Sie --scope und fügen Sie --unit=name hinzu, um den Auftrag im Hintergrund auszuführen und seine Ausgabe im Journal zu protokollieren.