systemd로 프로세스 메모리와 CPU 제한하기
systemd unit에 MemoryHigh, MemoryMax, CPUQuota, TasksMax를 설정하는 방법을 설명합니다. 제한 후에도 VPS 전체가 멈출 수 있는 이유와 OOM kill 확인법까지 다룹니다.
systemd drop-in으로 프로세스 메모리와 CPU 제한하기
프로세스를 실행하는 unit에 몇 줄을 추가하면 Linux VPS에서 프로세스의 메모리와 CPU 사용량을 제한할 수 있다. MemoryMax=는 메모리의 하드 제한이다. CPUQuota=은 프로세서 시간의 제한이다. 두 설정 모두 cgroup v2(control groups, version 2)가 적용한다. cgroup v2는 systemd가 이미 서버의 각 서비스 사용량을 계산하는 데 사용하는 커널 기능이다.
sudo systemctl edit myapp.service그러면 주석으로 지침이 포함된 drop-in 파일이 열린다. 다음 내용을 주석보다 위에 추가한다.
[Service]
MemoryHigh=512M
MemoryMax=768M
MemorySwapMax=0
CPUQuota=80%
TasksMax=128sudo systemctl daemon-reload
sudo systemctl restart myapp.service
systemctl show myapp.service -p MemoryHigh -p MemoryMax -p CPUQuotaPerSecUSec -p TasksMaxsystemctl show은 커널에서 사용하는 단위로 설정한 값을 다시 표시해야 한다. 단위는 MemoryMax=805306368 및 CPUQuotaPerSecUSec=800ms이다. MemoryMax=infinity이 출력되면 drop-in이 로드되지 않은 것이다. 파일이 /etc/systemd/system/myapp.service.d/override.conf에 생성되었는지 확인한다. 또한 파일이 [Service] 헤더로 시작하는지도 확인한다. 설정 줄 위에 섹션이 없으면 systemd가 Assignment outside of section. Ignoring.을 기록하고 제한 없이 서비스를 시작한다.
이 가이드의 나머지 부분에서는 이 값을 선택하는 방법과 값을 설정한 뒤에도 발생할 수 있는 문제를 설명한다.
폭주하는 프로세스가 메모리를 모두 사용하지 않았는데도 VPS를 멈추게 하는 이유
강제 메모리 한도에 도달한 프로세스는 약 1초 후 종료되고 서비스가 다시 시작된다. 이것이 정상적인 경우다. 문제가 되는 경우는 아무것도 종료되지 않는 상황이다. 서버는 ping에 응답하고 SSH 연결도 수락하지만 셸 프롬프트가 나타나지 않는다. 시스템은 살아 있고 작업도 수행 중이지만, 그 작업은 아무런 유용한 진전을 만들지 못한다.
작동 원리는 직관적이지 않다. 여유 메모리가 부족해지면 kernel은 새 메모리를 할당하는 대신 페이지를 회수한다. 회수하기 가장 쉬운 페이지는 파일 기반 페이지이며, page cache에는 실행 중인 모든 프로그램의 실행 코드가 저장된다. 따라서 kernel은 sshd의 코드 페이지를 축출하고, 다음에 실행되는 명령 sshd은 해당 바이트를 storage에서 다시 읽어야 하는 page fault가 된다. 결국 모든 프로세스가 실행되지 못하고 disk 작업을 기다리게 된다. 같은 페이지가 반복해서 축출되고 다시 로드되는 현상을 thrashing이라고 한다.
VPS에서는 노트북보다 이 문제가 심해지는 이유가 2가지 있다. Storage가 네트워크 연결형이거나 공유되는 경우가 많으므로 각 page fault에 걸리는 시간이 로컬 NVMe device보다 길다. 또한 kernel은 시간을 측정하지 않고 실패를 측정한다. reclaim이 아무리 느리더라도 계속 페이지를 반환하는 동안에는 kernel이 작업이 진행 중이라고 판단하므로 out of memory (OOM) killer를 호출하지 않는다. 어떤 작업도 종료되지 않은 채 서버가 이 상태로 여러 분 동안 머무를 수 있다.
이 현상은 직접 확인할 수 있다. Linux 4.20 이상에서는 kernel이 pressure stall information (PSI)을 제공한다.
cat /proc/pressure/memory
cat /proc/pressure/iosome avg10=63.72 avg60=41.02 avg300=12.33 total=13729481
full avg10=48.15 avg60=30.44 avg300=8.90 total=9114233중요한 줄은 full이다. full avg10=48.15은 최근 10초 중 48% 동안 서버의 유휴 상태가 아닌 모든 task가 동시에 memory 부족으로 멈춰 있었다는 뜻이다. 따라서 어떤 작업도 진전을 이루지 못했다. 정상적인 서버의 full 값은 0에 가깝다. 값이 10을 넘으면 사람이 느끼기에도 느려지고, 40 이상이면 일반적으로 시스템이 멈췄다고 표현하는 상태다.
이 때문에 한도만 설정하는 것은 보장이 되지 않는다. MemoryHigh= 아래에서 제한된 unit은 종료되지 않고 throttling되므로 계속 실행되지만 계속 느리다. systemd의 관점에서는 실패하지 않았으므로 해당 unit을 다시 시작하지도 않는다. Swap이 허용된 capped unit은 해당 unit에 귀속되는 read와 write를 발생시키지만, 실제 처리는 하나의 공유 device가 담당한다. 따라서 서버의 다른 모든 서비스에 대해 /proc/pressure/io 값이 증가할 수 있다. 한도는 부족한 자원의 비용을 누가 부담할지만 결정하며, 처리 용량 자체를 만들지는 못한다.
VPS가 cgroup v2를 실행 중인지 확인
stat -fc %T /sys/fs/cgroupcgroup2fs는 통합 계층 구조이며, 아래의 메모리 설정에 필요합니다. tmpfs은 시스템이 구형 v1 레이아웃으로 부팅되었음을 의미하며, 이 경우 MemoryHigh=와 MemorySwapMax=는 지원되지 않고 유닛별 OOM 동작이 달라집니다. 다만 CPUQuota=은 레거시 cpu.cfs_quota_us 파일을 통해 여전히 작동합니다. Ubuntu 22.04 이상 및 Debian 11 이상은 기본적으로 v2를 사용합니다. 오래된 이미지는 v2를 사용하지 않으며, systemd 255 이하 버전에서는 systemd.unified_cgroup_hierarchy=0로 부팅된 커널도 v2를 사용하지 않습니다. systemd 256 및 257은 커널 명령줄에 SYSTEMD_CGROUP_ENABLE_LEGACY_FORCE=1가 포함되지 않는 한 v1으로 부팅하는 것을 거부합니다. systemd 258은 cgroup v1 지원을 제거하고 부팅 시 항상 통합 계층 구조를 마운트하므로, 해당 버전을 포함하는 릴리스에서는 어떤 인자를 사용해도 v1으로 되돌릴 수 없습니다.
cgroup v2에서 systemd는 모든 유닛에 대해 메모리 계정을 기본적으로 활성화하므로, 수치는 이미 존재합니다:
systemd-cgtop -m이 명령은 메모리 사용량 순으로 cgroup을 나열합니다. 이는 서버가 응답 가능한 상태일 때 "무엇이 이 서버의 자원을 점유하고 있는지" 파악하는 가장 빠른 방법입니다. 서버가 새로 생성된 상태라면, 이 작업에 앞서 새 VPS 설정의 첫 10분에서 다루는 계정 및 방화벽 작업을 수행하는 순서가 됩니다.
MemoryHigh는 throttling을 적용하고 MemoryMax는 종료한다.
두 메모리 설정의 차이에 따라 장애가 나타나는 방식이 결정된다.
MemoryHigh=은 soft cap이다. 이 값을 초과하면 kernel은 해당 cgroup에서 메모리를 적극적으로 회수하고 의도적으로 할당 속도를 낮춘다. 사용량은 여전히 이 값을 초과할 수 있으며, 프로세스가 종료되지는 않는다.MemoryMax=는 hard cap이다. 이 제한 안에서 할당을 충족할 수 없으면 OOM killer가 해당 cgroup 내부에서 실행되고 해당 unit에 속한 프로세스 중 하나를 종료한다.
두 번째 특성이야말로 완전히 신뢰할 수 없는 항목에 MemoryMax=을 설정해야 하는 실제 이유다. 제한이 없으면 메모리 부족은 전체 시스템의 문제가 되고, global OOM killer는 oom_score에 따라 종료 대상을 선택한다. 대부분 가장 큰 프로세스가 대상이 된다. 가장 큰 프로세스는 보통 메모리를 누수시킨 script가 아니라 database다. 제한을 설정하면 종료는 문제를 일으킨 unit 내부에서 발생한다.
두 설정을 모두 지정하되, MemoryHigh=는 MemoryMax=보다 약 20 to 30 percent 낮게 설정한다. 이 간격은 경고 구간이다. 느린 누수는 High을 넘으면서 서비스가 느려진 상태로 나타나고, 갑작스러운 spike는 Max을 곧바로 넘어 프로세스가 종료된다.
Percentage 값은 설치된 physical memory를 기준으로 계산된다. 따라서 4 GB plan에서 MemoryMax=25%는 1 GB이며, plan의 크기를 조정한 뒤에도 전체 메모리의 1/4로 유지된다. MemorySwapMax=0은 해당 unit이 swap을 전혀 사용하지 않도록 하므로, MemoryMax=에 도달하면 swap을 오랫동안 사용하며 느려진 뒤가 아니라 빠르게 종료된다. 그보다 낮은 구간에서는 MemoryHigh=가 여전히 해당 unit에 throttling을 적용할 수 있다. high limit를 초과해도 OOM killer는 실행되지 않으므로 두 제한 사이를 오가는 unit은 종료되지 않고 느린 상태로 유지된다.
일부 서비스는 사용량을 측정하는 대신 필요한 메모리 규모를 미리 결정할 수 있다. Ollama unit은 지정한 context window를 기준으로 KV cache 크기를 정하므로, 해당 unit의 ceiling을 정하기 전에 num_ctx를 높일 때 RAM 사용량이 어떻게 증가하는지 확인한다.
제한 옆에는 restart policy도 설정해야 한다. 그렇지 않으면 프로세스가 종료된 뒤 서비스가 중지된 상태로 남는다.
[Unit]
StartLimitIntervalSec=300
StartLimitBurst=5
[Service]
Restart=on-failure
RestartSec=5sStartLimit*은 [Unit]에, Restart=는 [Service]에 지정해야 한다. 둘 중 하나라도 잘못된 section에 넣으면 systemd가 무시한다. 5분 동안 5번 재시작하는 것은 일시적인 문제가 아니라 누수에 가깝다. 따라서 그 이후 systemd는 재시작을 포기하고 unit을 failed 상태로 둔다. 문제를 숨기는 crash loop보다 나중에 확인할 수 있는 이 상태가 바람직하다.
CPUQuota로 CPU를 제한하거나 CPUWeight로 CPU를 공유하기
CPUQuota=은 CPU 1개에서 사용할 수 있는 시간 중 일정 비율을 사용한다. CPUQuota=50%은 코어 1개의 절반이다. CPUQuota=200%는 코어 2개에 해당하며, unit은 필요한 만큼 여러 스레드에 분산해 사용할 수 있다. 2 vCPU 요금제에서는 CPUQuota=200%가 전체 시스템에 해당한다.
대부분의 서비스에서는 CPUWeight=를 기본값으로 사용하는 편이 좋다. CPUWeight=는 1부터 10000까지의 상대적 비율이며, 커널 기본값은 100이다. 다른 작업과 경쟁할 때만 적용된다. 부하가 있는 동안 CPUWeight=20의 백업 작업은 100으로 설정된 웹 서버보다 CPU를 적게 할당받는다. 반면 시스템이 유휴 상태라면 전체 CPU를 사용할 수 있다. 엄격한 quota는 유휴 CPU 용량을 버리게 만든다.
CPU 제한으로 얻는 효과를 정확히 이해해야 한다. CPU를 집중적으로 사용하는 프로세스도 스케줄러가 모든 프로세스에 실행 시간을 계속 할당하므로 Linux를 거의 멈추게 하지는 않는다. 시스템을 중단시키는 원인은 대개 메모리다. 예를 들어 한 시간 동안 최대 CPU를 계속 사용할 수 있는 빌드 작업이나 agent처럼 예측 가능한 상한이 필요할 때 CPUQuota=를 사용한다. 이러한 작업에 필요한 용량을 산정하는 문제는 별도로 다뤄야 하며, 코딩 agent VPS에 필요한 RAM과 CPU 용량에서 설명한다.
실행 중인 프로세스가 CPU를 많이 사용하지 않는데도 CPU 사용량이 높게 표시된다면 원인은 hypervisor 반대편에 있을 수 있다. 이는 시끄러운 이웃으로 인한 CPU steal time일 수 있으며, 직접 설정한 quota로는 이를 바꿀 수 없다.
TasksMax가 fork loop를 중지한다
TasksMax=은 unit이 보유할 수 있는 프로세스와 스레드 수다. 스레드도 포함되므로 Java 또는 Go 서비스에는 프로세스 목록에 표시되는 것보다 더 큰 여유가 필요하다. 이는 loop로 fork하는 스크립트를 방어하는 가장 저렴한 방법이다. 시스템의 process ID가 고갈되기 전에 unit 내부에서 fork가 실패하기 때문이다.
TasksMax=128unit이 제한에 도달하면 커널은 cgroup 이름이 포함된 로그 한 줄을 기록한다.
cgroup: fork rejected by pids controller in /system.slice/myapp.service프로그램 자체는 대개 fork: retry: Resource temporarily unavailable을 보고한다. manager가 기본적으로 적용하는 값을 systemctl show -p DefaultTasksMax로 확인한다.
systemd-run으로 일회성 작업 제한하기
이 기능을 사용하는 데 unit 파일은 필요하지 않다. systemd-run는 단일 명령을 중심으로 transient unit을 생성한다.
sudo systemd-run --scope -p MemoryMax=1G -p MemorySwapMax=0 -p CPUQuota=50% -p TasksMax=64 ./import-data.sh--scope는 Running scope as unit: run-r7c1a....scope를 출력한 후 터미널에서 명령을 실행한다. 출력은 화면에 계속 표시되며, 명령이 종료되면 제한도 사라진다. systemd.resource-control의 모든 속성은 -p 뒤에 사용할 수 있다.
오래 실행되는 작업은 --scope를 생략하고 이름을 지정한다. 그러면 작업이 transient service로 백그라운드에서 실행되고 journal에 로그가 기록된다.
sudo systemd-run --unit=nightly-import -p MemoryMax=1G -p CPUWeight=20 ./import-data.sh
journalctl -u nightly-import -froot가 아닌 경우에도 --user와 함께 같은 옵션을 사용할 수 있다. 단, 사용자 manager에는 위임된 controller만 있으므로 특정 속성이 거부될 수 있다. 이 경우 sudo와 함께 실행한다. 작업을 영구적으로 관리해야 한다면 설정을 변경하지 않고 실제 unit으로 옮길 수 있다. 스크립트를 systemd service와 timer로 실행하기를 참조한다.
스왑에 관한 질문에 대한 솔직한 답변
스왑은 장애를 방지하기보다 장애의 양상을 바꾼다.
스왑이 없으면 메모리 누수가 한계에 도달한 뒤 몇 초 안에 무언가가 종료된다. 장애는 명확하고 짧으며, 이후 journal에서 원인을 확인하기도 쉽다. 스왑이 있으면 커널이 사용 빈도가 낮은 익명 페이지를 디스크로 기록해 시간을 번다. 프로세스가 곧 안정될 상황이었다면 스왑이 문제를 해결한다. 하지만 계속 증가하는 프로세스라면 스왑은 5초 장애를 20분 동안의 멈춤으로 바꾼다. 이 멈춤이 더 나쁜 이유는 종료된 프로세스는 여전히 사용할 수 있는 셸을 남기지만, 디스크 thrashing이 발생한 시스템에서는 그렇지 않기 때문이다.
swapon --show
free -h소규모 VPS에서는 다음과 같은 절충안이 실용적이다. 한 번 할당된 뒤 다시 사용되지 않는 페이지를 위해 적당한 크기의 swap file을 유지하고, 감수할 수 있는 unit에는 MemorySwapMax=0를 설정한다. 중요한 서비스는 스왑을 계속 사용할 수 있게 둔다. 동작을 예측하기 어려운 서비스는 빠르게 한계에 도달하게 하고, 해당 제한 옆에 둔 restart policy로 서비스를 다시 시작한다.
vm.swappiness를 낮추는 방법은 효과가 제한적이다. 그 이유를 알아둘 필요가 있다. 이 설정은 page cache를 축출할지 익명 페이지를 스왑할지의 균형만 바꾸며, 두 경우 모두 나중에 디스크 읽기 비용이 발생한다. 어떤 페이지가 thrashing을 일으키는지는 바꾸지만, 시스템에서 thrashing이 발생하는지 여부는 바꾸지 않는다.
커널 OOM 발생 전 조기 종료 데몬
커널은 메모리 회수가 완전히 실패할 때까지 기다리며, 소규모 VPS에서는 이 대기 시간이 곧 서버 접속이 끊기는 시점입니다. 두 가지 사용자 공간 데몬은 메모리 상태를 직접 감시하고 더 빠르게 프로세스를 종료하여 이 문제를 해결합니다.
earlyoom은 초당 최대 10회까지 가용 메모리와 여유 스왑을 확인하며, 두 수치가 모두 임계값 아래로 떨어질 때만 oom_score가 가장 높은 프로세스를 종료합니다. 스왑이 없는 서버에서는 메모리 임계값만으로 판단합니다.
sudo apt install earlyoom
systemctl status earlyoomDebian 및 Ubuntu 패키지는 설치 시 서비스를 자동으로 시작합니다. 설정 옵션은 /etc/default/earlyoom에 위치합니다.
EARLYOOM_ARGS="-m 5,2 -s 5,2 --avoid ^(sshd|systemd)$ --prefer ^(node|python3)$"-m PERCENT은 가용 메모리 최솟값을, -s PERCENT은 여유 스왑 최솟값을 설정하며 기본값은 둘 다 10퍼센트입니다. 각 쌍의 두 번째 숫자는 SIGKILL 시점입니다. earlyoom은 메모리와 스왑이 첫 번째 값 아래로 떨어지면 SIGTERM을 보내고, 두 번째 값(기본값은 첫 번째 값의 절반) 아래로 떨어지면 SIGKILL을 보냅니다. 서비스 유닛은 이 변수를 $EARLYOOM_ARGS로 전달하며, systemd는 공백을 기준으로 이를 인자로 분리합니다. --avoid 및 --prefer 패턴에 따옴표를 사용하는 것은 안전합니다. systemd는 파일을 읽을 때 바깥쪽 큰따옴표를 제거하고, 인자를 분리할 때 내부의 작은따옴표를 인식하여 제거하므로 --avoid '^(sshd|systemd)$'은 위에서 따옴표를 사용하지 않은 형태와 동일하게 동작합니다. 공백이 포함된 패턴은 작은따옴표가 필요하며, 그렇지 않으면 두 개의 인자로 분리됩니다. 변경 사항은 sudo systemctl restart earlyoom로 적용하며, journalctl -u earlyoom을 읽어 어떤 프로세스가 종료되었고 해당 프로세스가 얼마만큼의 메모리를 점유하고 있었는지 확인합니다.
systemd-oomd는 또 다른 선택지입니다. 매뉴얼 페이지에 따르면 이 도구는 "cgroups-v2와 PSI(Pressure Stall Information)를 사용하여 커널 공간에서 OOM이 발생하기 전에 모니터링하고 조치를 취하는 시스템 서비스"입니다. 이 도구는 개별 프로세스가 아닌 cgroup 단위로 동작하므로, 특정 자식 프로세스가 아닌 유닛 전체를 종료합니다. 유닛은 ManagedOOMMemoryPressure=kill 또는 ManagedOOMSwap=kill을 통해 적용 대상이 되며, 임계값은 /etc/systemd/oomd.conf에서 설정합니다.
systemctl status systemd-oomd
oomctloomctl은 현재 모니터링 중인 대상을 출력합니다. 유닛별로 직접 설정해야 하므로 서버 이미지에서는 아무것도 모니터링하지 않는 경우가 많습니다. 데몬 하나만 선택하여 사용하십시오. 두 도구를 동시에 실행하면 종료 대상을 선정하기 위해 서로 경쟁하게 되며, 프로세스가 종료된 원인을 파악하기 어려워집니다.
어떤 unit이 원인이었는가?
커널부터 확인해야 한다. 커널은 자신이 수행한 모든 kill을 기록하기 때문이다.
journalctl -k --grep "Killed process" --since "2 hours ago"global OOM killer가 수행한 kill은 다음과 같이 표시된다.
Out of memory: Killed process 4127 (node) total-vm:2731084kB, anon-rss:1874232kB, file-rss:0kB, shmem-rss:0kB, UID:1000 pgtables:4212kB oom_score_adj:0anon-rss은 프로세스가 종료될 때 RAM에 보유하던 heap과 같은 anonymous memory다. 여기서는 약 1.8 GB다. Resident file mapping과 shared memory는 각각 file-rss 및 shmem-rss로 별도로 집계된다. 대괄호 안의 이름은 주의해서 읽어야 한다. 해당 이름은 커널이 선택한 victim을 나타낸다. 커널은 가장 큰 프로세스를 선택하지만, 그 프로세스가 메모리 부족을 일으킨 원인이라고 항상 볼 수는 없다.
cgroup limit으로 인한 kill은 접두사가 다르다. 그 위에 출력되는 보고서에는 자체 ceiling에 도달한 cgroup의 이름이 표시된다.
Memory cgroup out of memory: Killed process 8811 (python3) total-vm:1044320kB, anon-rss:769112kB, file-rss:0kB, shmem-rss:0kB, UID:998 pgtables:1720kB oom_score_adj:0이 접두사만으로도 진단의 대부분을 수행할 수 있다. Memory cgroup out of memory은 한 unit이 지정된 MemoryMax=에 도달했지만 시스템의 나머지 부분은 정상이었다는 뜻이다. 단순한 Out of memory은 시스템 전체의 메모리가 고갈되었다는 뜻이다. 따라서 설정한 제한이 없었거나, 합산했을 때 너무 큰 값이었을 수 있다.
그다음 systemd가 무엇을 확인했는지 조회한다.
systemctl status myapp.service
journalctl -u myapp.service -n 50myapp.service: A process of this unit has been killed by the OOM killer.
myapp.service: Main process exited, code=killed, status=9/KILL
myapp.service: Failed with result 'oom-kill'.systemctl status은 같은 내용을 한 줄로 표시하며, Active: failed (Result: oom-kill)과 같다.
cgroup counter는 세 번째 정보원이다. throttling을 기록하는 유일한 정보원이기도 하다. throttling은 로그 라인을 전혀 생성하지 않는다.
cat /sys/fs/cgroup/system.slice/myapp.service/memory.events
cat /sys/fs/cgroup/system.slice/myapp.service/memory.peaklow 0
high 4213
max 118
oom 12
oom_kill 12high은 unit이 MemoryHigh=를 초과하여 throttling된 횟수를 센다. max은 hard cap에 도달한 횟수를 센다. oom_kill는 실제로 kill된 프로세스 수를 센다. oom_kill 0과 함께 high가 크다면 앞에서 설명한 조용한 경우다. cgroup이 생성된 뒤 unit은 kill 없이 반복해서 throttling되었으므로 systemd는 failure를 기록하지 않았다. 이 counter는 계속 증가하기만 한다. 따라서 1분 간격으로 두 번 읽어야 한다. 계속 증가하는 high은 현재 throttling이 발생하고 있다는 뜻이다. memory.peak(Linux 5.19 이상)은 cgroup이 도달한 최고 사용량을 저장한다. 이 값과 비교해 MemoryMax=의 크기를 정해야 한다. unit이 재시작하면 두 파일 모두 초기화된다. systemd가 cgroup을 다시 생성하기 때문이다.
이 모든 기능에는 하나의 사전 조건이 있다. /var/log/journal이 존재하지 않으면 journal이 RAM에 저장된다. 그러면 시스템을 복구하기 위해 재부팅한 뒤 모든 로그가 사라진다.
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsjournalctl --list-boots에 현재 boot보다 많은 boot가 표시되면 이제 기록이 유지되고 있다는 뜻이다. 따라서 journalctl -k -b -1로 장애가 발생한 boot의 커널 메시지를 확인할 수 있다.
소형 VPS의 시작점
2 GB 요금제에서는 커널과 페이지 캐시에 300~400 MB를 남겨 두고, 모든 제한의 합계가 2 GB 전체에 이르지 않게 해야 한다. 모든 unit가 동시에 최대치에 도달할 수 있기 때문이다. 가장 중요한 서비스에 가장 큰 몫을 할당한 다음, 해당 서비스를 보조하는 예측이 어려운 항목에는 제한을 설정한다.
[Service]
MemoryHigh=256M
MemoryMax=384M
MemorySwapMax=0
CPUWeight=20
TasksMax=64
Restart=on-failure
RestartSec=5s접속 경로를 유지하려면 설정을 하나 더 적용할 가치가 있다. ssh.service의 drop-in에 OOMScoreAdjust=-500을 설정하면 전역 OOM killer가 SSH daemon을 종료 대상으로 선택할 가능성이 크게 줄어든다. 이는 control panel에서 서버를 재부팅하지 않고 문제를 해결할 수 있는지 여부를 좌우한다. 이 설정은 커널이 종료 대상을 선택하는 방식만 변경한다. 멈춤 시간이 줄어드는 것은 아니다.
컨테이너는 자체 cgroup에서 실행된다. 이 cgroup은 사용자의 unit 파일이 아니라 컨테이너 runtime이 생성한다. 따라서 docker.service에 설정한 제한은 컨테이너 하나의 제한이 되지 않는다. MemoryMax=과 CPUQuota=에 해당하는 컨테이너별 설정은 Docker Compose에서 메모리 및 CPU 제한 설정에서 설명한다.
FAQ
내 VPS가 폭주한 프로세스를 종료하는 대신 멈춘 이유는 무엇입니까?
커널은 reclaim에 걸린 시간을 기준으로 진행 여부를 판단하지 않고, reclaim이 페이지를 회수했는지를 기준으로 판단하기 때문입니다. 메모리가 부족하면 실행 중인 프로그램의 실행 파일 페이지를 포함해 page cache를 축출한 다음, 다음 명령을 실행할 때 해당 페이지를 다시 읽습니다. 모든 작업이 storage를 기다리지만 할당 자체가 기술적으로 실패한 것은 아니므로 OOM killer가 호출되지 않습니다. 이 상황이 발생하는 동안 /proc/pressure/memory을 확인하십시오. full avg10가 40보다 크다는 것은 최근 10초 중 40%가 넘는 시간 동안 모든 non-idle task가 동시에 메모리 부족으로 멈춰 있었다는 뜻입니다. earlyoom 같은 userspace daemon을 사용하면 시스템이 이 상태에 도달하기 전에 종료할 수 있습니다.
MemoryHigh와 MemoryMax의 차이는 무엇입니까?
MemoryHigh=은 할당을 제한하는 soft cap입니다. 커널은 해당 unit에서 메모리를 적극적으로 회수하고 할당 속도를 낮추지만, 사용량은 이 값을 초과할 수 있으며 어떤 프로세스도 종료되지 않습니다. MemoryMax=은 hard cap입니다. 이 한도 안에서 충족할 수 없는 할당이 발생하면 해당 unit 자체의 cgroup 안에서 OOM killer가 호출됩니다. 따라서 문제를 일으킨 프로세스가 시스템에서 가장 큰 프로세스 대신 종료됩니다. MemoryHigh=을 MemoryMax=보다 낮게 설정하고 두 값 사이의 차이를 warning zone으로 사용하십시오.
OOM killer가 어느 서비스를 종료했는지 어떻게 확인합니까?
journalctl -k --grep "Killed process" --since "2 hours ago"을 실행하십시오. Memory cgroup out of memory로 시작하는 줄은 한 unit이 자체 MemoryMax=에 도달했다는 뜻이고, 일반적인 Out of memory은 전체 시스템의 메모리가 소진되었다는 뜻입니다. 그런 다음 journalctl -u <unit> -n 50를 실행하고 Failed with result 'oom-kill'을 찾으십시오. 서버에 /var/log/journal이 없다면 journal이 RAM에만 저장되었고 재부팅과 함께 증거가 사라진 것입니다. 다음 장애가 발생하기 전에 해당 디렉터리를 생성하십시오.
작은 VPS에 swap을 추가해야 합니까?
작은 swap file은 한 번 할당된 뒤 다시 사용되지 않는 cold page를 처리하는 데 도움이 됩니다. 폭주한 프로세스에는 도움이 되지 않습니다. 종료를 지연시키고, 짧은 장애를 로그인해서 수정할 수 없는 긴 멈춤 상태로 바꿀 뿐입니다. swap은 적절한 크기로 유지하십시오. 종료해도 되는 unit에는 MemorySwapMax=0을 설정하십시오. 그러면 해당 unit이 한도에 빠르게 도달하고, Restart=on-failure이 설정되어 있으면 중요한 서비스가 swap을 계속 사용할 수 있는 동안 스스로 다시 시작합니다.
unit file을 작성하지 않고 명령을 제한할 수 있습니까?
예. sudo systemd-run --scope -p MemoryMax=1G -p CPUQuota=50% ./script.sh은 터미널에서 명령을 해당 제한이 적용되는 transient scope 안에서 실행하며, 명령이 종료되면 제한도 사라집니다. systemd.resource-control의 모든 property는 -p 뒤에 사용할 수 있으므로 MemorySwapMax=, TasksMax=, CPUWeight=도 여기서 작동합니다. --scope을 제거하고 --unit=name을 추가하면 작업을 background에서 실행하고 출력을 journal에 기록할 수 있습니다.