VPS CPU steal time 확인 방법 및 원인 분석
vmstat의 st 항목을 통해 CPU steal time을 확인하고, 내 서버의 부하인지 이웃 게스트로 인한 간섭인지 구분하는 방법을 설명합니다. 하이퍼바이저가 물리 코어를 할당하지 못해 발생하는 성능 저하의 원인과 측정 원리를 상세히 다룹니다.
CPU steal time이 실제로 측정하는 것
CPU steal time은 가상 CPU가 실행 준비를 마쳤음에도 불구하고, 하이퍼바이저가 물리 코어를 다른 게스트에게 할당하여 대기해야 했던 시간의 비율입니다. 작업은 큐에 쌓여 있었고, 코어는 다른 곳에서 사용 중이었습니다. Linux는 이 사이클을 별도로 계산하여 st로 보고합니다. 이를 통해 "내 서버가 바쁜 상태"인지 "내 서버가 차례를 기다리는 상태"인지 구분할 수 있습니다.
이 차이를 구분하는 것이 바로 이 카운터가 존재하는 이유입니다. 자신의 프로세스가 CPU에서 소비하는 시간은 us(user) 또는 sy(system)으로 보고됩니다. 작업이 스토리지 때문에 차단된 시간은 wa(I/O wait)로 보고됩니다. 실행 가능한 상태로 런큐(run queue)에 머물러 있고, 대기 중인 I/O 작업이 없음에도 실행되지 못하는 vCPU(가상 CPU)는 st으로 보고됩니다. 스케줄링 결정은 한 단계 아래인 호스트에서 이루어지기 때문에, 서버 내부에서는 이 상태를 해결할 수 없습니다.
이는 하나의 물리 머신을 여러 게스트가 공유하는 방식에서 직접적으로 기인합니다. 가장 흔한 원인은 이웃 게스트입니다. 같은 노드에 있는 다른 게스트가 과도한 부하를 일으키면, 호스트는 코어를 나누어 할당합니다. 간과하기 쉬운 두 번째 원인도 있습니다. 많은 제공업체가 공유 vCPU를 물리 코어의 일부로 제한하며, 여러 하이퍼바이저에서는 이 강제된 제한을 게스트 내부에서 steal로 계산합니다. 따라서 높은 st 수치는 코어가 할당되지 않았음을 의미합니다. 하지만 그 코어를 누가 가져갔는지를 항상 알려주는 것은 아닙니다.
Steal 수치의 출처
커널은 호스트를 직접 볼 수 없으므로 스스로 steal을 측정할 수 없습니다. 하이퍼바이저가 커널에 이 정보를 전달합니다. KVM 환경에서 호스트는 vCPU별 카운터를 게스트와 공유하는 페이지에 기록하며, CONFIG_PARAVIRT_TIME_ACCOUNTING 옵션으로 빌드된 커널(모든 배포판 커널이 해당함)은 이를 합산합니다. Xen은 runstate 영역을 통해 동일한 정보를 보고합니다. 이 총합은 정확히 한 곳을 통해 사용자 공간으로 전달됩니다.
head -1 /proc/stat이 cpu 줄에는 부팅 이후 USER_HZ 틱 단위로 측정된 10개의 카운터가 다음 순서대로 포함되어 있습니다: user, nice, system, idle, iowait, irq, softirq, steal, guest, guest_nice. Steal은 레이블 뒤의 여덟 번째 값입니다. vmstat, top, mpstat을 비롯한 모든 도구와 Prometheus 익스포터는 동일한 필드를 읽어 두 샘플 간의 차이를 백분율로 변환합니다.
이와 관련하여 한 가지 중요한 결과가 있습니다. 하이퍼바이저가 카운터를 내보내지 않으면 해당 필드는 영원히 0으로 유지되며, 호스트에 부하가 걸려 있는 상황에서도 이를 기반으로 하는 모든 도구는 평온한 0.0를 보고합니다. KVM과 Xen은 이 값을 내보냅니다. VMware나 Hyper-V를 포함한 다른 플랫폼에서는 steal 수치를 볼 수 있는지 여부가 호스트가 무엇을 노출하고 게스트 커널이 무엇을 지원하는지에 따라 달라지므로, 단순히 0이 출력된다고 해서 아무것도 증명할 수 없습니다. 0을 신뢰하기 전에 플랫폼을 확인하십시오:
systemd-detect-virt이 명령은 kvm, xen, vmware, microsoft과 같은 플랫폼 이름이나 베어메탈의 경우 none을 출력합니다. 컨테이너 내부에서는 대신 lxc, docker, podman과 같은 런타임 정보를 보고하는데, 이는 기계 자체가 아닌 컨테이너에 대한 정보입니다. kvm 환경에서 0이 출력된다면 호스트가 자원을 잘 할당하고 있다는 확실한 증거입니다. 하지만 해당 필드를 채우지 않는 플랫폼에서 0은 아무런 증거가 되지 못하며, 이 경우 실제 작업의 처리 시간을 측정하여 경합 여부를 판단해야 합니다.
VPS에서 CPU steal time을 확인하는 방법
vmstat는 procps 패키지에 포함되어 있습니다. 거의 모든 Ubuntu 및 Debian VPS 이미지에 기본으로 설치되어 있지만, 일부 최소형 컨테이너 이미지에는 없을 수 있으므로 사용하기 전에 먼저 설치하십시오.
sudo apt-get update
sudo apt-get install -y procps
vmstat --version
vmstat 1 5vmstat --version를 실행하면 vmstat from procps-ng 4.0.4와 같은 줄이 출력됩니다. 이 내용이 출력된다면 도구가 설치되었으며 실제 커널 카운터를 읽고 있는 상태입니다. vmstat 1 5은 총 5개의 보고서를 출력하는데, 첫 번째는 부팅 이후의 평균값이며 나머지 4개는 1초 단위의 샘플입니다.
procs -----------memory---------- ---swap-- -----io---- -system-- -------cpu-------
r b swpd free buff cache si so bi bo in cs us sy id wa st gu
1 0 0 3216484 98304 1284360 0 0 4 18 62 110 3 1 96 0 0 0
2 0 0 3216232 98304 1284360 0 0 0 0 248 431 6 2 84 0 8 0오른쪽 cpu 블록에서 st 열을 찾으십시오. 최신 procps-ng 빌드에서는 KVM 게스트 시간을 나타내는 gu 열이 그 뒤에 출력되므로, st은 마지막이 아닌 오른쪽에서 두 번째에 위치합니다. 릴리스마다 위치가 변경될 수 있으므로 반드시 헤더 이름을 기준으로 열을 확인하십시오.
정확한 측정을 위해 두 가지 습관을 권장합니다. 첫 번째 데이터 줄은 부팅 이후의 평균값이므로 무시하고 그 이후의 줄을 읽으십시오. 또한 steal time은 불규칙하게 발생하므로 단일 샘플만으로는 판단할 수 없습니다. vmstat 1 61을 실행하면 부팅 이후 평균값 줄을 제외하고 1초 단위 샘플 60개를 얻을 수 있으므로, 결론을 내리기 전에 1분 동안 전체를 관찰하십시오.
top는 %Cpu(s) 요약 줄의 st로 표시된 필드에서 동일한 수치를 보고합니다.
%Cpu(s): 6.2 us, 2.1 sy, 0.0 ni, 83.9 id, 0.0 wa, 0.0 hi, 0.3 si, 7.5 st코어별 상세 정보를 확인하려면 sysstat를 추가하십시오.
sudo apt-get install -y sysstat
mpstat -P ALL 1 5mpstat은 CPU당 한 줄씩 출력하며 %steal 열을 통해 모든 vCPU가 영향을 받는지 혹은 특정 vCPU만 영향을 받는지 보여줍니다. 기술 지원 티켓을 작성할 때는 화면에서 읽는 대신 샘플을 파일로 저장해 두십시오.
date -u | tee -a ~/steal.log
mpstat -P ALL 1 5 | tee -a ~/steal.log문제가 의심되는 시간 동안 cron을 통해 해당 명령을 실행하십시오. 그러면 단순히 공급자에게 "어젯밤에 느렸다"고 말하는 것과, 정확히 10분 동안의 데이터를 보여주는 것 사이의 큰 차이를 만들 수 있습니다.
Steal 수치는 무엇을 의미합니까?
0.0가 일정함. 정상 상태이거나, 해당 플랫폼이 Steal 수치를 전혀 보고하지 않는 경우입니다. 안심하기 전에systemd-detect-virt로 확인하십시오.- 몇 초간 지속되는 몇 퍼센트의 스파이크. 공유 노드에서는 정상입니다. 이웃한 사용자의 빌드가 시작되거나 호스트가 백업을 실행 중일 수 있습니다.
- 공유 플랜에서 1에서 5퍼센트가 지속됨. 예상된 범위입니다. 공유 CPU는 가격에 반영된 요소입니다.
- 5에서 10퍼센트가 지속됨. 체감할 수 있는 속도 저하입니다. 증거를 기록하기 시작하고, 며칠에 걸쳐 같은 시간대의 수치를 비교하십시오.
- 한 번에 몇 시간씩 10퍼센트 이상 지속됨. 노드가 워크로드에 비해 과도하게 할당되었거나 플랜의 CPU 제한이 적용되고 있는 경우입니다. 일부 제공업체는 해당 제한을 Steal로 보고합니다. 이 수준이라면 기술 지원 티켓을 발행하거나 서버 이전을 고려해야 합니다.
공유 플랜에서 Steal 보장을 명시하는 제공업체는 없으므로, 이 수치들을 사양서가 아닌 읽기 가이드로 활용하십시오. 실행 중인 작업의 성격에 따라 판단해야 합니다. 야간 배치 작업은 15퍼센트의 Steal이 발생해도 아무도 눈치채지 못할 수 있습니다. 반면 지연 시간에 민감한 서비스는 평균 수치가 위험해 보이기 훨씬 전부터 p99 지표에서 문제가 드러납니다. 이것이 바로 트레이딩 봇과 같이 지연 시간에 민감한 워크로드를 전용 코어에서 운영해야 하는 이유입니다.
Steal time은 어떤 비용을 발생시키는가?
계산은 간단합니다. CPU 시간의 s만큼을 빼앗기면, 고정된 양의 CPU가 필요한 작업은 완료까지 1 / (1 - s)배의 시간이 더 걸립니다. 60초의 CPU 시간이 필요한 작업의 경우를 보겠습니다.
이 차트의 데이터
[
{
"steal_percent": 0,
"wall_clock_seconds": "60.0"
},
{
"steal_percent": 3,
"wall_clock_seconds": "61.9"
},
{
"steal_percent": 8,
"wall_clock_seconds": "65.2"
},
{
"steal_percent": 15,
"wall_clock_seconds": "70.6"
},
{
"steal_percent": 25,
"wall_clock_seconds": "80.0"
},
{
"steal_percent": 40,
"wall_clock_seconds": "100.0"
}
]공유 플랜에서 흔히 볼 수 있는 3 퍼센트의 경우, 해당 작업은 60.0초가 아닌 61.9초가 걸립니다. 이 정도 차이로 티켓을 발행하는 사람은 없습니다. 8 퍼센트일 때는 65.2초가 됩니다. 40 퍼센트가 되면 동일한 작업에 100.0초가 필요하게 되며, 평소에 처리되던 큐가 쌓이기 시작합니다.
이 값들은 측정값이 아니라 계산된 수치입니다. 이 모델은 실행 가능한 단일 스레드가 존재하고 steal이 구간 전체에 고르게 분포한다고 가정합니다. 실제 서비스는 이 곡선보다 더 나쁘게 느껴지는 경우가 많은데, 이는 steal이 발생한 구간이 요청 처리 도중에 끼어들어 해당 요청을 기다리는 모든 작업에 지연을 전이시키기 때문입니다. 공식에 의존하지 않고 실제 수치를 얻으려면, VPS 벤치마크를 수행하십시오. 한산한 시간대와 바쁜 시간대에 각각 측정하여 두 구간 모두에 대한 st 값을 기록해야 합니다.
Steal인가, 아니면 다른 문제인가?
Steal은 다른 증상과 혼동하기 쉽습니다. vmstat 라인에서 카운터들을 함께 확인하십시오.
st는 높지만r및us가 낮게 유지되는 경우: 호스트가 코어를 할당하지 않는 상태입니다. 이것이 Steal입니다.r가 vCPU 개수를 훨씬 상회하고us은 높으며st이 0에 가까운 경우: 할당된 CPU 용량보다 더 많은 작업을 수행 중입니다.r과nproc의 출력 결과를 비교하십시오. 이는 이웃의 영향이 아니라 본인의 오버서브스크립션(oversubscription) 문제입니다.wa은 높지만st이 0에 가까운 경우: 작업이 스토리지에서 차단된 상태이며, 이는 다른 해결책이 필요한 별개의 문제입니다.- Load average는 높지만
st와us이 모두 낮은 경우: 로드 수치는 인터럽트 불가능한(uninterruptible) 작업도 포함하므로, 이는 보통 CPU보다는 장치 오류나 네트워크 마운트 지연을 의미합니다.
버스터블(Burstable) 플랜은 별도로 주의해야 합니다. 유휴 상태일 때 크레딧 잔액이 쌓이고 작업 중일 때 소모되며, 잔액이 소진되면 제공업체는 기본 속도로 제한합니다. 일부 플랫폼에서는 이 스로틀링(throttle)이 Steal로 보고되기도 합니다. 반면 내부에서 보이지 않는 플랫폼도 있으며, 이 경우 단순히 초당 처리 가능한 사이클이 줄어듭니다. 이웃의 문제라고 단정하기 전에 플랜 설명을 먼저 확인하십시오.
컨테이너에서 steal time이 0으로 표시되는 이유
Steal은 가상 머신(VM)의 속성이지 그 안에서 실행되는 컨테이너의 속성이 아닙니다. 사용자의 VPS에서 실행되는 Docker 컨테이너는 호스트의 /proc를 공유하므로, 컨테이너 내부에서 읽은 st 값은 VPS의 steal 값이며 이는 의도한 결과입니다. VPS로 판매되는 컨테이너 기반 가상화는 다르게 동작합니다. lxcfs이 적용된 환경에서는 컨테이너 내부의 /proc/stat이 cgroup 계정을 기반으로 합성되므로, steal 값은 구조적으로 0이 됩니다. 컨테이너 내부에서만 데이터를 수집하는 모니터링 스택은 물리적 호스트가 자원 부족에 시달리는 상황에서도 steal 값이 0으로 평온하게 유지되는 것처럼 표시할 수 있습니다.
컨테이너 내부에서 동일한 의미를 갖는 지표는 CPU 쿼터 스로틀링(CPU quota throttling)입니다. cgroup v2에서는 다음과 같습니다.
cat /sys/fs/cgroup/cpu.statnr_throttled은 그룹이 CPU 쿼터에 도달하여 제한이 적용된 횟수를 나타내며, throttled_usec는 프로세스가 정지된 총 시간을 나타냅니다. nr_throttled 값이 증가한다는 것은 프로세스가 실행 가능한 상태였음에도 실행되지 못했음을 의미하며, 이는 steal과 동일한 경험이지만 사용자가 직접 설정한 제한으로 인해 발생합니다. 호스트를 탓하기 전에 먼저 자신의 제한 설정을 확인하십시오. 특히 Docker compose 파일에 CPU 제한을 설정하고 VPS에서 서비스를 운영하는 경우에는 더욱 그렇습니다. 계층화된 가상화(Layered virtualisation)는 시간이 소실되는 지점을 하나 더 추가합니다. VPS 내부의 VM은 호스트의 steal과 VM 자체의 스케줄링 지연을 모두 겪기 때문입니다. VPS에서 중첩 가상화를 사용하는 경우 이 점을 유념하십시오.
지속적인 steal 발생 시 대응 방안
steal은 게스트 외부에서 실행되는 스케줄러가 결정하는 문제이므로 게스트 내부 설정으로는 해결할 수 없습니다. 커널을 업그레이드해도 마찬가지입니다. Linux kernel 7.2에 추가된 캐시 인식 스케줄링은 할당받은 코어 내에서 작업을 재배치할 뿐, 이미 이웃 인스턴스가 점유한 사이클을 되찾아올 수는 없습니다. 실질적인 대응책은 다음 네 가지입니다.
먼저 증거를 수집하십시오. UTC 기준 타임스탬프, 각 발생 사례의 지속 시간, 반복 빈도, 그리고 mpstat에서 하나의 vCPU만 영향을 받는지 아니면 전체가 영향을 받는지 기록하십시오. 일주일간 기록한 샘플이 스크린샷 한 장보다 훨씬 가치 있습니다.
수집한 데이터를 바탕으로 티켓을 발행하십시오. 다음 두 가지를 직접 질문하십시오. 해당 시간대에 이 노드가 오버서브스크립션(oversubscription) 상태인지, 그리고 내 인스턴스를 이동할 수 있는지 확인하십시오. vmstat 출력 결과와 정확한 시간을 함께 첨부하십시오. 제공업체는 재현 가능한 시간대가 있을 때 조치를 취합니다. 단순히 서버가 느리다는 내용의 티켓은 다시 정보를 요구하는 답변만 돌아올 뿐입니다. 이 작업을 얼마나 위임할 수 있는지가 관리형 VPS와 비관리형 VPS의 실질적인 차이 중 하나입니다.
마이그레이션을 요청하십시오. 게스트를 부하가 적은 노드로 옮기는 것은 제공업체의 일상적인 업무이며, 보통 짧은 재부팅으로 완료됩니다. 이는 비용이 들지 않으며, 특정 노드에 무거운 이웃 인스턴스가 동시에 몰려 발생하는 일반적인 문제를 해결합니다.
비용을 지불하여 경합을 해소하십시오. 전용 vCPU 플랜은 인스턴스를 위한 CPU 용량을 예약합니다. 제공업체에 따라 전체 코어 또는 전체 하드웨어 스레드를 할당하므로 이웃 인스턴스가 사이클을 점유하지 않게 되어 카운터가 0 또는 0에 매우 가까운 상태로 유지됩니다. 하이퍼바이저 자체의 유지 관리 작업으로 인해 약간의 잔여 steal은 발생할 수 있습니다. 매달 비용은 더 들지만, 변동성을 감당할 수 없는 워크로드에 대한 확실한 해결책입니다. 만약 이 정도로도 부족하거나 메모리 대역폭까지 독점해야 한다면, 다음 단계는 VPS 대신 전용 서버를 사용하는 것입니다.
이러한 조치를 기다리는 동안에는 steal로 인한 피해를 최소화하십시오. vCPU 개수보다 적은 수의 워커 스레드를 실행하십시오. 코어를 할당받지 못한 스레드는 컨텍스트 스위칭만 유발하기 때문입니다. 수집한 로그를 바탕으로 노드가 한가한 시간대에 배치 작업을 수행하십시오. 그 후 동일한 시간대에 동일한 명령어로 다시 측정하십시오. 그러면 추측하는 대신 변경 사항이 효과가 있었는지 명확히 말할 수 있습니다.
FAQ
VPS에서 정상적인 CPU steal time은 어느 정도입니까?
공유 플랜에서는 짧은 스파이크나 5퍼센트 미만의 지속적인 값은 일반적인 현상입니다. 공유 CPU는 호스트가 물리 코어를 게스트 간에 나누어 사용하기 때문입니다. 수 시간 동안 두 자릿수 이상의 값이 지속되는 것은 정상적인 상황이 아니며, 기술 지원 티켓을 생성하는 것을 고려해야 합니다. 전용 vCPU 플랜에서는 하이퍼바이저의 내부 작업이 약간의 자원을 점유할 수 있으므로 0.0에 가깝거나 그 정도의 수치가 나오는 것이 정상입니다. 따라서 그 이상의 steal time이 지속된다면 보고해야 할 결함입니다. 수치는 본인의 워크로드에 비추어 판단하십시오. 야간 배치 작업은 지연 시간에 민감한 API가 감당할 수 없는 수준의 steal을 흡수할 수 있습니다.
더 큰 플랜을 사용하면 높은 steal time이 해결됩니까?
그 자체로는 해결되지 않습니다. 동일한 공유 노드에서 vCPU 개수를 늘리면 더 많은 가상 CPU가 동일한 물리 코어를 두고 경쟁하게 되며, 퍼센트 수치는 그대로 유지될 수 있습니다. steal time을 거의 완전히 제거하는 방법은 전용 CPU를 할당받거나 부하가 적은 노드로 이동하는 것뿐입니다. 바쁜 장비에서 더 큰 점유율을 갖는 것 역시 여전히 바쁜 장비의 점유율일 뿐입니다.
서버가 확실히 느린데 왜 steal time이 0으로 표시됩니까?
두 가지 일반적인 이유가 있습니다. 첫째, 하이퍼바이저가 카운터를 전혀 내보내지 않을 수 있습니다. 이는 호스트와 게스트 커널에 따라 일부 플랫폼에서 발생하며, 이 경우 호스트가 무엇을 하든 해당 필드는 0으로 유지됩니다. systemd-detect-virt을 실행하여 현재 사용 중인 플랫폼을 확인하십시오. 둘째, 병목 현상이 다른 곳에 있을 수 있습니다. wa를 통해 스토리지 대기 시간을 확인하고, r와 nproc를 비교하여 자체적인 과부하 여부를 점검하며, 컨테이너 내부의 /sys/fs/cgroup/cpu.stat를 읽어 쿼터 제한이 있는지 확인하십시오.
서버 내부에서 steal time을 줄일 수 있습니까?
게스트 내부에서 호스트의 스케줄링을 변경할 수는 없습니다. 단지 그로 인한 영향을 줄일 수 있을 뿐입니다. vCPU 개수보다 적은 수의 워커 스레드를 실행하여, 가용 코어를 기다리며 실행 큐에 쌓이는 작업을 줄이십시오. 배치 작업은 노드가 한가한 시간대로 옮기십시오. 결과를 캐싱하여 CPU 자원이 필요한 요청 자체를 줄이십시오. steal time을 실제로 제거하는 방법인 다른 노드로의 마이그레이션이나 전용 코어 할당은 제공업체 측에서 처리해야 할 영역입니다.