한 대의 VPS에서 자체 호스팅 로그 관리하기
journald와 logrotate만으로 충분한 경우부터 Loki와 OpenSearch의 RAM 최소치, 보존 기간 설정까지 한 대의 VPS에서 로그 관리 비용을 비교합니다.
한 대의 VPS에서 자체 호스팅 로그 관리를 실제로 운영하는 데 드는 비용
한 대의 VPS(가상 사설 서버)에서 자체 호스팅 로그 관리를 운영할 때 핵심은 한 가지 질문이다. 검색 클러스터가 필요한가, 아니면 로그 로테이션과 grep이면 충분한가? 대부분의 공급업체 가이드는 로그 한 줄을 수집하기도 전에 3개 노드와 12 GB RAM부터 요구한다. 서버 한 대에서는 이 답이 쓸모없으므로, 아래에서는 각 선택지가 아무것도 저장하지 않은 소형 서버에서 먼저 요구하는 리소스를 기준으로 비교한다.
서버를 1~2대 운영하면서 지난 화요일에 무슨 일이 있었는지만 확인하려는 경우에는 systemd-journald와 logrotate로 이미 충분하다. 다음 섹션에서 멈춰도 된다. 여러 장비의 로그를 한곳에 모으고 수 주간 검색해야 한다면 Grafana Loki가 소형 서버에 적합하다. 로그 본문이 아니라 레이블을 인덱싱하기 때문이다. Elasticsearch와 OpenSearch는 실제 전문 검색을 제공하지만 메모리 비용이 든다. JVM(Java 가상 머신) 힙에는 낮출 수 없는 최소 크기가 있기 때문이다.
journald부터 확인합니다. 대부분의 문제는 여기서 해결됩니다.
현재 Ubuntu 또는 Debian 서버에서는 systemd-journald가 이미 실행 중입니다. 이 서비스는 모든 service unit의 표준 출력, 커널 메시지, syslog로 전송된 모든 내용을 수집합니다. 대부분의 장애는 4개 명령으로 확인할 수 있습니다.
journalctl -u nginx.service --since "2026-08-14 09:00" --until "2026-08-14 10:00"
journalctl -p err -b
journalctl -f -u ssh.service
journalctl --disk-usage마지막 명령은 Archived and active journals take up 1.1G in the file system.과 같은 줄을 출력합니다. 이 값에 따라 추가 조치가 필요한지가 결정됩니다. 수백 메가바이트 정도로 표시되고 -u 및 --since으로 필요한 내용을 찾을 수 있다면 확인을 마쳐도 됩니다.
재부팅 후 journal이 유지되는지는 Storage=과 /var/log/journal의 존재 여부에 따라 달라집니다. 일반적인 Storage=auto 설정에서는 해당 디렉터리가 있으면 journald가 /var/log/journal에 기록하고, 없으면 /run/log/journal에 기록합니다. /run은 메모리 기반이므로 해당 디렉터리가 없는 서버에서는 재부팅할 때 모든 로그가 삭제됩니다. 바로 그 시점이 로그를 확인하려는 시점일 수 있습니다. Ubuntu 이미지는 해당 디렉터리를 제공합니다. Minimal 이미지와 컨테이너 기반 이미지는 제공하지 않는 경우가 많습니다.
ls -d /var/log/journal
sudo mkdir -p /var/log/journal
sudo systemctl restart systemd-journald
journalctl --disk-usage재시작 후 journalctl --disk-usage은 /run가 아니라 /var/log/journal 미만의 크기를 보고해야 합니다. 기본값에는 이미 크기 제한이 설정되어 있습니다. 이것이 journald가 임시 대안이 아니라 신뢰할 수 있는 해결책인 주된 이유입니다. journald.conf man page에서는 SystemMaxUse=을 파일 시스템 크기의 10%로, SystemKeepFree=를 15%로 설정하며, 계산된 각 기본값을 4G로 제한합니다. SystemMaxFileSize=은 SystemMaxUse=의 1/8로 설정되고 128M으로 제한되므로 일반적으로 순환된 파일 7개가 유지됩니다. MaxRetentionSec=의 기본값은 0이므로 기간 기준 삭제가 비활성화됩니다. 이 마지막 기본값을 다시 확인해야 합니다. 기본 상태에서 journal은 기간이 아니라 크기로만 제한됩니다.
[Journal]
Storage=persistent
SystemMaxUse=2G
MaxRetentionSec=30day변경 내용을 /etc/systemd/journald.conf.d/99-size.conf에 기록하고 journald를 재시작한 다음, journalctl --disk-usage이 새 상한에 가까워졌는지 확인합니다. 다음 순환을 기다리지 않고 지금 공간을 회수하려면 sudo journalctl --vacuum-size=500M 또는 sudo journalctl --vacuum-time=14d를 실행합니다. 두 명령 모두 삭제하는 모든 파일을 출력하므로, 아무것도 출력되지 않으면 삭제할 파일이 없다는 뜻입니다.
journal 외부의 /var/log/nginx/access.log 같은 로그는 logrotate가 관리하며, logrotate는 systemd timer를 통해 매일 실행됩니다. df에서 버그처럼 보이는 한 가지 상황도 알아둘 필요가 있습니다. 순환 후에는 이전 파일이 디렉터리 목록에서 사라지지만 daemon은 해당 파일을 계속 열어 둡니다. 따라서 df -h는 디스크가 가득 찼다고 보고하는 반면 du -sh /var/log는 훨씬 적은 사용량을 보고할 수 있습니다. 프로세스가 로그를 다시 열어야 공간이 반환됩니다. 설정의 postrotate reload 줄은 이 동작을 위한 것입니다. sudo lsof -nP +L1는 삭제되었지만 아직 열려 있는 파일을 나열하고, 각 파일을 열고 있는 프로세스도 표시합니다. 아무것도 변경하지 않고 sudo logrotate -d /etc/logrotate.d/nginx을 사용해 규칙을 테스트할 수 있습니다.
여러 서버의 로그를 하나의 수집기로 전송하기
서버가 1대보다 많아지면 여러 Linux 서버를 동시에 관리하기가 쉬워진다. 로그를 한곳으로 모을 수 있기 때문이다. 대부분의 배포판에는 rsyslog가 이미 설치되어 있으므로, 가장 저렴한 중앙 수집 방법은 각 송신 서버에서 하나의 파일로 로그를 전송하는 것이다.
*.* action(type="omfwd" target="logs.example.com" port="514" protocol="tcp")이 내용을 /etc/rsyslog.d/50-forward.conf로 저장한다. sudo rsyslogd -N1로 구성을 확인한다. 이 명령은 구성을 검증하고 아무것도 시작하지 않은 채 종료한다. 그런 다음 rsyslog를 다시 시작한다. 수집기에서는 TCP 입력을 활성화한다.
module(load="imtcp")
input(type="imtcp" port="514")주의할 점은 2가지이며 모두 구성과 관련된 문제다. 일반 syslog는 암호화와 인증을 제공하지 않는다. 따라서 port 514에 연결할 수 있는 모든 시스템이 실제 로그와 똑같이 보이는 로그 행을 주입할 수 있다. 로그 수신을 private network 또는 VPN에 바인딩하고 방화벽으로 해당 포트를 제한한다. 두 번째로 기본 action queue는 메모리에 저장된다. 따라서 수집기에 연결할 수 없으면 queue가 가득 차고 메시지가 삭제되며 사본도 남지 않는다. 이 경우 rsyslog는 신뢰성 있는 전달 튜토리얼에서 디스크 보조 queue를 설명한다.
소규모 VPS에 ELK 스택이 적합하지 않은 이유
ELK는 저장 및 검색을 위한 Elasticsearch, 수집 파이프라인인 Logstash, 인터페이스인 Kibana를 의미합니다. JVM 힙 메모리가 기본 사양이며, 이는 로그가 도착하기 전에 미리 설정됩니다.
Elastic 공식 문서에 따르면, Elasticsearch 노드에 할당된 전체 메모리의 50%를 넘지 않도록 힙 크기를 설정해야 합니다. 해당 프로세스는 힙 외부 버퍼를 사용하며, 인덱스 파일을 빠르게 읽기 위해 운영체제의 파일 캐시에 의존하기 때문입니다. 따라서 2 GB의 힙을 사용하려면 최소 4 GB의 메모리를 가진 장비가 필요하며, 이는 Kibana와 서버의 본래 목적을 위한 서비스 메모리를 제외한 수치입니다. 또한 Elastic은 노드의 역할과 전체 메모리에 따라 Elasticsearch가 힙 크기를 자동으로 조정한다고 명시하고 있는데, 이는 작은 장비에서는 힙 크기가 작게 설정되어 가비지 컬렉션에 대부분의 자원을 소모하게 됨을 의미합니다.
Logstash는 소규모 예산 환경에서 가장 큰 걸림돌이 됩니다. Elastic의 JVM 설정 페이지에서는 일반적인 수집 작업을 위해 최소 4 GB에서 최대 8 GB의 힙을 권장합니다. 이는 파이프라인 중간에 위치한 단일 프로세스 하나가 4 GB VPS의 전체 메모리를 점유한다는 뜻입니다.
이 차트의 데이터
[
{
"label": "Loki plus Alloy (no JVM)",
"documented_heap_mb": 0
},
{
"label": "OpenSearch demo compose",
"documented_heap_mb": 512
},
{
"label": "OpenSearch custom config example",
"documented_heap_mb": 2048
},
{
"label": "Logstash recommended minimum",
"documented_heap_mb": 4096
}
]위 수치들은 각 프로젝트가 자체 문서에서 권장하는 값입니다. 이는 테스트 장비에서 측정한 값이 아니며, 실제 작업 부하에 따라 달라질 수 있습니다. OpenSearch의 샘플 compose 파일은 데모용으로 노드당 512 MB를, 사용자 정의 설정이 포함된 전체 예제에서는 2048 MB를 설정합니다. 반면 Logstash의 권장 하한선은 4096 MB입니다. Loki와 Alloy는 JVM 힙을 예약할 필요가 없는 Go 프로그램이므로 힙 열의 값은 0로 표시됩니다. 이것이 바로 수치 하나로 드러나는 결정적인 차이입니다. JVM 기반 구성 요소는 로그 유입 여부와 관계없이 예약된 메모리를 점유합니다.
그럼에도 불구하고 소규모 서버에서 Elastic 스택을 사용하고자 한다면, Logstash를 제거하고 가벼운 수집기를 사용하여 Elasticsearch로 직접 데이터를 전송하십시오. Logstash는 대규모 데이터의 파싱과 변환을 위해 존재하므로, 단일 서버 환경에서는 해당 작업을 에지(edge) 단에서 처리하거나 생략할 수 있습니다.
또한 Elasticsearch와 OpenSearch는 모두 vm.max_map_count 값을 262144로 상향 조정해야 합니다. 인덱스 파일을 메모리에 매핑하여 사용하는데, Linux의 기본 제한값은 이들에게 너무 낮기 때문입니다. 새로 구축한 서버에서 컨테이너가 시작된 지 몇 초 만에 종료된다면, 대부분 이 설정 문제일 가능성이 높습니다.
OpenSearch와 Elasticsearch: 무엇을 배포할 수 있는가?
라이선스 이력은 무엇을 실행할 수 있는지 결정하므로 짧게 설명합니다. 2021년 1월, Elastic은 Elasticsearch와 Kibana의 라이선스를 Apache 2.0에서 SSPL(Server Side Public License)과 Elastic License 2.0을 결합한 이중 모델로 변경했습니다. AWS는 마지막 Apache 2.0 코드를 포크하여 Apache 2.0을 유지하는 OpenSearch를 만들었습니다. 2024년 9월, Elastic은 무료 소스 코드의 또 다른 옵션으로 AGPLv3(GNU Affero General Public License version 3)를 추가했습니다. 1인용 VPS에서 직접 호스팅하는 경우, 이 모든 라이선스는 사용자의 행위를 허용합니다. 라이선스 제약은 해당 소프트웨어를 관리형 서비스로 타인에게 제공할 때 발생합니다.
소규모 서버에서 체감하는 실질적인 차이는 역사적 배경보다 작습니다. 두 제품 모두 내부 엔진이 동일하기 때문입니다. 명칭에는 차이가 있습니다. 인덱스 생명주기 관리 기능은 OpenSearch에서는 ISM(Index State Management), Elasticsearch에서는 ILM(Index Lifecycle Management)이라고 부릅니다. 2026년 10월 기준으로, OpenSearch 2.12 이상 버전은 최초 실행 시 데모 보안 설정을 위해 사용자 지정 관리자 암호를 요구하며, 암호가 없으면 컨테이너가 시작되지 않습니다.
sudo sysctl -w vm.max_map_count=262144
printf 'vm.max_map_count = 262144\n' | sudo tee /etc/sysctl.d/99-opensearch.conf
docker run -d -p 9200:9200 -p 9600:9600 -e "discovery.type=single-node" \
-e "OPENSEARCH_INITIAL_ADMIN_PASSWORD=<custom-admin-password>" \
opensearchproject/opensearch:latestsysctl -w 라인은 설정을 즉시 적용하며, /etc/sysctl.d/ 파일은 재부팅 후에도 설정이 유지되도록 합니다. curl -k -u admin:<password> https://localhost:9200 명령으로 컨테이너가 정상적으로 실행되었는지 확인하십시오. 이 서비스는 데모 인증서를 사용하여 https로 응답하므로, -k 옵션을 사용하여 검증을 건너뜁니다. 정상적인 응답은 클러스터 이름과 버전이 포함된 작은 JSON 블록입니다. OpenSearch 설치 페이지는 Docker Desktop 사용자에게 호스트 메모리를 최소 4 GB 이상 할당할 것을 권장하며, 이는 해당 프로세스가 요구하는 자원 수준을 잘 보여줍니다.
Loki가 작게 유지되는 방식: 전체 텍스트 인덱스 대신 레이블 사용
Loki는 레이블에 대한 단일 인덱스만 유지하고 로그 줄은 압축된 청크로 저장한다. 쿼리는 먼저 스트림을 선택한 다음 텍스트를 필터링한다. {unit="ssh.service"} |= "Failed password"는 레이블로 스트림을 선택한 뒤 해당 문자열이 있는지 청크를 검색한다. 로그 줄의 본문은 인덱싱하지 않으므로 수집 비용이 낮고 메모리에 유지해야 하는 역색인도 없다. 비용은 쿼리 시점으로 이동한다. 일반적으로 확인하려는 서비스가 무엇인지 알고 있다면 이는 합리적인 절충이다.
Grafana 문서에서는 모놀리식 모드, 즉 -target=all와 함께 Loki 전체를 하나의 프로세스에서 실행하는 구성을 하루 최대 약 20GB의 작은 읽기·쓰기 규모에 적합한 방식으로 설명한다. VPS 1대는 이 범위에 충분히 들어간다.
주의할 점은 레이블 카디널리티다. 서로 다른 레이블 값 조합 하나마다 스트림 하나가 생성되며, 스트림 수가 Loki의 메모리 사용량과 인덱스 크기를 좌우한다. 클라이언트 IP 주소나 요청 식별자를 저장하는 레이블을 사용하면 값마다 스트림이 생성된다. 따라서 사용량이 많은 웹 서버에서는 하루 만에 수만 개의 스트림이 생길 수 있고, 커널이 프로세스를 종료할 때까지 프로세스가 계속 커진다. 레이블은 종이에 직접 셀 수 있는 값으로 제한한다. 예를 들면 unit, host, job, level이다. 변하는 세부 정보는 로그 줄 자체에 넣는다. 그러면 쿼리 시점에 필터 표현식으로 해당 정보를 찾을 수 있다.
한 VPS에 Loki와 Alloy 설치
두 프로세스가 작업을 수행합니다. Loki는 로그를 저장하고 쿼리에 응답합니다. Grafana Alloy는 로그를 읽어 Loki로 전송합니다. 이전에는 Promtail이 로그 전송기였지만 2026년 3월 2일에 수명이 종료되었으므로, 새로 설치할 때는 Alloy를 사용합니다. 이제 Loki의 자체 Docker 예제에도 Alloy 설정이 포함되어 있습니다.
wget https://raw.githubusercontent.com/grafana/loki/v3.7.0/cmd/loki/loki-local-config.yaml -O loki-config.yaml사용하기 전에 해당 파일을 읽어 보십시오. 이 파일은 path_prefix: /tmp/loki을 /tmp/loki/chunks 아래의 청크와 함께 설정합니다. 데모에는 적합하지만 서버에는 적합하지 않습니다. 컨테이너의 /tmp 아래에 있는 내용은 컨테이너를 다시 만들 때 유지되지 않으므로 다음 이미지 업데이트 후 기록이 사라집니다. 호스트에서 마운트한 경로를 사용하도록 설정하십시오.
common:
instance_addr: 127.0.0.1
path_prefix: /loki
storage:
filesystem:
chunks_directory: /loki/chunks
rules_directory: /loki/rules
replication_factor: 1
ring:
kvstore:
store: inmemorydocker volume create loki-data
docker run --name loki -d \
-v $(pwd):/mnt/config -v loki-data:/loki \
-p 127.0.0.1:3100:3100 \
grafana/loki:3.7.0 -config.file=/mnt/config/loki-config.yaml
curl -s -o /dev/null -w '%{http_code}\n' http://127.0.0.1:3100/ready마지막 명령은 200를 출력해야 합니다. Loki가 트래픽을 받을 준비가 되면 /ready이 HTTP 200을 반환하기 때문입니다. 그 외의 결과는 프로세스가 아직 시작 중이거나 설정이 거부되었다는 뜻입니다. docker logs loki에서 원인을 확인할 수 있습니다. 실행 명령에 포함된 두 가지 설정은 의도적인 것입니다. 샘플 설정에 auth_enabled: false이 포함되어 있고 Loki에는 자체 사용자 인증 기능이 없으므로 포트는 127.0.0.1에만 게시합니다. 따라서 포트 3100에 접근할 수 있는 모든 사용자가 모든 로그를 읽고 가짜 로그를 기록할 수 있습니다. loopback에 바인딩하거나 VPN 또는 인증을 수행하는 reverse proxy 뒤에 두십시오. named volume도 중요합니다. 이미지가 UID 10001인 loki 사용자로 실행되기 때문입니다. 따라서 root가 소유한 호스트 디렉터리를 bind mount하면 컨테이너가 해당 디렉터리에 쓸 수 없습니다.
sudo apt-get update && sudo apt-get install -y gpg wget
sudo mkdir -p /etc/apt/keyrings/
sudo wget -O /etc/apt/keyrings/grafana.asc https://apt.grafana.com/gpg-full.key
echo "deb [signed-by=/etc/apt/keyrings/grafana.asc] https://apt.grafana.com stable main" \
| sudo tee /etc/apt/sources.list.d/grafana.list
sudo apt-get update
sudo apt-get install -y alloyAlloy는 /etc/alloy/config.alloy를 읽습니다. 이 설정은 system journal과 한 세트의 파일을 읽고, 둘 다 로컬 Loki로 전송합니다.
loki.write "local" {
endpoint {
url = "http://127.0.0.1:3100/loki/api/v1/push"
}
}
loki.relabel "journal" {
forward_to = []
rule {
source_labels = ["__journal__systemd_unit"]
target_label = "unit"
}
}
loki.source.journal "read" {
forward_to = [loki.write.local.receiver]
relabel_rules = loki.relabel.journal.rules
labels = {job = "systemd-journal", host = "app-01"}
}
local.file_match "nginx" {
path_targets = [{"__path__" = "/var/log/nginx/*.log", "job" = "nginx", "host" = "app-01"}]
}
loki.source.file "nginx" {
targets = local.file_match.nginx.targets
forward_to = [loki.write.local.receiver]
}relabel 규칙은 journal 필드 __journal__systemd_unit을 unit이라는 label로 복사합니다. 이 설정이 나중에 {unit="ssh.service"}이 작동하게 합니다. 이 규칙이 없으면 unit 이름은 label이 아니라 로그 항목 내부에 들어갑니다. 따라서 unit 이름으로 선택할 수 없고 모든 쿼리가 전체 로그를 검색해야 합니다.
sudo systemctl reload alloy
systemctl show -p User alloy
sudo journalctl -n 5
sudo -u alloy journalctl -n 5대부분의 설정이 여기서 멈춥니다. Alloy는 root가 아니라 자체 service account로 실행됩니다. system journal을 읽으려면 systemd-journal 그룹의 구성원이어야 합니다. Debian과 Ubuntu에서는 /var/log/nginx 아래의 파일이 adm 그룹에 속합니다. 마지막 명령에서 systemctl show가 출력한 계정으로 바꾸십시오. root로 실행했을 때보다 항목 수가 훨씬 적다면 해당 계정이 system journal을 읽을 수 없는 것입니다. 설정이 아무리 정확해도 Loki에는 로그가 들어오지 않습니다. 그룹을 추가한 다음 sudo usermod -aG systemd-journal,adm alloy을 실행하고 이어서 sudo systemctl restart alloy로 재시작하십시오.
curl -G -s "http://127.0.0.1:3100/loki/api/v1/query_range" \
--data-urlencode 'query={job="systemd-journal"}' \
--data-urlencode 'limit=5' | jq '.data.result | length'0보다 큰 숫자는 해당 label을 가진 stream이 존재하고 항목을 포함한다는 뜻입니다. 0은 아직 해당 label로 수신된 항목이 없다는 뜻입니다. 기본 설정 하나 때문에 흔히 잘못된 경보가 발생합니다. loki.source.journal는 max_age을 7h로 설정하므로, 새로 시작하면 journal의 최근 7시간만 읽고 그보다 오래된 항목은 읽지 않습니다. 사람이 사용할 인터페이스가 필요하면 같은 서버에서 Grafana를 실행하고 Loki data source를 http://127.0.0.1:3100.로 지정하십시오. Container 로그에는 다른 source가 필요합니다. Alloy는 실행 중인 Docker container를 검색하고 로그를 tail합니다. Loki 자체의 시작 예제도 이 방식을 사용합니다. VPS의 단일 노드 k3s cluster에서는 이 작업이 kubelet이 기록하는 pod 로그 디렉터리로 이동합니다.
보관 주기: 로그가 삭제될 시점 결정하기
디스크가 가득 차기 전까지 보관 주기를 정하는 사람은 거의 없으며, 결국 서비스가 중단된 새벽 3시에 급하게 결정하게 됩니다. 첫날 다음 두 가지 질문을 통해 보관 주기를 결정하십시오. 실제로 로그를 얼마나 과거까지 확인하는가, 그리고 다음 달 사고 검토 시 무엇이 반드시 남아 있어야 하는가. 단일 서버의 경우 14일에서 30일이면 두 질문에 모두 답이 됩니다.
Loki는 compactor를 활성화하기 전까지는 아무것도 삭제하지 않습니다. 보관 주기는 기본적으로 꺼져 있으며, 이는 retention_period가 설정 파일에서 아무런 동작도 하지 않는 동안 볼륨이 가득 차 버린 사용자들을 당황하게 만듭니다.
limits_config:
retention_period: 744h
compactor:
working_directory: /loki/retention
compaction_interval: 10m
retention_enabled: true
retention_delete_delay: 2h
retention_delete_worker_count: 150
delete_request_store: filesystem744h는 31일입니다. 해당 블록을 관리하는 네 가지 문서화된 규칙은 다음과 같습니다.
- 보관 주기는 compactor에 의해 적용되며, Grafana 문서에서는 compactor를 단일 인스턴스로 실행할 것을 권장합니다. 단일 VPS 환경에서는 자연스럽게 충족됩니다.
- 보관 주기는 인덱스 기간이 24h일 때만 작동합니다. 예제
schema_config은 이미period: 24h를 사용하고 있으므로 그대로 두십시오. 문서화된 24h 최소값은 스트림별retention_stream규칙 각각에 적용되는 것이지retention_period에 적용되는 것이 아니므로, 하루보다 짧은 전역 값도 허용됩니다. retention_enabled이 true로 설정되면delete_request_store이 필요합니다. 이는 삭제 요청을 보관하는 저장소를 지정하며, 파일 시스템 기반의 단일 노드에서는 스키마에 이미 정의된object_store: filesystem와 일치합니다.- 청크는 먼저 표시된 후
retention_delete_delay(여기서는 2h)이 지나야 제거되므로, 실제 여유 공간은 정책이 암시하는 시간보다 늦게 확보됩니다. 설정을 변경하고 5분 뒤에df을 보고 설정을 판단하지 마십시오.
OpenSearch는 개별 라인이 아닌 인덱스 전체를 삭제하며, 이것이 로그 인덱스가 일 단위로 생성되는 이유입니다. ISM 정책은 인덱스를 상태별로 이동시키다가 충분히 오래되면 삭제하며, ism_template는 새로운 인덱스에 해당 정책을 자동으로 연결하므로 직접 기억할 필요가 없습니다.
14일 후 로그 인덱스를 삭제하는 ISM 정책
{
"policy": {
"description": "delete log indexes after 14 days",
"default_state": "hot",
"states": [
{
"name": "hot",
"actions": [],
"transitions": [
{ "state_name": "delete", "conditions": { "min_index_age": "14d" } }
]
},
{
"name": "delete",
"actions": [ { "delete": {} } ],
"transitions": []
}
],
"ism_template": { "index_patterns": ["logs-*"], "priority": 100 }
}
}_plugins/_ism/policies/logs-retention에 PUT 요청을 보내 정책을 생성하십시오. 템플릿은 정책이 생성된 이후에 만들어진 인덱스에 적용되므로, 이미 디스크에 존재하는 인덱스에는 정책을 수동으로 연결해야 합니다.
어떤 시스템을 운영하든 보관 주기 설정은 그 이면의 여유 공간 확인 작업만큼만 유효합니다. 10일 치 로그로 이미 볼륨이 가득 찼다면 14일째에 삭제하는 정책은 아무런 도움이 되지 않으므로, 해당 정책과 함께 VPS 디스크 상태 모니터링을 병행하고 사용률 80%에서 알림이 오도록 설정하십시오.
GB당 로그에 필요한 디스크 용량
정확한 답은 로그의 줄 수와 필드에 따라 달라진다. 따라서 공개된 비율을 그대로 믿지 말고 자체 데이터로 측정해야 한다. 두 시스템의 저장 방식은 충분히 다르므로 대략적인 방향은 예측할 수 있다. OpenSearch와 Elasticsearch는 저장된 문서와 함께 색인이 생성된 모든 필드에 대한 역색인을 기록한다. 따라서 디스크에 저장되는 데이터는 원시 텍스트보다 크며, replica마다 용량이 배수로 증가한다. 단일 노드에서는 replica 수를 0으로 설정해야 한다. 같은 노드에 있는 replica shard는 해당 노드에 장애가 발생하면 유지될 수 없기 때문이다. replica 수를 1로 두면 디스크 사용량이 2배가 되고 클러스터 상태가 계속 yellow로 고정된다. Loki는 압축된 chunk와 작은 label index를 기록하므로 디스크 사용량은 줄 단위 로그의 압축 크기에 따라 증가한다.
sudo du -sh /var/lib/docker/volumes/loki-data/_data
curl -k -u admin:<password> "https://localhost:9200/_cat/indices?v&h=index,docs.count,store.size"해당하는 방법을 이틀 연속으로 실행한다. 두 측정값의 차이가 일일 증가량이다. 여기에 보존 기간을 곱하고, compaction과 merge에 필요한 여유 공간으로 약 30%를 더한 다음 volume 용량과 비교한다. 용량이 부족하면 디스크를 구매하기 전에 보존 기간을 줄여야 한다. 더 큰 volume은 같은 문제를 몇 주 뒤로 미룰 뿐이다.
소형 서버에서 무엇이 먼저 장애를 일으키는가
메모리가 먼저 고갈된다. 커널의 OOM(메모리 부족) killer는 메모리를 많이 사용하는 프로세스를 선택하며, 로그 서버에서 가장 큰 프로세스는 JVM이다. journalctl -k | grep -i "killed process"에는 대괄호 안의 프로세스 이름과 함께 kill이 표시된다. 항상 로그 스택이 종료되는 것은 아니다. sshd나 데이터베이스가 대신 선택될 수도 있다. 이 때문에 로그를 수집하려던 애플리케이션이 로깅 실험으로 중단될 수 있다. 컨테이너에 명시적인 메모리 상한을 설정해 장애가 의도한 위치에서 발생하게 해야 한다. Docker Compose의 메모리 제한이 필요한 이유가 여기에 있다.
디스크는 두 번째로 고갈되며, 검색 엔진은 특정하고 식별하기 쉬운 방식으로 실패한다. Elasticsearch와 OpenSearch는 여러 단계에서 디스크 사용량을 감시한다. low watermark는 85%이고 high watermark는 90%이다. flood stage인 95%에 도달하면 해당 노드에 shard가 있는 모든 index에 index.blocks.read_only_allow_delete block이 설정되고, 이후 쓰기 작업은 blocked by: [FORBIDDEN/12/index read-only / allow delete (api)]와 함께 실패한다. 사용량이 high watermark 아래로 내려가면 block이 해제된다. 먼저 여유 공간을 확보해야 한다. block이 계속 남아 있을 때만 수동으로 해제한다.
curl -k -u admin:<password> -X PUT "https://localhost:9200/_all/_settings" \
-H 'Content-Type: application/json' \
-d '{"index.blocks.read_only_allow_delete": null}'Loki는 더 조용하게 실패한다. 진입할 read-only 모드가 없으므로 볼륨이 가득 차면 sender에서 push 실패로 나타나고 query 결과에 누락이 발생한다. cardinality 문제는 오류가 아니라 메모리가 느리게 증가하는 현상으로 나타난다. 장애가 발생한 뒤가 아니라 정기적으로 chunks 디렉터리의 크기를 확인해야 한다.
마지막 장애 원인은 잘못된 데이터를 넣는 것이다. 로그 시스템은 metrics 시스템이 아니다. 10초마다 수집한 CPU load를 텍스트로 저장하면 보관 비용이 크고 그래프로 표시하기도 어렵다. 이 작업에는 Ubuntu 24.04의 Zabbix monitoring server 같은 도구가 적합하다. 애플리케이션 예외에는 grouping, deduplication, stack trace 보기가 필요하다. 이 작업은 self-hosted error tracker가 담당한다. 사이트가 다운되었는지 자체를 확인하는 일은 또 다른 작업이다. Uptime Kuma 같은 uptime 및 status page로 처리할 수 있다. 로그 시스템은 사람이 읽을 텍스트 줄을 저장하는 용도로 유지해야 한다.
FAQ
서버 로그를 검색하려면 Elasticsearch가 꼭 필요한가요?
서버가 한두 대라면 필요하지 않습니다. journalctl은 이미 유닛, 우선순위, 부팅 시점, 시간 범위별로 필터링 기능을 제공하며, 로테이션된 파일은 grep와 zgrep으로 확인할 수 있습니다. 검색 클러스터는 여러 대의 장비를 운영하거나, 전체 장비의 로그를 대상으로 자유 텍스트 검색이 필요하거나, 여러 사용자가 공유 인터페이스를 사용해야 할 때 메모리 비용을 지불할 가치가 있습니다. 그보다 작은 규모라면 journald의 크기 제한과 보존 기간 설정만으로도 추가 RAM 사용 없이 동일한 작업을 수행할 수 있습니다.
자체 호스팅 로그 관리에 RAM이 얼마나 필요한가요?
어림짐작하기보다 각 프로젝트에서 공개한 수치를 참고하십시오. Loki와 Alloy는 Go 프로그램으로 사전에 예약해야 하는 힙 메모리가 없으며, Grafana는 모놀리식 Loki의 경우 하루 최대 약 20GB의 로그 처리를 문서화하고 있습니다. OpenSearch의 샘플 compose 파일은 데모용으로 512 MB의 힙을, 사용자 정의 설정이 포함된 전체 예제에서는 2 GB의 힙을 설정합니다. Elastic은 힙 메모리를 전체 메모리의 50% 이하로 유지할 것을 권장하므로, 2 GB의 힙을 사용하려면 Kibana를 제외하고도 최소 4 GB의 장비가 필요합니다. Logstash 문서에서는 힙 메모리로 최소 4GB 이상을 권장합니다. 이는 문서화된 설정일 뿐 벤치마크 결과는 아니므로, 계획을 세우기 전에 자신의 부하를 직접 측정하십시오.
로그 관점에서 Loki와 OpenSearch의 실질적인 차이는 무엇인가요?
인덱스 모델의 차이입니다. Loki는 레이블만 인덱싱하고 로그 본문은 압축된 청크 형태로 보관하여 쿼리 시점에 스캔하므로, 쓰기 비용은 저렴하지만 광범위한 쿼리를 수행할 때는 비용이 더 발생합니다. OpenSearch는 필드 내 콘텐츠를 모두 인덱싱하므로 임의의 전체 텍스트 검색이 빠르지만, 인덱스를 유지하기 위해 메모리와 디스크 자원을 모두 소모합니다. 대상 서비스와 시간 범위를 명확히 알고 있다면 Loki를 선택하십시오. 미리 예측할 수 없는 텍스트를 검색해야 한다면 OpenSearch를 선택하십시오.
VPS에 로그를 얼마나 오래 보관해야 하나요?
디스크 공간이 부족해지기 전에 보관 기간을 직접 결정하십시오. 시스템당 정확히 한 곳에서 설정해야 합니다. journald의 경우 MaxRetentionSec=와 SystemMaxUse=, Loki의 경우 compactor를 활성화한 retention_period, OpenSearch의 경우 min_index_age을 포함한 ISM 정책을 사용합니다. 대부분의 단일 서버 환경에서는 14일에서 30일 정도면 디버깅과 사고 검토를 수행하기에 충분합니다. 더 오래 보관해야 하는 데이터는 서버 외부의 별도 저장소에 복사본을 두어야 합니다. 장애가 발생한 서버에만 남겨진 로그는 기록으로서의 가치를 잃기 때문입니다.
여전히 Promtail을 사용하여 Loki로 로그를 전송해야 하나요?
아닙니다. Promtail은 2026년 3월 2일부로 지원이 종료되었으며, Grafana Alloy가 이를 대체합니다. Loki의 공식 Docker 설치 예제는 이제 Alloy 설정을 사용하며, Grafana는 기존 Promtail 설정을 Alloy 문법으로 변환하는 도구를 제공합니다. 기존에 설치된 Promtail은 계속 작동하지만 더 이상 수정 사항이 제공되지 않으므로, 마이그레이션을 무기한 미룰 수 있는 업그레이드가 아닌 필수 유지보수 작업으로 간주하십시오.