Ollama 모델을 메모리에 계속 유지하는 방법
Ollama는 유휴 5분 후 모델을 메모리에서 해제합니다. systemd override에서 OLLAMA_KEEP_ALIVE를 설정하고 재부팅 후 모델을 미리 로드해 다음 요청의 재로딩 지연을 줄이는 방법을 설명합니다.
Ollama는 왜 몇 분 후 모델을 메모리에서 해제합니까?
Ollama는 마지막 요청이 끝난 후 5분 동안 모델을 메모리에 유지한 다음 해제합니다. 다음 요청이 들어오면 가중치를 RAM 또는 VRAM에 다시 로드해야 하므로 첫 번째 토큰이 나오기 전에 지연됩니다. 따라서 채팅 UI나 코딩 에이전트가 처음에는 빠르게 작동하다가 잠시 사용하지 않은 후 다음 메시지에서 다시 느려집니다. 문제가 발생한 것이 아닙니다. 유휴 타이머가 만료된 것입니다.
이 타이머의 이름은 keep_alive입니다. 모델별로 적용되며 요청이 끝날 때마다 다시 시작됩니다. 현재 요청에 응답 중인 모델은 활성 요청이 없는 모델에만 만료 처리가 적용되므로 해제되지 않습니다. 2026년 10월 기준 기본값은 5분이며, 이 서버가 로드하는 모든 모델에 적용됩니다.
유휴 시간 제한을 설정하는 위치는 2곳입니다. 개별 요청의 keep_alive 필드 또는 서버 기본값인 OLLAMA_KEEP_ALIVE입니다. systemd drop-in을 사용하면 서버를 다시 시작해도 서버 기본값이 유지됩니다. 이 가이드에서는 Ollama가 이미 서비스로 실행 중이라고 가정합니다. 그렇지 않다면 먼저 VPS에 Ollama 설치를 진행한 후 이 가이드로 돌아오십시오.
현재 상주 중인 모델과 만료 시점 확인
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from now출력이 비어 있으면 로드된 모델이 없다는 뜻이므로 다음 요청에서 먼저 모델을 로드해야 한다. PROCESSOR는 가중치가 로드된 위치를 보여 준다. 100% GPU과 100% CPU은 명확한 상태다. 25%/75% CPU/GPU과 같은 분할 표시는 모델의 일부만 VRAM에 있다는 뜻이므로 나머지는 프로세서에서 실행되어 생성 속도가 느려진다. 일반적으로 모델이 VRAM에 맞지 않아서 발생하지만, GPU로 보낼 레이어 수를 제한하는 num_gpu 설정을 사용해도 같은 형태로 분할된다.
UNTIL은 카운트다운이며, 4 minutes from now과 같은 상대 시간을 출력한다. 모델을 음수 keep_alive로 로드하면 Forever를 출력한다. 만료 후에는 Stopping...를 출력하며, 활성 요청으로 언로드가 지연되는 동안에도 동일하다.
열 집합은 릴리스마다 변경되었으므로 스크립트에서 필드 수를 세지 말고 헤더를 확인해야 한다. 2026-10-30에 확인한 Ollama v0.40.5는 CONTEXT과 UNTIL 사이에 모델을 제공하는 runner를 나타내는 RUNNER 열도 출력한다. 따라서 실제 헤더는 위 예시보다 열이 하나 더 많을 수 있다. 자동화할 때는 API를 사용한다.
curl -s http://localhost:11434/api/ps각 항목에는 expires_at, 2026-08-09T14:38:31.83753Z와 같은 절대 타임스탬프, 그리고 해당 모델 중 GPU 메모리에 올라가 있는 부분을 나타내는 size_vram이 포함된다. size_vram이 0이면 모델이 CPU에서 실행 중이라는 뜻이다.
실제로 reload에 드는 비용
추측하지 말아야 한다. Ollama는 모든 응답에서 load time을 load_duration로 보고하며, 단위는 nanoseconds다.
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'두 API 호출을 실행하기 전에 ollama stop 후 ollama ps에 더 이상 model이 표시되지 않을 때까지 기다린다. 첫 번째 호출은 model을 load하므로 load_duration가 크다. 이를 1000000000으로 나누면 seconds 단위로 읽을 수 있다. 두 번째 호출은 model이 resident 상태일 때 실행되므로 훨씬 작은 값을 보고한다. 두 값의 차이가 timer가 만료된 후 모든 사용자가 부담하는 비용이며, keep_alive를 변경하는 이유가 바로 이것이다. unload 후에도 kernel의 page cache에 model file이 남아 있는 경우가 많다. 따라서 여분의 RAM이 있는 시스템에서는 boot 직후의 첫 load보다 reload가 빠를 수 있다. 이 cache가 회수되면 weights를 disk에서 읽는다. 그러므로 model directory를 두 번째 volume으로 이동했다면, 해당 volume의 속도가 모든 cold load의 하한을 결정한다. 이 일시 중지 전후의 generation speed는 사용자 시스템에서 초당 tokens를 측정하는 방법을 참조한다.
한 요청 동안 Ollama 모델을 메모리에 로드된 상태로 유지합니다.
요청에 keep_alive을 함께 보냅니다. 요청이 완료되는 시점부터 해당 모델에 적용됩니다.
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'다음 4가지 값 형식을 사용할 수 있습니다.
- 기간 문자열:
"30m","24h","90s" - 초 단위로 해석되는 일반 숫자:
3600 - 유휴 시간 제한을 사용하지 않는 음수 값:
-1또는"-1m" - 모델에 활성 요청이 없을 때 모델을 언로드하는
0
요청에 지정한 값은 양방향 모두에서 서버 기본값을 재정의합니다. 이는 생각보다 중요합니다. 클라이언트가 자체 keep_alive을 보내면 서버에서 설정한 값보다 우선합니다.
아무것도 생성하지 않고 모델만 로드할 수도 있습니다. 모델 이름만 보냅니다. 서버는 모델을 로드한 후 "done": true이 포함된 빈 응답을 반환합니다.
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'재부팅 후 또는 새 모델을 가져온 후 실행할 명령입니다. 그러면 실제 사용자의 첫 요청이 모델 로드 시간을 기다리지 않아도 됩니다. CLI에서도 플래그를 사용해 같은 작업을 수행할 수 있습니다.
ollama run --keepalive 30m qwen3:8b "hello"OLLAMA_KEEP_ALIVE를 사용하여 기본적으로 로드 상태 유지하기
서버는 시작 시 OLLAMA_KEEP_ALIVE를 읽어 들여 자체 값이 지정되지 않은 모든 모델에 적용합니다. 이 설정은 요청 필드와 동일한 형식을 취하므로 30m, 3600, -1 모두 정상적으로 작동합니다.
문제는 이 환경 변수가 어느 환경에 적용되어야 하는가입니다. SSH 세션에서 export OLLAMA_KEEP_ALIVE=30m을 실행해도 아무런 변화가 없는데, 이는 패키지 설치 시 서버가 자체 사용자 및 자체 환경을 가진 systemd 서비스로 실행되기 때문입니다. 사용자의 로그인 셸과 해당 서비스는 서로 공유되는 환경이 없습니다. 설정이 무시되는 것처럼 보이는 가장 흔한 원인이 바로 이것입니다.
systemd drop-in을 사용하여 재부팅 후에도 설정 유지하기
sudo systemctl edit ollama.service편집기가 열리면 두 개의 주석 표시가 나타납니다. 그 사이에 내용을 입력하십시오. 두 번째 표시 아래에 작성한 내용은 systemd가 무시합니다.
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"저장하면 /etc/systemd/system/ollama.service.d/override.conf가 생성됩니다. 이는 제공된 유닛 파일을 직접 수정하는 대신 drop-in을 사용하는 방식이므로, ollama.service을 교체하는 Ollama 패키지 업그레이드가 수행되어도 설정은 유지됩니다. drop-in과 유닛 파일이 생소하다면 systemd 서비스 및 타이머 가이드에서 작동 원리를 확인할 수 있습니다.
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment마지막 명령은 서비스가 실제로 실행될 환경을 출력합니다. 해당 줄에 OLLAMA_KEEP_ALIVE=30m가 없다면 drop-in이 적용되지 않은 것이며, 원인은 거의 항상 [Service] 헤더가 누락되었거나 표시 아래에 내용을 입력했기 때문입니다. 재부팅 시 로드된 모든 모델은 해제되므로 다음 요청은 콜드 로드(cold load)가 됩니다. 위에서 언급한 프리로드 호출로 미리 로드하십시오. drop-in은 재부팅 후에도 설정을 유지하지만 모델까지 유지하지는 않습니다. 서비스는 ollama serve으로 시작하며 아무것도 로드되지 않은 상태이므로, 부팅할 때마다 동일한 프리로드 호출을 실행해야 합니다.
모델을 상주시키는 비용
ollama ps의 SIZE 열은 요청 처리 중일 때뿐만 아니라 유휴 시간 전체 동안 점유되는 메모리를 나타냅니다. 4-bit 양자화된 8B 모델은 약 5~6 GB를 차지합니다. 27B 모델은 상황이 완전히 다르며, CPU 전용 VPS에서 모델을 실행하기 위한 메모리 계산을 미리 확인한 뒤 상주 여부를 결정해야 합니다. keep_alive를 -1로 설정하면 유휴 시간 만료 기능이 비활성화됩니다. 이후 동일한 모델에 요청이 들어오면 타임아웃이 갱신되거나, runner 옵션이 변경될 때 강제로 재로드가 발생할 수 있습니다. 소규모 VPS에서는 이 메모리 점유가 데이터베이스, 웹 애플리케이션, 빌드 작업과 직접적인 자원 경쟁을 유발합니다.
추정치에 의존하지 말고 실제 수치를 확인하십시오. 모델이 로드된 상태에서 아래 명령을 실행하고, ollama stop 이후에 다시 실행해 보십시오.
free -havailable 열은 커널이 새로운 프로세스에 할당할 수 있는 가용 메모리입니다. NVIDIA GPU 서버에서는 nvidia-smi 명령으로 VRAM의 상황을 동일하게 확인할 수 있습니다. 서버의 메모리가 부족해지면 커널은 프로세스를 강제 종료하여 자원을 회수합니다.
sudo dmesg -T | grep -i "out of memory"ollama가 포함된 로그 라인이 나타난다면 모델 서버가 종료된 것입니다. 데이터베이스 이름이 포함된 라인이 나타난다면 모델이 자원을 차지하여 중요한 서비스가 희생된 것입니다. 두 경우 모두 여유 자원이 없는 서버에서 긴 keep-alive 시간을 설정했기 때문에 발생합니다.
여기서 간과하기 쉬운 두 가지 비용이 있습니다. 컨텍스트 길이가 길어지면 더 큰 KV cache(모델이 생성 중에 토큰별 어텐션 상태를 유지하는 키-값 캐시)를 예약하게 되며, 이 캐시 또한 상주 메모리 크기에 포함됩니다. 캐시 크기는 num_ctx에 따라 결정되므로, 컨텍스트 윈도우를 늘리는 것은 응답 중일 때뿐만 아니라 유휴 시간 전체 동안 모델이 점유하는 메모리 양을 증가시킵니다. OLLAMA_NUM_PARALLEL이 1보다 크면 모델이 병렬 처리를 지원할 때 슬롯마다 해당 캐시를 예약합니다. Ollama v0.40.16은 임베딩 모델을 포함하여 completion 기능이 없는 모델의 병렬 처리 수를 강제로 1로 제한합니다. 이제 스케줄러는 mllama나 qwen3next를 별도로 구분하지 않습니다. 하나의 모델로 여러 사용자를 서비스할 계획이라면, 가중치뿐만 아니라 슬롯에 필요한 메모리까지 고려하여 크기를 산정해야 합니다.
합리적인 기본값은 다음과 같습니다. 여유 자원이 있는 서버에서 모델 하나를 운영한다면 -1를 사용할 수 있습니다. 자원을 공유하는 서버라면 30m과 같이 요청 사이의 간격을 커버할 수 있는 윈도우를 설정하여, 작업이 끝났을 때 메모리가 반환되도록 해야 합니다.
모델을 즉시 언로드하기
ollama stop qwen3:8b만료를 요청한 뒤 출력 없이 반환됩니다. 활성 요청이 완료될 때까지 언로드가 대기하므로, 메모리가 해제되기 전에 명령이 반환될 수 있습니다. 현재 로드되지 않은 상태에서 가져오기만 한 모델에도 출력 없이 반환됩니다. 이 명령은 현재 메모리에 상주하는 항목을 확인하지 않습니다. 언로드 요청을 전송하고, 메모리에 모델이 있었는지와 관계없이 서버가 성공을 반환합니다. couldn't find model "qwen3:8b" to stop 오류는 이 서버에 해당 이름의 모델이 설치되어 있지 않을 때만 나타납니다. 일반적으로 이름이나 태그를 잘못 입력한 경우입니다. 따라서 출력이 없는 ollama stop만으로는 메모리가 해제되었다고 볼 수 없습니다. ollama ps이어야 합니다. API 형식은 프롬프트 없이 요청하고 keep_alive를 0으로 설정하는 방식입니다.
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'응답에는 "done_reason": "unload"가 포함됩니다. 서비스를 다시 시작하는 대신 이 방법을 사용합니다. systemctl restart ollama도 메모리를 해제하지만, 로드된 다른 모든 모델을 제거하고 실행 중인 모든 요청을 중단합니다.
한 서버에서 둘 이상의 모델 실행
OLLAMA_MAX_LOADED_MODELS은 한 번에 로드된 상태로 유지되는 모델 수를 제한합니다. 2026년 10월 기준 기본값은 GPU당 3개이며, CPU만 사용하는 시스템에서도 3개입니다. 이 제한은 모델 수를 기준으로 합니다. 실제 한계는 메모리이므로, 3개에 도달하기 훨씬 전에 두 번째 대형 모델을 위한 공간이 거부될 수 있습니다.
새 모델을 요청했는데 메모리가 부족하거나 제한에 도달한 경우, scheduler는 공간을 확보하기 위해 상주 모델 중 하나를 언로드합니다. 활성 요청이 없는 모델을 우선 선택합니다. 또한 타이머가 만료되지 않은 모델도 제거할 수 있습니다. -1로 로드한 모델도 포함됩니다. 다만 유효 시간이 짧은 모델부터 시도합니다. 따라서 음수인 keep_alive은 유휴 시간 제한이 없다는 의미입니다. 다른 모델의 요청이 들어와도 모델 가중치를 고정하지 않습니다.
이 결정은 서비스 로그에 기록됩니다. 제한 초과 사례는 debug 수준에서만 기록됩니다. 동일한 drop-in에 두 번째 Environment="OLLAMA_DEBUG=1" 줄을 추가하고, 서비스를 재시작한 다음 다음 로그를 확인합니다.
sudo journalctl -u ollama -f언로드를 발생시킨 요청 옆에 표시된 원인을 확인합니다. max runners achieved, unloading one to make room은 OLLAMA_MAX_LOADED_MODELS 제한에 도달했다는 의미입니다. 두 모델이 모두 메모리에 들어갈 수 있는 경우에도 발생할 수 있으므로, free -h에 여유 공간이 표시되면 제한을 높입니다. 새 모델이 사용 가능한 메모리를 초과할 것으로 예측된다는 줄 다음에 eviction이 기록된다면, scheduler의 적합성 검사가 메모리 여유 공간을 기준으로 두 모델의 동시 로드를 거부했다는 의미입니다. 이 경우에는 이 시스템에서 실행하는 모델 수를 줄이거나, 빠른 응답이 필요한 모델에는 긴 유효 시간을 설정하고 거의 호출하지 않는 모델에는 0을 사용해야 합니다.
다음 릴리스 이후에도 유효한 지침
Ollama는 자주 릴리스되며 기본 설정값도 변경되므로, 숫자를 암기하기보다는 현재 사용 중인 빌드 버전을 직접 확인하십시오.
ollama --version
ollama serve --helpollama serve --help은 해당 빌드가 실제로 읽어 들이는 환경 변수 목록을 보여주며, 그중에는 OLLAMA_KEEP_ALIVE도 포함되어 있습니다. 릴리스와 관계없이 항상 적용되며 신뢰할 수 있는 두 가지 규칙이 있습니다. 요청에 포함된 값이 서버의 기본값보다 우선합니다. 그리고 ollama ps은 설정 파일의 내용과 관계없이 현재 로드된 실제 상태를 보여줍니다.
편집기나 에이전트가 서버를 구동하는 경우, 서버를 탓하기 전에 클라이언트가 어떤 값을 전송하는지 확인하십시오. 코딩 에이전트를 자신의 Ollama 서버에 연결하기 문서에서 해당 요청 설정이 어디에 위치하는지 다룹니다.
FAQ
Ollama가 5분 후 모델을 언로드하는 이유는 무엇입니까?
5분은 요청이 완료될 때 Ollama가 시작하는 유휴 타이머인 기본 keep_alive입니다. 타이머가 만료되면 서버가 가중치를 해제하므로 다음 요청에서 가중치를 다시 로드해야 합니다. 이 재로드 시간이 사용자가 느끼는 일시 중지입니다. JSON 본문에 "keep_alive": "30m"를 전송하면 해당 요청에만 유지 시간을 늘릴 수 있습니다. 전체 서버에는 OLLAMA_KEEP_ALIVE 환경 변수를 사용합니다.
Ollama 모델을 메모리에 영구적으로 로드된 상태로 유지하려면 어떻게 합니까?
음수 값을 사용합니다. 요청에는 "keep_alive": -1을 사용하고, 서버에는 OLLAMA_KEEP_ALIVE=-1을 사용합니다. 그러면 ollama ps의 UNTIL 열에 Forever이 표시됩니다. 이렇게 하면 유휴 타이머만 제거됩니다. 다른 모델을 요청했을 때 메모리가 부족하면 스케줄러는 공간을 확보하기 위해 이 모델도 언로드합니다. 이후 동일한 모델에 대한 요청이 타임아웃을 다시 지정하거나 runner 옵션 변경으로 재로드를 발생시킬 수도 있습니다. 재시작이나 재부팅을 하면 이 상태도 해제되므로 이후에 모델을 다시 미리 로드해야 합니다.
OLLAMA_KEEP_ALIVE가 무시되는 이유는 무엇입니까?
변수를 설정한 위치를 확인합니다. systemctl show ollama --property=Environment를 실행합니다. 출력에 변수가 없다면 서버가 해당 변수를 받지 못한 것입니다. 셸에서 export한 변수는 systemd 서비스에 전달되지 않기 때문입니다. sudo systemctl edit ollama.service으로 변수를 설정한 다음 sudo systemctl daemon-reload와 sudo systemctl restart ollama를 실행합니다. 또 다른 원인은 요청에 자체 keep_alive을 전송하는 클라이언트입니다. 이 값이 서버 기본값을 재정의합니다.
Ollama를 재시작하지 않고 메모리를 해제하려면 어떻게 합니까?
ollama stop qwen3:8b은 해당 모델 하나의 만료를 요청하며, 서버와 다른 모든 로드된 모델은 계속 실행 상태로 둡니다. 언로드하기 전에 활성 요청이 완료되어야 합니다. API를 통해 prompt 없이 "keep_alive": 0을 포함한 요청을 전송하면 응답에 "done_reason": "unload"가 반환됩니다. ollama ps으로 확인합니다. 언로드가 완료되면 모델이 더 이상 목록에 표시되지 않아야 합니다.