SSD Nodes Learn Hosting plans →
가이드 Matt Connor작성자 Matt Connor

Ollama 동시성 설정: NUM_PARALLEL과 MAX_QUEUE 완벽 가이드

Ollama에서 두 번째 요청이 대기하거나 HTTP 503 오류가 발생하는 이유를 설명합니다. OLLAMA_NUM_PARALLEL과 OLLAMA_MAX_QUEUE 설정이 메모리 사용량에 미치는 영향과 병렬 처리 시 주의해야 할 VRAM 부족 문제를 상세히 다룹니다.

첫 번째 요청이 생성 중일 때 두 번째 Ollama 요청은 어떻게 처리됩니까

Ollama의 동시성 처리는 세 가지 환경 변수에 의해 결정되며, 기본 설정에서는 로드된 모델 하나가 한 번에 하나의 요청만 처리합니다. 두 번째 요청이 거부되거나 불완전한 답변을 받는 일은 없습니다. 해당 요청은 슬롯이 비워질 때까지 대기열에서 기다린 뒤, 슬롯이 확보되면 정상적인 속도로 실행됩니다.

들어오는 요청은 세 가지 경로 중 하나를 따릅니다. 즉시 빈 슬롯에서 시작되거나, 대기열에서 기다리거나, 혹은 대기열이 이미 가득 차서 서버가 HTTP 503 오류로 거부합니다. 어떤 결과가 나올지는 OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE, OLLAMA_MAX_LOADED_MODELS에 의해 결정됩니다. 2026년 10월 기준 현재 릴리스에는 한 가지 주의할 점이 있습니다. FAQ는 대기열을 일반적인 용어로 설명하지만, 스케줄러 소스 코드는 더 구체적입니다. 503 오류는 모델을 로드해야 하거나 다른 설정으로 다시 로드해야 하는 상황에서 도착한 요청에만 적용됩니다. Ollama는 이미 로드된 모델이 그대로 처리할 수 있는 요청은 거부하지 않습니다. 해당 요청은 슬롯이 날 때까지 필요한 시간만큼 대기합니다.

기본 설정은 안전하지만, 이것이 바로 두 번째 사용자가 서버가 "멈췄다"고 보고하는 이유입니다. 실제로는 아무런 문제가 없는 상태입니다. 슬롯을 추가하는 것은 두 줄의 설정 변경으로 가능합니다. 문제는 메모리입니다. 병렬 슬롯마다 고유한 키/값 캐시(KV cache)가 필요한데, 이는 모델이 이미 처리한 토큰을 유지하기 위해 사용하는 메모리 블록입니다. VRAM(GPU 비디오 메모리)을 추가하지 않고 슬롯만 늘리면, 느린 응답이 발생하는 대신 로드 실패가 발생하게 됩니다. CPU 전용 서버에서는 동일한 캐시가 시스템 RAM에서 할당됩니다.

OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE 및 OLLAMA_MAX_LOADED_MODELS의 제어 대상

다음은 2026년 10월 기준 최신 Ollama 릴리스의 기본값입니다. 아래에 표시된 로그 라인을 사용하여 본인의 설정을 확인하십시오. 여기에 적힌 숫자를 그대로 신뢰해서는 안 됩니다.

  • OLLAMA_NUM_PARALLEL는 로드된 모델 하나가 동시에 처리할 요청의 개수입니다. 기본값은 1이며, 요청은 순차적으로 처리됩니다.
  • OLLAMA_MAX_LOADED_MODELS는 동시에 메모리에 상주할 수 있는 서로 다른 모델의 개수입니다. 기본값은 0이며, 이는 Ollama가 GPU당 3개, GPU가 없는 장비에서는 3개의 모델을 자동으로 선택함을 의미합니다.
  • OLLAMA_MAX_QUEUE은 FAQ의 표현을 빌리자면, Ollama가 바쁠 때 추가 요청을 거부하기 전까지 대기열에 쌓아둘 수 있는 최대 요청 수입니다. 기본값은 512입니다. 대기열이 가득 찼을 때 들어오는 요청은 즉시 거부됩니다. 그러나 현재 스케줄러 코드에서는 모델을 먼저 로드하거나 다시 로드해야 하는 요청만 이 대기열에 들어갑니다. 이미 로드된 모델에 대한 요청은 이 대기열을 건너뛰고 빈 슬롯이 생길 때까지 대기하며, 이 대기 시간에는 제한이 없습니다. 관리자는 이를 스케줄러 구현 방식에 따른 부작용으로 설명했으며, Ollama 관리자들은 이를 기능 개선 요청(issue #7758)으로 추적하고 있습니다. 해당 이슈는 2026년 10월 기준으로 여전히 열려 있습니다.

최악의 경우 메모리 사용량은 앞의 두 설정값의 곱과 같습니다. 각각 4개의 슬롯을 가진 모델 2개가 로드되면 총 8개의 KV 캐시 슬롯이 동시에 상주하게 되며, Ollama는 이를 충족하려고 시도합니다. 단일 GPU 장비에서는 모델 하나를 유지하고 그 모델에 슬롯을 할당하는 것이 계산하기 쉬우므로 일반적으로 더 유리합니다.

병렬 슬롯마다 VRAM을 소모하는 이유

Ollama는 모델을 로드할 때 별도의 러너 프로세스를 실행합니다. 이때 전달되는 두 가지 인자가 중요한데, -c는 러너가 KV 캐시를 할당할 전체 컨텍스트 크기이며, -np은 병렬 시퀀스의 개수입니다. Ollama는 -c을 요청당 컨텍스트 길이에 슬롯 수를 곱한 값으로 설정합니다. 러너는 이 전체 크기를 슬롯별로 균등하게 분할하므로, 각 요청은 사용자가 지정한 컨텍스트 길이를 그대로 유지합니다.

이것이 제약 사항의 전부이며, 병렬 처리에 비용이 발생하는 이유입니다. 슬롯을 1개에서 4개로 늘리면 요청당 컨텍스트 길이는 같아도 KV 캐시는 4배가 필요합니다. 슬롯 간에 공유되는 자원은 없으며, 러너가 시작될 때 분할이 고정되므로 유휴 슬롯의 메모리를 사용 중인 슬롯에 빌려줄 수도 없습니다. GPU 환경에서는 이 메모리가 VRAM이 됩니다. CPU 전용 서버라면 시스템 RAM이 사용되며, 동일한 배율이 적용됩니다.

설정하려던 값 대신 실제 적용된 수치를 확인하는 방법은 다음과 같습니다.

journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"

이 줄에는 -c와 -np을 포함한 전체 러너 명령행이 표시됩니다. 변수를 설정한 후에도 -np이 1이라면 먼저 모델 유형을 확인하십시오. Ollama v0.40.15 버전부터 recurrent 및 vision GGUF 모델에 대한 병렬 요청이 추가되었으므로, 해당 모델들에 적용되던 기존의 1슬롯 제한은 더 이상 유효하지 않습니다. 임베딩 모델은 스케줄러에서 여전히 1개의 슬롯만 할당받습니다. GGUF 완성형 모델의 경우, 다음 섹션에서 설명하는 대로 설정이 서버에 제대로 전달되고 있는지 확인하십시오.

모델 가중치와 KV 캐시를 합친 크기가 VRAM에 들어가지 않으면, Ollama는 일부 레이어를 시스템 RAM으로 옮겨 CPU에서 실행합니다. CPU 레이어는 GPU 레이어보다 훨씬 느리므로, 처음에 시작했던 단일 요청을 포함하여 모든 요청의 속도가 저하됩니다. 따라서 병렬 설정을 높이는 것이 오히려 처리량을 감소시킬 수 있습니다. 모델이 충분히 크다면 슬롯 연산을 시작하기도 전에 가중치만으로도 메모리가 가득 차게 되며, 이것이 바로 Kimi K3 크기의 모델을 직접 호스팅하는 것이 슬롯 설정 개수가 아닌 보유한 그래픽 카드 개수에 관한 논의가 되는 이유입니다.

ollama ps

전체 모델이 VRAM에 적재되면 PROCESSOR 열은 100% GPU으로 표시됩니다. 35%/65% CPU/GPU와 같이 분할된 수치가 나타난다면 모델의 일부가 CPU에서 실행 중이라는 의미입니다. SIZE 열에는 KV 캐시가 포함되어 있으므로, 슬롯 수를 늘리고 모델을 다시 로드하면 이 수치도 증가합니다. OLLAMA_NUM_PARALLEL을 높이고 재시작한 뒤 요청을 하나 보내고 ollama ps을 다시 실행하십시오. 이것이 추측이 아닌 실제 측정된 변경 사항의 메모리 비용입니다. 측정 결과 모델이 더 이상 들어가지 않는다면, 가중치 또한 동일한 예산의 나머지 절반을 차지한다는 점을 기억하십시오. fp16에서 q8 또는 q4 빌드로 전환하는 것이 추가하려는 슬롯의 비용보다 더 많은 VRAM을 확보해 주는 경우가 많습니다.

컨텍스트 길이와 슬롯 수는 서로 곱해지므로 함께 고려하여 선택해야 합니다. 4개의 슬롯에 큰 컨텍스트를 설정하면 4개의 큰 컨텍스트가 생성됩니다. 또한 모델의 num_ctx 컨텍스트 윈도우를 조정 중이라면, 두 설정 중 하나씩만 변경하십시오. 그렇지 않으면 무엇 때문에 메모리가 가득 찼는지 파악하기 어렵습니다.

재부팅 후에도 변수가 유지되도록 설정하는 방법

Linux에서 Ollama는 systemd 서비스로 실행됩니다. 셸에서 export OLLAMA_NUM_PARALLEL=4을 실행해도 systemd는 자체 환경에서 서비스를 시작하며 사용자의 셸 환경을 참조하지 않으므로 아무런 변화가 없습니다. drop-in 파일을 사용하십시오.

sudo systemctl edit ollama.service

열리는 편집기에 다음 내용을 추가하십시오:

[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"

그런 다음 설정을 다시 불러오고 서비스를 재시작하십시오:

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

systemctl show는 systemd가 프로세스에 전달할 내용을 출력합니다. 해당 변수가 보이지 않는다면 drop-in 파일이 저장되지 않았거나 daemon-reload 단계를 건너뛴 것입니다. 서버 측에서도 직접 확인하십시오:

journalctl -u ollama --no-pager | grep "server config" | tail -1

Ollama는 시작 시 server config이라는 메시지가 포함된 줄에 서버 설정을 기록합니다. 이 맵은 Ollama가 인식하는 환경 변수 값을 보여주며, 변수가 실제로 적용되었는지 확인하는 가장 빠른 방법입니다. 여기에는 설정한 값이 표시되며, 특정 모델이 실제로 할당받은 슬롯 수는 표시되지 않습니다. 슬롯 수를 확인하려면 위쪽 runner 줄의 -np 값을 확인하십시오.

이미 로드된 모델은 시작 시 runner 프로세스에 값이 고정되므로 기존 슬롯 수를 유지합니다. 위의 재시작 과정을 거치면 모든 모델이 언로드되므로, 다음 요청 시 새로운 설정으로 모델이 다시 로드되며 로드 시간이 한 번 발생합니다. 그 이후 모델이 메모리에 상주하는 시간은 별도의 설정 항목이며, 요청 간 Ollama 모델 상주 유지에서 다룹니다.

클라이언트 입장에서 본 처리됨, 대기 중, 거부됨의 의미

여러 요청을 동시에 보내고 시간을 측정합니다. 다음 명령은 8개의 스트리밍 요청을 병렬로 실행하고 각 요청의 상태와 소요 시간을 출력합니다.

for i in $(seq 1 8); do
  curl -s -o /dev/null \
    -w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
    http://127.0.0.1:11434/api/generate \
    -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
wait

ttfb은 스트림의 첫 번째 바이트가 도착하기까지 걸린 시간입니다. 첫 번째 스트리밍 청크에 첫 번째 토큰이 포함되므로, 이는 TTFT(Time To First Token)와 거의 같습니다.

병렬 처리됨. 모든 요청이 비슷한 ttfb를 보고하며, total은 모든 요청에 대해 동시에 상승합니다. GPU는 실행 중인 슬롯 간에 공유되므로, 각 답변은 단독으로 실행될 때보다 느려지지만 분당 처리되는 답변의 총량은 늘어납니다. 이것이 바로 OLLAMA_NUM_PARALLEL을 높일 때 얻게 되는 운영 방식입니다.

대기 중. 첫 번째 요청들은 빠르게 응답하지만, 이후 요청들은 긴 ttfb를 보인 뒤 정상적으로 생성됩니다. 이 지연은 모델이 아닌 대기열(queue)로 인한 것입니다. 채팅창을 보는 사용자는 긴 공백을 경험한 뒤 텍스트가 최고 속도로 출력되는 것을 보게 됩니다. 시작은 느리고 이후 빠른 이 형태는 GPU 과부하가 아닌 대기열의 특징입니다.

거부됨. 클라이언트는 즉시 http=503을 받으며, 응답 본문은 다음과 같습니다.

{"error":"server busy, please try again.  maximum pending requests exceeded"}

이 메시지는 요청이 도착한 시점에 스케줄링 대기열이 가득 찼음을 의미합니다. VRAM이나 모델과는 무관합니다. 현재 릴리스에서 해당 대기열은 아직 로드되지 않았거나 다른 설정으로 다시 로드해야 하는 모델의 요청만 보관합니다. 위 루프를 실행할 때 모델이 이미 메모리에 상주해 있다면, OLLAMA_MAX_QUEUE를 아무리 낮게 설정해도 모든 요청은 200을 반환할 것입니다. 대신 오버플로우는 더 긴 ttfb로 나타납니다.

한 가지 솔직한 제한 사항으로, Ollama는 대기열 깊이를 공개하지 않습니다. ollama ps 및 /api/ps 엔드포인트는 대기 중인 요청이 아니라 로드된 모델을 보고합니다. 따라서 첫 번째 바이트까지의 시간을 모니터링하여 클라이언트 측에서 대기열을 측정하거나, 앞단에 배치된 서비스에서 503 응답을 집계해야 합니다.

왜 MAX_QUEUE를 작게 설정하는 것이 더 나은 경우가 많은가

512라는 큐 크기는 넉넉해 보이지만, 단일 슬롯 환경에서는 거의 쓸모가 없습니다. 300번째 요청은 앞선 299개의 생성이 완료될 때까지 기다려야 합니다. 이는 아무리 빨라도 수 분이 걸리는 작업입니다. 모든 HTTP 클라이언트는 그보다 훨씬 전에 연결을 포기하므로, 호출자는 클라이언트 측 타임아웃을 경험하게 됩니다. 이는 원인에 대한 정보를 제공하지 않으며 모니터링 시스템도 경고를 발생시킬 수 없습니다.

큐를 작게 설정하면 이러한 오버플로우 상황에서 즉시 503 오류를 반환하게 됩니다. 이는 모델이 로드되거나 다시 로드되기를 기다리는 요청(예: 재시작 직후나 모델 교체 중에 발생하는 요청 급증)에만 해당합니다. 2026년 10월 기준으로, 이미 로드된 모델에 대한 요청은 OLLAMA_MAX_QUEUE을 우회하며 제한 없이 빈 슬롯을 기다립니다. 따라서 모델이 하나만 상주하는 바쁜 서버에서는 큐를 줄여도 대기 시간이 단축되지 않습니다. 해당 환경에서 빠른 거절 응답을 얻으려면 다음 섹션에서 설명하는 것처럼 Ollama 앞단에서 동시성을 제한해야 합니다. 503 오류는 유용합니다. 리버스 프록시는 이를 재시도할 수 있고, 클라이언트는 대기 시간을 가질 수 있으며, 대시보드는 이를 집계하고, 관리자는 이를 확인할 수 있습니다. 적정 제한치는 직접 측정한 데이터를 바탕으로 산출하십시오. 생성 작업에 약 10초가 소요되고 클라이언트의 대기 시간이 60초라면, 해당 시간 내에 슬롯당 약 6개의 요청을 처리할 수 있습니다. 그 이상의 요청을 대기시키는 것은 타임아웃만 유발할 뿐입니다.

Ollama 앞에 큐를 배치해야 하는 경우

내장된 큐는 선입선출(FIFO) 방식이며 호출 주체에 대한 정보를 알지 못합니다. 하나의 애플리케이션이 하나의 서버와 통신하는 환경에서는 이것으로 충분하며, 인프라를 추가하는 것은 오히려 장애 지점만 늘릴 뿐입니다. 다음 중 하나라도 해당한다면 앞에 별도의 장치를 두어야 합니다.

  • 우선순위가 필요한 경우. 대화형 채팅이 일괄 요약 작업 뒤에서 대기해서는 안 됩니다. Ollama의 큐에는 우선순위 기능이 없으므로, 일괄 작업은 외부에서 보관하다가 천천히 투입해야 합니다.
  • 공정성이 필요한 경우. 특정 클라이언트가 모든 슬롯을 점유하고 그 뒤에 대기 요청을 쌓아둘 수 있습니다. 이 경우 다른 모든 사용자는 해당 클라이언트 뒤에서 대기하거나, 모델 로드가 필요한 요청일 경우 503 오류를 받게 됩니다.
  • 대기 시간 제한이 필요한 경우. Ollama는 이미 로드된 모델에 대한 요청을 무기한 유지하므로, 신뢰할 수 있는 제한은 오직 앞에 배치한 장치를 통해서만 가능합니다.
  • 재시작 후에도 작업이 유지되어야 하는 경우. 큐는 서버 메모리에 상주합니다. Ollama를 재시작하면 대기 중인 모든 요청은 사라집니다.
  • 지수 백오프(backoff)를 포함한 실제 재시도 기능이 필요하고, 이를 나중에 검토할 수 있도록 기록해야 하는 경우.

가벼운 해결책은 리버스 프록시를 사용하는 것입니다. nginx에서 limit_conn는 동시 연결 수를 제한하고, limit_req는 클라이언트당 요청 유입 속도를 제한하므로, 초과분은 프록시에서 거부되어 Ollama에 도달하지 않습니다. 무거운 해결책은 Ollama를 호출하는 워커 앞에 데이터베이스와 작업 큐를 두는 방식이며, 요청이 프로세스 재시작보다 오래 유지되어야 할 때 필요합니다. 실제 트래픽에 맞춰 규모를 산정하는 과정은 별도의 작업이 필요합니다. 동시 사용자를 위한 자체 호스팅 LLM 계획하기에서 관련 계산법을 다루며, VPS에서 Ollama 실행하기에서는 이 변수들이 전제로 하는 기본 설치 과정을 설명합니다.

정직한 답변이 다른 서버를 가리킬 때

설정 조정만으로는 극복할 수 없는 한계가 존재합니다. Ollama는 모델을 로드할 때 KV 캐시를 동일한 크기의 고정된 슬롯으로 분할합니다. 유휴 슬롯의 메모리를 사용 중인 슬롯이 가져다 쓸 수 없으며, 모델을 언로드하지 않고는 슬롯 개수를 변경할 수도 없습니다. 이러한 설계는 한 명의 사용자나 소규모 팀, 혹은 코딩 에이전트에게는 적합합니다.

동시 사용자가 많은 환경을 위해 설계된 서버는 다르게 동작한다. 이러한 서버는 필요할 때 KV cache를 작은 페이지 단위로 할당하고, 새로 도착한 요청을 이미 실행 중인 배치에 추가한다. 따라서 메모리는 고정된 분할이 아니라 실제 요구량에 따라 사용된다. 하나의 GPU에서 많은 동시 사용자를 처리하는 것이 목표라면, 이러한 아키텍처 차이가 OLLAMA_NUM_PARALLEL의 어떤 값보다 중요하다. Ollama와 vLLM 비교에서 이 선택을 다룬다. 다만 원칙만으로 전환해서는 안 된다. 다른 서버는 운영할 작업이 더 많고, 트래픽이 소수 사용자에 불과하다면 기본 제공 동작이 적절하다. 실제 질문이 모델 서버를 직접 운영할지 여부라면, 견적만 제공되는 프라이빗 AI 서버와 임대한 GPU에 동일한 스택을 구축하는 방법 비교에서 API를 구매하는 편이 더 나은 경우를 포함해 이 결정을 설명한다.

자신의 처리량과 첫 토큰 생성 시간 측정하기

초당 토큰 생성(tokens per second) 수치는 다른 사람의 GPU, 모델, 양자화, 컨텍스트 길이, 프롬프트를 기준으로 측정된 값입니다. 이 환경들은 사용자의 환경과 일치하지 않으므로, 읽게 되는 모든 수치는 대략적인 참고 자료로만 활용하고 현재 사용 중인 장비에서 직접 측정해야 합니다.

Ollama는 모든 응답의 마지막 JSON 객체에 타이밍 정보를 포함합니다. eval_count는 생성된 토큰의 개수이며, eval_duration은 토큰 생성에 소요된 시간(나노초 단위)입니다.

sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
  | jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'

이 명령을 단일 슬롯으로 실행한 뒤, 실제 예상되는 동시성 수준에서 다시 실행하여 사용자의 만족도를 결정짓는 두 가지 지표인 '첫 토큰 생성 시간'과 '요청당 초당 토큰 수'를 비교하십시오. 슬롯이 추가될수록 요청당 처리량은 항상 감소합니다. 핵심은 이 감소 폭이 사용자가 수용할 수 있는 수준인지 확인하는 것입니다. 로컬 LLM에서 초당 토큰 수 측정하기 문서에서는 실행 간 프롬프트를 일정하게 유지하는 방법을 포함하여 측정 방식을 더 자세히 다룹니다.

관대한 대기열을 가진 공개 엔드포인트는 서비스 거부 공격의 표적이 됩니다

OLLAMA_HOST=0.0.0.0:11434 설정을 사용하면 API가 모든 인터페이스에 노출되며, 로컬 API는 인증을 요구하지 않습니다. Ollama는 클라우드 모델, 게시, 비공개 다운로드를 위한 자체 로그인 기능을 내장하고 있습니다. https://ollama.com/api 및 https://ollama.com/v1를 통한 직접적인 클라우드 추론은 API 키가 필요합니다. 기본 대기열 설정 상태에서 공개된 엔드포인트는 모델이 로드되기를 기다리는 요청을 최대 512개까지 누구로부터든 수락합니다. 이미 로드된 모델의 경우, 연결된 모든 요청을 제한 없이 각 클라이언트가 연결을 유지하는 동안 계속 붙잡아 둡니다. 이런 방식으로 서버를 점유하는 것은 공격자에게 비용이 거의 들지 않습니다. 긴 프롬프트, 로그인 불필요, 속도 제한 없음, 비용 청구 없음이 그 이유입니다. 결과적으로 실제 사용자는 503 응답을 받거나 긴 대기 시간을 겪게 되며, 서버는 항상 과부하 상태가 됩니다.

리스너를 루프백 인터페이스에 유지하고 SSH 터널이나 사설 네트워크를 통해 접근하십시오. 또는 앞단에 인증 및 속도 제한 기능을 배치하십시오. Ollama API 엔드포인트 보안 설정에서 두 가지 방법을 모두 다룹니다. 대기열 길이는 용량 설정일 뿐이며 그 자체로는 아무것도 보호하지 못하므로, 보안 조치를 완료한 후에 대기열을 조정하십시오.

FAQ

두 번째 Ollama 요청이 첫 번째 요청이 끝날 때까지 대기하는 이유는 무엇입니까?

OLLAMA_NUM_PARALLEL의 기본값이 1로 설정되어 있어, 로드된 모델은 한 번에 하나의 요청만 처리하고 나머지는 순서대로 대기하기 때문입니다. 대기 중인 요청은 HTTP 연결을 유지한 채 슬롯이 비워질 때까지 데이터를 전송하지 않으며, 이는 클라이언트 입장에서 모델이 느린 것처럼 보입니다. 응답 시간을 분석해보면 대기열의 특성을 알 수 있습니다. 긴 일시 정지 후 텍스트가 최고 속도로 출력된다면 대기열 문제이고, 첫 토큰부터 느리게 출력된다면 모델 자체가 느린 것입니다. systemd 드롭인 파일을 사용하여 슬롯 수를 늘리고 서비스를 재시작하십시오. 그 후 러너(runner) 실행 줄에서 -np 값을 확인하십시오. 임베딩 모델은 스케줄러에서 여전히 하나의 슬롯만 점유하기 때문입니다.

"server busy, please try again. maximum pending requests exceeded"라는 메시지는 무엇을 의미합니까?

이는 Ollama의 대기열 오버플로우 오류로, HTTP 상태 코드 503과 함께 반환됩니다. 모델 로드나 재로드를 기다리는 요청 수가 기본값인 512인 OLLAMA_MAX_QUEUE를 초과하여, 새로운 요청이 대기열에 추가되지 않고 거부된 것입니다. 이미 로드된 모델에 대한 요청은 이 제한에 포함되지 않습니다. 이 오류는 주로 시작 시 요청이 몰리거나 모델이 교체되는 과정에서 발생합니다. 이는 메모리 오류나 모델 오류가 아닙니다. 대기열을 늘리는 것은 거부되기 전까지 호출자가 더 오래 기다리게 할 뿐이므로, 근본적인 해결책은 VRAM 여유가 있다면 슬롯을 늘리거나, 유입되는 부하를 줄이거나, 앞단에 재시도 및 우선순위 처리가 가능한 대기열을 두는 것입니다.

OLLAMA_NUM_PARALLEL을 높이면 Ollama가 더 빨라집니까?

아닙니다. 더 많은 요청을 동시에 처리할 수 있게 되지만, GPU를 공유하므로 각 요청의 처리 속도는 단독으로 실행할 때보다 느려집니다. 또한 Ollama는 컨텍스트 길이와 슬롯 수를 곱한 총 컨텍스트 크기로 러너를 시작하므로 KV 캐시 사용량도 증가합니다. 결과물이 VRAM에 들어가지 않으면 Ollama는 레이어를 CPU로 밀어내게 되며, 이 경우 경쟁하는 요청이 없더라도 모든 요청의 속도가 저하됩니다. 변경 후 ollama ps을 확인하여 PROCESSOR 열이 여전히 100% GPU로 표시되는지 확인하십시오.

이 변수들을 변경한 후 Ollama를 재시작해야 합니까?

네. 서버는 시작 시점에 변수를 읽으며, 실행 중인 모델은 시작 시 고정된 슬롯 수를 유지합니다. sudo systemctl edit ollama.service를 사용하여 드롭인 파일을 편집한 다음, sudo systemctl daemon-reload과 sudo systemctl restart ollama을 실행하십시오. systemctl show ollama --property=Environment로 확인한 뒤, Ollama가 보고하는 설정된 환경 변수 값을 나열하는 journalctl -u ollama의 server config 줄을 확인하십시오.

병렬 슬롯은 몇 개로 설정해야 합니까?

1부터 시작하여 단계적으로 늘리십시오. 각 단계마다 Ollama를 재시작하고 모델을 로드하는 요청을 하나 보낸 뒤 ollama ps를 실행하십시오. PROCESSOR이 여전히 100% GPU로 표시되고 SIZE 열에 서비스하려는 가장 긴 컨텍스트를 위한 여유 공간이 남아 있는 마지막 값에서 멈추십시오. 그 후 실제 동시성 환경에서 첫 토큰까지의 시간과 초당 토큰 수를 측정하고, 요청당 속도가 사용자가 허용하는 수준 이하로 떨어지면 한 단계 낮추십시오.

이 글이 도움이 되었나요?

#ollama#concurrency#vram#queueing#self-hosted-llm