SSD Nodes Learn Hosting plans →
가이드 Matt Connor작성자 Matt Connor · 업데이트됨 2026-10-13

로컬 LLM 추론 노력(reasoning effort) 설정 원리

로컬 LLM에서 추론 노력 설정이 하드웨어 리소스와 생성 시간에 미치는 영향을 분석합니다. 챗 템플릿 내의 Jinja 변수가 어떻게 스크래치패드 토큰 길이를 제어하는지, 그리고 모델별 추론 수준이 실제 연산 비용에 어떤 차이를 만드는지 상세히 설명합니다.

로컬 LLM에서 추론 노력(reasoning effort)이 변경되는 원리

추론 노력은 모델이 답변하기 전에 얼마나 오래 생각할지를 결정하는 설정입니다. 이 설정은 오직 추론 세그먼트의 길이에만 영향을 미칩니다. 디스크에 저장된 가중치(weights)는 모든 단계에서 동일하며, 양자화(quantisation) 수준도 같고, 답변은 동일한 순방향 패스(forward pass)를 통해 생성됩니다. 변경되는 것은 모델이 답변을 내놓기 전 자체 스크래치패드(scratchpad)에 할애하는 토큰의 개수입니다.

이러한 구분은 해당 토큰이 어디에 위치하느냐에 따라 중요해집니다. 호스팅된 API를 사용할 경우, 추론 토큰은 청구서에 비용으로 반영됩니다. 직접 운영하는 VPS에서는 사용자의 CPU나 GPU의 생성 시간과 컨텍스트 윈도우 내의 공간을 점유하는 방식으로 비용이 발생합니다. 모델을 최고 노력 수준으로 설정하면 답변의 첫 단어가 나오기 전까지 출력의 대부분을 추론에 사용할 수 있는데, 이는 직접 호스팅하는 하드웨어 환경에서 2초 만에 답변을 받는 것과 2분 동안 기다려야 하는 것의 차이를 만듭니다.

레벨이 정의되는 위치: 가중치가 아닌 챗 템플릿

사고형 모델은 최종 답변을 내놓기 전에 일반적으로 <think> 및 </think> 태그로 감싸진 추론 세그먼트를 출력하도록 학습되었습니다. 노력 수준(effort level)은 모델의 챗 템플릿이 프롬프트에 기록하는 명령어입니다. 해당 템플릿은 모델과 함께 제공되는 Jinja 파일입니다. 이 파일은 reasoning_effort과 같은 변수를 읽어 값에 따라 서로 다른 시스템 수준의 문구를 렌더링하며, 모델은 해당 문구에 반응하여 스크래치패드의 길이를 조절하도록 학습되었습니다.

여기서 두 가지 사실을 알 수 있습니다. 첫째, 레벨 명칭은 런타임이 아닌 모델 자체에 귀속되므로, 특정 모델 카드에 있는 명칭이 다른 모델에서는 아무런 의미가 없을 수 있습니다. 둘째, 체인 과정에서 모델의 챗 템플릿이 범용 템플릿으로 교체되면 변수가 렌더링되지 않으며, 설정값은 아무런 동작도 하지 않게 됩니다.

2026-10-12 기준으로 확인한 결과, Qwen3.8-27B 모델 카드는 low, medium, xhigh라는 세 가지 노력 수준을 명시하고 있으며, 기본값은 xhigh입니다. high은 존재하지 않습니다. 사고 기능 자체는 기본적으로 켜져 있는 enable_thinking로 전환하며, 카드에는 이전 대화 기록의 추론 내용을 유지하는 preserve_thinking(기본값 활성화)도 명시되어 있습니다. gpt-oss는 대신 low, medium, high을 사용합니다. 다른 많은 모델 제품군은 불리언 값만 허용합니다. 이러한 명칭은 표준이 아니므로, 사용 중인 모델 버전의 카드를 직접 확인해야 합니다. VPS에서 27B 모델 구동하기를 먼저 참고하십시오. 이 페이지는 모델이 응답하기 시작한 이후의 설정 방법을 다룹니다.

VPS에서 높은 연산 비용이 발생하는 이유

출력 토큰. 추론 토큰은 생성된 토큰입니다. 이 토큰들은 답변과 동일한 디코딩 루프를 거치며, 하드웨어가 처리할 수 있는 초당 토큰 수에 따라 속도가 결정됩니다. 예를 들어, 200개의 답변 토큰과 4,000개의 추론 토큰을 생성하는 작업을 가정해 보겠습니다. 총 4,200개의 토큰이 생성되었지만, 사용자에게는 200개만 표시됩니다. 디코딩 속도는 메모리 대역폭, 선택한 양자화 방식, 그리고 스레드 수에 의해 결정됩니다. llama.cpp의 튜닝 가이드에 따르면 --threads 값이 물리적 코어 수를 초과하면 CPU 과부하가 발생하여 생성 속도가 매우 느려질 수 있다고 경고합니다. 이러한 설정이 최적화된 후에는 토큰 수 자체가 성능을 결정하는 핵심 요소가 됩니다.

실제 소요 시간. 사용자는 답변의 첫 번째 토큰이 나올 때까지 기다려야 합니다. 그 이전까지는 빈 화면이나 로딩 아이콘만 보이기 때문입니다. 추론 토큰이 먼저 출력되므로, 대기 시간은 대략 추론 토큰 수를 디코딩 속도로 나눈 값에 프롬프트 처리 시간을 더한 정도입니다. 추론 길이가 두 배가 되면 대기 시간도 두 배로 늘어납니다.

컨텍스트. 추론 토큰은 다른 토큰과 마찬가지로 컨텍스트 윈도우를 점유합니다. preserve_thinking 옵션이 켜져 있으면 첫 번째 턴의 스크래치패드 내용이 다섯 번째 턴의 프롬프트에도 남아 있게 됩니다. 따라서 윈도우가 양쪽에서 채워짐에 따라 턴이 거듭될수록 프롬프트 처리 속도는 점점 느려집니다. num_ctx를 늘려 이를 수용하는 것은 KV 캐시 메모리 사용량을 증가시킵니다. GPU가 없는 VPS 환경에서는 이 메모리가 시스템 RAM을 사용하게 되며, 여유 공간이 부족할 수 있습니다.

추론 수준을 높여야 할 때와 낮게 유지해야 할 때

잘못된 중간 단계가 결과 전체를 오염시킬 수 있는 작업에서는 추론 수준을 높이십시오. 다단계 산술 연산 및 단위 변환, 여러 파일에 걸친 편집 계획, 컴파일이 필요한 코드, 그리고 하나의 답이 여러 조건을 동시에 만족해야 하는 제약 조건 문제가 이에 해당합니다. 이러한 작업에서 스크래치패드는 실질적인 연산을 수행하며, 추론 길이를 늘리는 것은 모델이 저지를 수 있는 오류를 사전에 방지하는 저렴한 방법입니다.

답이 이미 입력값에 포함되어 있고 이를 단순히 옮기는 작업일 때는 추론 수준을 낮게 유지하십시오. 추출, 분류, 태깅, 번역, 재작성, 요약 및 서식 지정 작업이 여기에 속합니다. 이 경우 추론 세그먼트는 작업을 단순히 반복하는 데 그치며, 모델이 올바른 첫 번째 직관을 스스로 부정하게 만들 여지만 제공하게 됩니다.

대화형 작업에서도 추론 수준을 낮게 유지하십시오. 채팅창이나 편집기에서 사용자가 직접 개입하는 상황이라면, 기다려야 하는 느린 답변보다 즉시 수정 가능한 빠른 답변이 더 낫습니다. 이것이 바로 로컬 모델을 코딩 에이전트에 연결할 때 발생하는 실질적인 상충 관계입니다. 에이전트는 수많은 작은 호출을 수행하며, 호출할 때마다 추론 비용이 발생하기 때문입니다.

llama.cpp에서 레벨을 설정하는 방법

llama.cpp는 변수를 템플릿에 직접 기록합니다. 따라서 런타임 시점에 레벨이 정상적으로 전달되었음을 확실히 알 수 있습니다. -m를 이미 보유한 GGUF 파일로 지정하십시오.

llama-server -m ./qwen3.8-27b-Q4_K_M.gguf \
  --jinja \
  --reasoning-effort medium \
  --reasoning-format deepseek \
  -c 32768 \
  --host 127.0.0.1 --port 8080

--jinja는 모델 자체의 채팅 템플릿을 사용하며, 현재 빌드에서는 기본적으로 활성화되어 있습니다. --reasoning-effort은 default, minimal, low, medium, high, xhigh 또는 max을 인자로 받으며, default는 템플릿의 기본값을 그대로 유지한다는 의미입니다. 이 목록은 모델이 아닌 llama.cpp의 어휘이므로, 카드에 나열된 이름만 전달해야 합니다. 템플릿에 정의되지 않은 레벨을 사용하면 요청 시점에 템플릿 오류가 발생할 수 있습니다. --reasoning-format deepseek는 추론 과정을 message.content에서 message.reasoning_content로 옮기며, 이로 인해 다음 섹션에서 분할된 결과를 측정할 수 있게 됩니다.

사고 과정을 단축하는 대신 아예 끄려면 템플릿 변수를 직접 설정하십시오.

llama-server -m ./qwen3.8-27b-Q4_K_M.gguf --jinja \
  --chat-template-kwargs '{"enable_thinking": false}'

--reasoning-budget은 다른 메커니즘을 사용합니다. 이는 모델에게 더 짧은 계획을 세우도록 요청하는 대신, 토큰 단위로 추론 세그먼트에 제한을 둡니다. 0는 즉시 종료하며, -1은 제한을 두지 않습니다. 두 플래그 모두 서버의 기본값을 설정합니다. 2026-10-12 기준으로, llama-server의 /v1/chat/completions은 요청 본문에서 reasoning_effort와 chat_template_kwargs도 허용합니다. 이를 통해 특정 호출에 대해 레벨을 템플릿으로 전달할 수 있으며, none를 사용하면 추론을 끌 수 있습니다. 따라서 하나의 프로세스로 두 가지 노력 수준을 모두 서비스할 수 있습니다.

vLLM은 OpenAI 호환 본문 내에서 요청별로 동일한 변수를 노출합니다.

{"model": "Qwen/Qwen3.8-27B",
 "messages": [{"role": "user", "content": "Summarise this changelog in two lines."}],
 "chat_template_kwargs": {"reasoning_effort": "medium"}}

Ollama에서 레벨 설정하는 방법

Ollama는 think라는 자체 필드를 /api/chat 및 /api/generate에서 사용합니다. 이 필드는 true, false 또는 레벨 이름을 값으로 받습니다. 2026-10-12 기준으로, 사고(thinking) 메타데이터를 게시하는 모델의 경우 레벨 이름은 모델 자체의 정의를 따릅니다. /api/show은 thinking.values 항목 아래에 해당 레벨들을 나열하며 기본값을 함께 표시합니다. 모델이 나열하지 않은 이름을 입력하면 오류 없이 기본값으로 대체됩니다. 메타데이터가 없는 모델은 Ollama의 기존 고정 세트인 low, medium, high 및 max를 사용합니다. think을 생략하면 모델의 자체 기본값이 적용되며, Qwen3.8의 경우 사고 기능이 켜진 상태가 기본값입니다.

ollama run qwen3.8:27b --think=low "Draft a one line commit message for a README typo fix"
{"model": "qwen3.8:27b",
 "messages": [{"role": "user", "content": "Which HTTP status code means the request body was too large?"}],
 "think": "low",
 "stream": false}

추론 결과는 message.thinking에, 답변은 message.content에 담겨 반환되며 이미 분리된 상태입니다. 대화형 ollama run 세션 내에서는 /set think 및 /set nothink 명령으로 재시작 없이 기능을 켜고 끌 수 있으며, /set think low 명령으로 레벨을 선택할 수 있습니다.

이제 설정이 조용히 실패할 수 있는 경우를 확인해야 합니다. Qwen3.8의 템플릿은 low, medium, xhigh를 정의합니다. Ollama 모델은 원본 저장소의 Jinja 파일이 아닌, 태그 내부에 패키징된 템플릿을 사용합니다. Ollama는 패키징된 모델이 해당 레벨을 나열하는 경우에만 레벨 값을 전달합니다. 먼저 사용 중인 태그가 어떤 레벨을 지원하는지 확인하십시오.

curl -s http://localhost:11434/api/show -d '{"model": "qwen3.8:27b"}' | jq .thinking

이 모델의 경우 high나 max와 같이 values에 포함되지 않은 이름을 입력하면 기본값으로 실행됩니다. 설정이 정상적으로 적용되었다고 가정하지 마십시오. 측정에는 약 1분이 소요됩니다.

레벨이 실제로 적용되었는지 측정하는 방법

temperature을 0으로 설정한 상태에서 동일한 프롬프트를 여러 레벨로 전송한 뒤, 토큰 수를 비교합니다. 아래 세 가지 이름은 Qwen3.8 카드에 나열된 항목입니다. 만약 /api/show에서 사용자의 태그에 대해 다른 이름을 나열한다면 해당 이름을 사용하십시오. 여기서 jq은 본문을 구성하므로 따옴표를 수동으로 이스케이프할 필요가 없습니다.

for level in low medium xhigh; do
  body=$(jq -n --arg lvl "$level" '{
    model: "qwen3.8:27b",
    messages: [{role: "user", content: "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take? Answer in minutes."}],
    think: $lvl,
    stream: false,
    options: {temperature: 0, num_ctx: 8192}
  }')
  echo "== $level"
  curl -s http://localhost:11434/api/chat -d "$body" | jq '{
    thinking_chars: (.message.thinking // "" | length),
    answer_chars: (.message.content | length),
    eval_count: .eval_count,
    seconds: (.total_duration / 1e9),
    tok_per_sec: (.eval_count / (.eval_duration / 1e9))
  }'
done

eval_count는 추론을 포함하여 생성된 모든 토큰을 의미하므로, 두 레벨 사이의 차이는 대부분 추론 과정에서 발생합니다. thinking_chars은 분할 결과를 직접 제공합니다. 두 가지 사실이 확인되어야 합니다. 레벨에 따라 수치가 변해야 하며, 낮은 레벨에서도 정답은 정확하게 유지되어야 합니다. 만약 eval_count이 세 번의 실행 모두에서 오차 범위 내에 머문다면, 해당 레벨은 무시되고 있는 것입니다. Ollama는 기본값으로 나열되지 않은 이름을 실행하므로, 먼저 /api/show를 통해 이름을 확인하십시오. 만약 이름이 일치한다면, 레벨을 전달하는 런타임으로 수정해야 합니다.

전체 시간은 전체의 절반에 불과하므로, 스트리밍을 통해 첫 번째 비어 있지 않은 content 청크에서 중단하여 첫 번째 답변 토큰까지의 간격을 측정하십시오. 이 작업에는 jq와 bc가 필요합니다.

start=$(date +%s.%N)
curl -sN http://localhost:11434/api/chat -d '{
  "model": "qwen3.8:27b",
  "messages": [{"role": "user", "content": "Explain what a reverse proxy does, in three sentences."}],
  "think": "low",
  "stream": true
}' |
while IFS= read -r line; do
  if [ -n "$(printf '%s' "$line" | jq -r '.message.content // ""')" ]; then
    echo "first answer token after $(echo "$(date +%s.%N) - $start" | bc)s"
    break
  fi
done

low과 xhigh에서 각각 실행하십시오. 그 차이가 바로 사용자가 지불하는 대기 시간입니다. llama.cpp에서는 셸 연산 없이도 동일한 수치가 응답 내에 포함되어 반환됩니다.

curl -s http://localhost:8080/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model": "local", "temperature": 0,
       "messages": [{"role": "user", "content": "A pump fills a 4500 litre tank in 25 minutes. A second pump is 40 percent slower. How long do both together take?"}]}' | jq '{
  reasoning_chars: (.choices[0].message.reasoning_content // "" | length),
  answer_chars: (.choices[0].message.content | length),
  predicted_n: .timings.predicted_n,
  tok_per_sec: .timings.predicted_per_second
}'

이 작업을 직접 수행하십시오. 공개된 노력 비교는 사용자의 하드웨어가 아닌 환경에서 측정된 것이며, 토큰 수를 초 단위로 변환하는 기준은 사용자의 디코드 속도입니다. 자체 서버에서 초당 토큰 수 측정하기에서 해당 기준을 확인할 수 있습니다. 추론 토큰 수를 디코드 속도로 나눈 값이 바로 방금 추가한 대기 시간입니다.

문제 발생 원인

답변이 잘리거나 content은 비어 있는데 thinking는 가득 차 있는 경우. 추론 과정에서 생성 제한에 도달한 것입니다. Ollama의 num_predict은 추론을 포함한 전체 생성량을 제한합니다. 추론이 먼저 수행되므로, 높은 노력 수준에서 512 토큰으로 제한하면 답변이 시작되기도 전에 응답이 종료될 수 있습니다. Ollama는 해당 응답에 대해 "done_reason": "length"을 보고합니다. 제한을 높이거나 노력 수준을 낮추십시오. num_predict가 토큰을 계산하는 방식에서 이 상호작용을 자세히 다룹니다.

수준을 변경해도 아무런 변화가 없는 경우. 모든 수준에서 토큰 수는 동일합니다. 런타임이 변수를 전달하지 않거나, 템플릿이 이를 읽지 못하거나, Ollama에서 해당 이름이 태그 목록에 없어 기본값으로 돌아간 경우입니다. 원본 저장소의 템플릿 대신 실제 런타임이 사용 중인 템플릿을 확인하십시오. --jinja 및 --chat-template-kwargs을 사용하는 llama.cpp는 변수를 직접 작성하므로 좋은 제어 도구가 됩니다. 만약 다른 곳에서는 작동하지 않는데 여기서만 수준이 적용된다면, 모델은 정상이며 다른 런타임이 변수를 누락하고 있는 것입니다.

수준 이름이 거부되는 경우. 요청 시점의 템플릿 오류나 서버는 정상인데 첫 번째 메시지에서 실패하는 경우는 보통 템플릿에 정의되지 않은 수준을 전달했음을 의미합니다. 예를 들어, 카드에 low, medium, xhigh만 나열된 모델에 high를 전달하는 경우입니다. Ollama에서 사고 메타데이터가 없는 모델은 low, medium, high, max만 허용하며, 그 외의 값을 전달하면 invalid think value 오류가 반환됩니다.

멀티턴 대화에서 매 턴마다 속도가 느려지는 경우. 이전 추론 내용이 기록에 남아 있기 때문입니다. 모델이 지원한다면 preserve_thinking을 false로 설정하거나, 다시 보내는 메시지에서 thinking 필드를 제거하십시오. 그렇지 않으면 답변 길이는 그대로인데 턴이 지날수록 프롬프트 처리량이 증가합니다.

단순하다고 생각한 작업에서 낮은 노력 수준으로 설정했을 때 품질이 떨어지는 경우. 일부 추출 작업은 단순 추출이 아닙니다. 입력값에 단위 변환이나 순차적인 규칙 적용이 필요하다면, 이는 짧은 출력을 내더라도 추론 작업에 해당합니다. 서버 전체의 수준을 높이지 말고 해당 호출에 대해서만 수준을 높이십시오.

두 가지 레벨을 동시에 실행하기

llama.cpp는 시작 시 --reasoning-effort를 사용하여 기본 레벨을 설정하지만, 현재 빌드에서는 요청마다 reasoning_effort을 지정할 수도 있습니다. 따라서 하나의 프로세스와 하나의 가중치 복사본으로 낮은 레벨의 편집기 작업과 높은 레벨의 야간 배치 작업을 동시에 처리할 수 있습니다. 시작 시 각 레벨을 고정하고 싶다면 두 개의 포트에서 두 개의 프로세스를 실행할 수도 있습니다. 단, 작업을 시간적으로 분리하지 않는 한 메모리에 가중치 복사본이 두 개 필요하다는 비용이 발생합니다. 어느 쪽이든 작업은 한 대의 머신이 가진 디코딩 용량을 공유합니다. 따라서 하나의 VPS에서는 사람이 기다리는 작업에는 낮은 노력을 할당하고, 아무도 지켜보지 않는 작업에는 예약된 높은 노력의 실행을 배치하는 방식이 일반적으로 더 저렴합니다. 여러 사용자가 하나의 로컬 모델을 공유할 때 발생하는 일에 대한 내용도 여기에 적용됩니다. 추론 토큰은 디코딩 작업에 해당하므로, 노력을 높이면 토큰 수가 증가하는 비율만큼 실질적인 동시 처리 능력이 감소합니다.

FAQ

기본적으로 어떤 추론 노력 수준을 사용해야 합니까?

모델이 제공하는 가장 낮은 수준에서 시작하여, 실패하는 것을 확인한 작업에 대해서만 수준을 높이십시오. 여러 추론 모델이 높은 기본값을 제공하며, Qwen3.8-27B는 2026년 10월 기준으로 최고 수준인 xhigh를 기본값으로 사용합니다. 이 기본값은 벤치마크 표에서 좋은 결과를 보이기 위해 선택된 것이며, 벤치마크 표는 시간에 따른 비용을 청구하지 않습니다. 본인의 하드웨어에서는 초 단위로 비용이 발생하므로, 높은 수준은 모든 요청에 상속되는 설정이 아니라 작업별로 선택하는 옵션으로 만드십시오.

추론 토큰도 컨텍스트 윈도우에 포함됩니까?

네. 추론 토큰은 출력의 일반 토큰이며 다른 모든 내용과 함께 컨텍스트 윈도우에 위치합니다. 다음 턴에도 유지되는지 여부는 런타임과 모델에 따라 다릅니다. Qwen3.8의 카드 문서는 기본적으로 활성화된 preserve_thinking를 설명하며, 이는 이전 추론 내용을 기록에 유지하므로 긴 대화는 생성된 모든 스크래치패드를 포함하게 됩니다. 이를 false로 설정하거나 다시 재생하는 메시지에서 thinking 필드를 제거하면 프롬프트 처리량이 증가하지 않습니다.

추론 수준을 변경해도 토큰 수에 변화가 없는 이유는 무엇입니까?

설정이 채팅 템플릿에 도달하지 못하고 있습니다. 수준은 템플릿 변수이므로 런타임이 이를 전달하고 패키지된 템플릿이 이를 읽을 때만 작동합니다. 일부 런타임은 원본 저장소의 Jinja 파일 대신 모델과 함께 자체 템플릿을 제공하며, 이 경우 변수는 오류 메시지 없이 누락됩니다. Ollama 또한 모델이 나열하지 않는 수준 이름을 모델의 기본값으로 실행하며, 이 역시 오류를 출력하지 않습니다. temperature을 0으로 설정하고 가장 낮은 수준과 가장 높은 수준에서 동일한 프롬프트를 보낸 뒤 eval_count을 비교하여 확인하십시오. 오차 범위 내에서 수치가 일치한다면 해당 수준은 무시되고 있는 것입니다.

추론 노력 수준을 낮추면 모델의 정확도가 떨어집니까?

작업에 따라 다르며, 추측하기보다 측정하는 것이 좋습니다. 추출이나 재작성처럼 입력값에 이미 정답이 있는 경우, 더 짧은 스크래치패드는 보통 아무런 변화를 주지 않습니다. 다단계 산술 연산이나 반드시 컴파일되어야 하는 코드처럼 최종 단계 이전에 중간 단계가 정확해야 하는 경우, 스크래치패드가 짧아지면 정확도는 떨어집니다. 실제 작업 부하에서 20개의 프롬프트 세트를 만들고, temperature를 0으로 설정한 상태에서 두 가지 수준으로 실행하여 오답 수를 세어 보십시오. 그 수치는 귀하의 작업 부하에 특화된 것이며, 어떤 공개된 표도 이를 대신해 줄 수 없습니다.

이 글이 도움이 되었나요?