SSD Nodes Learn Hosting plans →
가이드 Matt Connor작성자 Matt Connor

코딩 에이전트와 Ollama 연결 및 설정 가이드

코딩 에이전트에서 Ollama를 사용하는 방법을 설명합니다. 기본 URL 설정법, 더미 API 키 입력, 컨텍스트 길이 설정 오류 방지 및 로컬 모델이 효율적인 작업 범위를 확인하여 에이전트 성능을 최적화하는 구체적인 가이드를 제공합니다.

연결 대상

코딩 에이전트와 함께 Ollama를 사용할 수 있으며, 연결 설정은 생각보다 간단합니다. 기본 URL 하나를 변경하고 모델 이름 하나를 선택하면 됩니다. API 키 필드에는 여전히 값이 필요하지만, 로컬 서버는 이를 무시하므로 아무 문자열이나 입력해도 됩니다.

Ollama는 11434 포트에서 대기하며 동시에 세 가지 API 인터페이스를 제공합니다. /api는 Ollama의 네이티브 API입니다. /v1은 OpenAI 호환 계층이며, 여기에는 /v1/chat/completions, /v1/responses, /v1/completions, /v1/models, /v1/embeddings와 같은 여러 형태가 포함됩니다. Ollama 문서에 따르면 해당 API 키는 필수 항목이지만 무시된다고 명시되어 있습니다. 세 번째 인터페이스는 Anthropic 호환 방식입니다. 클라이언트는 http://localhost:11434을 기본 URL로 사용하고 그 뒤에 /v1/messages을 붙이는데, 이는 Claude Code가 사용하는 방식입니다. 대부분의 에이전트는 /v1/chat/completions을 사용하고, Codex는 /v1/responses를, Claude Code는 /v1/messages을 사용합니다. 사용 중인 에이전트는 이미 이러한 방식 중 하나를 지원하므로 다른 설정을 변경할 필요는 없습니다.

이 과정은 5분이면 충분합니다. 결과물이 실용적인지는 거의 아무도 변경하지 않는 두 가지 설정, 즉 컨텍스트 길이와 keep-alive 설정, 그리고 모델이 잘 수행할 수 있는 작업을 할당하는지에 달려 있습니다. 두 설정은 각각 별도의 섹션에서 다루며, 솔직한 한계점은 마지막에 기술합니다.

로컬 베이스 URL을 허용하는 코딩 에이전트

테스트는 간단합니다. 해당 도구가 베이스 URL 설정을 노출하는지 확인하는 것입니다. 설정이 있다면 서버와 통신할 수 있습니다.

Ollama는 Claude Code, OpenCode, Codex, Cline, Roo Code, Zed, JetBrains IDE 및 VS Code를 위한 통합 페이지를 제공합니다. Aider는 자체적인 Ollama 지원 문서를 별도로 제공합니다. 2026년 10월 기준으로 사람들이 코딩 에이전트라고 부르는 대부분의 도구가 여기에 해당합니다. 모든 도구가 동일한 규격을 사용하는 것은 아니며, 이러한 차이로 인해 설정 과정에서 오류가 발생합니다.

  • 대부분의 에이전트는 OpenAI 호환 엔드포인트를 요구합니다. 베이스 URL로 http://localhost:11434/v1를 입력하고, 비어 있지 않은 임의의 API 키 문자열을 사용하십시오.
  • Claude Code는 OpenAI 베이스 URL을 전혀 허용하지 않습니다. Anthropic Messages API를 사용하므로 ANTHROPIC_BASE_URL을 http://localhost:11434로 설정해야 하며, Ollama는 이를 /v1/messages에서 제공합니다.
  • Codex는 OpenAI Responses API를 사용합니다. Ollama는 버전 0.13.3부터 추가된 /v1/responses을 통해 이를 지원합니다.
  • 베이스 URL 설정이 없는 에이전트는 엔드포인트가 클라이언트 내부에 고정되어 있어 리다이렉트할 수 없습니다. 만약 에이전트가 사용자 지정 URL을 허용하지만 다른 API 규격을 요구한다면, 앞에 자체 호스팅 LiteLLM 게이트웨이와 같은 변환 계층을 배치하여 클라이언트가 요구하는 규격으로 모델을 다시 노출하십시오.

Ollama는 이러한 설정을 자동으로 작성할 수 있습니다. ollama launch opencode은 선택한 모델에 대한 인라인 설정을 포함하여 OpenCode를 시작하고, ollama launch claude은 Claude Code에 대해 동일한 작업을 수행하며, ollama launch droid --config는 도구를 실행하지 않고 설정 파일만 작성합니다.

Ollama 설치 및 도구 호출 가능 모델 내려받기

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama ls

설치 프로그램이 systemd 유닛을 추가하고 서비스를 시작하므로 systemctl status ollama 명령을 실행하면 active (running)이 출력되어야 합니다. 만약 출력되지 않는다면 journalctl -e -u ollama 명령으로 실패 원인을 확인하십시오.

에이전트가 작동하려면 도구 호출(tool calling)을 지원하는 모델이 필요합니다. 에이전트는 파일을 읽고, 패치를 작성하고, 테스트를 실행한 뒤, 실패 내용을 읽고 다시 시도하는 과정을 거칩니다. 도구 호출을 수행하지 못하는 모델은 편집 내용을 수행하는 대신 글로 설명하려 하므로, 에이전트가 무한 루프에 빠지거나 멈추게 됩니다. 모델을 내려받기 전에 ollama.com의 모델 페이지에서 tools 레이블이 있는지 확인하십시오. qwen3-coder:30b 모델은 이 기능을 지원하며, 2026년 10월 기준으로 해당 태그는 19 GB 용량에 256K 컨텍스트 윈도우를 제공합니다. 서버가 CPU 전용이거나 RAM이 부족하다면, VPS에서 Qwen 27B 태그를 위한 메모리 계산 문서를 참고하여 8 GB에서 64 GB 사이의 환경에서 실제 구동 가능한지 확인한 뒤 내려받기를 진행하십시오. 모델을 내려받으면 해당 기가바이트 단위의 데이터가 서버의 루트 디스크에 저장됩니다. 루트 디스크는 VPS에서 가장 용량이 부족하기 쉬운 공간이므로, 디스크가 가득 차기 전에 Ollama 모델 파일 저장 위치 및 이동 방법을 미리 읽어두는 것이 좋습니다.

이제 서버에서 실제로 제공하는 모델 이름을 확인하십시오:

curl http://localhost:11434/v1/models

응답에 포함된 문자열은 에이전트 설정에 한 글자도 틀리지 않고 정확히 입력되어야 합니다. 이 과정을 먼저 확인하면 대부분의 모델을 찾을 수 없다는 오류를 방지할 수 있습니다. Ollama가 아직 설치되지 않았다면 VPS에서 Ollama로 LLM 직접 호스팅하기의 상세 가이드를 참조하십시오.

OpenCode를 Ollama에 연결하기

~/.config/opencode/opencode.json을 다음과 같이 수정합니다:

{
  "$schema": "https://opencode.ai/config.json",
  "provider": {
    "ollama": {
      "npm": "@ai-sdk/openai-compatible",
      "name": "Ollama",
      "options": {
        "baseURL": "http://localhost:11434/v1"
      },
      "models": {
        "qwen3-coder:30b": {
          "name": "qwen3-coder 30b"
        }
      }
    }
  }
}

models 아래의 키는 Ollama로 전송되는 모델 이름이므로, ollama ls와 정확히 일치해야 합니다. name 필드는 모델 선택기에서 표시되는 레이블일 뿐입니다. opencode를 시작하고 Ollama 공급자로 전환한 뒤, journalctl -e -u ollama를 모니터링하여 요청이 다른 곳이 아닌 서버에 정상적으로 도착했는지 확인하십시오. 에이전트 자체를 설정하는 방법은 VPS에서 OpenCode 실행하기에서 다룹니다.

Claude Code를 Ollama에 연결하기

export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30b

ANTHROPIC_API_KEY은 의도적으로 빈 문자열로 설정합니다. base URL은 요청이 전달될 위치를 제어하며, 이 키를 비워두면 로컬 환경에 호스팅된 자격 증명이 포함되지 않도록 방지할 수 있습니다. ollama launch claude은 이 모든 설정을 자동으로 처리합니다.

호환성 계층에서 지원하지 않는 기능을 숙지하십시오. 이 계층은 tool_choice나 프롬프트 캐싱을 구현하지 않으며, 토큰 계수 엔드포인트도 없습니다. 따라서 표시되는 토큰 수는 모델 자체 토크나이저를 기반으로 한 근사치입니다. Claude Code는 대규모 시스템 프롬프트와 방대한 도구 세트를 함께 제공하므로 일반적인 채팅 클라이언트보다 더 많은 컨텍스트를 필요로 합니다. 무엇이 유지되고 무엇이 그렇지 않은지에 대한 더 자세한 내용은 Claude를 자체 호스팅할 수 있는지 여부에서 다룹니다.

Aider를 Ollama에 연결하기

export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30b

Aider 문서에서는 ollama_chat/ 접두사를 ollama/보다 권장합니다. Aider는 기본적으로 각 요청에 필요한 컨텍스트와 응답을 위한 8k 토큰을 함께 요청합니다. 또한 .aider.model.settings.yml에서 모델별로 컨텍스트 윈도우를 고정할 수 있는데, 이는 특정 모델이 서버 기본값과 다른 윈도우 크기를 필요로 할 때 유용합니다.

- name: ollama_chat/qwen3-coder:30b
  extra_params:
    num_ctx: 65536

작동하는 설정인데도 엉뚱한 결과가 나오는 이유

이 섹션이 핵심이다. Ollama는 확인할 수 있는 GPU의 총 VRAM(비디오 메모리)을 기준으로 기본 context length를 선택하고, 감지한 각 GPU마다 OLLAMA_GPU_OVERHEAD을 차감한다. 구현에서는 다음 임계값을 사용한다.

차트Ollama default context length by aggregate VRAM, checked 2026-10-26
이 차트의 데이터
[
  {
    "label": "Under 23 GiB aggregate VRAM",
    "default_context_tokens": "4,096"
  },
  {
    "label": "23 to under 47 GiB aggregate VRAM",
    "default_context_tokens": "32,768"
  },
  {
    "label": "47 GiB aggregate VRAM or more",
    "default_context_tokens": "262,144"
  }
]

대부분의 VPS 요금제와 모든 CPU 전용 서버는 첫 번째 행에 해당한다. 기본값은 4,096 tokens이다. 여러 개의 소형 GPU를 합치면 마지막 행의 262,144 tokens에 필요한 47 GiB 임계값에 도달할 수 있다.

에이전트는 실제 작업을 시작하기 전에 4096 tokens를 전달한다. system prompt, tool 정의, repository 목록, 처음 여는 파일만으로도 이미 이보다 커진다. 그다음 발생하는 일이 전체 문제의 원인이다. 오류는 발생하지 않는다. Aider 문서에 따르면 Ollama는 window를 초과하는 context를 조용히 버린다. 오래된 tokens가 빠지므로 모델은 더 이상 볼 수 없는 파일에 대해 확신에 차서 답하거나, 두 단계 전에 전달한 지시를 잊는다. 로컬 모델이 코드를 작성하기에는 너무 낮은 지능처럼 보인다는 보고 대부분은 이 메커니즘 때문에 발생한다. 어떤 수치를 선택할지는 별도의 결정이며, 설정하기 전에 각 크기의 KV cache memory에서 num_ctx가 차지하는 비용을 읽어 보는 것이 좋다.

Ollama 문서에서는 agent와 coding tool 같은 작업을 최소 64000 tokens로 설정해야 한다고 설명한다. 서버에서 설정한다.

sudo systemctl edit ollama.service

override 파일에 다음 줄을 추가한다.

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"

그런 다음 reload하고 restart한다.

sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

restart 후 agent에서 요청을 보낸다. 그런 다음 다시 ollama ps을 실행해 검사할 loaded model이 있도록 한다. ollama ps가 확인 명령이다. 이 명령은 CONTEXT column을 출력하며, 해당 숫자가 model이 실제로 받은 값이다. ID과 SIZE는 서로 다르게 표시된다.

NAME               ID              SIZE     PROCESSOR    CONTEXT    RUNNER    UNTIL
qwen3-coder:30b    a1b2c3d4e5f6    24 GB    100% GPU     64000      ggml      4 minutes from now

두 가지 이유로 agent가 아니라 서버에서 설정한다. OpenAI chat completions schema에는 context length를 지정하는 field가 없으므로 OpenAI-compatible client가 해당 값을 요청할 수 없다. 또한 server default는 model이나 request가 override하지 않는 한 모든 agent에 적용된다. 출력에도 별도의 상한이 있다. context length와 달리 이 값은 compatibility endpoint를 통해 전달된다. 따라서 reply가 patch 중간에서 멈출 때는 num_predict와 여기에 대응하는 max_tokens field를 사용해야 한다. 특정 model에 다른 window가 필요하다면 Modelfile을 사용해 복사본에 설정을 포함한다.

FROM qwen3-coder:30b
PARAMETER num_ctx 65536
ollama create qwen3-coder-64k -f Modelfile

Context는 무료가 아니다. window가 길어질수록 더 많은 memory가 필요하므로 PROCESSOR column을 모니터링한다. 원하는 값은 100% GPU이다. model의 일부가 CPU로 넘어가면 token rate가 agent loop를 사용하지 못할 정도로 떨어진다. 로컬 LLM에서 초당 tokens를 측정하는 방법으로 시스템의 실제 한계를 확인할 수 있다. 구입 전에 machine 규모를 산정하는 방법은 coding agent VPS에 필요한 RAM과 CPU 용량에서 설명한다.

요청 간 모델 유지하기

기본적으로 Ollama는 마지막 요청 이후 5분이 지나면 모델을 메모리에서 해제합니다. 이는 일반적인 채팅 환경에는 적합하지만, 에이전트 작업에는 부적절합니다. 사용자가 diff를 읽느라 잠시 멈추면 타이머가 종료되고, 다음 요청 시 수십 기가바이트의 가중치를 디스크에서 다시 불러오느라 첫 토큰이 생성되기까지 시간이 걸립니다. 이는 마치 프로그램이 멈춘 것처럼 보입니다.

OLLAMA_KEEP_ALIVE는 10m나 24h과 같은 시간 문자열, 단순히 초 단위의 숫자, 모델을 무기한 유지하기 위한 -1, 또는 즉시 해제하기 위한 0을 인자로 받습니다. 이를 컨텍스트 길이 설정과 함께 지정하십시오:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"

keep_alive 요청 필드는 Ollama의 기본 /api/generate 및 /api/chat 엔드포인트에 존재하며, /v1/chat/completions에서는 Ollama 확장 기능으로 제공됩니다. 추가 요청 필드를 노출하는 에이전트는 해당 필드로 값을 보낼 수 있으며, 그렇지 않은 경우 환경 변수를 사용하십시오. 메모리를 확보해야 할 때는 ollama stop qwen3-coder:30b을 사용하여 서버를 중단하지 않고 모델을 해제할 수 있습니다. 재부팅 후에도 설정을 유지하고 싶거나, 메모리를 계속 점유하는 것과 메모리를 확보하는 것 사이에서 고민된다면 Ollama 모델을 메모리에 계속 유지하는 방법을 통해 두 가지 모두를 해결할 수 있습니다.

별도 서버에서 Ollama 실행하기

Ollama는 기본적으로 localhost에 바인딩됩니다. 다른 머신에서 접근하려면 systemd override 파일에 OLLAMA_HOST=0.0.0.0:11434를 설정하고 서비스를 재시작하십시오.

이 작업은 반드시 사설 네트워크 환경에서만 수행해야 합니다. Ollama 문서에 따르면 로컬 API는 인증을 요구하지 않으므로, 11434 포트를 인터넷에 개방하면 누구나 사용자의 하드웨어 자원을 사용할 수 있게 됩니다. 안전한 방법은 두 가지입니다. 첫 번째는 localhost 바인딩을 유지한 채 노트북에서 SSH를 통해 포트를 포워딩하는 것입니다.

ssh -N -L 11434:localhost:11434 you@your-vps

사용자의 에이전트는 계속해서 http://localhost:11434/v1를 가리키며, 내부적으로는 아무런 차이를 느끼지 못합니다. 다른 방법은 VPN을 사용하는 것으로, Ollama를 0.0.0.0 대신 VPN 주소에 바인딩합니다. 여러 사용자나 여러 에이전트가 하나의 서버를 공유해야 한다면, 메모리가 허용하는 한 Ollama는 병렬 요청을 지원합니다. Ollama와 vLLM 비교 문서를 참고하면 처리량 차이가 발생하는 지점을 확인할 수 있습니다.

로컬 코딩 모델이 유리한 경우와 그렇지 않은 경우

직접 호스팅하는 모델로 구동하는 에이전트가 모든 작업에서 Frontier API를 대체할 수는 없습니다. 로컬 모델은 다음 네 가지 작업에서 확실한 우위를 점합니다.

  • 대량의 기계적 편집: 각 변경 사항이 작고 직접 검토할 수 있는 경우입니다. 저장소 전체의 이름 변경, 타입 힌트 추가, docstring 작성, 주석 번역 등이 해당합니다. 모델을 몇 시간 동안 실행해도 비용이 발생하지 않습니다.
  • 하드웨어를 벗어나면 안 되는 작업: 기밀 유지 계약이 적용된 클라이언트 코드나 제3자에게 전송이 금지된 내부 저장소 작업이 여기에 해당합니다.
  • 오프라인 및 망 분리 환경: 호출할 수 있는 호스팅 API가 전혀 없는 환경입니다.
  • 예측 가능한 비용: 서버 비용을 지불하고 나면, 루프를 돌며 토큰을 소모하는 에이전트는 추가 비용이 들지 않습니다. 이는 종량제 API와 정반대입니다. API 토큰 대비 GPU VPS의 손익분기점에 관련 계산이 나와 있습니다.

반면, 긴 다단계 작업에서는 성능이 떨어집니다. "테스트 실패 원인을 찾고, 원인을 수정하고, 호출부를 업데이트하라"는 작업은 전체 이력을 문맥으로 유지하면서 정확한 도구 호출을 연속으로 수행해야 합니다. 적당한 서버에서 구동되는 8B에서 14B 범위의 모델은 잘못된 형식의 도구 호출을 생성하거나 몇 번의 턴이 지나면 계획을 잊어버리며, 결국 작업을 직접 수행하는 것보다 모델을 제어하는 데 더 많은 시간을 쓰게 됩니다. 이는 프롬프트 작성으로 해결할 수 있는 문제가 아니라 모델의 용량 문제입니다.

또한, 잘못된 결과가 치명적이고 모든 줄을 검토할 수 없는 경우에도 로컬 모델은 부적합합니다. 로컬 모델에는 출력을 검증할 수 있는 좁은 범위의 작업을 맡기고, 단계별로 검토하기 어려운 작업에는 호스팅된 모델을 사용하는 것이 좋습니다.

실패 원인과 확인하게 될 문자열

curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. 서버가 실행 중이 아니거나 agent가 다른 호스트를 가리키고 있습니다. systemctl status ollama을 실행한 다음 journalctl -e -u ollama을 실행합니다.

agent가 model이 존재하지 않는다고 보고합니다. 설정의 이름이 server가 제공하는 이름과 일치하지 않습니다. curl http://localhost:11434/v1/models과 비교하고, 그곳의 문자열을 복사합니다. tag는 이름의 일부입니다. 따라서 설치된 model과 유사하더라도, 가져오지 않은 tag를 설정에 지정하면 실패합니다.

agent가 설명만 출력하고 파일을 전혀 수정하지 않습니다. model에 tool 지원이 없거나, 요청과 tool 정의가 이미 context window를 모두 사용한 것입니다. model 페이지에서 tools label을 확인한 다음, ollama ps의 CONTEXT 열을 확인합니다.

첫 token이 나오기 전까지 오래 멈춘 뒤 정상 속도로 실행됩니다. keep-alive가 만료되어 weight를 디스크에서 다시 읽는 중입니다. OLLAMA_KEEP_ALIVE를 설정합니다.

model이 방금 읽은 파일의 내용과 모순되는 답변을 합니다. context가 잘린 것입니다. ollama ps에는 대개 설정했다고 생각한 것보다 작은 CONTEXT 값이 표시됩니다. 환경 변수가 systemd unit이 아니라 셸에 설정되었기 때문입니다.

모든 기능이 동작하지만 느리고, PROCESSOR에 100% CPU 또는 CPU/GPU 분할이 표시됩니다. 대개 model과 context를 합친 크기가 VRAM에 들어가지 않는 것입니다. GPU가 있는 장비에서 PROCESSOR이 100% CPU로 표시되면 먼저 다른 원인을 배제합니다. Ollama가 GPU를 전혀 찾지 못했을 수 있습니다. Ollama 문서에 따르면 Linux에서는 suspend/resume 주기 후 NVIDIA GPU를 발견하지 못하고 CPU로 대체하는 경우가 있으며, sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm로 driver를 다시 로드하면 이 문제를 우회할 수 있습니다. GPU가 발견되었는데도 분할이 계속되면 context length를 줄이거나 더 작은 model 또는 더 작은 quantisation으로 변경합니다. 다시 pull하기 전에 q4_K_M, q8_0 및 fp16이 메모리를 각각 얼마나 사용하고 실제로 품질이 어디에서 떨어지는지를 확인하면, 한 단계 낮출 때 확보되는 공간과 그 대가를 알 수 있습니다. Unknown도 가능한 PROCESSOR 값이지만, 이것만으로 CPU offloading이 설정되었다고 볼 수는 없습니다.

FAQ

Claude Code에서 Ollama를 사용할 수 있습니까?

사용할 수 있지만 OpenAI 호환 URL을 사용해서는 안 됩니다. Claude Code는 Anthropic Messages API를 사용하며, Ollama는 동일한 포트 11434에서 /v1/messages에 해당 형식으로 서비스를 제공합니다. ANTHROPIC_BASE_URL=http://localhost:11434, ANTHROPIC_AUTH_TOKEN=ollama 및 빈 ANTHROPIC_API_KEY를 export한 다음 claude --model qwen3-coder:30b으로 시작합니다. ollama launch claude을 사용하면 동일한 설정을 자동으로 작성합니다. 이 호환성 계층은 tool_choice과 프롬프트 캐싱을 구현하지 않으며 토큰 수 계산 endpoint도 제공하지 않으므로, 보고되는 토큰 수는 근사값입니다.

로컬 모델이 볼 수 없는 코드에 대해 답하는 이유는 무엇입니까?

요청이 더 이상 context window에 들어가지 않아 가장 오래된 부분이 오류 없이 제거되기 때문입니다. Ollama는 GPU별로 설정된 overhead를 차감한 뒤 감지된 VRAM의 총량을 기준으로 기본 context를 설정합니다. 23 GiB 미만에서는 기본값이 4,096 tokens이고, 23 GiB 이상 47 GiB 미만에서는 32,768 tokens이며, 47 GiB 이상에서는 262,144 tokens입니다. systemd unit에서 OLLAMA_CONTEXT_LENGTH=64000를 설정하고 Ollama를 재시작한 다음, ollama ps의 CONTEXT column에 새 값이 표시되는지 확인합니다.

VPS에서 coding agent로 어떤 모델을 실행해야 합니까?

tools label이 붙어 있고 64k context window를 사용해도 메모리에 들어가는 모델 중 가장 큰 것을 선택하고, code에 맞게 튜닝된 모델을 우선합니다. qwen3-coder:30b은 VRAM이 충분한 GPU server에서 일반적으로 선택하는 모델입니다. 해당 tag가 server에 비해 너무 크다면, 다운로드를 결정하기 전에 Nemotron 3.5 Lightning의 RAM 수치와 CPU 전용 속도를 유용한 비교 자료로 사용할 수 있습니다. 대략 14B parameters 미만의 모델도 code에 관한 질문에는 잘 답할 수 있지만 multi-step edit에서는 실패할 수 있습니다. agent 작업에서는 tool call의 작은 formatting 오류도 문제가 되기 때문입니다. sample prompt 대신 자신의 repository에서 실제 task 하나를 사용해 테스트합니다.

자체 모델로 coding agent를 실행하려면 GPU가 필요합니까?

실제로는 필요합니다. CPU 전용 inference도 동작하며 단일 질문에는 충분하지만, agent는 task마다 많은 request를 보내고 각 request에서 긴 history를 다시 읽습니다. 따라서 token rate가 느리면 2분짜리 task가 1시간으로 늘어납니다. ollama ps의 PROCESSOR column을 확인합니다. 100% CPU 또는 CPU/GPU split이 표시되면 CPU를 사용한다는 뜻이며 inference가 느려집니다. Unknown만으로는 CPU offloading을 확인할 수 없습니다.

이 글이 도움이 되었나요?

#ollama#coding-agent#openai-compatible#local-llm#self-hosted-ai