SSD Nodes Learn Hosting plans →
가이드 Matt Connor작성자 Matt Connor

VPS에서 Ollama로 실행할 GLM 모델과 RAM 요구량

GLM 5.2는 Ollama에서 cloud 전용입니다. VPS에는 실제 가중치를 내려받는 glm-4.7-flash가 맞으며, quantisation별 RAM 요구량과 태그 고정 방법을 확인합니다.

VPS에서 GLM 5.2를 실행할 수 있습니까?

네, 가능하지만 Ollama의 공식 태그를 통해서는 불가능합니다. 2026년 10월 25일 기준으로 Ollama 라이브러리의 GLM 5.2는 정확히 하나의 태그인 glm-5.2:cloud만 제공합니다. :cloud 태그는 Ollama 서버에서 실행됩니다. 사용자의 서버는 프롬프트를 전송하고 토큰을 수신할 뿐이며, 모델 가중치는 사용자의 디스크에 저장되지 않습니다. Z.ai는 가중치를 공개하고 SGLang 및 vLLM을 이용한 로컬 배포 문서를 제공합니다. Z.ai의 자체 가중치 저장소에 따르면 이 모델은 약 7530억 개의 파라미터로 구성됩니다. 7530억 개의 파라미터에 대해 파라미터당 4비트를 적용하면 가중치 용량만 약 377 GB이며, 이는 컨텍스트, 활성화 값, 운영체제를 고려하기 전의 단순 계산 결과입니다. 시중의 VPS 플랜 중에는 이 메모리 용량을 초과하는 상품도 있습니다. 예를 들어 Paragon의 E-48 플랜은 512 GB RAM을 제공하며 가격은 월 580유로입니다.

임대 서버에서 실행 가능한 GLM 모델은 glm-4.7-flash입니다. 이 모델은 4개의 태그로 다운로드 가능한 가중치가 공개되어 있습니다. 이 모델은 Mixture-of-Experts 방식이므로 각 토큰을 처리할 때 네트워크의 일부만 활성화됩니다. Z.ai는 이를 30B-A3B 모델로 설명하는데, 전체 파라미터는 300억 개이며 토큰당 약 30억 개가 활성화됩니다. 따라서 이 가이드는 실제로 실행 가능한 모델에 대한 답변을 제공합니다. 태그를 고정하고, 서버 사양을 결정하고, 직접 속도를 측정하며, 엔드포인트를 비공개로 유지하십시오.

여기에 포함된 명령어를 포함하여 어떤 명령어를 복사하든 먼저 태그를 확인하십시오. Ollama 라이브러리는 예고 없이 변경됩니다. glm-4.7-flash 태그 목록을 열어 해당 태그가 여전히 존재하는지 확인하십시오. 로컬 가중치를 포함한 더 새로운 GLM 릴리스가 나왔다면 해당 버전을 우선적으로 사용하고, 실제로 테스트한 태그를 기록해 두십시오.

그럼에도 불구하고 GLM 5.2를 사용하고자 한다면 ollama signin 이후에 ollama run glm-5.2:cloud을 사용할 수 있으며, 클라이언트 측에서는 다른 Ollama 모델과 동일하게 작동합니다. 자신이 동의하는 내용을 이해해야 합니다. 프롬프트는 서버를 떠나 외부로 전송됩니다. 데이터를 로컬 머신에 유지하는 것이 자가 호스팅의 목적이라면, :cloud 태그는 해당 요구 사항을 충족하지 못합니다.

어떤 GLM 태그가 존재하며, 무엇을 고정해야 하는가

여기서는 두 가지 공식 GLM 항목이 중요합니다. glm-5.2는 Ollama 라이브러리에서 클라우드 전용입니다. glm-4.7-flash는 로컬용이며, 다음은 Ollama가 각 항목에 대해 나열한 다운로드 크기를 포함한 게시된 태그들입니다. 이전에 glm-5.1을 사용했다면, Ollama가 2026년 9월 25일에 해당 모델을 은퇴시켰으며 현재 라이브러리 페이지에는 모델이 나열되지 않는다는 점을 유의하십시오. Z.ai는 여전히 GLM-5.1 가중치를 게시하고 로컬 배포 문서를 제공하므로, Ollama의 은퇴가 모델을 다른 곳에서 사용할 수 없게 만드는 것은 아닙니다.

차트glm-4.7-flash tags in Ollama's library, checked 2026-10-25
이 차트의 데이터
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

위 수치는 라이브러리 페이지에 게시된 값이며, 실제 측정값이 아닙니다. latest과 q4_K_M은 모두 19 GB로 나열되어 있으므로, latest는 현재 Q4 빌드로 연결됩니다. 이는 재게시 시점에 언제든 변경될 수 있으므로, 스크립트나 Dockerfile에 ollama pull glm-4.7-flash을 단독으로 작성해서는 안 됩니다. 양자화 버전을 명시하십시오. 가장 큰 태그인 bf16은 양자화되지 않은 bfloat16 가중치를 포함하며 60 GB를 다운로드합니다.

라이브러리에서 검색하면 someuser/glm-5.2과 같이 이름에 슬래시가 포함된 네임스페이스 업로드도 나타납니다. 슬래시는 사용자 계정이 게시했음을 의미하며, 공식 항목이 아닌 커뮤니티 재업로드입니다. 내부에 어떤 가중치가 포함되어 있는지 보장하는 사람은 아무도 없습니다. 온라인에서 발견한 서명되지 않은 바이너리를 다루는 것과 동일한 방식으로 취급하십시오.

Ollama 설치 및 특정 태그 풀(pull)

Ollama의 Linux 설치 프로그램은 단 하나의 명령어로 실행됩니다.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

설치 프로그램은 ollama 사용자로 실행되는 systemd 서비스를 생성합니다. 모델을 풀(pull)하기 전에 서비스가 시작되었는지 확인하십시오.

systemctl status ollama --no-pager

Active: active (running)은 systemd가 서비스를 실행 중인 것으로 간주한다는 의미이며, API 준비 완료나 포트 수신 대기 상태를 보장하지는 않습니다. 기본 주소와 포트에서 curl -fsS http://127.0.0.1:11434/api/tags를 사용하여 API 상태를 별도로 확인하십시오. 만약 유닛이 존재하지 않는다면, 설치 프로그램이 일반 바이너리 설치로 대체된 것이므로 Ollama Linux 문서를 참조하여 서비스 파일을 직접 생성해야 합니다.

glm-4.7-flash 페이지에는 최소 Ollama 버전이 명시되어 있습니다. 이전 버전의 바이너리는 모델을 느리게 실행하는 것이 아니라, 아예 실행을 거부합니다. 모델이 더 최신 버전의 Ollama를 요구한다는 메시지와 함께 풀(pull)이 실패하게 됩니다. 이 경우 설치 스크립트를 다시 실행하여 업그레이드하십시오. 2026년 11월 2일 기준으로 최신 릴리스는 0.40.13이며, 이는 최소 요구 버전을 충분히 상회합니다.

이제 이름으로 태그 하나를 풀(pull)하십시오.

ollama pull glm-4.7-flash:q4_K_M
ollama ls

ollama ls 명령을 실행하면 glm-4.7-flash:q4_K_M이 표시되어야 하며, 크기는 공개된 19 GB와 비슷해야 합니다. 중간에 풀(pull)이 중단되면 실행 가능한 상태가 되지 않으므로, 동일한 명령을 다시 실행하십시오. 소규모 플랜을 사용하는 경우 풀(pull) 전에 디스크 공간을 확인하십시오. 표준 Linux 설치는 OLLAMA_MODELS로 위치를 변경하지 않는 한 /usr/share/ollama/.ollama/models 경로에 모델을 저장합니다. 시작하기 전에 df -h /usr/share/ollama으로 확인하십시오.

각 양자화 단계마다 필요한 RAM 용량은 얼마입니까?

다운로드 크기를 최소 기준으로 잡고 여기에 추가 용량을 더해야 합니다. 가중치는 반드시 메모리에 상주해야 합니다. 그 위로 대화 중인 토큰을 기억하기 위해 런타임이 사용하는 메모리인 KV 캐시(key/value cache)가 올라가며, 여기에 연산 버퍼와 운영체제가 사용하는 메모리가 추가됩니다. 정확히 19 GB의 RAM을 가진 장비에서는 19 GB 태그 모델을 실행할 수 없습니다.

모두에게 적용되는 단일 승수는 존재하지 않습니다. KV 캐시 크기는 허용하는 컨텍스트 길이에 따라 증가하며, 나머지 요소는 런타임 버전에 따라 달라지기 때문입니다. 따라서 추측하지 말고 측정하십시오. 간단한 프롬프트로 모델을 로드한 뒤 서버가 예약한 메모리 양을 확인하십시오.

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps은 로드된 모델을 SIZE 열과 PROCESSOR 열로 출력합니다. SIZE는 런타임이 실제로 예약한 메모리이며, 이 수치를 계획 중인 용량과 비교해야 합니다. PROCESSOR는 작업이 수행되는 위치를 알려주며, 100% CPU은 GPU가 전혀 사용되지 않았음을 의미합니다.

모델이 메모리에 맞지 않으면 Ollama는 생성 시작 전에 로드 오류를 반환할 수 있습니다. 스왑 압박이나 OOM(out-of-memory) 킬러에 의한 프로세스 종료도 발생할 수 있습니다. 모든 메모리 오류가 조용히 처리된다고 가정하지 말고, journalctl -u ollama --no-pager로 서비스 로그를 확인하고 journalctl -k | grep -i "out of memory"로 커널 로그를 확인하십시오.

19 GB Q4 태그에서 32 GB Q8 태그로 넘어가는 것이 메모리 사용량을 조절하는 가장 큰 수단입니다. Q4는 출력 품질의 일부를 희생하며, 그 정도는 작업에 따라 다릅니다. 일반적인 대화보다는 구조화된 출력이나 긴 추론 과정에서 품질 저하가 더 두드러집니다. Q4, Q8, FP16의 실제 차이점 문서는 결정을 내리기 전에 읽어볼 가치가 있습니다. CPU 전용 VPS 환경에서는 양자화 선택 여부가 모델의 실행 가능 여부를 결정짓는 경우가 많기 때문입니다.

CPU 전용 VPS에서 발생하는 일

대부분의 VPS 요금제에는 GPU가 없으며, Ollama는 별도 경고 없이 CPU에서 모델을 실행한다. 결과를 실제로 사용할 수 있는지는 작업 부하와 사용자의 인내심에 따라 달라진다.

mixture-of-experts 구조는 속도 향상에 도움이 된다. 각 토큰을 처리할 때 300억 개 파라미터 중 약 30억 개만 사용하므로, 토큰당 연산량이 dense 30B 모델에 필요한 양보다 훨씬 적다. 줄어들지 않는 것은 메모리다. 다음 토큰에 어떤 expert를 선택할지 router가 결정할 수 있으므로 모든 expert가 메모리에 상주해야 한다. 따라서 CPU 전용 시스템도 Q4 tag에 필요한 전체 19 GB 이상을 확보해야 하며, 처리량은 clock speed보다 대부분 memory bandwidth의 영향을 받는다.

이로 인해 실무에서는 같은 core 수와 같은 RAM을 제공하는 두 요금제라도 memory subsystem의 차이 때문에 생성 속도가 눈에 띄게 다를 수 있다. shared plan에서는 변수가 하나 더 생긴다. 시끄러운 이웃 사용자의 CPU steal time이 시간에 따라 달라지는 tokens-per-second 수치로 나타나기 때문이다. 따라서 다른 사람이 공개한 수치로 사용자의 결과를 예측할 수 없으며, 다음 섹션이 결과표가 아니라 측정 절차를 설명하는 이유도 여기에 있다.

직접 초당 토큰 수 측정하기

Ollama의 generate endpoint는 최종 JSON 객체에 시간 측정 필드를 반환한다. 생성된 토큰 수를 생성 시간으로 나누면 현재 요금제와 프롬프트에서의 초당 토큰 수를 확인할 수 있다.

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count은 생성된 토큰 수이고 eval_duration는 토큰을 생성하는 데 걸린 나노초이므로, eval_count / eval_duration * 1e9은 초당 토큰 수다. prompt_eval_duration는 프롬프트를 읽는 데 걸린 시간이다. 사용자가 처음 토큰이 나타날 때까지 기다리는 시간은 이 값에 해당한다. load_duration는 디스크에서 모델을 로드하는 데 걸린 시간이다. 따라서 재시작 후 첫 번째 호출에서는 값이 크고, 다음 호출에서는 거의 0에 가깝다.

3번 실행하고 두 번째와 세 번째 결과를 사용한다. 첫 번째 실행에는 모델 로드 시간이 포함되기 때문이다. 그런 다음 훨씬 긴 프롬프트로 다시 실행한다. 프롬프트 처리 시간은 입력 길이에 따라 증가하지만 생성 속도는 그렇지 않기 때문이다. 요금제 이름과 양자화 방식 옆에 수치를 기록한다. 이 기록은 사용 중인 하드웨어에서 직접 측정한 결과이므로, 다른 곳에서 확인한 어떤 벤치마크보다 유용하다.

컨텍스트 길이에 따라 메모리 사용량이 증가하는 방식

GPU가 없거나 VRAM이 24 GiB 미만인 서버에서 Ollama는 기본적으로 4096 토큰 컨텍스트를 사용한다. 모델이 지원한다고 명시한 컨텍스트는 이보다 훨씬 긴 198K 토큰이며, glm-4.7-flash에서 그 값을 확인할 수 있다. 하지만 기본 설정에서는 이 길이를 사용하지 않으며, 활성화해도 메모리 비용이 발생한다.

KV 캐시는 모든 레이어에서 토큰마다 key 벡터 1개와 value 벡터 1개를 저장한다. 따라서 허용하는 토큰 수에 비례해 크기가 선형으로 증가한다. 컨텍스트를 4096 토큰에서 32768 토큰으로 늘리면 컨텍스트 길이가 8배가 되므로 KV 캐시도 대략 8배가 된다. 가중치만 간신히 수용하도록 구성된 서버에서는 이 추가 할당 때문에 swap이 발생한다. 그래서 짧은 프롬프트에는 잘 응답하던 시스템이 긴 문서를 붙여 넣는 순간 갑자기 느려진다. 같은 서버에서 더 긴 컨텍스트가 필요하다면 f16 대신 q8_0에 KV 캐시 저장을 사용해 가중치에는 손대지 않고 해당 할당량을 대략 절반으로 줄일 수 있다. Ollama FAQ에 따르면 q8_0의 메모리 사용량은 f16의 약 절반이다. f16는 OLLAMA_KV_CACHE_TYPE의 기본값이다. 양자화된 캐시는 flash attention이 활성화된 경우에만 적용된다. Ollama는 백엔드와 장치가 지원하면 flash attention을 자동으로 활성화하며, OLLAMA_FLASH_ATTENTION=1는 이를 강제로 활성화한다.

위의 curl 명령과 같이 options 객체에서 num_ctx를 지정해 요청별로 설정하거나 서버 기본값을 변경한다.

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

마지막 명령은 OLLAMA_CONTEXT_LENGTH 값을 출력해야 한다. 빈 Environment=이 출력되면 override 파일이 잘못된 디렉터리에 있거나 reload를 건너뛴 것이다. 다음 모델을 로드한 뒤에는 ollama ps에 4096으로 설정했을 때보다 눈에 띄게 큰 SIZE가 표시되어야 한다. 값을 단계적으로 높이고 매번 해당 수치를 확인한다. num_ctx로 Ollama 컨텍스트 길이 설정에서는 이 설정이 keep-alive 및 병렬 요청과 어떻게 상호작용하는지 설명한다. 두 기능 모두 같은 비용을 증가시킨다. 둘 이상의 클라이언트가 서버를 사용할 예정이라면 컨텍스트와 동시에 동시성 제한도 정해야 한다. 각 병렬 슬롯은 자체 KV 캐시를 사용하며 queue 설정에 따라 두 번째 요청을 대기시키거나 즉시 거부한다.

API 비용이 서버보다 저렴한 경우

셀프 호스팅이 항상 더 저렴한 것은 아니다. 이 모델군에서는 공개된 정가가 그 점을 특히 분명하게 보여 준다.

차트Z.ai published list prices per million tokens, checked 2026-10-25
이 차트의 데이터
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

2026년 10월 25일 기준으로 Z.ai는 GLM-5.2의 입력 토큰 100만 개당 가격을 $1.4, 출력 토큰 100만 개당 가격을 $4.4로 책정하고 있다. 이 가이드에서 로컬로 실행하는 모델인 GLM-4.7-Flash는 입력과 출력 모두 토큰 100만 개당 $0이다. 이 가격은 공개된 정가이며 변동될 수 있다. 어느 쪽을 기준으로 예산을 계획하기 전에 현재 가격 페이지를 확인해야 한다.

따라서 현재 셀프 호스팅의 비용 절감 근거 glm-4.7-flash는 약하다. 충분한 RAM을 갖춘 VPS에는 매달 실제 비용이 발생하지만, 제공업체는 같은 모델을 무료로 제공한다. 직접 실행해서 얻는 이점은 비용과 다르다. 프롬프트가 자신이 관리하는 장비에 계속 남고, 직접 변경하지 않는 한 모델 버전이 바뀌지 않는다. 이는 셀프 호스팅을 선택할 만한 타당한 이유다. 하지만 이 모델을 현재 가격으로 사용할 때 비용은 그 이유가 아니다.

원하는 모델이 무료가 아니거나, 법률상 데이터를 자체 네트워크 밖으로 보낼 수 없다면 계산 결과가 달라진다. GPU VPS와 API 토큰의 손익분기점에서는 각 변수를 명시해 그 계산 과정을 설명한다. 아직 장비를 선택하는 중이라면 VPS의 실제 월 비용에서 계산의 나머지 절반을 확인할 수 있다.

엔드포인트를 localhost로 유지하기

이 단계는 사람들이 가장 많이 건너뛰지만, 가장 중요한 부분입니다.

Ollama는 기본적으로 127.0.0.1의 11434 포트에 바인딩되므로 서버 내부에서만 접근할 수 있습니다. 추측하지 말고 본인의 서버에서 직접 확인하십시오.

ss -ltnp | grep 11434

127.0.0.1:11434가 출력되어야 합니다. 0.0.0.0:11434이나 *:11434이 보인다면 API가 공용 인터페이스를 포함한 모든 인터페이스에서 수신 대기 중이라는 의미입니다.

이는 중요한 문제입니다. Ollama의 로컬 API는 기본적으로 인증을 요구하지 않기 때문입니다. 비밀번호, 토큰, 허용 목록이 없습니다. 11434 포트에 접근할 수 있는 사람은 누구나 모델 목록을 확인하고, 사용자가 비용을 지불하는 하드웨어에서 생성 작업을 수행하며, 디스크가 가득 찰 때까지 새로운 모델을 내려받거나 기존 모델을 삭제할 수 있습니다. 11434 포트는 잘 알려진 기본 포트이며, OLLAMA_HOST를 사용하면 바인딩 주소와 포트를 모두 변경할 수 있습니다.

OLLAMA_HOST=0.0.0.0은 설정하지 마십시오. 이 변수는 Ollama가 바인딩되는 주소를 변경하며, 많은 튜토리얼에서 노트북의 클라이언트가 연결되지 않을 때 해결책으로 제시합니다. 이는 잘못된 해결책입니다. 대신 포트 포워딩을 사용하십시오.

ssh -N -L 11434:127.0.0.1:11434 you@your-server

SSH는 노트북의 11434 포트에서 수신 대기하다가 각 연결을 서버 기준의 127.0.0.1:11434로 전달하며, 이곳은 Ollama가 이미 기본적으로 수신 대기 중인 위치입니다. 따라서 터널은 OLLAMA_HOST를 변경할 필요가 없으며, http://localhost:11434로 설정된 모든 클라이언트는 수정 없이 작동하고, 새로운 포트가 외부로 노출되지도 않습니다. 여러 사람이나 여러 기기를 사용하는 경우, 서버를 사설 터널 네트워크에 두고 Ollama를 해당 터널 주소에 바인딩하십시오. 절대 0.0.0.0에 바인딩해서는 안 됩니다.

서버가 아닌 다른 곳에서 확인하십시오. SSH 터널을 닫은 상태에서 노트북으로 다음을 실행합니다.

curl -m 5 http://your-server-ip:11434/api/tags

curl: (28) Connection timed out 또는 curl: (7) Failed to connect이 올바른 결과입니다. 모델의 JSON 목록이 출력된다면 포트가 인터넷에 열려 있는 것이므로 즉시 수정해야 합니다. 제공업체의 네트워크 방화벽은 서버에서 실행 중인 방화벽과는 별개의 제어 수단이므로 둘 다 확인하십시오. VPS 호스팅의 안전성에 관한 더 넓은 질문에서 상시 운영되는 서버의 나머지 기본 보안 사항을 다룹니다.

glm-4.7-flash도 여전히 너무 큰 경우

Q4 태그가 계획한 리소스에 맞지 않는다면 컨텍스트를 줄이지 말고 더 작은 모델을 선택해야 한다. 모델을 적재하기 위해 컨텍스트를 줄이면 로드되기만 하고 긴 프롬프트가 처음 입력되는 순간 실패한다. VPS에서 8B 및 27B 크기로 실행하는 Qwen 3에서는 사양이 낮은 서버에 적합한 크기로 동일한 설치 과정을 설명한다. VPS에서 Ollama로 LLM을 자체 호스팅하는 일반 가이드에서는 어떤 모델을 선택하든 동일하게 적용되는 부분을 다룬다. 어떤 모델을 선택하든 태그를 고정하고 자체 요금제에서 성능을 측정하며 endpoint는 loopback에 유지해야 한다.

FAQ

GLM 5.2를 VPS에서 로컬로 실행할 수 있습니까?

네, Z.ai가 공개한 가중치와 SGLang 또는 vLLM과 같은 지원되는 런타임을 사용하면 가능합니다. 2026년 10월 25일 기준으로, GLM 5.2는 Ollama 라이브러리에 glm-5.2:cloud라는 태그로만 존재하며, 이는 Ollama 자체 인프라에서 실행되고 작동하려면 ollama signin이 필요합니다. Z.ai의 가중치 저장소에 따르면 이 모델은 약 7530억 개의 파라미터를 가지므로, 파라미터당 4비트로 계산해도 가중치만 약 377 GB에 달합니다. Paragon의 512 GB E-48을 포함하여 공개된 고메모리 VPS 플랜들은 이 수치를 상회하지만, 런타임 오버헤드와 컨텍스트를 위한 여유 공간이 여전히 필요합니다. 이 가이드에서 사용된 다운로드 가능한 가중치를 가진 더 작은 GLM 모델은 glm-4.7-flash입니다.

glm-4.7-flash는 어느 정도의 RAM이 필요합니까?

태그의 다운로드 크기를 최소치로 간주하고 그 위에 KV 캐시와 운영 체제를 위한 공간을 추가하십시오. Ollama는 Q4 태그를 19 GB, Q8 태그를 32 GB, bfloat16 태그를 60 GB로 나열합니다. KV 캐시는 설정한 컨텍스트 길이에 따라 증가하므로 모든 사용자에게 적용되는 고정된 배율은 없습니다. 모델을 로드하고 ollama ps를 실행한 다음, 본인의 서버에서 실제 수치를 확인하려면 SIZE 열을 읽으십시오.

VPS에서 초당 토큰 수를 어떻게 측정합니까?

"stream": false를 사용하여 http://localhost:11434/api/generate로 요청을 하나 보낸 다음, 응답에서 eval_count과 eval_duration을 읽으십시오. eval_duration은 나노초 단위로 보고되므로, 초당 토큰 수는 eval_count / eval_duration * 1e9입니다. 첫 번째 실행은 디스크에서 가중치를 읽는 과정이 load_duration에 포함되므로 제외하십시오. 또한 긴 프롬프트를 사용하여 반복 측정하십시오. 입력 길이에 따라 prompt_eval_duration는 증가하지만 생성 속도는 일정하게 유지되기 때문입니다.

OLLAMA_HOST를 0.0.0.0으로 설정하면 안 되는 이유는 무엇입니까?

Ollama의 로컬 API는 기본적으로 인증을 요구하지 않으므로, 0.0.0.0에 바인딩하면 모든 IPv4 인터페이스에 노출되기 때문입니다. 이 경우 공개 접근 여부는 라우팅과 방화벽 설정에 따라 결정됩니다. 포트 11434에 접근할 수 있는 사람은 누구나 귀하의 하드웨어에서 모델을 생성하고 설치된 모델을 변경할 수 있습니다. 기본값인 127.0.0.1 바인딩을 유지하고 ss -ltnp | grep 11434로 확인한 뒤, ssh -N -L 11434:127.0.0.1:11434 you@your-server와 같은 SSH 터널을 통해 노트북에서 API에 접근하십시오.

이 글이 도움이 되었나요?