Chạy GLM trên VPS với Ollama: chọn model đúng
GLM 5.2 trên Ollama chỉ chạy cloud, không tải weights về VPS. Xem model GLM phù hợp và RAM cần cho từng quantisation trước khi thuê máy.
Bạn có thể chạy GLM 5.2 trên VPS không?
Có, nhưng không dùng tag chính thức của Ollama. Tính đến ngày 25 tháng 10 năm 2026, GLM 5.2 trong library của Ollama chỉ có đúng một tag là glm-5.2:cloud. Tag :cloud chạy trên server của Ollama. Máy của bạn gửi prompt và nhận các token, nên weights không bao giờ được ghi vào disk. Z.ai công bố weights và hướng dẫn triển khai local bằng SGLang và vLLM. Repository weights của chính Z.ai cho biết model này có khoảng 753 tỷ parameters. Bốn bits cho mỗi parameter trên 753 tỷ parameters tương đương khoảng 377 GB weights. Đây mới chỉ là phép tính cơ bản, chưa tính context, activations hoặc operating system. Các gói VPS được công bố đều có thể vượt mức memory này: Paragon niêm yết E-48 với 512 GB RAM ở mức €580/tháng.
Model GLM phù hợp với server bạn thuê là glm-4.7-flash. Model này được phát hành kèm weights có thể download trong 4 tag. Đây là model mixture-of-experts, nghĩa là chỉ một phần nhỏ của network chạy cho mỗi token. Z.ai mô tả model này là 30B-A3B: tổng cộng 30 tỷ parameters, trong đó khoảng 3 tỷ parameters active cho mỗi token. Vì vậy, guide này tập trung vào câu hỏi bạn có thể hành động ngay. Cố định một tag, chọn cấu hình máy phù hợp, đo tốc độ thực tế của bạn và giữ endpoint ở chế độ private.
Hãy xác minh tag trước khi copy bất kỳ command nào, kể cả các command trong phần này. Library của Ollama có thể thay đổi mà không báo trước. Mở danh sách tag của glm-4.7-flash và xác nhận tag đó vẫn tồn tại. Nếu đã có GLM release mới hơn kèm weights để chạy local, hãy ưu tiên release đó và ghi lại tag bạn đã thực sự test.
Nếu bạn vẫn muốn dùng chính GLM 5.2, ollama run glm-5.2:cloud hoạt động sau ollama signin, và từ phía client, model này hoạt động như mọi model Ollama khác. Hãy hiểu rõ điều bạn chấp nhận: prompt rời khỏi server của bạn. Nếu lý do bạn self-host là dữ liệu phải ở lại trên máy của bạn, tag :cloud không đáp ứng được yêu cầu đó.
Các tag GLM nào tồn tại và nên pin tag nào
Hai entry GLM chính thức có liên quan ở đây. glm-5.2 chỉ có trên cloud trong library của Ollama. glm-4.7-flash là bản chạy local, với các tag đã publish và dung lượng download mà Ollama liệt kê cho từng tag như sau. Nếu trước đây bạn đã dùng glm-5.1, lưu ý rằng Ollama đã ngừng cung cấp tag này vào ngày 25 September 2026 và trang library hiện không còn liệt kê model nào. Z.ai vẫn publish weight GLM-5.1 và tài liệu triển khai local, nên việc Ollama ngừng cung cấp không có nghĩa là model này không còn khả dụng ở nơi khác.
Dữ liệu đằng sau biểu đồ này
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]Đây là các số liệu được publish trên trang library, không phải kết quả đo. latest và q4_K_M đều được liệt kê ở mức 19 GB, nên hiện tại latest trỏ đến bản build Q4. Điều này có thể thay đổi sau bất kỳ lần publish lại nào. Vì vậy, bạn không bao giờ được ghi ollama pull glm-4.7-flash không kèm quantisation vào script hoặc Dockerfile. Hãy ghi rõ quantisation. Tag lớn nhất, bf16, là bản download 60 GB chứa weight bfloat16 chưa quantize.
Kết quả tìm kiếm trên library cũng có các upload namespaced chứa dấu slash trong tên, chẳng hạn someuser/glm-5.2. Dấu slash cho biết upload do một user account publish, nên đây là bản re-upload từ community thay vì entry chính thức. Không ai đảm bảo bên trong có weight nào. Hãy xử lý nó như một binary chưa được ký mà bạn tìm thấy trên Internet.
Cài Ollama và pull đúng tag
Trình cài đặt Ollama trên Linux chỉ cần một lệnh.
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionTrình cài đặt tạo một systemd service chạy dưới user ollama. Xác nhận service đã khởi động trước khi pull model.
systemctl status ollama --no-pagerActive: active (running) có nghĩa là systemd xem service đang chạy; điều này không xác nhận API đã sẵn sàng hoặc port đang listening. Kiểm tra API riêng bằng curl -fsS http://127.0.0.1:11434/api/tags tại địa chỉ và port mặc định. Nếu unit không tồn tại, trình cài đặt đã chuyển sang cài binary thuần, và tài liệu Ollama cho Linux cung cấp service file để bạn tự tạo.
Trang glm-4.7-flash liệt kê version Ollama tối thiểu. Binary cũ không chạy model chậm hơn; nó từ chối model: lệnh pull fail với thông báo model yêu cầu version Ollama mới hơn. Chạy lại install script để upgrade. Tính đến ngày 2 November 2026, release hiện tại là 0.40.13, cao hơn nhiều so với mức tối thiểu đó.
Bây giờ pull một tag theo tên.
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls phải liệt kê glm-4.7-flash:q4_K_M với dung lượng gần 19 GB như đã công bố. Nếu pull fail giữa chừng thì không có gì có thể chạy được, vì vậy hãy chạy lại đúng lệnh đó. Với gói tài nguyên nhỏ, kiểm tra dung lượng disk trước khi pull: bản cài Linux tiêu chuẩn ghi model vào /usr/share/ollama/.ollama/models, trừ khi bạn đổi vị trí bằng OLLAMA_MODELS. Kiểm tra bằng df -h /usr/share/ollama trước khi bắt đầu.
Mỗi quantisation cần bao nhiêu RAM?
Hãy lấy kích thước download làm mức tối thiểu, rồi cộng thêm các phần khác. Weights phải thường trú trong memory. Bên trên chúng là KV cache (key/value cache), tức phần memory runtime dùng để ghi nhớ các token đã có trong cuộc hội thoại, cùng với các compute buffer và phần memory hệ điều hành đang sử dụng. Một máy có đúng 19 GB RAM sẽ không chạy được tag 19 GB.
Không có một hệ số cố định nào đúng cho mọi trường hợp, vì KV cache tăng theo context length bạn cho phép, còn các phần khác thay đổi giữa các phiên bản runtime. Vì vậy, hãy đo thay vì đoán. Load model bằng một prompt đơn giản, rồi đọc lượng memory server đã reserve.
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psollama ps in model đã load cùng với cột SIZE và cột PROCESSOR. SIZE là lượng memory runtime thực sự đã reserve; hãy dùng con số này để so với kế hoạch của bạn. PROCESSOR cho biết tác vụ được thực hiện ở đâu, nên 100% CPU có nghĩa là hoàn toàn không dùng GPU.
Khi model không vừa, Ollama có thể trả về lỗi load trước khi bắt đầu generation. Swap pressure và việc bị kill do out-of-memory cũng có thể xảy ra. Kiểm tra log của service bằng journalctl -u ollama --no-pager và log của kernel bằng journalctl -k | grep -i "out of memory" thay vì mặc định rằng mọi lỗi memory đều không để lại dấu hiệu.
Chuyển từ tag Q4 19 GB sang tag Q8 32 GB là yếu tố chính bạn có thể điều chỉnh đối với con số này. Q4 làm giảm một phần chất lượng output; mức giảm phụ thuộc vào tác vụ, trong đó structured output và các chuỗi reasoning dài bị ảnh hưởng nhiều hơn chat thông thường. Q4, Q8 và FP16 khác nhau như thế nào trong thực tế đáng đọc trước khi bạn quyết định, vì trên VPS chỉ có CPU, lựa chọn quantisation thường quyết định model có chạy được hay không.
Điều gì xảy ra trên VPS chỉ có CPU
Hầu hết các gói VPS không có GPU. Ollama sẽ chạy model trên CPU mà không cảnh báo. Kết quả có dùng được hay không phụ thuộc vào workload và mức độ bạn có thể chờ.
Thiết kế mixture-of-experts giúp tăng tốc độ. Với mỗi token, chỉ khoảng 3 tỷ trong tổng số 30 tỷ parameter được sử dụng. Vì vậy, lượng phép tính cho mỗi token nhỏ hơn nhiều so với model dense 30B. Nhưng bộ nhớ thì không giảm. Mọi expert phải luôn nằm trong memory, vì router có thể chọn bất kỳ expert nào cho token tiếp theo. Do đó, máy chỉ có CPU vẫn cần toàn bộ 19 GB hoặc hơn cho tag Q4. Throughput của nó chủ yếu phụ thuộc vào memory bandwidth, không phải clock speed.
Điều này có một hệ quả thực tế: hai gói có cùng số core và cùng dung lượng RAM vẫn có thể tạo token ở tốc độ khác nhau rõ rệt vì hệ thống memory của chúng khác nhau. Gói shared còn có thêm một biến số, vì thời gian CPU bị hàng xóm gây nhiễu lấy mất xuất hiện dưới dạng tốc độ token mỗi giây thay đổi theo từng giờ. Đây là lý do số liệu do người khác công bố không dự đoán được kết quả của bạn, đồng thời là lý do section tiếp theo đưa ra một quy trình đo thay vì một bảng kết quả.
Đo tokens mỗi giây trên hệ thống của bạn
Endpoint generate của Ollama trả về các trường thời gian trong object JSON cuối cùng. Lấy số token đã sinh chia cho thời lượng sinh là bạn có tốc độ tokens mỗi giây trên plan và prompt của mình.
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count là số token đã được sinh, còn eval_duration là số nanosecond đã dùng để sinh chúng, nên eval_count / eval_duration * 1e9 là số token mỗi giây. prompt_eval_duration là thời gian đọc prompt, tương ứng với khoảng chờ trước khi token đầu tiên xuất hiện. load_duration là thời gian nạp model từ disk, nên giá trị này lớn ở lần gọi đầu tiên sau khi restart và gần bằng 0 ở lần gọi tiếp theo.
Hãy chạy 3 lần và giữ kết quả lần thứ 2 và lần thứ 3, vì lần đầu có cả thời gian nạp model. Sau đó chạy lại với prompt dài hơn nhiều, vì thời gian xử lý prompt tăng theo độ dài input còn tốc độ sinh token thì không. Ghi các con số này cạnh tên plan và quantisation của bạn. Bản ghi đó có giá trị hơn mọi benchmark bạn đọc, vì nó được đo trên phần cứng mà bạn đang trả tiền để sử dụng.
Cách độ dài context làm tăng mức sử dụng bộ nhớ
Trên máy không có GPU hoặc có ít hơn 24 GiB VRAM, Ollama mặc định dùng context 4096 token. Mô hình công bố khả năng lớn hơn nhiều, 198K token cho glm-4.7-flash, nhưng mặc định bạn không nhận được mức đó. Bật mức đó cũng làm tăng mức sử dụng bộ nhớ.
KV cache lưu một key vector và một value vector cho mỗi token, trong mỗi layer. Kích thước của cache tăng tuyến tính theo số token bạn cho phép. Tăng từ 4096 lên 32768 token nghĩa là context tăng 8 lần, nên KV cache cũng tăng khoảng 8 lần. Trên máy chỉ vừa đủ chỗ cho các trọng số, phần cấp phát thêm này sẽ đẩy hệ thống vào swap. Vì vậy, một máy xử lý tốt các prompt ngắn có thể đột nhiên chạy rất chậm khi ai đó dán vào một tài liệu dài. Nếu cần context dài hơn trên cùng máy đó, lưu KV cache ở q8_0 thay vì f16 sẽ giảm khoảng một nửa phần cấp phát này mà không thay đổi các trọng số. FAQ của Ollama cho biết q8_0 dùng khoảng một nửa bộ nhớ so với f16, vốn là mặc định cho OLLAMA_KV_CACHE_TYPE. Cache đã quantize chỉ hoạt động khi flash attention được bật. Ollama tự bật flash attention khi backend và thiết bị hỗ trợ, còn OLLAMA_FLASH_ATTENTION=1 sẽ buộc bật tính năng này.
Đặt giá trị này cho từng request bằng num_ctx trong options object, như trong lệnh curl ở trên, hoặc thay đổi giá trị mặc định của server.
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=EnvironmentLệnh cuối cùng phải in ra giá trị OLLAMA_CONTEXT_LENGTH. Nếu in ra Environment= rỗng, file override nằm sai thư mục hoặc quá trình reload đã bị bỏ qua. Sau lần load model tiếp theo, ollama ps phải hiển thị SIZE lớn hơn rõ rệt so với khi dùng 4096. Tăng giá trị theo từng bước và kiểm tra con số đó mỗi lần. Đặt độ dài context của Ollama bằng num_ctx giải thích cách thiết lập này tương tác với keep-alive và các request song song; cả hai đều làm tăng cùng một loại chi phí. Nếu server sẽ được nhiều client sử dụng, hãy chốt giới hạn concurrency cùng lúc với context, vì mỗi slot song song có KV cache riêng và thiết lập queue quyết định request thứ hai phải chờ hay bị từ chối ngay.
Khi API rẻ hơn máy chủ
Tự host không phải lúc nào cũng rẻ hơn, và với dòng model này, giá niêm yết hiện tại thể hiện điều đó đặc biệt rõ.
Dữ liệu đằng sau biểu đồ này
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]Tính đến ngày 25 October 2026, Z.ai niêm yết GLM-5.2 ở mức $1.4 cho mỗi triệu input token và $4.4 cho mỗi triệu output token. Họ niêm yết GLM-4.7-Flash, model mà hướng dẫn này chạy locally, ở mức $0 cho cả hai chiều. Đây là giá đã công bố và có thể thay đổi, vì vậy hãy kiểm tra trang hiện tại trước khi lập ngân sách dựa trên một trong hai mức giá này.
Vì vậy, lập luận về chi phí cho việc self-host glm-4.7-flash hiện khá yếu. Một VPS có đủ RAM tốn chi phí thực mỗi tháng, trong khi nhà phát hành cung cấp cùng model miễn phí. Khi tự chạy model, bạn có được những lợi ích khác: prompt vẫn nằm trên máy do bạn kiểm soát, và phiên bản model không bao giờ thay đổi trừ khi bạn tự thay đổi. Đó là những lý do hợp lý để self-host. Với model này và mức giá hiện tại, chi phí không phải là một trong số đó.
Phép tính sẽ đảo chiều khi model bạn muốn không miễn phí, hoặc khi dữ liệu của bạn không được phép rời khỏi network của chính bạn theo quy định pháp luật. Điểm hòa vốn giữa GPU VPS và API token trình bày phép tính đó với từng biến được nêu rõ. Nếu bạn vẫn đang chọn máy, chi phí thực tế mỗi tháng của một VPS là nửa còn lại của phép tính.
Giữ endpoint trên localhost
Đây là bước mọi người thường bỏ qua, nhưng lại là bước quan trọng nhất.
Theo mặc định, Ollama bind vào 127.0.0.1 trên port 11434, nên chỉ có thể truy cập từ chính server. Hãy xác nhận trên máy của bạn, đừng chỉ giả định.
ss -ltnp | grep 11434Bạn cần thấy 127.0.0.1:11434. Nếu thấy 0.0.0.0:11434 hoặc *:11434 thì API đang listen trên mọi interface, bao gồm cả interface public.
Điều này quan trọng vì local API của Ollama mặc định không yêu cầu authentication. Không có password, token hay allowlist. Bất kỳ ai truy cập được port 11434 đều có thể liệt kê model, chạy generation trên hardware mà bạn đang trả phí, pull model mới vào disk cho đến khi disk đầy, và xóa các model hiện có. Port 11434 là port mặc định phổ biến; OLLAMA_HOST có thể thay đổi cả bind address lẫn port.
Không được đặt OLLAMA_HOST=0.0.0.0. Biến này thay đổi address mà Ollama bind vào, và nhiều tutorial đề xuất dùng nó để xử lý trường hợp client trên laptop không kết nối được. Đây là cách sửa sai. Thay vào đó, hãy forward port.
ssh -N -L 11434:127.0.0.1:11434 you@your-serverSSH listen trên port 11434 của laptop và forward từng connection đến 127.0.0.1:11434 theo góc nhìn của server. Đây là nơi Ollama đã listen theo mặc định. Vì vậy tunnel không cần thay đổi OLLAMA_HOST, mọi client được cấu hình cho http://localhost:11434 vẫn hoạt động như cũ, và không có gì mới bị expose. Nếu có nhiều người hoặc nhiều máy cần truy cập, hãy đặt server trong một private tunnel network và bind Ollama vào tunnel address, không bao giờ bind vào 0.0.0.0.
Hãy verify từ một nơi khác với server. Từ laptop, khi SSH tunnel đã đóng:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out hoặc curl: (7) Failed to connect là kết quả đúng. Nếu nhận được JSON list chứa các model của bạn thì port đang mở ra Internet và cần xử lý ngay. Network firewall của nhà cung cấp là một lớp kiểm soát riêng với firewall đang chạy trên server, nên hãy kiểm tra cả hai. Câu hỏi rộng hơn về việc VPS hosting có an toàn không trình bày các yêu cầu baseline còn lại cho một máy được để chạy liên tục.
Nếu glm-4.7-flash vẫn quá lớn
Khi tag Q4 không phù hợp với gói VPS của bạn, cách xử lý là dùng model nhỏ hơn, không phải giảm context. Giảm context để cố nhét model vào sẽ chỉ tạo ra một model tải được nhưng fail ngay ở prompt dài đầu tiên. Qwen 3 ở 8B và 27B trên VPS hướng dẫn cùng quy trình cài đặt với các kích thước phù hợp cho VPS cấu hình vừa phải, còn hướng dẫn chung về self-host LLM bằng Ollama trên VPS trình bày những phần không thay đổi dù bạn chọn model nào. Dù chọn model nào, hãy cố định tag, đo hiệu năng trên chính gói VPS của bạn và để endpoint chỉ listen trên loopback.
FAQ
GLM 5.2 có chạy cục bộ trên VPS được không?
Có, bằng weights do Z.ai công bố và một runtime được hỗ trợ như SGLang hoặc vLLM. Tính đến ngày 25 tháng 10 năm 2026, GLM 5.2 chỉ tồn tại trong thư viện của Ollama dưới dạng glm-5.2:cloud. Tag này chạy trên hạ tầng của Ollama và cần ollama signin trước khi hoạt động. Repository weights của Z.ai cho biết model có khoảng 753 tỷ parameter. Vì vậy, ngay cả khi dùng 4 bit cho mỗi parameter, riêng weights cũng cần khoảng 377 GB. Các gói VPS có RAM lớn được công bố đều vượt mức này, trong đó có Paragon E-48 với 512 GB. Tuy nhiên, bạn vẫn cần chừa chỗ cho overhead của runtime và context. Model GLM nhỏ hơn có weights cho phép download được dùng trong hướng dẫn này là glm-4.7-flash.
glm-4.7-flash cần bao nhiêu RAM?
Hãy xem kích thước download của tag là mức tối thiểu, sau đó cộng thêm dung lượng cho KV cache và hệ điều hành. Ollama liệt kê tag Q4 là 19 GB, Q8 là 32 GB và tag bfloat16 là 60 GB. Không có một hệ số cố định nào phù hợp cho mọi trường hợp, vì KV cache tăng theo context length bạn đặt. Hãy load model, chạy ollama ps, rồi đọc cột SIZE để biết con số thực tế trên máy của bạn.
Làm thế nào để đo số token mỗi giây trên VPS của tôi?
Gửi một request đến http://localhost:11434/api/generate với "stream": false, rồi đọc eval_count và eval_duration trong response. Số token mỗi giây là eval_count / eval_duration * 1e9, vì eval_duration được báo cáo theo nanosecond. Bỏ qua lần chạy đầu tiên, vì load_duration trong lần đó bao gồm thời gian đọc weights từ disk. Đồng thời lặp lại phép đo với prompt dài, vì prompt_eval_duration tăng theo độ dài input còn tốc độ generation thì không.
Vì sao không nên đặt OLLAMA_HOST thành 0.0.0.0?
Vì local API của Ollama mặc định không yêu cầu authentication, nên bind vào 0.0.0.0 sẽ expose API trên mọi interface IPv4; khi đó quyền truy cập public phụ thuộc vào routing và firewall. Bất kỳ ai truy cập được port 11434 đều có thể chạy generation trên phần cứng của bạn và thay đổi các model đã cài đặt. Hãy giữ bind mặc định là 127.0.0.1, kiểm tra bằng ss -ltnp | grep 11434, rồi truy cập API từ laptop qua SSH tunnel như ssh -N -L 11434:127.0.0.1:11434 you@your-server.