Hướng dẫn chạy llama.cpp server trên VPS chi tiết
Hướng dẫn build llama.cpp từ tag cụ thể, chạy model GGUF qua OpenAI API, cấu hình binding localhost và quản lý tiến trình bằng systemd với giới hạn RAM an toàn cho VPS.
Bạn đang xây dựng cái gì
Chạy server llama.cpp trên VPS nghĩa là sử dụng một binary duy nhất, llama-server, để load một file model GGUF và phản hồi các HTTP request theo chuẩn API tương thích với OpenAI. Hãy trỏ một client tương thích vào http://127.0.0.1:8080/v1, sau đó kiểm tra các tính năng mà ứng dụng của bạn sử dụng: khả năng tương thích chỉ ở mức một phần. Việc cài đặt chỉ là một nửa chặng đường dễ dàng.
Phần việc còn lại là vận hành: ghim phiên bản, giữ cổng ở localhost, viết một systemd unit và quyết định điều gì sẽ xảy ra khi máy chủ hết bộ nhớ. Đó là những gì hướng dẫn này đề cập. Nếu bạn chưa quyết định giữa hai lựa chọn phổ biến, hãy đọc các đánh đổi giữa Ollama và llama.cpp trước, vì đây là hướng dẫn thực hiện mà phần so sánh đó đã cố tình bỏ qua.
Chọn một release tag và ghi lại
llama.cpp sử dụng các tag theo số build như b10488 cho các bản build phát triển hàng đêm và các tag theo phiên bản ngữ nghĩa, vX.Y.Z, cho các bản phát hành chính thức. b10488 là bản build cố định được sử dụng ở đây, phát hành ngày 18 tháng 8 năm 2026. "Latest" là một mục tiêu thay đổi liên tục và phiên bản bạn đã kiểm thử là phiên bản duy nhất bạn có thể hỗ trợ. Hãy chọn một tag, ghi lại nó và sử dụng chính chuỗi đó trong lệnh clone, trong tên binary và trong ghi chú của bạn.
Tag b10488 cũng cung cấp các file lưu trữ đã build sẵn. Đối với một VPS x86 chỉ dùng CPU, đó là llama-b10488-bin-ubuntu-x64.tar.gz, và một file lưu trữ arm64 nằm ngay bên cạnh nếu bạn đang sử dụng một VPS ARM thay vì x86.
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | headHãy liệt kê nội dung file lưu trữ trước khi giải nén để biết các file sẽ nằm ở đâu. Các binary này được liên kết với thư viện C của image đã build chúng, vì vậy trên một bản phân phối cũ hơn, chúng sẽ bị lỗi khi khởi động với thông báo lỗi chỉ ra một phiên bản GLIBC_ không được cài đặt. Việc build từ source chỉ mất vài phút trên một VPS nhỏ và loại bỏ hoàn toàn loại vấn đề này, vì vậy đó là lộ trình được trình bày dưới đây.
Build llama-server từ một tag cố định
sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2--branch b10488 trên một bản clone --depth 1 sẽ checkout đúng tag đó và không gì khác, vì vậy bản build sẽ không bị thay đổi trong khi bạn đang làm việc.
libssl-dev rất quan trọng vì tùy chọn LLAMA_OPENSSL được bật theo mặc định, đây là thứ cho phép binary tải model qua HTTPS sau này. Nếu thiếu các file phát triển OpenSSL, bản build cố định này sẽ cảnh báo rằng hỗ trợ HTTPS bị vô hiệu hóa thay vì báo lỗi cấu hình.
-DBUILD_SHARED_LIBS=OFF liên kết llama.cpp và GGML vào file thực thi; các dependency thư viện hệ thống vẫn được giữ nguyên. Bản build mặc định đặt các thư viện chia sẻ (shared libraries) cạnh file thực thi, vì vậy việc chỉ copy file thực thi sang /usr/local/bin sẽ dẫn đến lỗi error while loading shared libraries: libllama.so.
-t llama-server chỉ build target server. Bản build mặc định còn biên dịch cả các công cụ khác và các bài test, điều này trên một VPS hai nhân sẽ tốn thêm vài phút cho những file bạn sẽ không bao giờ chạy.
-j 2 là có chủ đích. Mỗi tiến trình biên dịch song song đều chiếm dụng bộ nhớ làm việc riêng, vì vậy -j $(nproc) trên một gói VPS nhỏ sẽ kết thúc bằng c++: fatal error: Killed signal terminated program cc1plus, tức là kernel out-of-memory killer sẽ dừng trình biên dịch. Hãy giảm số lượng job hoặc thêm swap cho quá trình build.
Một flag bạn có thể muốn thay đổi: GGML_NATIVE mặc định là bật, vì vậy trình biên dịch sẽ nhắm mục tiêu chính xác vào CPU đang thực hiện build. Đó là điều bạn muốn khi build trên chính máy sẽ chạy nó. Nếu bạn build một lần và copy binary sang host khác, hãy thêm -DGGML_NATIVE=OFF, vì một binary sử dụng các tập lệnh mà CPU kia không có sẽ bị crash với lỗi Illegal instruction (core dumped) ngay lần inference đầu tiên.
Hãy cài đặt nó dưới một cái tên có chứa tag.
./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server--version in ra số build và commit. Nó phải khớp với tag mà bạn đã checkout. Nếu không khớp, bạn đã build nhầm thứ khác. Việc giữ số này trong tên file và trỏ một symlink vào đó có nghĩa là việc nâng cấp chỉ cần một lệnh ln -sfn cộng với một lần khởi động lại, và việc rollback cũng chỉ là lệnh tương tự với số cũ.
Tải model GGUF và kiểm tra dung lượng đĩa trước
GGUF là định dạng file đơn lẻ mà llama.cpp sử dụng. Một file chứa toàn bộ trọng số (weights), tokenizer và metadata, vì vậy bạn không cần cài đặt thêm gì khác. Hậu tố trên tên file là mức quantisation, thể hiện độ chính xác của các trọng số được lưu trữ: Q4_K_M là hỗn hợp 4-bit, Q8_0 là 8-bit và f16 là file không quantisation ở độ chính xác bán phần (half-precision).
Hãy tạo một service account và thư mục chứa model trước khi tải bất cứ thứ gì.
sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srvMáy chủ có thể tự tải model bằng -hf, đây là cách nhanh nhất để xác nhận bản build của bạn hoạt động tốt.
sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
-hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080LLAMA_CACHE thiết lập thư mục tải xuống. Nếu không có nó hoặc XDG_CACHE_HOME, file sẽ được lưu vào ~/.cache/llama.cpp dưới quyền của tài khoản thực thi lệnh; unit bên dưới sẽ đặt /srv/llama ở chế độ chỉ đọc (read-only). Hãy chạy ls -lh /srv/models sau đó, vì tên file trong cache được tạo từ tên repository thay vì tên file gốc.
Đối với một service, hãy tải xuống đường dẫn bạn đã chọn để file unit có một vị trí ổn định để trỏ tới.
sudo -u llama curl -L --output-dir /srv/models -O \
https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.ggufDung lượng đĩa là giới hạn đầu tiên mà người dùng thường gặp phải. Đây là kích thước file đã công bố của hai model, được kiểm tra vào ngày 18 tháng 8 năm 2026.
Dữ liệu đằng sau biểu đồ này
[
{
"label": "gemma-3-1b-it Q4_K_M",
"size_gb": 0.81
},
{
"label": "gemma-3-1b-it Q8_0",
"size_gb": 1.07
},
{
"label": "gemma-3-1b-it f16",
"size_gb": 2.01
},
{
"label": "gpt-oss-20b MXFP4",
"size_gb": 12.11
}
]File 4-bit cho model 1B là 0.81 GB. Cùng model đó nhưng không quantisation là 2.01 GB, vì vậy việc chọn định dạng làm thay đổi con số này hơn hai lần. Một model 20B ở định dạng MXFP4 là 12.11 GB, và sau đó nó vẫn phải được đọc vào bộ nhớ. Nếu bạn đang nhắm đến một dòng model cụ thể, bài tập tính toán kích thước tương tự cho GLM sẽ cho thấy model chủ lực nhanh chóng vượt quá khả năng của một VPS như thế nào trong khi các phiên bản nhỏ hơn vẫn phù hợp.
Kiểm tra df -h trước mỗi lần tải xuống. Một root filesystem bị đầy trong quá trình truyền tải 12 GB sẽ làm hỏng mọi tiến trình khác cần ghi dữ liệu, bao gồm cả journal.
Chạy thủ công một lần rồi kiểm tra
sudo -u llama /usr/local/bin/llama-server \
--model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
--ctx-size 4096 --parallel 1 --threads 2 --no-webuiTrong một session khác, yêu cầu server cho biết nó đã sẵn sàng chưa.
curl -s http://127.0.0.1:8080/healthTrong khi file đang được nạp, bạn nhận được HTTP 503 với body sau:
{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}Khi đã sẵn sàng, body là {"status": "ok" }. Sau đó gửi một request thực tế.
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'Một JSON object có array choices cho biết server đang hoạt động. Field model có mặt vì các client OpenAI luôn gửi field này. Server này chỉ nạp một model, nên giá trị đó không được dùng để chọn model.
API tương thích với OpenAI và các thành phần khác trên cổng này
POST /v1/chat/completions, POST /v1/completions, POST /v1/responses và POST /v1/embeddings là các route tương thích với OpenAI, còn GET /v1/models báo cáo model đang được load. Các tác vụ embedding yêu cầu model có pooling khác với none. GET /health là kiểm tra trạng thái sẵn sàng như đã nêu ở trên, GET /props trả về các thiết lập hiện tại của server, và GET /metrics xuất ra các bộ đếm Prometheus khi bạn khởi chạy với --metrics.
Đối với các lệnh gọi SDK OpenAI tương thích, hãy đặt base URL thành http://127.0.0.1:8080/v1 và cung cấp một chuỗi API key không rỗng nếu SDK yêu cầu. Điều này không đảm bảo tính tương thích với mọi tính năng của SDK. Không có cơ chế nào kiểm tra key đó cho đến khi bạn tự thiết lập --api-key hoặc --api-key-file.
Đừng lấy tuyên bố về throughput của bất kỳ ai làm con số cho kế hoạch của riêng bạn. Tốc độ inference trên CPU phụ thuộc vào số lượng core, băng thông bộ nhớ và các hàng xóm mà bạn chia sẻ host cùng, vì vậy hãy đo lường số token mỗi giây trên máy của bạn và coi kết quả đó là sự thật. Steal time từ một hàng xóm ồn ào sẽ xuất hiện ở đây dưới dạng tốc độ tạo nội dung thay đổi theo từng giờ.
Giữ nó ở 127.0.0.1 và đặt một proxy phía trước
--host mặc định là 127.0.0.1, vì vậy server không thể truy cập từ bên ngoài cho đến khi bạn thay đổi nó. Hãy giữ nguyên như vậy. Sử dụng proxy để quản lý tài khoản người dùng, giới hạn tốc độ request và ghi log kiểm toán; xác thực API tích hợp sử dụng các key tĩnh: --api-key nhận một key hoặc một danh sách phân tách bằng dấu phẩy, và --api-key-file đọc mỗi key trên một dòng. Một cổng inference mở là tài nguyên tính toán miễn phí cho bất kỳ ai tìm thấy nó, và sai lầm tương tự với Ollama cũng có hậu quả như vậy: bảo mật API mô hình tự host áp dụng cho trường hợp này từng dòng một.
Kết thúc TLS (transport layer security) trong nginx và proxy đến cổng loopback.
server {
listen 443 ssl;
server_name llm.example.com;
location /v1/ {
proxy_pass http://127.0.0.1:8080;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_buffering off;
proxy_read_timeout 600s;
}
}proxy_buffering off chuyển tiếp các phản hồi streaming đến client ngay khi nginx nhận được chúng. Khi bật buffering, nginx sẽ đệm dữ liệu từ upstream thay vì chuyển tiếp từng sự kiện ngay lập tức. proxy_read_timeout 600s cho phép các phản hồi chậm có không gian hoạt động. Đây là khoảng thời gian dài nhất nginx chờ giữa hai lần đọc từ server, không phải là giới hạn cho toàn bộ phản hồi, vì vậy với mặc định là 60 giây, một request không streaming mà không gửi gì trong khoảng thời gian đó sẽ bị timeout. Trong b10488, các phản hồi streaming gửi các SSE keepalive ping mỗi 30 giây theo mặc định, bao gồm cả trong quá trình xử lý prompt dài. Lấy chứng chỉ với Certbot và Let's Encrypt trên nginx.
Unit systemd
Viết /etc/systemd/system/llama-server.service.
[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target
[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes
[Install]
WantedBy=multi-user.targetCác thiết lập nằm trong các dòng Environment= vì llama-server đọc các biến LLAMA_ARG_* cho hầu hết các flag, và đối số dòng lệnh sẽ ghi đè lên biến tương ứng. Điều này giúp bạn có một nơi duy nhất để thay đổi kích thước context, đồng thời giữ cho ExecStart đủ ngắn để đọc nhanh.
ProtectSystem=strict đặt hệ thống tệp ở chế độ chỉ đọc (read-only) cho unit này, với các ngoại lệ bao gồm các thư mục tạm riêng, điều này hoàn toàn ổn vì server chỉ đọc model. Thêm ReadWritePaths=/srv/models và Environment=LLAMA_CACHE=/srv/models nếu bạn muốn chính service đó tải xuống các model bằng -hf. ProtectHome=yes ẩn /home, /root và /run/user; nó không ẩn thư mục home của tài khoản service này tại /srv/llama, nhưng ProtectSystem=strict đặt thư mục đó ở chế độ chỉ đọc.
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pagerenable --now là phần mà mọi người thường bỏ qua. Nếu không có enable, server sẽ mất sau lần reboot tiếp theo. Nếu bạn muốn thực hiện các tác vụ định kỳ xung quanh service, ví dụ như kiểm tra bản phát hành mới hàng đêm, một systemd service kèm timer là cơ chế phù hợp cho việc đó.
Quyết định điều gì xảy ra khi gặp OOM trước khi nó xảy ra
Việc sử dụng bộ nhớ có hai phần và chúng hoạt động khác nhau dưới một giới hạn. File model được memory-mapped theo mặc định, vì vậy các trang của nó được hỗ trợ bởi file: kernel có thể loại bỏ chúng và đọc lại từ đĩa. KV cache, là trạng thái trên mỗi token mà server giữ cho mọi cuộc hội thoại đang hoạt động, là bộ nhớ ẩn danh (anonymous memory). Nó không thể bị loại bỏ, vì vậy đây là thứ khiến tiến trình bị kill.
Đó là lý do tại sao hai giới hạn trong unit thực hiện các công việc khác nhau. MemoryHigh=3G là giới hạn mềm (soft limit): khi vượt quá mức này, kernel đặt cgroup dưới áp lực thu hồi (reclaim pressure), vì vậy các trang model đã được map sẽ bị đẩy ra và được đọc lại từ đĩa ở token tiếp theo. Service vẫn tiếp tục hoạt động và chậm lại. MemoryMax=3500M là giới hạn cứng (hard ceiling): kernel thu hồi những gì có thể trước, và nếu mức sử dụng vẫn không thể giữ dưới giới hạn, OOM killer sẽ chạy bên trong unit và journal sẽ ghi lại điều đó một cách rõ ràng.
llama-server.service: A process of this unit has been killed by the OOM killer.Hãy tự thiết lập --ctx-size. Mặc định là 0, nghĩa là context mà model được huấn luyện, và trên một model có context dài hiện đại, nó sẽ cấp phát một KV cache rất lớn khi khởi động. Service sau đó sẽ chết trước khi phục vụ được một request nào. --parallel không tự nhân chi phí đó lên: --ctx-size thiết lập tổng kích thước của KV cache, được chia sẻ bởi mọi slot, vì vậy --ctx-size 4096 --parallel 4 cung cấp cho mỗi cuộc hội thoại khoảng 1.024 token thay vì gấp bốn lần bộ nhớ. Cấp cho mỗi slot toàn bộ context nghĩa là nhân --ctx-size với số lượng slot, và bộ nhớ sẽ tăng theo, vì vậy hãy để --parallel ở mức 1 cho đến khi bạn biết mình cần concurrency.
Với Restart=on-failure, một service bị kill sẽ tự khởi động lại. Systemd chỉ dừng việc restart với start request repeated too quickly khi số lần khởi động vượt quá giới hạn tốc độ đã cấu hình; độ trễ restart năm giây ở đây không đạt đến giới hạn mặc định là năm lần khởi động trong mười giây. Hãy dừng một vòng lặp restart liên tục bằng sudo systemctl stop llama-server, sửa giới hạn hoặc kích thước context, sau đó xóa mọi trạng thái lỗi bằng sudo systemctl reset-failed llama-server và khởi động lại nó.
Theo dõi con số thực tế bằng systemctl show llama-server -p MemoryCurrent trong khi request đang chạy. Giới hạn bộ nhớ và CPU của tiến trình bằng systemd bao gồm các chỉ thị này chi tiết hơn.
Tránh sử dụng swap cho workload này. Một model bị swap-out sẽ biến mỗi token thành các lần đọc đĩa có offset ngẫu nhiên. Memory mapping file model đạt được hiệu quả tương tự với ít tác hại hơn, vì kernel đọc các trang nó cần trực tiếp từ file.
Khi nào Ollama là lựa chọn tốt hơn
Đây là ngã rẽ quyết định. Hãy chọn llama-server khi bạn muốn một tiến trình duy nhất với các flag do bạn thiết lập, một bản build bạn đã ghim và một file bạn đã chọn, nơi không có gì thay đổi bên dưới vì không có tiến trình nào khác đang chạy.
Hãy chọn Ollama khi bạn muốn quản lý model: tải model theo tên, lưu trữ nhiều model trên ổ đĩa, giải phóng bộ nhớ cho model nhàn rỗi và nâng cấp chỉ bằng một lệnh duy nhất thay vì phải build lại. Đây là công việc thực tế mà nếu không, bạn sẽ phải tự viết script. Chạy Ollama trên VPS cũng là công việc tương tự nhưng với sự đánh đổi theo hướng ngược lại. Cả hai đều cung cấp API tương thích với OpenAI, nhưng hãy kiểm tra các endpoint và tính năng mà client của bạn sử dụng trước khi chuyển đổi sang bất kỳ hướng nào.
Nâng cấp bản build đã ghim
Thay thế bNNNNN bằng tag của bản nightly build mà bạn muốn chuyển sang; các tag phát hành chính thức sử dụng vX.Y.Z thay thế.
cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-serverBinary cũ vẫn nằm trên ổ đĩa, vì vậy việc rollback chỉ cần một lệnh ln -sfn trỏ về llama-server-b10488 và một lần khởi động lại. Hãy đọc ghi chú phát hành trước khi thực hiện. Các file GGUF được đánh phiên bản, nhưng tính tương thích ngược không phải là tuyệt đối: loader hiện tại từ chối GGUFv1. Các flag cũng bị đổi tên: trong b10488, --mlock và --no-mmap đã bị deprecated để chuyển sang --load-mode, và kể từ ngày 11 tháng 10 năm 2026, tài liệu server hiện tại không còn liệt kê chúng nữa, vì vậy một unit file chứa flag đã bị loại bỏ sẽ thất bại khi khởi động với thông báo lỗi đối số không xác định. Các giá trị mặc định cũng thay đổi: các bản build hiện tại lắng nghe trên cổng 9931 theo mặc định, trong khi b10488 sử dụng 8080, đó là lý do tại sao mọi lệnh và unit ở đây đều thiết lập cổng một cách tường minh.
Các trạng thái lỗi và thông báo bạn sẽ gặp
error while loading shared libraries: libllama.so sau khi bạn copy file binary sang vị trí khác. Bản build mặc định tạo ra các shared library đi kèm. Hãy build lại với -DBUILD_SHARED_LIBS=OFF, hoặc copy toàn bộ thư mục build/bin.
Illegal instruction (core dumped) khi khởi động hoặc tại request đầu tiên. File binary được biên dịch với GGML_NATIVE bật, dành cho một loại CPU khác với CPU đang chạy nó. Hãy build lại trên máy này, hoặc cấu hình với -DGGML_NATIVE=OFF.
c++: fatal error: Killed signal terminated program cc1plus trong quá trình build. Trình biên dịch bị kill do sử dụng quá nhiều bộ nhớ. Hãy giảm -j, hoặc thêm swap cho quá trình build rồi xóa đi sau đó.
curl: (7) Failed to connect ... Connection refused từ laptop của bạn. Điều này là bình thường: server đang listen trên địa chỉ loopback của VPS. Hãy kiểm tra ngay trên VPS, hoặc mở một tunnel bằng ssh -L 8080:127.0.0.1:8080 user@your-vps và sử dụng http://127.0.0.1:8080 ở máy local.
HTTP 503 với "message":"Loading model" trong vài giây hoặc vài phút đầu sau khi restart. Việc đọc file dung lượng nhiều gigabyte cần thời gian, và systemd báo unit ở trạng thái active ngay khi tiến trình bắt đầu, trước khi model được nạp vào bộ nhớ.
Request bị treo và sau đó trả về 504 Gateway Time-out. Server không gửi phản hồi trong thời gian dài hơn proxy_read_timeout, điều này có thể xảy ra với các request không streaming. Các request streaming trong b10488 mặc định gửi keepalive ping mỗi 30 giây trong quá trình xử lý prompt dài. Hãy tăng proxy_read_timeout, và tắt proxy_buffering để token được gửi đến client ngay khi chúng được tạo ra.
Unit bị khởi động lại liên tục (flapping) rồi dừng hẳn với start request repeated too quickly. Số lần khởi động đã vượt quá giới hạn cấu hình. Hãy kiểm tra journalctl -u llama-server để tìm dòng OOM killer, sau đó giảm --ctx-size hoặc tăng MemoryMax.
FAQ
Tôi nên chạy server của llama.cpp hay Ollama trên VPS?
Hãy chạy llama-server khi bạn muốn cố định một bản build cụ thể, truyền các flag chính xác và giữ một model trong một file mà không bị bất kỳ thứ gì tự động cập nhật. Hãy chạy Ollama khi bạn cần quản lý model và nâng cấp bằng một lệnh duy nhất, vì việc tải model theo tên, lưu trữ nhiều model trên ổ đĩa và giải phóng các model nhàn rỗi là công việc mà nếu không có Ollama, bạn sẽ phải tự viết script. Cả hai đều cung cấp API tương thích với OpenAI, nhưng việc chuyển đổi đòi hỏi bạn phải kiểm tra các endpoint và tính năng mà client của bạn đang sử dụng.
Tôi nên cố định phiên bản llama.cpp nào?
Bất kỳ tag nào mà bạn đã thực sự build và kiểm thử. Các bản build phát triển hàng đêm sử dụng tag theo số build như b10488, được phát hành vào ngày 18 tháng 8 năm 2026; các bản phát hành chính thức sử dụng tag theo phiên bản ngữ nghĩa, vX.Y.Z. Hãy clone bằng --branch <tag>, cài đặt binary dưới một tên file có chứa tag đó và trỏ một symlink vào nó, để việc nâng cấp và quay lui chỉ tốn một lệnh duy nhất.
llama-server cần bao nhiêu RAM?
Hãy bắt đầu từ kích thước của file GGUF, sau đó cộng thêm KV cache, phần này sẽ tăng lên cùng với --ctx-size. Con số đó là tổng ngân sách token được chia sẻ bởi tất cả các --parallel slot, vì vậy nếu mỗi slot cần giữ cùng một ngữ cảnh (context) thì cần một --ctx-size lớn hơn. Các con số được công bố không thay thế được việc đo đạc trên thiết lập của riêng bạn, vì tổng dung lượng phụ thuộc vào model, mức độ quantisation và ngữ cảnh mà bạn cho phép. Hãy chạy systemctl show llama-server -p MemoryCurrent trong khi request đang được xử lý và sử dụng con số mà bạn thấy.
Tại sao /health trả về 503 với thông báo "Loading model"?
Tiến trình đã khởi động nhưng file model chưa được nạp vào bộ nhớ, vì vậy server trả về {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}. Đây là trạng thái bình thường sau mỗi lần khởi động lại và thời gian kéo dài phụ thuộc vào tốc độ đọc file. Nó chỉ trở thành vấn đề khi một client hoặc proxy coi lỗi 503 đầu tiên đó là lỗi nghiêm trọng. Hãy poll /health cho đến khi nó trả về {"status": "ok" }.
Tôi có thể expose llama-server trực tiếp ra internet không?
Đừng bind nó vào 0.0.0.0 và mở cổng. Hãy sử dụng proxy để quản lý tài khoản, giới hạn tốc độ request và ghi log kiểm toán; xác thực API tích hợp sử dụng các key tĩnh được thiết lập bằng --api-key hoặc --api-key-file. Hãy giữ bind mặc định là 127.0.0.1, đặt nginx phía trước với TLS và thiết lập cả --api-key, để một sai sót trong cấu hình proxy không làm lộ model ra cho tất cả mọi người.