วิธีรัน llama.cpp server บน VPS พร้อมตั้งค่า systemd
เรียนรู้วิธีติดตั้ง llama.cpp จากเวอร์ชันที่กำหนดเพื่อรันโมเดล GGUF ผ่าน OpenAI API บน VPS พร้อมวิธีจำกัดพอร์ตที่ localhost และการตั้งค่า Memory Limits ผ่าน systemd
สิ่งที่คุณกำลังสร้าง
การรันเซิร์ฟเวอร์ llama.cpp บน VPS หมายถึงการใช้ไบนารีเพียงตัวเดียวคือ llama-server ซึ่งจะโหลดไฟล์โมเดล GGUF หนึ่งไฟล์และตอบสนองต่อคำขอ HTTP ผ่าน API ที่เข้ากันได้กับ OpenAI ให้ชี้ไคลเอนต์ที่รองรับไปที่ http://127.0.0.1:8080/v1 จากนั้นทดสอบฟีเจอร์ที่แอปพลิเคชันของคุณใช้งาน เนื่องจากความเข้ากันได้นั้นมีเพียงบางส่วน การติดตั้งเป็นเพียงครึ่งแรกที่ทำได้ง่าย
งานที่เหลือคือการดูแลระบบ: การล็อกเวอร์ชัน, การจำกัดพอร์ตไว้ที่ localhost, การเขียน systemd unit และการตัดสินใจว่าจะเกิดอะไรขึ้นเมื่อหน่วยความจำของเซิร์ฟเวอร์เต็ม นี่คือสิ่งที่คู่มือนี้ครอบคลุม หากคุณยังไม่ได้ตัดสินใจเลือกระหว่างสองตัวเลือกหลัก ให้ลองอ่าน ข้อดีข้อเสียระหว่าง Ollama และ llama.cpp ก่อน เพราะนี่คือวิธีการใช้งานที่การเปรียบเทียบนั้นละไว้โดยเจตนา
เลือกแท็กของรุ่นที่ต้องการและจดบันทึกไว้
llama.cpp ใช้แท็กหมายเลขรุ่นการสร้าง (build-number) เช่น b10488 สำหรับรุ่นพัฒนาแบบ nightly และแท็กเวอร์ชันตามหลัก semantic versioning เช่น vX.Y.Z สำหรับรุ่นที่ปล่อยอย่างเป็นทางการ โดย b10488 คือรุ่นที่ถูกกำหนดไว้ (pinned build) ซึ่งใช้ในที่นี้และปล่อยออกมาเมื่อวันที่ 18 สิงหาคม 2026 คำว่า "Latest" เป็นเป้าหมายที่เปลี่ยนแปลงอยู่ตลอดเวลา ดังนั้นเวอร์ชันที่คุณทดสอบจึงเป็นเวอร์ชันเดียวที่คุณสามารถให้การสนับสนุนได้ ให้เลือกแท็กหนึ่งรายการ จดบันทึกไว้ และใช้สตริงเดียวกันนั้นในการ clone, ในชื่อไฟล์ binary และในบันทึกของคุณ
แท็ก b10488 ยังมาพร้อมกับไฟล์ archive ที่สร้างไว้ล่วงหน้า สำหรับ VPS สถาปัตยกรรม x86 ที่ใช้เฉพาะ CPU จะเป็น llama-b10488-bin-ubuntu-x64.tar.gz และจะมีไฟล์ archive สำหรับ arm64 วางอยู่ข้างกันหากคุณใช้งาน บน ARM VPS แทนที่จะเป็น x86
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | headให้แสดงรายการไฟล์ใน archive ก่อนทำการแตกไฟล์ เพื่อให้คุณทราบว่าไฟล์เหล่านั้นจะถูกวางไว้ที่ใด ไฟล์ binary เหล่านี้ถูกเชื่อมโยง (link) เข้ากับไลบรารี C ของอิมเมจที่ใช้สร้างไฟล์เหล่านั้น ดังนั้นหากใช้งานบน distribution รุ่นเก่า โปรแกรมจะล้มเหลวเมื่อเริ่มทำงานพร้อมข้อความแสดงข้อผิดพลาดที่ระบุถึงเวอร์ชันของ GLIBC_ ที่ไม่ได้ติดตั้งไว้ การสร้างโปรแกรมจากซอร์สโค้ดบน VPS ขนาดเล็กใช้เวลาเพียงไม่กี่นาทีและช่วยขจัดปัญหาประเภทนี้ทั้งหมด ดังนั้นจึงขอแนะนำให้ใช้วิธีการดังกล่าวตามขั้นตอนด้านล่างนี้
การสร้าง llama-server จาก tag ที่กำหนดไว้
sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2--branch b10488 บน --depth 1 ที่ clone มาจะทำการ checkout เฉพาะ tag นั้นเท่านั้น เพื่อป้องกันไม่ให้ build เปลี่ยนแปลงในระหว่างที่คุณกำลังทำงาน
libssl-dev มีความสำคัญเนื่องจากตัวเลือก LLAMA_OPENSSL ถูกเปิดใช้งานเป็นค่าเริ่มต้น ซึ่งเป็นสิ่งที่ทำให้ binary สามารถดาวน์โหลดโมเดลผ่าน HTTPS ได้ในภายหลัง หากไม่มีไฟล์พัฒนาของ OpenSSL การ build แบบกำหนด tag นี้จะแจ้งเตือนว่าการรองรับ HTTPS ถูกปิดใช้งานแทนที่จะทำให้การตั้งค่าล้มเหลว
-DBUILD_SHARED_LIBS=OFF จะเชื่อมโยง llama.cpp และ GGML เข้ากับไฟล์ executable โดยที่ยังคงต้องพึ่งพาไลบรารีของระบบอยู่ การ build แบบปกติจะวาง shared library ไว้ข้างไฟล์ executable ดังนั้นการคัดลอกเฉพาะไฟล์ executable ไปยัง /usr/local/bin จะทำให้เกิดข้อผิดพลาด error while loading shared libraries: libllama.so
-t llama-server จะสร้างเฉพาะเป้าหมาย server เท่านั้น การ build แบบปกติจะคอมไพล์เครื่องมืออื่นๆ และการทดสอบทั้งหมดด้วย ซึ่งบน VPS ที่มี 2 core จะใช้เวลาเพิ่มอีกหลายนาทีกับไฟล์ที่คุณจะไม่ได้ใช้งาน
-j 2 เป็นสิ่งที่ตั้งใจไว้ งานคอมไพล์แบบขนานแต่ละงานจะใช้หน่วยความจำของตัวเอง ดังนั้น -j $(nproc) บนแผนบริการขนาดเล็กจะจบลงด้วย c++: fatal error: Killed signal terminated program cc1plus ซึ่งคือการที่ kernel สั่งยุติกระบวนการ (OOM killer) เนื่องจากหน่วยความจำไม่เพียงพอ ให้ลดจำนวนงานลง หรือเพิ่ม swap สำหรับการ build
ธงที่คุณอาจต้องการเปลี่ยน: GGML_NATIVE ถูกเปิดใช้งานเป็นค่าเริ่มต้น เพื่อให้คอมไพเลอร์กำหนดเป้าหมายไปที่ CPU เครื่องที่ใช้ build โดยเฉพาะ ซึ่งเป็นสิ่งที่คุณต้องการเมื่อ build บนเครื่องที่จะใช้งานจริง หากคุณ build เพียงครั้งเดียวแล้วคัดลอก binary ไปยัง host อื่น ให้เพิ่ม -DGGML_NATIVE=OFF เพราะ binary ที่ใช้ชุดคำสั่งที่ CPU อีกเครื่องไม่มี จะทำให้เกิดข้อผิดพลาด Illegal instruction (core dumped) ในการอนุมาน (inference) ครั้งแรก
ติดตั้งโดยใช้ชื่อที่ระบุ tag ไว้ด้วย
./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server--version จะแสดงหมายเลข build และ commit ซึ่งจะต้องตรงกับ tag ที่คุณ checkout มา หากไม่ตรงกัน แสดงว่าคุณ build ไฟล์อื่นขึ้นมา การเก็บหมายเลขไว้ในชื่อไฟล์และใช้ symlink ชี้ไปที่ไฟล์นั้น หมายความว่าการอัปเกรดสามารถทำได้ด้วย ln -sfn หนึ่งครั้งและการ restart หนึ่งครั้ง และการย้อนกลับ (rollback) ก็ใช้คำสั่งเดียวกันกับหมายเลขเวอร์ชันเก่า
รับโมเดล GGUF และตรวจสอบพื้นที่ดิสก์ก่อน
GGUF เป็นรูปแบบไฟล์เดี่ยวที่ llama.cpp ใช้โหลดข้อมูล ไฟล์เดียวจะบรรจุทั้งค่าน้ำหนัก (weights), ตัวตัดคำ (tokeniser) และข้อมูลเมตา (metadata) ไว้ด้วยกัน จึงไม่มีส่วนประกอบอื่นที่ต้องติดตั้งเพิ่มเติม ส่วนต่อท้ายของชื่อไฟล์คือระดับการทำควอนไทเซชัน (quantisation) ซึ่งเป็นความละเอียดที่ใช้จัดเก็บค่าน้ำหนัก โดย Q4_K_M คือแบบผสม 4-bit, Q8_0 คือ 8-bit และ f16 คือไฟล์ความละเอียดครึ่งหนึ่ง (half-precision) ที่ไม่ได้ผ่านการควอนไทเซชัน
สร้างบัญชีผู้ใช้สำหรับรันเซอร์วิสและไดเรกทอรีสำหรับเก็บโมเดลก่อนเริ่มดาวน์โหลดไฟล์ใดๆ
sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srvเซิร์ฟเวอร์สามารถดึงโมเดลมาได้ด้วยตนเองผ่าน -hf ซึ่งเป็นวิธีที่รวดเร็วที่สุดในการทดสอบว่าบิลด์ของคุณทำงานได้ปกติ
sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
-hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080LLAMA_CACHE ใช้สำหรับกำหนดไดเรกทอรีปลายทางในการดาวน์โหลด หากไม่มีการกำหนดค่านี้หรือ XDG_CACHE_HOME ไฟล์จะถูกบันทึกลงใน ~/.cache/llama.cpp ภายใต้บัญชีผู้ใช้ที่รันคำสั่งนั้นๆ โดย unit ไฟล์ด้านล่างจะตั้งค่าให้ /srv/llama เป็นแบบอ่านได้อย่างเดียว (read-only) ให้รัน ls -lh /srv/models หลังจากดาวน์โหลดเสร็จสิ้น เนื่องจากชื่อไฟล์ในแคชจะถูกสร้างขึ้นจากชื่อ repository แทนที่จะเป็นชื่อไฟล์ปกติ
สำหรับการรันเป็นเซอร์วิส ให้ดาวน์โหลดไฟล์ไปยังพาธที่คุณเลือกไว้ เพื่อให้ unit ไฟล์มีตำแหน่งที่อ้างอิงได้อย่างคงที่
sudo -u llama curl -L --output-dir /srv/models -O \
https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.ggufพื้นที่ดิสก์เป็นข้อจำกัดแรกที่ผู้ใช้งานมักจะพบ ข้อมูลต่อไปนี้คือขนาดไฟล์ที่เผยแพร่สำหรับโมเดลสองรุ่น ซึ่งตรวจสอบเมื่อวันที่ 18 สิงหาคม 2026
ข้อมูลเบื้องหลังแผนภูมินี้
[
{
"label": "gemma-3-1b-it Q4_K_M",
"size_gb": 0.81
},
{
"label": "gemma-3-1b-it Q8_0",
"size_gb": 1.07
},
{
"label": "gemma-3-1b-it f16",
"size_gb": 2.01
},
{
"label": "gpt-oss-20b MXFP4",
"size_gb": 12.11
}
]ไฟล์ 4-bit สำหรับโมเดลขนาด 1B มีขนาด 0.81 GB ส่วนโมเดลเดียวกันที่ไม่ได้ทำควอนไทเซชันมีขนาด 2.01 GB ดังนั้นการเลือกระดับของรูปแบบไฟล์จึงส่งผลต่อขนาดไฟล์มากกว่าสองเท่า โมเดลขนาด 20B ที่ใช้ MXFP4 มีขนาด 12.11 GB และหลังจากนั้นยังต้องถูกอ่านเข้าสู่หน่วยความจำอีก หากคุณกำลังเล็งโมเดลตระกูลใดเป็นพิเศษ การคำนวณขนาดสำหรับ GLM จะแสดงให้เห็นว่าโมเดลรุ่นเรือธงมีขนาดใหญ่เกินกว่าจะรันบน VPS ได้อย่างรวดเร็วเพียงใด ในขณะที่รุ่นเล็กกว่ายังสามารถใช้งานได้
ตรวจสอบ df -h ก่อนการดาวน์โหลดทุกครั้ง หากระบบไฟล์ root เต็มระหว่างการถ่ายโอนข้อมูลขนาด 12 GB จะส่งผลกระทบต่อทุกกระบวนการที่ต้องการเขียนข้อมูล รวมถึงการบันทึก log ใน journal ด้วย
เรียกใช้งานด้วยตนเองหนึ่งครั้งและตรวจสอบผลลัพธ์
sudo -u llama /usr/local/bin/llama-server \
--model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
--host 127.0.0.1 --port 8080 \
--ctx-size 4096 --parallel 1 --threads 2 --no-webuiในเซสชันที่สอง ให้สอบถามเซิร์ฟเวอร์ว่าพร้อมใช้งานแล้วหรือไม่
curl -s http://127.0.0.1:8080/healthในระหว่างที่ไฟล์กำลังโหลด คุณจะได้รับ HTTP 503 พร้อมเนื้อหาดังนี้:
{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}เมื่อเซิร์ฟเวอร์พร้อมใช้งาน เนื้อหาที่ได้รับจะเป็น {"status": "ok" } จากนั้นจึงส่งคำขอจริงเข้าไป
curl -s http://127.0.0.1:8080/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'ออบเจกต์ JSON ที่มีอาร์เรย์ choices แสดงว่าเซิร์ฟเวอร์ทำงานได้ตามปกติ ฟิลด์ model ปรากฏอยู่เนื่องจากไคลเอนต์ของ OpenAI จะส่งฟิลด์นี้มาเสมอ เซิร์ฟเวอร์นี้โหลดโมเดลไว้เพียงตัวเดียว ค่าดังกล่าวจึงไม่ได้ถูกนำไปใช้เพื่อเลือกสิ่งใด
API ที่รองรับ OpenAI และสิ่งที่อยู่บนพอร์ตนี้
POST /v1/chat/completions, POST /v1/completions, POST /v1/responses และ POST /v1/embeddings เป็นเส้นทาง (route) ที่รองรับ OpenAI ส่วน GET /v1/models จะรายงานโมเดลที่โหลดอยู่ การทำ Embeddings จำเป็นต้องใช้โมเดลที่มีการทำ pooling นอกเหนือจาก none สำหรับ GET /health คือการตรวจสอบความพร้อมที่กล่าวถึงข้างต้น GET /props จะส่งคืนการตั้งค่าปัจจุบันของเซิร์ฟเวอร์ และ GET /metrics จะแสดงตัวนับ Prometheus เมื่อคุณเริ่มต้นด้วยแฟล็ก --metrics
สำหรับการเรียกใช้งานผ่าน OpenAI SDK ที่รองรับ ให้ตั้งค่า base URL เป็น http://127.0.0.1:8080/v1 และระบุสตริง API key ที่ไม่เป็นค่าว่างหาก SDK ต้องการใช้งาน ทั้งนี้ไม่ได้เป็นการรับประกันว่าจะรองรับฟีเจอร์ทุกอย่างของ SDK ได้ทั้งหมด และจะไม่มีการตรวจสอบคีย์ดังกล่าวจนกว่าคุณจะตั้งค่า --api-key หรือ --api-key-file ด้วยตนเอง
อย่าใช้ตัวเลขปริมาณงาน (throughput) ของผู้อื่นมาเป็นเกณฑ์สำหรับแผนงานของคุณ ความเร็วในการประมวลผลบน CPU ขึ้นอยู่กับจำนวนคอร์, แบนด์วิดท์ของหน่วยความจำ และเพื่อนบ้านที่คุณใช้โฮสต์ร่วมด้วย ดังนั้นให้ วัดจำนวนโทเค็นต่อวินาทีบนเครื่องของคุณเอง และยึดผลลัพธ์นั้นเป็นความจริง เวลาที่ถูกแย่งชิงจากเพื่อนบ้านที่ใช้งานหนัก (Steal time) จะปรากฏให้เห็นในรูปแบบของความเร็วในการสร้างข้อความที่เปลี่ยนแปลงไปในแต่ละชั่วโมง
คงไว้ที่ 127.0.0.1 และวางพร็อกซีไว้ด้านหน้า
--host มีค่าเริ่มต้นเป็น 127.0.0.1 อยู่แล้ว ดังนั้นเซิร์ฟเวอร์จะไม่สามารถเข้าถึงได้จากภายนอกจนกว่าคุณจะเปลี่ยนค่านี้ ให้คงค่าเดิมไว้ ใช้พร็อกซีสำหรับจัดการบัญชีผู้ใช้, จำกัดอัตราการร้องขอ (request rate limits) และการบันทึก audit log; การยืนยันตัวตนผ่าน API ที่มีมาให้ในตัวจะใช้ static key: --api-key รองรับการระบุคีย์เดียวหรือรายการคีย์ที่คั่นด้วยจุลภาค และ --api-key-file จะอ่านคีย์ทีละบรรทัด การเปิดพอร์ตสำหรับ inference ทิ้งไว้ถือเป็นการเปิดให้ใครก็ตามที่พบพอร์ตนี้เข้ามาใช้ทรัพยากรประมวลผลของคุณได้ฟรี ซึ่งเป็นความผิดพลาดในลักษณะเดียวกับที่เคยเกิดขึ้นกับ Ollama โดยเนื้อหาใน การจำกัดการเข้าถึง API ของโมเดลที่โฮสต์เอง สามารถนำมาปรับใช้กับกรณีนี้ได้ทุกประการ
ให้ทำ TLS (transport layer security) termination ที่ nginx แล้วส่งต่อ (proxy) ไปยังพอร์ต loopback
server {
listen 443 ssl;
server_name llm.example.com;
location /v1/ {
proxy_pass http://127.0.0.1:8080;
proxy_http_version 1.1;
proxy_set_header Connection "";
proxy_buffering off;
proxy_read_timeout 600s;
}
}proxy_buffering off จะส่งการตอบกลับแบบ streaming ไปยังไคลเอนต์ทันทีที่ nginx ได้รับข้อมูล หากเปิดใช้งานการทำ buffering ไว้ nginx จะพักข้อมูลจาก upstream แทนที่จะส่งต่อแต่ละ event ออกไปทันที proxy_read_timeout 600s ช่วยให้การตอบกลับที่ล่าช้ามีพื้นที่ในการทำงาน ค่านี้คือระยะเวลาที่นานที่สุดที่ nginx จะรอระหว่างการอ่านข้อมูลสองครั้งจากเซิร์ฟเวอร์ ไม่ใช่การจำกัดเวลาของทั้งการตอบกลับ ดังนั้นด้วยค่าเริ่มต้นที่ 60 วินาที การร้องขอแบบไม่ทำ streaming ที่ไม่มีการส่งข้อมูลใดๆ ออกมาในช่วงเวลาดังกล่าวจะเกิด timeout ใน b10488 การตอบกลับแบบ streaming จะส่ง SSE keepalive pings ทุกๆ 30 วินาทีเป็นค่าเริ่มต้น รวมถึงในช่วงที่กำลังประมวลผล prompt เป็นเวลานานด้วย คุณสามารถขอรับใบรับรองได้ที่ Certbot และ Let's Encrypt บน nginx
Systemd unit
เขียน /etc/systemd/system/llama-server.service
[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target
[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes
[Install]
WantedBy=multi-user.targetการตั้งค่าจะอยู่ในบรรทัด Environment= เนื่องจาก llama-server จะอ่านตัวแปร LLAMA_ARG_* สำหรับ flag ส่วนใหญ่ และอาร์กิวเมนต์ในบรรทัดคำสั่งจะเขียนทับตัวแปรที่ตรงกัน วิธีนี้ช่วยให้คุณมีจุดเดียวในการปรับเปลี่ยนขนาด context และช่วยให้ ExecStart สั้นพอที่จะอ่านได้ในทันที
ProtectSystem=strict จะกำหนดให้ระบบไฟล์เป็นแบบอ่านได้อย่างเดียวสำหรับ unit นี้ โดยมีข้อยกเว้นรวมถึงไดเรกทอรีชั่วคราวส่วนตัว ซึ่งถือว่าเหมาะสมเนื่องจากเซิร์ฟเวอร์ทำหน้าที่เพียงอ่านโมเดลเท่านั้น ให้เพิ่ม ReadWritePaths=/srv/models และ Environment=LLAMA_CACHE=/srv/models หากคุณต้องการให้ตัวบริการดาวน์โหลดโมเดลด้วยตนเองผ่าน -hf ส่วน ProtectHome=yes จะซ่อน /home, /root และ /run/user โดยจะไม่ซ่อนโฮมไดเรกทอรีของบัญชีผู้ใช้บริการนี้ที่ /srv/llama แต่ ProtectSystem=strict จะทำให้ไดเรกทอรีดังกล่าวเป็นแบบอ่านได้อย่างเดียว
sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pagerenable --now คือส่วนที่คนมักมองข้าม หากไม่มี enable เซิร์ฟเวอร์จะหายไปหลังจากรีบูตครั้งถัดไป หากคุณต้องการงานที่กำหนดเวลาไว้รอบๆ บริการนี้ เช่น การตรวจสอบเวอร์ชันใหม่ทุกคืน systemd service พร้อม timer คือกลไกที่ใช้สำหรับงานดังกล่าว
ตัดสินใจว่าจะเกิดอะไรขึ้นเมื่อเกิดสภาวะ OOM ก่อนที่เหตุการณ์จะเกิดขึ้นจริง
การใช้งานหน่วยความจำมีสองส่วนและมีพฤติกรรมภายใต้ขีดจำกัดที่แตกต่างกัน ไฟล์โมเดลจะถูกทำ memory-mapped โดยค่าเริ่มต้น ดังนั้นหน้าหน่วยความจำ (pages) จึงเป็นแบบ file-backed ซึ่งเคอร์เนลสามารถทิ้งและอ่านกลับจากดิสก์ได้ใหม่ ส่วน KV cache ซึ่งเป็นสถานะต่อโทเค็นที่เซิร์ฟเวอร์เก็บไว้สำหรับการสนทนาที่ใช้งานอยู่ทั้งหมดนั้นเป็นหน่วยความจำแบบ anonymous ซึ่งไม่สามารถทิ้งได้ จึงเป็นสาเหตุที่ทำให้กระบวนการทำงานถูกสั่งยุติ (killed)
นี่คือเหตุผลที่ขีดจำกัดทั้งสองใน unit ทำหน้าที่ต่างกัน MemoryHigh=3G คือขีดจำกัดแบบผ่อนปรน (soft limit): เมื่อเกินขีดจำกัดนี้ เคอร์เนลจะกดดันให้ cgroup คืนหน่วยความจำ ทำให้หน้าหน่วยความจำของโมเดลที่ถูกแมปไว้ถูกนำออกและอ่านกลับจากดิสก์เมื่อต้องการโทเค็นถัดไป บริการจะยังคงทำงานต่อไปได้แต่จะช้าลง ส่วน MemoryMax=3500M คือเพดานสูงสุด (hard ceiling): เคอร์เนลจะพยายามคืนหน่วยความจำให้ได้มากที่สุดก่อน หากการใช้งานยังคงไม่ลดลงต่ำกว่าขีดจำกัด OOM killer จะทำงานภายใน unit นั้น และบันทึกใน journal จะระบุเหตุการณ์นี้ไว้อย่างชัดเจน
llama-server.service: A process of this unit has been killed by the OOM killer.กำหนดค่า --ctx-size ด้วยตนเอง ค่าเริ่มต้นคือ 0 ซึ่งหมายถึงบริบทที่โมเดลถูกฝึกมา และในโมเดลสมัยใหม่ที่รองรับบริบทขนาดยาว ค่านี้จะจอง KV cache ขนาดใหญ่มากตั้งแต่เริ่มทำงาน ส่งผลให้บริการหยุดทำงานก่อนที่จะได้รับคำขอแรกเสียอีก --parallel ไม่ได้คูณค่าใช้จ่ายนั้นด้วยตัวมันเอง --ctx-size จะกำหนดขนาดรวมของ KV cache ซึ่งแชร์กันทุก slot ดังนั้น --ctx-size 4096 --parallel 4 จะทำให้แต่ละการสนทนามีพื้นที่ประมาณ 1,024 โทเค็น แทนที่จะใช้หน่วยความจำเพิ่มขึ้นสี่เท่า การกำหนดให้ทุก slot ใช้บริบทเต็มรูปแบบหมายถึงการคูณ --ctx-size ด้วยจำนวน slot และหน่วยความจำจะเพิ่มขึ้นตามนั้น ดังนั้นควรคงค่า --parallel ไว้ที่ 1 จนกว่าคุณจะทราบแน่ชัดว่าต้องการการประมวลผลแบบขนาน
ด้วย Restart=on-failure บริการที่ถูกสั่งยุติจะกลับมาทำงานใหม่ systemd จะหยุดการรีสตาร์ทด้วย start request repeated too quickly ก็ต่อเมื่อจำนวนครั้งที่เริ่มทำงานเกินขีดจำกัดที่กำหนดไว้ การหน่วงเวลาการรีสตาร์ทห้าวินาทีในที่นี้ยังไม่ถึงขีดจำกัดเริ่มต้นที่ห้าครั้งในสิบวินาที หากต้องการหยุดวงจรการรีสตาร์ทที่เกิดขึ้นต่อเนื่อง ให้ใช้ sudo systemctl stop llama-server จากนั้นแก้ไขขีดจำกัดหรือขนาดบริบท แล้วล้างสถานะความล้มเหลวด้วย sudo systemctl reset-failed llama-server ก่อนเริ่มบริการใหม่อีกครั้ง
ตรวจสอบตัวเลขจริงด้วย systemctl show llama-server -p MemoryCurrent ในขณะที่คำขอกำลังทำงานอยู่ การจำกัดหน่วยความจำและ CPU ของกระบวนการด้วย systemd ได้อธิบายคำสั่งเหล่านี้ไว้ในรายละเอียดเพิ่มเติม
หลีกเลี่ยงการใช้ swap สำหรับภาระงานประเภทนี้ การสลับโมเดลออกไปยัง swap จะทำให้ทุกโทเค็นกลายเป็นการอ่านดิสก์แบบสุ่มตำแหน่ง การทำ memory mapping ไฟล์โมเดลให้ผลลัพธ์แบบเดียวกันโดยสร้างความเสียหายน้อยกว่า เนื่องจากเคอร์เนลจะอ่านหน้าหน่วยความจำที่ต้องการโดยตรงจากไฟล์นั้น
เมื่อ Ollama เป็นทางเลือกที่ดีกว่า
นี่คือจุดตัดสินใจ คุณควรเลือก llama-server เมื่อต้องการกระบวนการทำงานเดียวที่ควบคุมด้วย flag ที่คุณกำหนดเอง มี build ที่ระบุเวอร์ชันไว้ชัดเจน และใช้ไฟล์ที่คุณเลือก โดยไม่มีสิ่งใดเปลี่ยนแปลงอยู่เบื้องหลังเนื่องจากไม่มีโปรเซสอื่นทำงานอยู่
เลือก Ollama เมื่อคุณต้องการการจัดการโมเดล เช่น การดึงโมเดลตามชื่อ การเก็บโมเดลหลายตัวไว้ในดิสก์ การยกเลิกการโหลดโมเดลที่ไม่ได้ใช้งาน และการอัปเกรดด้วยคำสั่งเดียวแทนการ build ใหม่ทั้งหมด นี่คืองานจริงที่คุณจะต้องเขียนสคริปต์จัดการเองหากไม่ใช้เครื่องมือนี้ การรัน Ollama บน VPS คือการทำงานในลักษณะเดียวกันแต่เป็นการแลกเปลี่ยนข้อดีข้อเสียในมุมกลับ ทั้งสองทางเลือกให้บริการ API ที่เข้ากันได้กับ OpenAI แต่ควรทดสอบ endpoint และฟีเจอร์ที่ไคลเอนต์ของคุณใช้งานก่อนที่จะตัดสินใจเปลี่ยนไปใช้ทางใดทางหนึ่ง
การอัปเกรดบิลด์ที่ระบุเวอร์ชันไว้
แทนที่ bNNNNN ด้วยแท็กของ nightly build ที่คุณต้องการย้ายไปใช้งาน ส่วนแท็กของรุ่นที่ปล่อยอย่างเป็นทางการให้ใช้ vX.Y.Z แทน
cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-serverไบนารีตัวเดิมจะยังคงอยู่ในดิสก์ ดังนั้นการย้อนกลับ (rollback) จึงทำได้โดยการใช้ ln -sfn ย้อนกลับไปที่ llama-server-b10488 แล้วทำการรีสตาร์ทหนึ่งครั้ง โปรดอ่านบันทึกประจำรุ่น (release notes) ก่อนดำเนินการ ไฟล์ GGUF มีการระบุเวอร์ชัน แต่ไม่ได้รองรับการใช้งานย้อนหลังได้ทุกกรณี โดยตัวโหลดปัจจุบันจะปฏิเสธไฟล์ GGUFv1 นอกจากนี้ยังมีการเปลี่ยนชื่อแฟล็กต่างๆ เช่น ใน b10488 แฟล็ก --mlock และ --no-mmap ถูกเลิกใช้งานไปแล้วเพื่อสนับสนุน --load-mode และนับตั้งแต่วันที่ 11 ตุลาคม 2026 เป็นต้นมา เอกสารประกอบของเซิร์ฟเวอร์รุ่นปัจจุบันไม่ได้ระบุแฟล็กเหล่านั้นไว้อีกต่อไป ดังนั้น unit file ที่มีการส่งแฟล็กที่ถูกถอดออกไปแล้วจะทำให้การเริ่มทำงานล้มเหลวพร้อมข้อความแจ้งเตือนว่าไม่รู้จักอาร์กิวเมนต์ดังกล่าว ค่าเริ่มต้นก็มีการเปลี่ยนแปลงเช่นกัน โดยบิลด์ปัจจุบันจะฟังการเชื่อมต่อที่พอร์ต 9931 เป็นค่าเริ่มต้น ในขณะที่ b10488 เคยใช้พอร์ต 8080 นี่คือเหตุผลว่าทำไมทุกคำสั่งและ unit file ในที่นี้จึงต้องระบุพอร์ตไว้อย่างชัดเจน
รูปแบบความล้มเหลวและข้อความที่คุณจะพบ
error while loading shared libraries: libllama.so หลังจากที่คุณคัดลอกไฟล์ binary ไปยังตำแหน่งอื่น การ build แบบปกติจะสร้าง shared libraries ไว้ข้างๆ ไฟล์นั้น ให้ทำการ build ใหม่ด้วย -DBUILD_SHARED_LIBS=OFF หรือคัดลอกทั้งไดเรกทอรี build/bin ไปด้วย
Illegal instruction (core dumped) ในขณะเริ่มทำงานหรือเมื่อได้รับคำขอแรก ไฟล์ binary ถูกคอมไพล์โดยเปิด GGML_NATIVE ไว้ ซึ่งไม่ตรงกับ CPU ของเครื่องที่กำลังรันอยู่ ให้ทำการ build ใหม่บนเครื่องนี้ หรือกำหนดค่าด้วย -DGGML_NATIVE=OFF
c++: fatal error: Killed signal terminated program cc1plus ในระหว่างการ build คอมไพเลอร์ถูกสั่งยุติการทำงานเนื่องจากใช้หน่วยความจำมากเกินไป ให้ลดค่า -j หรือเพิ่ม swap สำหรับการ build แล้วค่อยลบออกหลังจากเสร็จสิ้น
curl: (7) Failed to connect ... Connection refused จากแล็ปท็อปของคุณ นั่นเป็นเรื่องปกติ เพราะเซิร์ฟเวอร์ฟังคำสั่งอยู่ที่ loopback address ของ VPS ให้ทดสอบบนตัว VPS เอง หรือเปิด tunnel ด้วย ssh -L 8080:127.0.0.1:8080 user@your-vps แล้วใช้ http://127.0.0.1:8080 ในเครื่องของคุณ
HTTP 503 พร้อม "message":"Loading model" ในช่วงวินาทีหรือนาทีแรกหลังจากรีสตาร์ท การอ่านไฟล์ขนาดหลายกิกะไบต์ต้องใช้เวลา และ systemd จะรายงานสถานะ unit ว่า active ทันทีที่กระบวนการเริ่มทำงาน ซึ่งเป็นเวลาก่อนที่โมเดลจะถูกโหลดเข้าสู่หน่วยความจำ
คำขอค้างแล้วส่งคืน 504 Gateway Time-out เซิร์ฟเวอร์ไม่ได้ส่งข้อมูลใดๆ นานเกินกว่า proxy_read_timeout ซึ่งอาจเกิดขึ้นกับคำขอที่ไม่ใช่การสตรีม สำหรับคำขอแบบสตรีมใน b10488 จะมีการส่ง keepalive pings ทุก 30 วินาทีตามค่าเริ่มต้นในระหว่างการประมวลผล prompt ที่ยาวนาน ให้เพิ่มค่า proxy_read_timeout และปิด proxy_buffering เพื่อให้โทเค็นส่งถึงไคลเอนต์ทันทีที่สร้างเสร็จ
Unit มีสถานะแกว่งไปมา (flapping) แล้วหยุดทำงาน พร้อมกับ start request repeated too quickly จำนวนครั้งในการเริ่มทำงานเกินขีดจำกัดที่กำหนดไว้ ให้ตรวจสอบ journalctl -u llama-server เพื่อดูบรรทัด OOM killer จากนั้นให้ลดค่า --ctx-size หรือเพิ่มค่า MemoryMax
FAQ
ฉันควรใช้ llama.cpp server หรือ Ollama บน VPS ของฉัน?
ให้ใช้ llama-server เมื่อคุณต้องการล็อกเวอร์ชันบิลด์ที่แน่นอน ต้องการส่ง flag ที่เจาะจง และต้องการเก็บโมเดลไว้ในไฟล์เดียวโดยไม่มีสิ่งใดมาอัปเดตเบื้องหลัง ให้ใช้ Ollama เมื่อคุณต้องการการจัดการโมเดลและการอัปเกรดด้วยคำสั่งเดียว เพราะการดึงโมเดลด้วยชื่อ การเก็บโมเดลหลายตัวไว้ในดิสก์ และการยกเลิกการโหลดโมเดลที่ไม่ได้ใช้งานเป็นงานที่คุณต้องเขียนสคริปต์จัดการเอง ทั้งสองตัวให้บริการ API ที่เข้ากันได้กับ OpenAI แต่การสลับใช้งานจำเป็นต้องตรวจสอบ endpoint และฟีเจอร์ที่ไคลเอนต์ของคุณใช้งาน
ฉันควรล็อกเวอร์ชัน llama.cpp ไว้ที่เวอร์ชันใด?
ให้ใช้ tag ใดก็ตามที่คุณได้ทำการ build และทดสอบจริงแล้ว บิลด์สำหรับการพัฒนาแบบรายวัน (nightly) จะใช้ tag ตามหมายเลขบิลด์ เช่น b10488 ซึ่งปล่อยออกมาเมื่อวันที่ 18 สิงหาคม 2026 ส่วนรุ่นที่ปล่อยอย่างเป็นทางการจะใช้ tag ตามเวอร์ชันแบบ semantic เช่น vX.Y.Z ให้ทำการ clone ด้วย --branch <tag> ติดตั้งไฟล์ binary ภายใต้ชื่อไฟล์ที่มี tag นั้นกำกับอยู่ และสร้าง symlink ชี้ไปยังไฟล์ดังกล่าว เพื่อให้การอัปเกรดและการย้อนกลับทำได้ด้วยคำสั่งเดียว
llama-server ต้องการ RAM เท่าไหร่?
ให้เริ่มคำนวณจากขนาดของไฟล์ GGUF แล้วบวกด้วย KV cache ซึ่งจะเพิ่มขึ้นตาม --ctx-size ตัวเลขดังกล่าวคือจำนวน token รวมทั้งหมดที่แชร์กันในทุก --parallel slots ดังนั้นหากต้องการให้แต่ละ slot มี context เท่าเดิม ก็จำเป็นต้องใช้ --ctx-size ที่ใหญ่ขึ้น ตัวเลขที่เผยแพร่ไม่สามารถใช้แทนการวัดผลจากระบบของคุณเองได้ เพราะผลรวมขึ้นอยู่กับโมเดล การทำ quantisation และ context ที่คุณอนุญาต ให้รัน systemctl show llama-server -p MemoryCurrent ในขณะที่มีการส่งคำขอ และใช้ตัวเลขที่คุณเห็นเป็นเกณฑ์
ทำไม /health ถึงตอบกลับเป็น 503 พร้อมข้อความ "Loading model"?
กระบวนการทำงานได้เริ่มขึ้นแล้วแต่ไฟล์โมเดลยังโหลดไม่เสร็จในหน่วยความจำ เซิร์ฟเวอร์จึงตอบกลับเป็น {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}} นี่เป็นเรื่องปกติหลังการรีสตาร์ททุกครั้ง และจะใช้เวลาเท่ากับระยะเวลาที่ใช้ในการอ่านไฟล์ ปัญหานี้จะเกิดขึ้นก็ต่อเมื่อไคลเอนต์หรือพร็อกซีมองว่าสถานะ 503 แรกนั้นเป็นความล้มเหลวที่แก้ไขไม่ได้ ให้ทำการ poll /health จนกว่าจะได้รับสถานะ {"status": "ok" }
ฉันสามารถเปิด llama-server ให้เข้าถึงได้โดยตรงจากอินเทอร์เน็ตหรือไม่?
ห้าม bind เซิร์ฟเวอร์เข้ากับ 0.0.0.0 แล้วเปิดพอร์ตโดยตรง ให้ใช้พร็อกซีเพื่อจัดการบัญชีผู้ใช้ การจำกัดอัตราการส่งคำขอ และการบันทึก log เพื่อตรวจสอบ การยืนยันตัวตนใน API ที่มีมาให้ใช้ static key ที่ตั้งค่าผ่าน --api-key หรือ --api-key-file ให้คงค่า bind เริ่มต้นที่ 127.0.0.1 ไว้ แล้ววาง nginx ไว้ด้านหน้าพร้อม TLS และตั้งค่า --api-key ควบคู่ไปด้วย เพื่อป้องกันไม่ให้ความผิดพลาดในการตั้งค่าพร็อกซีเพียงครั้งเดียวทำให้โมเดลถูกเปิดเผยต่อสาธารณะ