วิธีตั้งค่า Ollama ให้โหลดโมเดลค้างไว้ใน RAM ตลอดเวลา
Ollama จะยกเลิกการโหลดโมเดลอัตโนมัติหากไม่มีการใช้งานเกิน 5 นาที แก้ไขปัญหานี้ด้วยการตั้งค่าตัวแปร OLLAMA_KEEP_ALIVE ใน systemd เพื่อคงโมเดลไว้ในหน่วยความจำและลดเวลาการรอโหลดใหม่
เหตุใด Ollama จึงยกเลิกการโหลดโมเดลหลังจากผ่านไปไม่กี่นาที
Ollama จะคงโมเดลไว้ในหน่วยความจำเป็นเวลา 5 นาทีหลังจากคำขอสุดท้าย จากนั้นจึงจะปล่อยหน่วยความจำนั้นทิ้งไป คำขอถัดไปจึงจำเป็นต้องโหลด weight เข้าสู่ RAM หรือ VRAM ใหม่อีกครั้ง ทำให้เกิดการหน่วงเวลาก่อนที่ token แรกจะปรากฏขึ้น นี่คือเหตุผลที่ UI แชทหรือ coding agent ทำงานได้รวดเร็วในช่วงแรก แต่จะเงียบไปสักพักแล้วจึงทำงานช้าลงในข้อความถัดไป ระบบไม่ได้มีปัญหาแต่อย่างใด เพียงแต่ตัวจับเวลาสถานะว่าง (idle timer) ได้หมดเวลาลงแล้ว
ตัวจับเวลานี้เรียกว่า keep_alive โดยจะนับแยกตามโมเดลและจะเริ่มนับใหม่ทุกครั้งที่คำขอเสร็จสิ้น โมเดลที่กำลังตอบคำถามอยู่จะไม่ถูกยกเลิกการโหลด เนื่องจากเซิร์ฟเวอร์จะยกเลิกเฉพาะโมเดลที่ไม่มีคำขอใช้งานอยู่เท่านั้น ณ เดือนตุลาคม 2026 ค่าเริ่มต้นคือ 5 นาที และมีผลกับทุกโมเดลที่เซิร์ฟเวอร์นี้โหลดขึ้นมา
คุณสามารถตั้งค่า idle timeout ได้จาก 2 จุด คือฟิลด์ keep_alive ในคำขอแต่ละรายการ หรือตั้งค่า OLLAMA_KEEP_ALIVE เป็นค่าเริ่มต้นของเซิร์ฟเวอร์ การใช้ systemd drop-in จะช่วยให้ค่าเริ่มต้นของเซิร์ฟเวอร์ยังคงอยู่แม้จะมีการรีสตาร์ท คู่มือนี้สมมติว่า Ollama ทำงานเป็น service อยู่แล้ว หากยังไม่ได้ดำเนินการ ให้เริ่มจาก การติดตั้ง Ollama บน VPS แล้วจึงกลับมาดำเนินการต่อ
โมเดลใดที่กำลังทำงานอยู่ และจะหมดอายุเมื่อใด
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from nowหากผลลัพธ์ว่างเปล่าหมายความว่าไม่มีโมเดลใดถูกโหลดไว้ ดังนั้นคำขอถัดไปจะต้องโหลดโมเดลก่อน PROCESSOR จะระบุตำแหน่งที่เก็บน้ำหนักของโมเดลไว้ 100% GPU และ 100% CPU เป็นกรณีที่ชัดเจน การแบ่งส่วนเช่น 25%/75% CPU/GPU หมายความว่ามีเพียงบางส่วนของโมเดลที่อยู่ใน VRAM ส่วนที่เหลือจึงทำงานบนหน่วยประมวลผลและทำให้การสร้างข้อความช้าลง โดยปกติแล้วเป็นเพราะโมเดลมีขนาดใหญ่เกินกว่าจะบรรจุได้ทั้งหมด แต่การตั้งค่า num_gpu ที่จำกัดจำนวนเลเยอร์ที่จะส่งไปยัง GPU ก็ทำให้เกิดการแบ่งส่วนในลักษณะเดียวกันได้
UNTIL คือการนับถอยหลัง โดยจะแสดงเวลาแบบสัมพัทธ์ เช่น 4 minutes from now ระบบจะแสดง Forever เมื่อโมเดลถูกโหลดด้วยค่า keep_alive ที่เป็นลบ และจะแสดง Stopping... หลังจากหมดอายุ รวมถึงในระหว่างที่มีคำขอที่กำลังทำงานอยู่ซึ่งทำให้การยกเลิกการโหลดล่าช้าออกไป
ชุดคอลัมน์มีการเปลี่ยนแปลงระหว่างการปล่อยเวอร์ชันต่างๆ ดังนั้นควรอ่านจากส่วนหัว (header) แทนการนับลำดับฟิลด์ในสคริปต์ Ollama v0.40.5 ซึ่งตรวจสอบเมื่อวันที่ 2026-10-30 ยังแสดงคอลัมน์ RUNNER เพิ่มขึ้นมาระหว่าง CONTEXT และ UNTIL เพื่อระบุตัวรันเนอร์ (runner) ที่ให้บริการโมเดลนั้น ดังนั้นส่วนหัวของคุณอาจมีความกว้างมากกว่าตัวอย่างข้างต้นหนึ่งคอลัมน์ สำหรับงานที่เป็นระบบอัตโนมัติ ให้สอบถามผ่าน API แทน:
curl -s http://localhost:11434/api/psแต่ละรายการจะมี expires_at ซึ่งเป็นเวลาแบบสัมบูรณ์ เช่น 2026-08-09T14:38:31.83753Z และ size_vram ซึ่งเป็นส่วนของโมเดลนั้นที่อยู่ในหน่วยความจำ GPU ค่า size_vram ที่เป็น 0 หมายความว่าโมเดลกำลังทำงานอยู่บน CPU
ต้นทุนที่แท้จริงของการโหลดซ้ำ
อย่าคาดเดาด้วยตัวเอง Ollama จะรายงานเวลาที่ใช้ในการโหลดไว้ในทุกการตอบกลับในรูปแบบ load_duration โดยมีหน่วยเป็นนาโนวินาที
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'ให้รอจนกว่า ollama ps จะไม่แสดงรายการโมเดลหลังจาก ollama stop ก่อนที่จะเรียกใช้งาน API สองคำสั่ง การเรียกครั้งแรกจะเป็นการโหลดโมเดล ดังนั้นค่า load_duration จึงมีขนาดใหญ่ ให้หารด้วย 1000000000 เพื่ออ่านค่าเป็นวินาที การเรียกครั้งที่สองจะทำงานในขณะที่โมเดลยังคงอยู่ในหน่วยความจำและจะรายงานตัวเลขที่น้อยกว่ามาก ช่องว่างระหว่างตัวเลขสองค่านี้คือสิ่งที่ผู้ใช้ทุกคนต้องจ่ายเมื่อตัวจับเวลาหมดลง และเป็นเหตุผลทั้งหมดในการปรับเปลี่ยน keep_alive หลังจากยกเลิกการโหลด (unload) แคชของหน้าหน่วยความจำ (page cache) ในเคอร์เนลมักจะยังคงเก็บไฟล์โมเดลไว้ ดังนั้นบนเครื่องที่มี RAM เหลือเฟือ การโหลดซ้ำอาจเร็วกว่าการโหลดครั้งแรกหลังจากบูตเครื่อง เมื่อแคชดังกล่าวถูกเรียกคืนไปแล้ว น้ำหนักของโมเดลจะถูกดึงมาจากดิสก์ ดังนั้นหากคุณได้ ย้ายไดเรกทอรีโมเดลไปยังโวลุ่มที่สอง ความเร็วของโวลุ่มนั้นจะเป็นตัวกำหนดความเร็วขั้นต่ำในการโหลดแบบเย็น (cold load) สำหรับความเร็วในการสร้างข้อความทั้งก่อนและหลังช่วงหยุดพักดังกล่าว โปรดดูที่ วิธีการวัดจำนวนโทเค็นต่อวินาทีบนเครื่องของคุณเอง
การคงโมเดล Ollama ไว้ในหน่วยความจำตามคำขอ
ส่ง keep_alive ไปพร้อมกับคำขอ ค่านี้จะมีผลกับโมเดลนั้นทันทีหลังจากที่คำขอเสร็จสิ้น
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'รองรับรูปแบบค่า 4 รูปแบบ:
- สตริงระบุระยะเวลา:
"30m","24h","90s" - ตัวเลขปกติ ซึ่งจะถูกอ่านเป็นวินาที:
3600 - ค่าติดลบ
-1หรือ"-1m"หมายถึงไม่มีการกำหนดเวลา idle timeout เลย 0หมายถึงให้ยกเลิกการโหลดโมเดลทันทีที่ไม่มีคำขอใช้งาน
ค่าที่ระบุในคำขอจะมีความสำคัญเหนือกว่าค่าเริ่มต้นของเซิร์ฟเวอร์เสมอ ซึ่งส่งผลมากกว่าที่คิด: หากไคลเอนต์ส่งค่า keep_alive ของตนเองมา ค่านี้จะแทนที่ทุกการตั้งค่าที่คุณกำหนดไว้บนเซิร์ฟเวอร์
คุณยังสามารถโหลดโมเดลโดยไม่ต้องสร้างผลลัพธ์ใดๆ ได้ โดยส่งเพียงชื่อโมเดลเท่านั้น เซิร์ฟเวอร์จะทำการโหลดโมเดลและส่งการตอบกลับที่ว่างเปล่าพร้อมกับ "done": true กลับมา
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'นี่คือคำสั่งที่ควรเรียกใช้หลังจากรีบูตเครื่อง หรือหลังจากดึงโมเดลใหม่ เพื่อให้คำขอแรกจากผู้ใช้งานจริงไม่ต้องเสียเวลารอการโหลดโมเดล CLI สามารถทำงานเดียวกันนี้ได้โดยใช้แฟล็ก:
ollama run --keepalive 30m qwen3:8b "hello"คงสถานะโมเดลไว้ในหน่วยความจำโดยใช้ OLLAMA_KEEP_ALIVE
เซิร์ฟเวอร์จะอ่านค่า OLLAMA_KEEP_ALIVE ในขณะเริ่มต้นระบบและนำไปใช้กับทุกโมเดลที่ไม่ได้กำหนดค่าเฉพาะไว้ โดยรองรับรูปแบบเดียวกับฟิลด์ในคำขอ ดังนั้นค่าอย่าง 30m, 3600 และ -1 จึงสามารถใช้งานได้ทั้งหมด
ปัญหาสำคัญคือตัวแปรนี้ต้องอยู่ใน environment ใด การรัน export OLLAMA_KEEP_ALIVE=30m ใน SSH session ของคุณจะไม่มีผลใดๆ เนื่องจากแพ็กเกจที่ติดตั้งไว้จะรันเซิร์ฟเวอร์ในรูปแบบ systemd service ภายใต้ผู้ใช้ของระบบเองและมี environment แยกต่างหาก login shell ของคุณกับ service ดังกล่าวจึงไม่ได้ใช้ environment ร่วมกัน นี่เป็นสาเหตุที่พบบ่อยที่สุดที่ทำให้การตั้งค่านี้ดูเหมือนถูกละเลย
ทำให้การตั้งค่าอยู่ต่อหลังการ restart ด้วย systemd drop-in
sudo systemctl edit ollama.serviceตัวแก้ไขจะเปิดขึ้นพร้อม comment marker 2 รายการ ให้พิมพ์ข้อความระหว่าง marker ทั้ง 2 รายการ systemd จะละทิ้งทุกสิ่งที่เขียนไว้ใต้ marker รายการที่ 2
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"การบันทึกจะเขียน /etc/systemd/system/ollama.service.d/override.conf ไฟล์นี้เป็น drop-in ไม่ใช่การแก้ไข unit ที่ package จัดส่งมา ดังนั้นเมื่ออัปเกรด package ของ Ollama และแทนที่ ollama.service การตั้งค่าของคุณจะยังคงอยู่ หากยังไม่คุ้นเคยกับ drop-in และ unit file โปรดดู คู่มือ systemd service และ timer ซึ่งอธิบายกลไกที่เกี่ยวข้อง
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentคำสั่งสุดท้ายจะแสดง environment ที่ service จะใช้ทำงานจริง หากไม่มี OLLAMA_KEEP_ALIVE=30m ในบรรทัดดังกล่าว แสดงว่า drop-in ยังไม่มีผล สาเหตุเกือบทุกครั้งคือไม่มี header [Service] หรือพิมพ์บรรทัดไว้ใต้ marker การ restart จะนำ model ที่โหลดอยู่ทั้งหมดออก ดังนั้น request ถัดไปจะต้องโหลด model ใหม่แบบ cold load ให้โหลดล่วงหน้าด้วย preload call ด้านบน drop-in จะรักษาการตั้งค่านี้ไว้หลัง reboot แต่จะไม่รักษา model ไว้ service จะเริ่มทำงานด้วย ollama serve โดยไม่มี model ที่โหลดอยู่ ดังนั้นให้เรียก preload call เดิมหลังการบูตทุกครั้ง
ต้นทุนของการคงโมเดลไว้ในหน่วยความจำ
คอลัมน์ SIZE ใน ollama ps คือหน่วยความจำที่ถูกจองไว้ตลอดช่วงเวลาที่ไม่มีการใช้งาน (idle window) ไม่ใช่แค่เฉพาะระหว่างการประมวลผลคำขอ โมเดลขนาด 8B ที่ทำ 4-bit quantisation จะใช้หน่วยความจำประมาณ 5 ถึง 6 GB ส่วนโมเดลขนาด 27B นั้นเป็นอีกเรื่องหนึ่ง และ การคำนวณหน่วยความจำสำหรับการรันโมเดลบน VPS ที่ใช้เฉพาะ CPU เป็นสิ่งที่ควรทำความเข้าใจก่อนตัดสินใจคงโมเดลไว้ในหน่วยความจำ หากคุณตั้งค่า keep_alive เป็น -1 คุณจะเป็นการปิดการยกเลิกการใช้งานเมื่อไม่มีการเรียกใช้ (idle expiration) ซึ่งคำขอในภายหลังสำหรับโมเดลเดิมอาจไปรีเซ็ตเวลา timeout หรือบังคับให้โหลดโมเดลใหม่เมื่อตัวเลือกของ runner เปลี่ยนไป บน VPS ขนาดเล็ก นี่คือการแลกเปลี่ยนทรัพยากรโดยตรงกับฐานข้อมูล เว็บแอปพลิเคชัน และงาน build ของคุณ
ให้ตรวจสอบตัวเลขจริงแทนการเชื่อค่าประมาณการ ให้รันคำสั่งนี้ขณะที่โมเดลถูกโหลดอยู่ และรันอีกครั้งหลังจาก ollama stop:
free -hคอลัมน์ available คือหน่วยความจำที่ kernel ยังสามารถจัดสรรให้กับ process ใหม่ได้ บนเครื่องที่ใช้ NVIDIA GPU คำสั่ง nvidia-smi จะแสดงข้อมูลในลักษณะเดียวกันสำหรับ VRAM หากหน่วยความจำของเครื่องหมด kernel จะสั่งยุติ process เพื่อกู้คืนทรัพยากร:
sudo dmesg -T | grep -i "out of memory"บรรทัดที่ระบุชื่อ ollama หมายความว่า model server ตกเป็นเหยื่อ แต่ถ้าบรรทัดนั้นระบุชื่อฐานข้อมูลของคุณ หมายความว่าโมเดลเป็นฝ่ายชนะและบริการที่คุณให้ความสำคัญกลับต้องถูกปิดลง ทั้งสองผลลัพธ์เกิดจากการตัดสินใจเดียวกัน คือการตั้งค่า keep-alive window ที่ยาวนานเกินไปบนเครื่องที่ไม่มีทรัพยากรเหลือเฟือ
มีต้นทุนสองประการที่มักถูกมองข้าม ประการแรก ความยาว context ที่มากขึ้นจะจอง KV cache (key value cache ซึ่งเป็นสถานะ attention ต่อ token ที่โมเดลเก็บไว้ระหว่างการสร้างข้อความ) ขนาดใหญ่ขึ้น และ cache นี้ถือเป็นส่วนหนึ่งของขนาดหน่วยความจำที่ถูกใช้งานจริง ขนาดของมันขึ้นอยู่กับ num_ctx ดังนั้น การเพิ่ม context window จึงเป็นการเพิ่มหน่วยความจำที่โมเดลต้องถือครองไว้ตลอดช่วงเวลาที่ไม่มีการใช้งาน ไม่ใช่แค่ตอนที่กำลังตอบคำถามเท่านั้น การตั้งค่า OLLAMA_NUM_PARALLEL มากกว่า 1 จะเป็นการจอง cache นั้นหนึ่งชุดต่อหนึ่ง parallel slot หากโมเดลรองรับการทำงานแบบขนาน Ollama v0.40.16 บังคับให้ parallelism เป็น 1 สำหรับโมเดลที่ไม่มีความสามารถในการทำ completion รวมถึงโมเดลประเภท embedding โดย scheduler จะไม่แยก mllama หรือ qwen3next ออกมาเป็นกรณีพิเศษอีกต่อไป หากคุณวางแผนที่จะ ให้บริการผู้ใช้หลายคนจากโมเดลเดียว ให้คำนวณขนาดหน่วยความจำสำหรับจำนวน slot ไม่ใช่แค่ขนาดของน้ำหนักโมเดลเพียงอย่างเดียว
ค่าเริ่มต้นที่เหมาะสมคือ โมเดลหนึ่งตัวบนเครื่องที่มีทรัพยากรเหลือเฟือสามารถใช้หน่วยความจำได้ -1 สำหรับเครื่องที่ใช้งานร่วมกับบริการอื่น ควรใช้ window ที่ครอบคลุมช่วงเวลาว่างระหว่างคำขอของคุณ เช่น 30m เพื่อให้หน่วยความจำถูกคืนกลับมาเมื่อคุณหยุดใช้งาน
การยกเลิกการโหลดโมเดลทันที
ollama stop qwen3:8bคำสั่งนี้จะส่งคืนค่าโดยไม่มีผลลัพธ์หลังจากร้องขอให้ยกเลิกการใช้งาน การยกเลิกการโหลดจะรอให้คำขอที่กำลังทำงานอยู่เสร็จสิ้น ดังนั้นคำสั่งอาจส่งคืนค่าก่อนที่หน่วยความจำจะถูกปล่อย นอกจากนี้คำสั่งยังส่งคืนค่าโดยไม่มีผลลัพธ์สำหรับโมเดลที่คุณดึงมาแล้วแต่ไม่ได้โหลดอยู่ในขณะนี้ คำสั่งนี้ไม่เคยตรวจสอบว่ามีข้อมูลอยู่ในหน่วยความจำหรือไม่ โดยจะส่งคำขอยกเลิกการโหลดไปและเซิร์ฟเวอร์จะตอบกลับว่าสำเร็จไม่ว่าจะมีข้อมูลอยู่ในหน่วยความจำหรือไม่ก็ตาม ข้อผิดพลาด couldn't find model "qwen3:8b" to stop จะปรากฏขึ้นก็ต่อเมื่อไม่มีโมเดลชื่อดังกล่าวติดตั้งอยู่บนเซิร์ฟเวอร์นี้ ซึ่งมักหมายถึงการพิมพ์ชื่อหรือแท็กผิด ดังนั้นการที่ ollama stop เงียบไปไม่ได้เป็นหลักฐานว่ามีการปล่อยหน่วยความจำแล้ว แต่ ollama ps คือหลักฐาน รูปแบบ API คือคำขอที่ไม่มี prompt และตั้งค่า keep_alive เป็น 0:
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'การตอบกลับจะมี "done_reason": "unload" ให้ใช้คำสั่งนี้แทนการรีสตาร์ทเซอร์วิส การใช้ systemctl restart ollama จะเป็นการปล่อยหน่วยความจำเช่นกัน แต่จะเป็นการยกเลิกโมเดลอื่นทั้งหมดที่โหลดอยู่และยุติคำขอใดๆ ที่กำลังทำงานอยู่ทันที
การรันโมเดลมากกว่าหนึ่งตัวบนเซิร์ฟเวอร์เดียว
OLLAMA_MAX_LOADED_MODELS เป็นตัวกำหนดจำนวนโมเดลสูงสุดที่สามารถโหลดค้างไว้ได้พร้อมกัน โดยข้อมูล ณ เดือนตุลาคม 2026 ค่าเริ่มต้นคือ 3 ตัวต่อ GPU หรือ 3 ตัวสำหรับเครื่องที่ใช้ CPU เพียงอย่างเดียว ขีดจำกัดนี้จะนับจำนวนโมเดล แต่หน่วยความจำคือข้อจำกัดที่แท้จริง ดังนั้นโมเดลขนาดใหญ่ตัวที่สองอาจถูกปฏิเสธการโหลดก่อนที่คุณจะถึงขีดจำกัด 3 ตัว
เมื่อมีการเรียกใช้โมเดลใหม่และหน่วยความจำไม่เพียงพอ หรือถึงขีดจำกัดที่ตั้งไว้ ตัวจัดตารางเวลา (scheduler) จะยกเลิกการโหลดโมเดลที่ค้างอยู่ในหน่วยความจำออกเพื่อเพิ่มพื้นที่ โดยจะเลือกโมเดลที่ไม่มีคำขอใช้งานอยู่ และจะยกเลิกโมเดลที่ตัวจับเวลายังไม่หมดอายุ รวมถึงโมเดลที่โหลดด้วย -1 ด้วย แม้ว่าจะพยายามเลือกโมเดลที่มีระยะเวลาพักสั้นกว่าก่อนก็ตาม ดังนั้นค่า keep_alive ที่เป็นลบจึงหมายถึงไม่มีการหมดเวลาสำหรับโมเดลที่ไม่ได้ใช้งาน (idle timeout) และมันจะไม่ล็อกน้ำหนัก (weights) ของโมเดลไว้เพื่อป้องกันการถูกแทนที่โดยคำขอของโมเดลอื่น
การตัดสินใจเหล่านี้จะปรากฏใน log ของบริการ โดยกรณีที่ถึงขีดจำกัดจะถูกบันทึกไว้ในระดับ debug เท่านั้น ให้เพิ่มบรรทัด Environment="OLLAMA_DEBUG=1" บรรทัดที่สองลงในไฟล์ drop-in เดียวกัน จากนั้น restart บริการและตรวจสอบดังนี้:
sudo journalctl -u ollama -fให้อ่านเหตุผลที่ระบุไว้ถัดจากคำขอที่กระตุ้นให้เกิดการยกเลิกการโหลดโมเดล max runners achieved, unloading one to make room หมายความว่าถึงขีดจำกัด OLLAMA_MAX_LOADED_MODELS แล้ว ซึ่งอาจเกิดขึ้นได้แม้ว่าโมเดลทั้งสองตัวจะสามารถใส่ลงในหน่วยความจำได้พอดี ดังนั้นให้เพิ่มขีดจำกัดหาก free -h แสดงว่ายังมีพื้นที่เหลือเพียงพอ หากมีบรรทัดระบุว่าโมเดลใหม่คาดว่าจะใช้หน่วยความจำเกินกว่าที่มีอยู่ ตามด้วยการยกเลิกการโหลดโมเดลอื่น แสดงว่าการตรวจสอบความเหมาะสมของตัวจัดตารางเวลาปฏิเสธการโหลดโมเดลเหล่านั้นพร้อมกันเนื่องจากพื้นที่หน่วยความจำสำรองไม่เพียงพอ วิธีแก้ไขคือลดจำนวนโมเดลบนเครื่องนี้ หรือตั้งค่าระยะเวลาพักให้นานสำหรับโมเดลที่ต้องการการตอบสนองที่รวดเร็ว และใช้ 0 สำหรับโมเดลที่คุณเรียกใช้งานไม่บ่อยนัก
คำแนะนำที่ใช้งานได้ยาวนานกว่ารุ่นถัดไป
Ollama มีการออกรุ่นใหม่บ่อยครั้งและค่าเริ่มต้นมีการเปลี่ยนแปลงอยู่เสมอ ดังนั้นให้ตรวจสอบรุ่นที่คุณใช้งานอยู่แทนการจดจำตัวเลขเวอร์ชัน:
ollama --version
ollama serve --helpollama serve --help แสดงรายการ environment variables ที่รุ่นนั้นอ่านจริง ซึ่งรวมถึง OLLAMA_KEEP_ALIVE ด้วย มีกฎสองข้อที่ใช้ได้กับทุกรุ่นและสามารถยึดถือเป็นหลักการได้ ข้อแรกคือ ค่าที่ระบุใน request จะมีความสำคัญเหนือกว่าค่าเริ่มต้นของเซิร์ฟเวอร์ และข้อที่สองคือ ollama ps คือข้อมูลที่ถูกต้องที่สุดว่ามีการโหลดค่าใดอยู่จริง ไม่ว่าไฟล์ config จะระบุไว้อย่างไรก็ตาม
หากคุณใช้ editor หรือ agent ในการควบคุมเซิร์ฟเวอร์ ให้ตรวจสอบสิ่งที่ client เหล่านั้นส่งออกมาก่อนที่จะสรุปว่าเซิร์ฟเวอร์มีปัญหา การชี้ coding agent ไปยังเซิร์ฟเวอร์ Ollama ของคุณเอง อธิบายถึงตำแหน่งที่ตั้งของการตั้งค่า request เหล่านั้น
FAQ
ทำไม Ollama ถึงยกเลิกการโหลดโมเดลของฉันหลังจากผ่านไป 5 นาที?
5 นาทีคือค่าเริ่มต้นของ keep_alive ซึ่งเป็นตัวจับเวลาขณะว่างที่ Ollama จะเริ่มทำงานหลังจากคำขอเสร็จสิ้น เมื่อเวลาหมดลง เซิร์ฟเวอร์จะคืนหน่วยความจำที่ใช้เก็บค่าน้ำหนัก (weights) ทำให้คำขอถัดไปต้องโหลดโมเดลใหม่อีกครั้ง ซึ่งการโหลดใหม่นี้คือสาเหตุของอาการหน่วงที่คุณพบ คุณสามารถเพิ่มเวลาสำหรับคำขอเดียวได้โดยส่ง "keep_alive": "30m" ใน JSON body หรือตั้งค่าสำหรับทั้งเซิร์ฟเวอร์ด้วยตัวแปรสภาพแวดล้อม OLLAMA_KEEP_ALIVE
ฉันจะเก็บโมเดล Ollama ไว้ในหน่วยความจำอย่างถาวรได้อย่างไร?
ให้ใช้ค่าติดลบ: "keep_alive": -1 ในคำขอ หรือ OLLAMA_KEEP_ALIVE=-1 สำหรับเซิร์ฟเวอร์ จากนั้น ollama ps จะแสดงค่า Forever ในคอลัมน์ UNTIL วิธีนี้จะเป็นการลบตัวจับเวลาขณะว่างออกเท่านั้น หากมีการเรียกใช้โมเดลอื่นและหน่วยความจำไม่เพียงพอ ตัวจัดตารางเวลา (scheduler) จะยังคงยกเลิกการโหลดโมเดลนี้เพื่อเพิ่มพื้นที่ว่าง คำขอในภายหลังสำหรับโมเดลเดิมอาจเข้ามาแทนที่ค่า timeout หรือกระตุ้นให้เกิดการโหลดใหม่เมื่อตัวเลือกของ runner เปลี่ยนแปลง การรีสตาร์ทหรือรีบูตเครื่องจะล้างสถานะนี้ออก ดังนั้นคุณต้องโหลดโมเดลล่วงหน้าอีกครั้งหลังจากนั้น
ทำไม OLLAMA_KEEP_ALIVE ถึงถูกละเลย?
ให้ตรวจสอบว่าคุณตั้งค่าไว้ที่ใด ให้รันคำสั่ง systemctl show ollama --property=Environment หากตัวแปรดังกล่าวไม่ปรากฏในผลลัพธ์ แสดงว่าเซิร์ฟเวอร์ไม่ได้รับค่า เนื่องจากตัวแปรที่ export ใน shell ของคุณจะไม่ส่งผลไปยัง service ของ systemd ให้ตั้งค่าผ่าน sudo systemctl edit ollama.service จากนั้นรัน sudo systemctl daemon-reload และ sudo systemctl restart ollama อีกสาเหตุหนึ่งคือไคลเอนต์ส่งค่า keep_alive ของตนเองมาในคำขอ ซึ่งจะไปแทนที่ค่าเริ่มต้นของเซิร์ฟเวอร์
ฉันจะคืนหน่วยความจำโดยไม่ต้องรีสตาร์ท Ollama ได้อย่างไร?
ollama stop qwen3:8b จะส่งคำขอให้ยกเลิกการโหลดโมเดลนั้นๆ โดยที่เซิร์ฟเวอร์และโมเดลอื่นๆ ที่โหลดอยู่จะยังคงทำงานต่อไป คำขอที่กำลังประมวลผลอยู่ต้องเสร็จสิ้นก่อนที่โมเดลจะถูกยกเลิกการโหลด สำหรับการใช้งานผ่าน API ให้ส่งคำขอโดยไม่มี prompt และตั้งค่า "keep_alive": 0 จากนั้นการตอบกลับจะส่งค่า "done_reason": "unload" กลับมา ตรวจสอบสถานะด้วย ollama ps ซึ่งโมเดลดังกล่าวควรจะหายไปจากรายการเมื่อการยกเลิกการโหลดเสร็จสิ้น