วิธีตั้งค่า num_predict ใน Ollama เพื่อจำกัดจำนวนโทเค็น
เรียนรู้วิธีใช้ num_predict ใน Ollama เพื่อจำกัดจำนวนโทเค็นขาออก พร้อมเปรียบเทียบความแตกต่างกับ num_ctx และวิธีตรวจสอบค่า done_reason เมื่อโมเดลหยุดทำงานก่อนกำหนด
หน้าที่ของ num_predict ใน Ollama
num_predict คือตัวเลือกของ Ollama ที่ใช้กำหนดจำนวนโทเค็นสูงสุดที่โมเดลสามารถสร้างได้ในการตอบกลับหนึ่งครั้ง ค่านี้จะนับเฉพาะโทเค็นขาออกเท่านั้น ดังนั้น prompt จะไม่ถูกนำมาคำนวณรวมด้วย เมื่อโมเดลสร้างข้อความถึงขีดจำกัดที่กำหนดไว้ การสร้างข้อความจะหยุดลงทันที ซึ่งบางครั้งอาจหยุดกลางคันระหว่างคำ และการตอบกลับจะส่งค่า done_reason เป็น length กลับมา
นี่คือการทำงานทั้งหมดของฟีเจอร์นี้ ความยากอยู่ที่ Ollama มีจุดให้ตั้งค่านี้ได้ถึง 3 แห่ง และการตั้งค่าที่อยู่ใกล้กับคำขอมากที่สุดจะมีผลเหนือกว่า รายงานปัญหาประเภท "num_predict ไม่ทำงาน" เกือบทั้งหมดเกิดจากการที่การตั้งค่าในระดับหนึ่งถูกแทนที่โดยอีกระดับหนึ่งอย่างเงียบๆ
num_predict ไม่ใช่ num_ctx
ตัวเลือกทั้งสองนี้มักถูกสับสนบ่อยที่สุดใน Ollama และความสับสนนี้ทำให้เสียเวลาในการดีบั๊กอย่างมาก
num_ctx คือปริมาณที่โมเดลสามารถ อ่าน ได้ มันคือขนาดของหน้าต่างบริบท (context window) ซึ่งเก็บทั้ง prompt และทุกสิ่งที่สร้างขึ้นมาจนถึงปัจจุบัน การเพิ่มค่านี้จะทำให้เปลืองหน่วยความจำ เพราะ key/value cache ที่โมเดลเก็บไว้สำหรับโทเค็นเหล่านั้นจะขยายตัวตามขนาดหน้าต่าง การกำหนดขนาด num_ctx ให้เหมาะสมกับฮาร์ดแวร์ของคุณ เป็นงานแยกต่างหากที่มีรูปแบบความล้มเหลวเฉพาะตัว
num_predict คือปริมาณที่โมเดลจะ เขียน ออกมา มันเป็นกฎการหยุดทำงาน ไม่ใช่การจัดสรรทรัพยากร การเพิ่มค่านี้จะทำให้เสียเวลาในการประมวลผลจริงมากกว่าการใช้ RAM และไม่มีการจองทรัพยากรไว้ล่วงหน้า
ทั้งสองค่านี้มาบรรจบกันที่จุดเดียว คือโทเค็นที่สร้างขึ้นจะถูกนำไปวางไว้ในหน้าต่างบริบทขณะที่มันถูกสร้างขึ้น ใน Ollama v0.40.11 การเลื่อนบริบท (context shift) จะถูกเปิดใช้งานเป็นค่าเริ่มต้นสำหรับโมเดลส่วนใหญ่ ดังนั้นเมื่อหน้าต่างเต็ม มันจะทิ้งโทเค็นเก่าออกไปและสร้างข้อความต่อไปได้ แต่ถ้าปิดการเลื่อนบริบทไว้ เนื่องจากคำขอส่งค่า "shift": false มา หรือโมเดลไม่รองรับการเลื่อน การตอบกลับอาจหยุดลงเพราะหน้าต่างเต็มแทนที่จะเป็นเพราะถึงขีดจำกัดที่คุณตั้งไว้ Ollama จะรายงาน length ในทั้งสองกรณี ดังนั้นตัวเลขที่ใช้แยกแยะความแตกต่างคือ eval_count ซึ่งจะอธิบายไว้ในส่วนถัดไป
กำหนดค่าครั้งเดียวด้วย Modelfile
Modelfile จะฝังค่าลงในโมเดลที่คุณสร้างขึ้น ให้เขียนไฟล์ดังนี้:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512จากนั้นทำการ build และตรวจสอบสิ่งที่คุณสร้างขึ้น:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters จะแสดงพารามิเตอร์ที่จัดเก็บไว้บรรทัดละหนึ่งรายการพร้อมค่าของมัน หาก num_predict ไม่ปรากฏในผลลัพธ์ดังกล่าว แสดงว่าโมเดลนั้นไม่มีการจำกัดค่าที่ฝังไว้ และจะใช้ค่าเริ่มต้นของ Ollama แทน ollama show --modelfile qwen3-capped จะแสดงคำจำกัดความทั้งหมด ซึ่งเป็นวิธีที่เร็วที่สุดในการคัดลอกพารามิเตอร์ที่โมเดลเดิมมีอยู่แล้ว การสร้างโมเดลที่จำกัดค่าด้วยวิธีนี้แทบไม่เปลืองพื้นที่ดิสก์เพิ่มเติม เนื่องจากรายการใหม่จะใช้ weight blobs เดิมที่โมเดลหลักดาวน์โหลดไว้แล้วซ้ำ แทนที่จะคัดลอกไฟล์เหล่านั้น และการทราบว่า Ollama เก็บ blobs เหล่านั้นไว้ที่ไหน เป็นเรื่องที่ควรทราบก่อนที่ดิสก์ root ของ VPS จะเต็ม
นี่คือเลเยอร์ที่เหมาะสมสำหรับค่าที่คุณต้องการให้ผู้เรียกใช้ทุกคนได้รับสืบทอดไป แต่ไม่ใช่เลเยอร์ที่เหมาะสมหากคุณคาดหวังว่าค่านี้จะเป็นค่าสุดท้าย เพราะมันสามารถเปลี่ยนแปลงได้
กำหนดค่าผ่านออบเจกต์ options ในแต่ละคำขอ
endpoint สำหรับการสร้างข้อมูลทุกรายการจะรับออบเจกต์ options โดยสามารถใส่ num_predict ลงไปภายในได้:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat ใช้คีย์ options เดียวกันและมีความหมายเหมือนกัน ค่าที่กำหนดในส่วนนี้จะมีผลเฉพาะกับคำขอนั้นๆ เท่านั้น นี่คือเลเยอร์ที่เครื่องมือของคุณใช้งาน ไม่ว่าจะเป็นหน้าเว็บแชท, สคริปต์, SDK wrapper หรือ coding agent ทั้งหมดนี้จะส่งออบเจกต์ options ไปด้วยเสมอ ไม่ว่าในอินเทอร์เฟซจะแสดงช่องให้กรอกค่าดังกล่าวหรือไม่ก็ตาม
ตั้งค่าสำหรับหนึ่งเซสชันด้วยพารามิเตอร์ /set
ภายใน ollama run เซสชันแบบโต้ตอบจะกำหนดตัวเลือกไว้สำหรับส่วนที่เหลือของเซสชันนั้น:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters จะแสดงสิ่งที่เซสชันจะส่งไปพร้อมกับข้อความถัดไปของคุณ ซึ่งเป็นวิธีที่เร็วที่สุดในการยืนยันว่าการเปลี่ยนแปลงมีผล ค่านี้จะคงอยู่จนกว่าคุณจะพิมพ์ /bye หากต้องการเก็บค่าไว้ /save qwen3-capped จะเขียนเซสชันปัจจุบันรวมถึงพารามิเตอร์ต่างๆ ลงเป็นโมเดลใหม่ สิ่งที่คุณ /set ที่นี่จะไม่ส่งผลต่อไคลเอนต์อื่นใดทั้งสิ้น
การตั้งค่าใดมีผล และเหตุใดการตั้งค่าของคุณจึงถูกละเลย
ลำดับความสำคัญนั้นสั้นมาก ตัวเลือกที่ส่งมาพร้อมกับคำขอ (request) จะมีผลเหนือกว่าทุกอย่าง บรรทัด PARAMETER num_predict ใน Modelfile ของโมเดลจะเป็นค่าสำรองที่ใช้เมื่อคำขอนั้นไม่มีการระบุค่าใดๆ หากไม่มีทั้งสองอย่าง ระบบจะใช้ค่าเริ่มต้นที่ติดตั้งมาพร้อมกับ Ollama
/set parameter ไม่ใช่กฎข้อที่สาม เซสชันแบบโต้ตอบ (interactive session) ทำหน้าที่เป็นไคลเอนต์ API ดังนั้นสิ่งที่คุณตั้งค่าในนั้นจะถูกส่งไปเป็น options ของคำขอนั้น ซึ่งเป็นเหตุผลว่าทำไมมันจึงมีผลเหนือกว่า Modelfile สำหรับเซสชันนั้น
นี่คือสาเหตุของความล้มเหลวที่คุณพบ คุณเพิ่ม PARAMETER num_predict 512, สร้างโมเดลใหม่แล้ว แต่คำตอบยังคงยาวหลายพันโทเค็น การตั้งค่าของคุณมีอยู่จริง และ ollama show --parameters ก็ยืนยันเรื่องนี้ แต่มันถูกเขียนทับในทุกคำขอ เพราะไคลเอนต์ส่งออบเจกต์ options ของตัวเองที่มีตัวเลขของมันมาด้วย ซึ่งมักเป็นตัวเลขที่คุณเคยพิมพ์ไว้ในหน้าจอการตั้งค่าเมื่อหลายเดือนก่อนแล้วลืมไป ollama show อ่านเฉพาะโมเดลที่จัดเก็บไว้ จึงไม่สามารถแสดงให้คุณเห็นได้ว่ามีอะไรส่งมาผ่าน HTTP บ้าง
พิสูจน์ฝั่งเซิร์ฟเวอร์ด้วยคำสั่งเดียว ส่งคำขอที่จะทำให้เกิดคำตอบยาวๆ, บังคับให้จำกัดค่าไว้ต่ำๆ, และอ่านสองฟิลด์นี้:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'คำตอบโดยละเอียดจะยาวเกิน 32 โทเค็น ดังนั้นให้คาดหวังว่าจะเห็น "length" และ 32 ติดตั้ง jq ก่อนด้วย sudo apt install -y jq หากยังไม่มี ค่า 32 ไม่ได้รับประกันว่าจะได้เป๊ะๆ เพราะ eval_count เป็นเพียงจำนวนโทเค็นขาออกที่เซิร์ฟเวอร์สร้างขึ้นจริง หากโมเดลทำงานเสร็จเร็ว คุณจะได้ "stop" และจำนวนที่น้อยกว่า วิธีแก้ไขคือใช้ prompt ที่ขอให้ตอบยาวขึ้น เมื่อคุณได้รับ "length" และ 32 แสดงว่าค่าของคำขอนั้นมีผลเหนือกว่าค่า 512 ที่เก็บไว้ใน qwen3-capped ซึ่งพิสูจน์ว่าเซิร์ฟเวอร์ให้ความสำคัญกับตัวเลือกต่อคำขอ (per-request options) แต่มันไม่ได้บอกคุณว่าแอปพลิเคชันของคุณส่งอะไรไป การตรวจสอบจึงต้องย้ายไปที่ฝั่งไคลเอนต์ สำหรับบันทึกของเซิร์ฟเวอร์เกี่ยวกับคำขอ ให้รีสตาร์ทเซิร์ฟเวอร์โดยกำหนด OLLAMA_DEBUG=1 ใน environment แล้วเฝ้าดู journalctl -u ollama -f ในขณะที่แอปพลิเคชันของคุณสื่อสารกับมัน
ค่าติดลบและตัวเลขที่คุณไม่ควรคัดลอก
num_predict ยังรองรับค่าติดลบ ซึ่งค่าเหล่านี้เป็นค่าพิเศษ (sentinel) มากกว่าที่จะเป็นจำนวนนับ ค่าติดลบค่าหนึ่งหมายถึง "ไม่ต้องจำกัดค่านี้ ให้สร้างต่อไปเรื่อยๆ" ส่วนอีกค่าหนึ่งเคยหมายถึง "เติมเต็มบริบทที่เหลือ" ณ เดือนตุลาคม 2026 เอกสารอ้างอิง Modelfile ของ Ollama ระบุค่าเริ่มต้นไว้ที่ -1 ซึ่งหมายถึงการสร้างข้อความแบบไม่จำกัด และในเวอร์ชันก่อนหน้าของตารางเดียวกันยังเคยระบุ -2 สำหรับการเติมเต็มบริบทอีกด้วย
ให้ถือว่าข้อมูลทั้งหมดนี้ขึ้นอยู่กับเวอร์ชันของซอฟต์แวร์ เนื่องจากมีการเปลี่ยนแปลงอยู่ตลอด เอกสารอ้างอิงเคยระบุค่าเริ่มต้นเป็น 128 อยู่เป็นเวลานานก่อนที่จะมีการแก้ไขรายการให้เป็น -1 ดังนั้นคู่มือจำนวนมากจึงยังคงอ้างอิงตัวเลขเก่าอยู่ พฤติกรรมการทำงานก็เปลี่ยนไปด้วยเช่นกัน Ollama v0.40.11 ซึ่งเป็นเวอร์ชันปัจจุบัน ณ วันที่ 25 ตุลาคม 2026 จะส่งโมเดล GGUF ไปยังกระบวนการ llama-server ต้นทางที่ต้องการงบประมาณโทเค็นที่จำกัด ดังนั้นระบบจึงแทนที่ค่าติดลบใดๆ และค่าจำกัดที่สูงกว่า 10 เท่าของ num_ctx ด้วยค่า 10 เท่าของ num_ctx ดังนั้นคำว่า "ไม่จำกัด" จึงหมายถึง 81,920 โทเค็นสำหรับโมเดล qwen3-capped ข้างต้น และ -2 จะไม่มีพฤติกรรมที่แตกต่างจาก -1 อีกต่อไป โปรดอ่าน เอกสารอ้างอิงพารามิเตอร์ Modelfile สำหรับเวอร์ชันที่คุณใช้งานจริง จากนั้นยืนยันพฤติกรรมการทำงานด้วยการตรวจสอบ eval_count ข้างต้น ค่าที่คุณตรวจสอบด้วยตนเองบนเครื่องของคุณย่อมเชื่อถือได้มากกว่าค่าที่คุณอ่านจากที่ใดก็ตาม รวมถึงโพสต์นี้ด้วย
เหตุใดความยาวของผลลัพธ์จึงเป็นต้นทุนหลักบน VPS ที่ใช้เฉพาะ CPU
Ollama ใช้งานได้ฟรีบนเครื่องที่คุณควบคุม ดังนั้นการสร้างผลลัพธ์ภายในเครื่องจึงไม่มีการคิดค่าบริการตามจำนวนการใช้งาน และคำตอบที่ยาวขึ้นจะแลกมาด้วยเวลาที่นานขึ้นแทน การสร้างผลลัพธ์มี 2 ระยะ ซึ่งมีความเร็วแตกต่างกันมาก token ของ prompt จะถูกประมวลผลเป็นชุด โดยประมวลผลได้หลาย token ในแต่ละครั้ง ส่วน token ของผลลัพธ์จะถูกสร้างทีละ token และแต่ละ token ต้องอ่าน weights ที่ใช้ผ่านหนึ่งรอบ บน VPS ที่ใช้ CPU เท่านั้น การอ่านผ่านรอบดังกล่าวถูกจำกัดด้วย memory bandwidth ดังนั้น token ที่สร้างขึ้น 1 token จึงใช้ต้นทุนมากกว่า token ของ prompt 1 token อย่างมาก เนื่องจากการอ่านผ่านรอบนี้ต้องอ่านทุก weight ที่ token นั้นใช้ (อ่านทั้งหมดใน dense model และอ่านเฉพาะ expert ที่ถูกเลือกใน mixture-of-experts model เช่น Nemotron 3.5 Lightning ซึ่งเปิดใช้งานพารามิเตอร์ประมาณ 3B จากทั้งหมด 30B ราย token) จำนวนไบต์ที่ weight แต่ละรายการใช้จึงเป็นตัวกำหนดเพดานอัตราการสร้าง token ของคุณ นี่คือเหตุผลที่ build แบบ q4 ถอดรหัสได้เร็วกว่า model เดียวกันที่ใช้ q8 หรือ fp16
หากคุณขอคำตอบโดยไม่ใช้การสตรีม คุณจะเห็นตัวเลขที่ชัดเจนดังนี้:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709ระยะเวลาแสดงในหน่วยนาโนวินาที ในบล็อกดังกล่าวซึ่งเป็นตัวอย่างคำตอบที่เผยแพร่ในเอกสารประกอบ Ollama API ณ เดือนตุลาคม 2026 ไม่ใช่การวัดจากเซิร์ฟเวอร์ใดเซิร์ฟเวอร์หนึ่งโดยเฉพาะ โทเค็นพรอมต์ 11 รายการใช้เวลาประมาณ 0.013 วินาที ในขณะที่โทเค็นผลลัพธ์ 18 รายการใช้เวลาประมาณ 0.052 วินาที ซึ่งคิดเป็นประมาณ 1.2 มิลลิวินาทีต่อโทเค็นพรอมต์ เทียบกับ 2.9 มิลลิวินาทีต่อโทเค็นผลลัพธ์ ดังนั้นแม้ในการตอบกลับเพียงบรรทัดเดียว โทเค็นที่สร้างขึ้นแต่ละรายการก็มีต้นทุนมากกว่าโทเค็นที่อ่านเข้ามาถึงสองเท่า และในการตอบกลับที่ยาว ฝั่งของผลลัพธ์คือสิ่งที่ใช้เวลาประมวลผลมากที่สุด อัตราการสร้างของคุณเองคือ eval_count หารด้วย eval_duration ที่แปลงเป็นวินาที และ การวัดจำนวนโทเค็นต่อวินาทีบนฮาร์ดแวร์ของคุณเอง เป็นสิ่งที่ควรทำก่อนจะปรับแต่งค่าอื่นใด อัตราดังกล่าวขึ้นอยู่กับโมเดลพอๆ กับตัวเครื่อง ดังนั้นหากคำตอบที่ยาวคือต้นทุนที่แท้จริง โมเดลที่สร้างมาเพื่อการถอดรหัสที่รวดเร็ว เช่น Nemotron 3.5 Lightning บน VPS จะช่วยคืนเวลาที่อาจเสียไปจากการจำกัดค่าที่ต่ำเกินไป
การคำนวณที่เหลือเป็นเรื่องของคณิตศาสตร์ ที่อัตรา 8 โทเค็นต่อวินาที คำตอบขนาด 2,000 โทเค็นจะทำให้เครื่องต้องทำงานนานกว่าสี่นาที โดยที่โมเดลไม่ทราบว่าคุณต้องการเพียงแค่ย่อหน้าเดียว โมเดลสำหรับการใช้เหตุผลจะใช้ส่วนหนึ่งของงบประมาณเวลานี้ไปกับการคิดก่อนที่จะเขียนคำที่คุณต้องการออกมา และการคิดนั้นก็ถูกสร้างขึ้นทีละโทเค็นเช่นเดียวกับส่วนอื่นๆ ดังนั้น ความพยายามในการใช้เหตุผลที่คุณร้องขอ จึงเป็นอีกปัจจัยหนึ่งที่ส่งผลต่อต้นทุนเดียวกัน โมเดลบางตัวอาจเกิดการวนซ้ำ โดยทำซ้ำวลีเดิมจนกว่าจะมีสิ่งใดมาหยุดมัน หากไม่มีการจำกัดค่า คำขอเดียวจะทำให้คอร์ประมวลผลทำงานจนกว่าจะถึงจำนวน num_ctx โทเค็น เพราะการเลื่อนบริบท (context shift) จะทำให้หน้าต่างการทำงานไม่สิ้นสุดลง num_predict คือการตั้งค่าที่ใช้จำกัดขอบเขต ซึ่งมีความสำคัญมากบน VPS ที่รัน Ollama ด้วยตนเอง ขนาดเล็ก ที่ซึ่งคำขอที่ยาวเพียงรายการเดียวอาจใช้ทรัพยากรของทั้งเครื่องไปจนหมด
การแสดงผลที่ถูกตัดทอนมักเกิดจากขีดจำกัด ไม่ใช่โมเดลที่เสียหาย
อาการที่เกิดขึ้นมักดูเหมือนโมเดลทำงานล้มเหลว เช่น คำตอบที่หยุดลงกลางประโยค หรือ JSON ที่ไม่สามารถ parse ได้เนื่องจากไม่มีวงเล็บปิด ปฏิกิริยาตอบสนองแรกคือการโทษตัวโมเดลหรือการทำ quantization แต่ให้ลองอ่านการตอบกลับก่อน
done_reason คือการตอบคำถามโดยตรง stop หมายความว่าการสร้างข้อความสิ้นสุดลงก่อนถึงขีดจำกัดใดๆ อาจเป็นเพราะโมเดลส่งโทเค็นสิ้นสุดลำดับ (end-of-sequence token) ออกมา หรือเพราะผลลัพธ์ตรงกับสตริงในตัวเลือก stop ของคุณ ซึ่งจะทำให้การตอบกลับหยุดลงทันทีที่พบการจับคู่ length หมายความว่าการสร้างข้อความถูกตัดออกเพราะพื้นที่ไม่เพียงพอ เมื่อคุณเห็น length ให้เปรียบเทียบ eval_count กับขีดจำกัดของคุณ หากค่าเท่ากันพอดีแสดงว่า num_predict เป็นตัวหยุดการทำงาน แต่หากค่าที่ได้น้อยกว่าแสดงว่า context window เต็มก่อน ซึ่งจะเกิดขึ้นได้ก็ต่อเมื่อปิดการทำงานของ context shift เท่านั้น
เมื่อคุณทำการ stream ข้อมูลเหล่านี้จะมาถึงใน chunk สุดท้าย ซึ่งเป็น chunk ที่มี "done": true อยู่ ไลบรารีฝั่ง client หลายตัวจะทิ้ง chunk นั้นไปและส่งให้โค้ดของคุณเฉพาะข้อความเท่านั้น นี่คือเหตุผลว่าทำไมการตัดทอนแบบเดียวกันจึงดูเหมือนไม่มีสาเหตุเมื่ออยู่ในแอปพลิเคชัน แต่กลับเห็นได้ชัดเจนเมื่อใช้ curl หากไลบรารีซ่อนข้อมูลนี้ไว้ ให้ส่งคำขอหนึ่งรายการโดยใช้ curl เพื่อตรวจสอบว่าเซิร์ฟเวอร์แจ้งว่าอย่างไร
อีกประเด็นหนึ่งที่ช่วยประหยัดเวลาได้มากคือ การเพิ่ม num_predict ไม่ได้ทำให้โมเดลเขียนมากขึ้น แต่มันเพียงแค่ยกเพดานจำกัดออกเท่านั้น หากคำตอบหยุดลงที่ 200 โทเค็นโดยมี done_reason เท่ากับ stop แสดงว่าโมเดลตัดสินใจว่าเขียนเสร็จแล้ว หรือมีสตริงใน stop ของคุณตัวใดตัวหนึ่งไปจับคู่เข้า ซึ่งการเพิ่มขีดจำกัดจะไม่ช่วยแก้ไขอะไร คำตอบที่สั้นพร้อม stop เป็นปัญหาที่การทำ prompting หรือ stop-string ส่วนคำตอบที่สั้นพร้อม length เป็นปัญหาที่ขีดจำกัด (cap)
การเลือกค่าที่เหมาะสม
- สำหรับการแชทแบบโต้ตอบ ให้ปล่อยไว้โดยไม่จำกัดค่าและกด Ctrl+C เพื่อหยุดการตอบกลับที่ยาวเกินไป เนื่องจากคุณกำลังเฝ้าดูหน้าจออยู่แล้ว
- สำหรับงานที่เป็นสคริปต์ ควรตั้งค่าจำกัดไว้เสมอ การปล่อยให้มีการสร้างข้อความโดยไม่จำกัดค่าภายในลูปเป็นสาเหตุที่ทำให้งานประมวลผลแบบกลุ่มที่ควรใช้เวลาเพียงสิบนาที ยังคงทำงานค้างอยู่จนถึงเช้าวันถัดไป
- สำหรับเอาต์พุตที่มีโครงสร้าง ให้ตั้งค่าขีดจำกัดไว้สูงกว่าเอกสารที่ถูกต้องขนาดใหญ่ที่สุดที่คุณคาดว่าจะได้รับ จากนั้นให้ถือว่า
done_reasonของlengthเป็นข้อผิดพลาดร้ายแรงและทำการลองใหม่ แทนที่จะพยายามแยกวิเคราะห์ข้อมูลที่ได้รับกลับมา - สำหรับ coding agent ค่านี้ควรอยู่ในไฟล์การกำหนดค่าของตัว agent เอง เนื่องจาก agent จะส่งตัวเลือกของตนเองไปในทุกคำขอ การชี้ coding agent ไปที่ Ollama อธิบายถึงตำแหน่งที่ตั้งของการตั้งค่าเหล่านั้น
ขีดจำกัดนี้จะนับจำนวน token ไม่ใช่จำนวนคำหรือจำนวนตัวอักษร ดังนั้นอย่าใช้วิธีการประมาณค่า ให้สร้างคำตอบที่เป็นตัวอย่างหนึ่งชุดโดยไม่จำกัดค่า อ่านค่า eval_count แล้วตั้งค่าขีดจำกัดให้สูงกว่าค่านั้นอย่างเหมาะสม ตระกูลของโมเดลมีการทำ tokenization ที่แตกต่างกัน ดังนั้นค่าที่พอดีกับโมเดล Llama อาจทำให้คำตอบเดียวกันจาก โมเดล Qwen 3 บน VPS เดียวกัน ถูกตัดทอนได้
FAQ
num_ctx และ num_predict ใน Ollama ต่างกันอย่างไร
num_ctx คือขนาดของหน้าต่างบริบท (context window) ซึ่งกำหนดว่าโมเดลสามารถอ่านข้อมูลได้มากเท่าใด ได้แก่ พรอมต์และเนื้อหาทั้งหมดที่สร้างขึ้นมาจนถึงปัจจุบัน ค่านี้ใช้หน่วยความจำเนื่องจาก key/value cache จะขยายตัวตามขนาดดังกล่าว ส่วน num_predict คือการกำหนดจำนวนโทเค็นที่โมเดลสามารถเขียนได้ในการตอบกลับหนึ่งครั้ง ค่านี้ใช้เวลามากกว่าหน่วยความจำและไม่มีการจองทรัพยากรไว้ล่วงหน้า โทเค็นที่สร้างขึ้นจะถูกนับรวมในทั้งสองค่า ดังนั้นหากปิดการเลื่อนบริบท (context shift) การตอบกลับอาจถูกตัดจบโดยค่าใดค่าหนึ่งได้
ทำไมการตั้งค่า num_predict ของฉันถึงดูเหมือนถูกละเลย
เนื่องจากค่าที่ส่งมาพร้อมกับคำขอจะเขียนทับค่าที่บันทึกไว้ในโมเดล หากคุณใส่ PARAMETER num_predict 512 ไว้ใน Modelfile แล้วเรียกใช้โมเดลนั้นจาก chat front end หรือ coding agent ตัวไคลเอนต์จะส่งออบเจกต์ options ของตนเองซึ่งจะมีผลเหนือกว่า ollama show --parameters จะยังคงแสดงค่าของคุณเพราะมันอ่านจากโมเดลที่เก็บไว้และไม่สามารถมองเห็นสิ่งที่ส่งผ่าน HTTP ได้ ให้ลองส่งคำขอหนึ่งรายการด้วย curl โดยใช้ "options": {"num_predict": 32} พร้อมกับพรอมต์ที่ต้องการคำตอบยาวๆ จากนั้นอ่าน done_reason และ eval_count หาก length แสดง eval_count เป็น 32 แสดงว่าค่าจากคำขอได้เขียนทับค่าที่เก็บไว้แล้ว ซึ่งยืนยันได้ว่าเซิร์ฟเวอร์ทำงานปกติและปัญหาอยู่ที่แอปพลิเคชันของคุณ หาก stop มีจำนวนน้อยกว่า นั่นหมายความว่าโมเดลประมวลผลเสร็จสิ้นก่อน ให้ลองใหม่ด้วยพรอมต์ที่ต้องการเนื้อหามากขึ้น
ฉันจะทราบได้อย่างไรว่าผลลัพธ์ถูกตัดจบโดย num_predict
ให้ส่งคำขอด้วย "stream": false แล้วอ่าน done_reason หากค่าเป็น stop หมายความว่าโมเดลประมวลผลเสร็จสิ้นด้วยตัวเองหรือจบลงด้วยสตริง stop ของคุณ หากค่าเป็น length หมายความว่าพื้นที่เต็ม จากนั้นให้เปรียบเทียบ eval_count กับค่าจำกัดของคุณ หากเท่ากันพอดีแสดงว่า num_predict เป็นตัวหยุด และหาก eval_count น้อยกว่า แสดงว่าหน้าต่างบริบทเต็มก่อน ในกรณีที่สตรีมข้อมูล ทั้งสองฟิลด์จะมาถึงใน chunk สุดท้ายพร้อมกับ "done": true ซึ่งไลบรารีไคลเอนต์หลายตัวมักจะตัดทิ้งก่อนที่โค้ดของคุณจะได้รับ
ค่าเริ่มต้นของ num_predict คือเท่าใด
ให้อ่านค่าจากเวอร์ชันที่คุณติดตั้งแทนการอ่านจากบทความ ณ เดือนตุลาคม 2026 เอกสารอ้างอิง Modelfile ของ Ollama ระบุค่าเริ่มต้นเป็น -1 ซึ่งหมายความว่าไม่มีการจำกัดการสร้างเนื้อหา โดยรายการนี้ได้รับการแก้ไขหลังจากมีการระบุเอกสารเป็น 128 มาเป็นเวลานาน ใน Ollama v0.40.11 ค่าเริ่มต้นแบบไม่จำกัดนี้ เช่นเดียวกับค่าติดลบอื่นๆ จะหยุดทำงานที่สิบเท่าของ num_ctx ค่าติดลบเป็นเพียงตัวบ่งชี้สถานะไม่ใช่จำนวนนับ และตารางในเวอร์ชันเก่าเคยระบุไว้เป็น -2 สำหรับการเติมบริบทที่เหลือ ตรวจสอบ ข้อมูลอ้างอิงพารามิเตอร์ Modelfile สำหรับเวอร์ชันของคุณ จากนั้นยืนยันด้วย ollama show --parameters และคำขอ curl หนึ่งรายการ
การเพิ่ม num_predict จะทำให้โมเดลเขียนคำตอบยาวขึ้นหรือไม่
ไม่ การเพิ่มค่านี้เพียงแค่ยกเพดานจำกัดออกเท่านั้น หากการตอบกลับจบลงด้วย done_reason ของ stop แสดงว่าโมเดลตัดสินใจว่าเสร็จสิ้นแล้วหรือสตริง stop ของคุณตรงกับเงื่อนไข ซึ่งการเพิ่มค่าจำกัดจะไม่ช่วยอะไร ในกรณีนี้ความยาวขึ้นอยู่กับการเขียนพรอมต์: ให้ระบุโครงสร้าง จำนวนหัวข้อ หรือระดับรายละเอียดที่ต้องการ ให้เพิ่ม num_predict เฉพาะเมื่อ done_reason ส่งค่ากลับมาเป็น length เท่านั้น