วิธีรัน Nemotron 3.5 Lightning บน VPS ด้วย Ollama
เรียนรู้วิธีติดตั้ง Nemotron 3.5 Lightning บนเซิร์ฟเวอร์ส่วนตัวด้วย Ollama พร้อมคำสั่งดึงโมเดลที่ถูกต้อง การคำนวณ RAM ที่จำเป็น และการวิเคราะห์ว่า CPU-only เพียงพอหรือไม่
จุดประสงค์ของ Nemotron 3.5 Lightning
Nemotron 3.5 Lightning คือโมเดลแบบ mixture-of-experts ขนาด 30B แบบเปิดของ NVIDIA ซึ่งเปิดตัวในเดือนสิงหาคม 2026 โดยถูกสร้างมาเพื่อรองรับเอเจนต์ที่ต้องทำงานต่อเนื่องเป็นเวลาหลายชั่วโมง แทนที่จะเป็นเพียงหน้าต่างแชททั่วไป สถาปัตยกรรมแบบ MoE (mixture-of-experts) หมายความว่าค่าน้ำหนัก (weights) จะถูกแบ่งออกเป็นเครือข่ายย่อยของผู้เชี่ยวชาญจำนวนมาก และแต่ละโทเค็นจะถูกส่งผ่านไปยังผู้เชี่ยวชาญเพียงไม่กี่กลุ่มเท่านั้น ข้อมูลโมเดลของ NVIDIA ระบุว่ามีพารามิเตอร์รวม 30 พันล้านตัว โดยมีพารามิเตอร์ที่ทำงานจริง 3 พันล้านตัวต่อหนึ่งโทเค็น คุณต้องจ่ายค่าหน่วยความจำสำหรับจำนวนพารามิเตอร์ทั้งหมด แต่จะได้รับความเร็วในการประมวลผลตามจำนวนพารามิเตอร์ที่ทำงานจริง
การแลกเปลี่ยนประสิทธิภาพนี้คือเหตุผลที่คุณควรพิจารณาโมเดลนี้สำหรับเซิร์ฟเวอร์ที่คุณเช่าใช้งาน เอเจนต์ที่ทำงานจริงจะส่งคำขอสั้นๆ นับพันรายการตลอดทั้งวัน ดังนั้นปริมาณงาน (throughput) ต่อต้นทุนจึงเป็นตัวตัดสินว่าเอเจนต์นั้นจะสามารถรันบนเซิร์ฟเวอร์ของคุณเองได้หรือไม่ โมเดลที่ใช้เวลา 40 วินาทีต่อการตอบกลับอาจเป็นผู้ช่วยที่ดี แต่เป็นเอเจนต์ที่แย่ เพราะหนึ่งงานอาจต้องเรียกใช้งานถึง 20 ครั้ง และคุณต้องรอผลลัพธ์ในทุกๆ ครั้ง
NVIDIA อธิบายสถาปัตยกรรมนี้ว่าเป็นแบบไฮบริด โดยมีการสลับชั้น Mamba-2 และ MoE เข้าด้วยกันพร้อมกับชั้น attention บางส่วน ข้อมูลโมเดลระบุความยาวบริบทสูงสุดไว้ที่ 1M โทเค็น และใช้สัญญาอนุญาต OpenMDW-1.1 ซึ่งระบุว่าพร้อมสำหรับการใช้งานเชิงพาณิชย์ ภาษาหลักที่รองรับคือภาษาอังกฤษและภาษาโปรแกรม โดยมีภาษาสเปน ฝรั่งเศส เยอรมัน อิตาลี และญี่ปุ่นรวมอยู่ในรายการด้วย
Artificial Analysis ได้เผยแพร่ผลการวัดประสิทธิภาพในช่วงเปิดตัวเมื่อเดือนสิงหาคม 2026 โดยแสดงให้เห็นความเร็วเกือบ 670 โทเค็นต่อวินาทีบน endpoint ของ DeepInfra รุ่นทดสอบที่ใช้ค่าน้ำหนัก NVFP4 ซึ่งเป็น endpoint ของ GPU ที่โฮสต์ไว้ โปรดอ่านข้อมูลนี้ในฐานะขีดความสามารถที่สถาปัตยกรรมทำได้ ไม่ใช่ประสิทธิภาพที่ VPS ของคุณจะทำได้จริง
แท็ก Ollama แบบใดที่เหมาะสมกับ VPS ของคุณ
ไลบรารีของ Ollama เผยแพร่ build หลายรายการสำหรับ weight ชุดเดียวกัน สิ่งที่แตกต่างกันระหว่าง build เหล่านี้คือการทำ quantisation ซึ่งหมายถึงจำนวนบิตที่ใช้จัดเก็บแต่ละ weight และสิ่งนี้ส่งผลต่อขนาดไฟล์ดาวน์โหลดอย่างมาก
ข้อมูลเบื้องหลังแผนภูมินี้
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]แท็กที่ชื่อ latest, 30b และ 30b-a3b ในปัจจุบันมี digest ของตัวเอง โดยระบุขนาดไว้ที่ 19 ถึง 25 GB นับตั้งแต่ไลบรารีมีการอัปเดตในช่วงกลางเดือนตุลาคม 2026 จากการสอบถามโดยตรงไปยัง registry เมื่อวันที่ 25 ตุลาคม 2026 ตัวชี้ดังกล่าวส่งคืนไฟล์ชุดเดียวกันกับ 30b-a3b-q4_K_M ดังนั้นการดาวน์โหลดเริ่มต้นบน VPS จึงเป็น build แบบ 4-bit ขนาด 25 GB ที่รองรับ context สูงสุด 1M สำหรับช่วงขนาด 19 GB ที่ระบุไว้สอดคล้องกับ build แบบ MLX ซึ่งบ่งชี้ว่าเครื่องที่ใช้ Apple silicon จะได้รับไฟล์เหล่านั้นแทน ส่วน Q8_0 มีขนาด 35 GB และ bf16 มีขนาด 66 GB ซึ่งทั้งคู่รองรับ context 1M เช่นกัน สำหรับ build แบบ MLX ที่ขนาด 19 GB นั้นมีไว้สำหรับ Apple silicon และจำกัด context ไว้ที่ 256K จึงไม่ใช่ตัวเลือกที่เหมาะสมสำหรับ Linux VPS นอกจากนี้ไลบรารียังแสดงรายการ 30b-mlx และ 30b-a3b-nvfp4 ซึ่งทั้งคู่มี digest เดียวกันกับ 30b-a3b-mlx แม้ว่าชื่อรูปแบบที่สองจะฟังดูเหมือนของ NVIDIA ก็ตาม รวมถึง 30b-a3b-mxfp8 ที่ขนาด 34 GB และ 30b-a3b-mlx-bf16 ที่ขนาด 66 GB ทั้งหมดนี้จำกัด context ไว้ที่ 256K เช่นกัน ดังนั้นจึงไม่มีตัวเลือกใดที่ให้หน้าต่าง context เต็มรูปแบบแก่คุณ
ตัวเลขเหล่านี้คือขนาดไฟล์ดาวน์โหลด ไม่ใช่ความต้องการหน่วยความจำ NVIDIA ไม่ได้เผยแพร่ตัวเลข VRAM (video RAM) ขั้นต่ำสำหรับ build ของ Ollama ดังนั้นให้ถือว่าขนาดดาวน์โหลดเป็นเพียงค่าต่ำสุดเท่านั้น weight จำเป็นต้องถูกโหลดไว้ในหน่วยความจำ ไม่ว่าจะเป็นใน GPU หากการ์ดรองรับ หรือใน system RAM ในกรณีอื่น และยังมี KV cache (key/value cache ซึ่งเป็นหน่วยความจำต่อ token ของโมเดลสำหรับการสนทนา) เพิ่มเติมเข้ามาอีก ตัวเลขที่แท้จริงสำหรับฮาร์ดแวร์ของคุณนั้นได้มาจากคำสั่ง ไม่ใช่จากการคำนวณทางคณิตศาสตร์ ซึ่งระบุไว้ด้านล่างนี้ หากคุณยังไม่ได้ตัดสินใจเลือกระดับการทำ quantisation สิ่งที่ต้องแลกเปลี่ยนระหว่าง Q4, Q8 และ FP16 จะครอบคลุมถึงสิ่งที่คุณจะสูญเสียไปในแต่ละระดับ
ดึง tag ที่ระบุให้ชัดเจน ห้ามใช้ latest
latest เป็นตัวชี้ที่เปลี่ยนแปลงได้ตลอดเวลา เมื่อไลบรารีเผยแพร่เวอร์ชันใหม่ พฤติกรรมของเอเจนต์ของคุณจะเปลี่ยนไปในการดึงข้อมูลครั้งถัดไปโดยไม่มีบันทึกอธิบายสาเหตุ เหตุการณ์นี้เคยเกิดขึ้นแล้วกับโมเดลนี้: ในช่วงกลางเดือนตุลาคม 2026 ไลบรารีได้ย้าย latest ไปยัง digest ใหม่ ให้ระบุชื่อ tag ให้ชัดเจน
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_Mสคริปต์ติดตั้งจะตั้งค่า systemd service ให้รันในฐานะผู้ใช้ ollama และเก็บโมเดลไว้ภายใต้ /usr/share/ollama/.ollama/models พาธดังกล่าวอยู่บน root filesystem ใน VPS ส่วนใหญ่ ดังนั้นให้ตรวจสอบพื้นที่ว่างก่อนที่คุณจะร้องขอ 25 GB หาก filesystem ดังกล่าวมีพื้นที่จำกัด การอ่าน ตำแหน่งที่ Ollama เก็บโมเดลและวิธีการย้าย ก่อนทำการดึงข้อมูลจะมีประโยชน์มากกว่าการทำหลังจากที่ดิสก์เต็มแล้ว
df -h /usr/share/ollamaการดึงข้อมูลที่หยุดกลางคันและรายงาน no space left on device หมายความตามนั้นจริงๆ และข้อมูลบางส่วนที่โหลดมาแล้วจะยังคงค้างอยู่ในดิสก์จนกว่าคุณจะลบออก จากนั้นให้ยืนยันสิ่งที่ถูกติดตั้งลงไป:
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show จะแสดงสถาปัตยกรรม, จำนวนพารามิเตอร์, ความยาวบริบท (context length) และการทำ quantisation ที่ไฟล์นั้นมีอยู่จริง หากข้อมูลเหล่านี้ไม่ตรงกับหน้าไลบรารี แสดงว่าคุณดึง tag ผิดจากที่คุณตั้งใจไว้
ให้บริการและตรวจสอบว่ามันทำงานที่ไหน
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"ในขณะที่โมเดลยังคงถูกโหลดอยู่ ให้เปิด shell ที่สองขึ้นมา:
ollama psนี่คือคำสั่งที่ตอบคำถามเรื่องหน่วยความจำสำหรับเครื่องของคุณ ollama ps จะแสดงโมเดลที่โหลดอยู่ ขนาดที่ใช้ในหน่วยความจำ และคอลัมน์ PROCESSOR ค่า 100% GPU หมายความว่าโมเดลทั้งหมดอยู่ใน VRAM ส่วน 100% CPU หมายความว่าไม่มีส่วนใดอยู่ใน VRAM เลย และทุก token จะถูกประมวลผลโดย CPU จาก system RAM การแบ่งส่วนเช่น 65%/35% CPU/GPU หมายความว่าเลเยอร์ทั้งหมดไม่สามารถบรรจุลงใน VRAM ได้ และสัดส่วนที่ CPU รับผิดชอบจะเป็นตัวกำหนดความเร็วของคุณ อย่าคาดเดาความต้องการหน่วยความจำ ให้โหลดโมเดลแล้วอ่านบรรทัดนี้
หากไม่สามารถโหลดได้เลย Ollama จะปฏิเสธการทำงานอย่างชัดเจนแทนที่จะเกิดการ crash:
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)VPS ที่ใช้เฉพาะ CPU มีความเร็วเพียงพอหรือไม่?
VPS อเนกประสงค์ทั่วไปไม่มี GPU ดังนั้น CPU จึงต้องรับหน้าที่ประมวลผลทั้งหมดและอ่านค่าน้ำหนัก (weight) ทุกค่าที่จำเป็นจาก RAM ของระบบ เทคนิค MoE ช่วยในส่วนนี้ได้เนื่องจากมีการเรียกใช้พารามิเตอร์เพียงประมาณ 3 พันล้านจากทั้งหมด 30 พันล้านพารามิเตอร์ต่อหนึ่ง token ทำให้การคำนวณเลขคณิตต่อ token น้อยกว่าโมเดลแบบ dense ขนาด 30B มาก แต่ในส่วนของหน่วยความจำนั้นไม่ได้ช่วยอะไรเลย พารามิเตอร์ทั้ง 30 พันล้านตัวต้องถูกโหลดไว้ในหน่วยความจำตลอดเวลา เพราะตัว router สามารถเลือก expert ตัวใดก็ได้สำหรับทุก token
ดังนั้น การทำ inference บน CPU เพียงอย่างเดียวสำหรับโมเดลนี้จึงถูกจำกัดด้วย memory bandwidth มากกว่าจำนวน core การเพิ่ม vCPU ให้กับแผนบริการที่มีจำนวน core เพียงพออยู่แล้วจึงแทบไม่มีผล สิ่งที่คุณต้องการคือ RAM ที่มากพอสำหรับเก็บค่าน้ำหนักรวมถึง KV cache และหน่วยความจำที่เร็วที่สุดเท่าที่แผนบริการนั้นจะให้ได้
ให้ทำการวัดผลก่อนที่คุณจะมอบหมายงานให้ agent โดยใช้วิธีการใน การวัดจำนวน token ต่อวินาทีสำหรับ LLM ในเครื่อง:
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."บรรทัด eval rate ที่แสดงผลในตอนท้ายคือความเร็วในการสร้างข้อความของคุณในหน่วย token ต่อวินาที ตัวเลขนี้เพียงค่าเดียวเป็นตัวตัดสินคำถามนี้ เพราะเวลาที่ใช้จริง (wall-clock time) ของ agent ขึ้นอยู่กับค่านี้เป็นหลัก ให้นำไปคูณกับความยาวของคำตอบที่คุณคาดหวัง หากคำตอบนั้นยาวเกินกว่าที่คุณจะรอได้ การจำกัดผลลัพธ์ด้วย num_predict คือเครื่องมือเดียวที่จะควบคุมการเรียกใช้งานแต่ละครั้งโดยไม่ต้องเปลี่ยนฮาร์ดแวร์
ข้อมูลเบื้องหลังแผนภูมินี้
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]ตัวเลขเหล่านั้นเป็นตัวเลขจากบุคคลที่สามที่เผยแพร่ไว้ ซึ่งแปลงมาจากเวลาต่อภารกิจ (นาที) ที่ Artificial Analysis รายงานไว้ในช่วงเปิดตัว โดยวัดจาก endpoint ที่เป็น GPU บนคลาวด์ไม่ใช่บน VPS ตัว Nemotron 3.5 Lightning มีค่าเฉลี่ยอยู่ที่ 30 วินาทีต่อภารกิจ โดยที่ gpt-oss-120b ใช้เวลาประมาณ 204 และ Qwen3.6 35B ใช้เวลาประมาณ 210 ให้ใช้ตัวเลขเหล่านี้เพื่อดูสัดส่วนความแตกต่าง ไม่ใช่เพื่อการการันตีประสิทธิภาพบนฮาร์ดแวร์ของคุณ
คำแนะนำที่ตรงไปตรงมาขึ้นอยู่กับว่าใครเป็นฝ่ายรอ หากมีคนรอ agent หรือ agent เรียกใช้งานต่อเนื่องหลายขั้นตอน ให้เช่า GPU capacity หากทำงานตาม schedule ในช่วงกลางคืนและไม่มีใครเฝ้าดู แผน CPU ที่มี RAM สูงเป็นตัวเลือกที่เหมาะสมได้ ไม่ว่ากรณีใด การตั้งค่าจะเหมือนกัน และ การรัน Ollama บน VPS อธิบายการกำหนดขนาดแผน รวมถึงการเปรียบเทียบ GPU instance กับการจ่ายเงินให้ API provider ตามจำนวน token จุดคุ้มทุนขึ้นอยู่กับ utilisation: GPU instance คิดค่าบริการทุกชั่วโมงที่ยังเปิดใช้งานอยู่ ขณะที่ API token คิดค่าบริการเฉพาะเมื่อมีการใช้งาน ดังนั้น agent ที่ทำงานเกือบตลอดวันมักเหมาะกับเครื่องที่คุณเช่าไว้เอง ส่วน agent ที่ทำงานเพียง 2 ครั้งต่อชั่วโมงโดยทั่วไปมักไม่เหมาะ Ollama software ไม่ได้เพิ่มต้นทุนให้ฝ่ายใดในการคำนวณนี้ เพราะใช้งานบนเซิร์ฟเวอร์ที่คุณเช่าได้โดยไม่มีค่า license และ Ollama คิดค่าบริการอะไรและไม่คิดค่าบริการอะไร อธิบายว่า Ollama Cloud อยู่ในกรณีใด หากคุณไม่ต้องการเช่า hardware เลย
หน้าต่างบริบทขนาด 1M ไม่ได้ใช้งานได้ฟรี
1M tokens คือค่าสูงสุดของโมเดล แต่ Ollama ไม่ได้กำหนดค่านี้ให้โดยอัตโนมัติ Ollama จะกำหนดหน้าต่างเริ่มต้นที่มีขนาดเล็กกว่ามาก และจะตัด token ที่เก่าที่สุดทิ้งเมื่อการสนทนาเกินขีดจำกัดดังกล่าว ในระดับการบันทึก log ปกติจะไม่มีการบันทึกเหตุการณ์นี้ไว้ ดังนั้นสำหรับ agent แล้ว จะดูเหมือนว่าโมเดลลืมจุดเริ่มต้นของงานที่ได้รับมอบหมายไปเอง
คุณต้องกำหนดขนาดหน้าต่างด้วยตนเอง สำหรับการตั้งค่าทั้งเซิร์ฟเวอร์ ให้แก้ไข service ดังนี้:
sudo systemctl edit ollamaเพิ่มบรรทัดนี้เข้าไป จากนั้นรัน sudo systemctl restart ollama:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"สำหรับการส่งคำขอแต่ละครั้ง ให้ส่ง num_ctx ในออบเจกต์ options แทน:
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'การเพิ่มขนาดทุกครั้งจะใช้หน่วยความจำเพิ่มขึ้น เนื่องจาก KV cache จะขยายตัวตามจำนวน token ที่คุณอนุญาต ให้เพิ่มค่าดังกล่าว รีสตาร์ท แล้วรัน ollama ps อีกครั้งเพื่อดูขนาดที่รายงานเพิ่มขึ้น หากคอลัมน์ PROCESSOR เปลี่ยนจาก 100% GPU เป็นแบบแยกส่วนหลังจากการเปลี่ยนแปลงนั้น แสดงว่า KV cache ได้ผลัก layer ของโมเดลออกจาก VRAM และความเร็วในการประมวลผลของคุณจะลดลงอย่างมาก การเลือก num_ctx ใน Ollama จะอธิบายรายละเอียดเกี่ยวกับข้อแลกเปลี่ยนนี้ อย่าตั้งค่าเป็น 1000000 เพียงเพราะ model card อนุญาตให้ทำได้ เนื่องจากการจัดสรรหน่วยความจำจะเกิดขึ้นทันทีและจะทำให้การโหลดล้มเหลวในที่สุด
การเชื่อมต่อเข้ากับเอเจนต์ที่ทำงานตลอดเวลา
หน้าไลบรารีของ Ollama สำหรับโมเดลนี้ได้ระบุคำสั่งลัดที่จะเริ่มการทำงานของเอเจนต์ที่รองรับโดยชี้ไปยังโมเดลดังกล่าวไว้แล้ว:
ollama launch claude --model nemotron-3.5-lightningหน้านี้ระบุ claude, opencode, openclaw และ hermes ไว้ในตำแหน่งดังกล่าว คำสั่งย่อยนี้จำเป็นต้องใช้ Ollama เวอร์ชันปัจจุบัน ดังนั้นให้ตรวจสอบด้วย ollama --version ก่อน หากไม่มีให้กำหนดค่าเอเจนต์ให้ชี้ไปยัง API ด้วยตนเอง Ollama จะเปิดใช้งาน endpoint ที่เข้ากันได้กับ OpenAI ซึ่งเอเจนต์ส่วนใหญ่รองรับ:
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama จะเพิกเฉยต่อคีย์ดังกล่าว แต่ไคลเอนต์ส่วนใหญ่จะไม่ยอมเริ่มทำงานหากไม่มีการตั้งค่าคีย์ไว้ ในส่วนของเอเจนต์นั้นได้ครอบคลุมไว้ใน การชี้เอเจนต์เขียนโค้ดไปยัง Ollama และใน การสร้างเอเจนต์ OpenClaw ของคุณเอง
การตั้งค่าเซิร์ฟเวอร์สองรายการมีความสำคัญเมื่อเอเจนต์ทำงานโดยไม่มีผู้ดูแล OLLAMA_KEEP_ALIVE จะควบคุมระยะเวลาที่โมเดลจะคงอยู่ในหน่วยความจำหลังจากคำขอสุดท้าย โดยค่าเริ่มต้นจะยกเลิกการโหลดโมเดลหลังจากผ่านไปห้านาที ทำให้การเรียกใช้งานครั้งถัดไปต้องเสียเวลาโหลดใหม่ทั้งหมด สำหรับไฟล์ขนาด 25 GB หากไม่มี GPU ระยะเวลาที่หยุดชั่วคราวนั้นนานพอที่จะทำให้เกิด timeout ให้ตั้งค่า OLLAMA_KEEP_ALIVE=-1 เพื่อให้โมเดลคงอยู่ในหน่วยความจำตลอดเวลา OLLAMA_HOST=0.0.0.0:11434 จะทำให้ API สามารถเข้าถึงได้จากเครื่องอื่น และเนื่องจากไม่มีการตรวจสอบสิทธิ์ใดๆ ทั้งสิ้น จึงควรเปิดใช้งานเฉพาะหลังกฎ firewall หรือภายในเครือข่ายส่วนตัวเท่านั้น
รูปแบบความล้มเหลวและข้อความที่คุณจะพบ
การดึงข้อมูล (pull) ล้มเหลวทันที Error: pull model manifest: file does not exist หมายความว่าแท็กนั้นไม่มีอยู่จริง ชื่อแท็กเป็นสตริงที่ต้องตรงกันทุกตัวอักษร ดังนั้นให้คัดลอกมาจากหน้าไลบรารีแทนการเดาส่วนต่อท้าย (quantisation suffix)
โมเดลไม่โหลด Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) หมายความว่าแท็กมีขนาดใหญ่เกินกว่าที่กำหนดไว้ในแผนนี้ ให้เปลี่ยนไปใช้รุ่นที่มีการทำ quantisation เล็กลง หรือลดค่า OLLAMA_CONTEXT_LENGTH ลง เนื่องจาก KV cache จะถูกนับรวมอยู่ในข้อกำหนดนั้นด้วย
ไม่มีการตอบสนองที่พอร์ต 11434 curl: (7) Failed to connect to localhost port 11434 หมายความว่าบริการไม่ได้ทำงานอยู่ หรือไม่ได้ฟังพอร์ตในจุดที่คุณคาดหวัง ให้อ่าน systemctl status ollama และ journalctl -u ollama -n 50 หากคุณสั่งเริ่ม ollama serve ด้วยตนเองซ้ำอีกครั้ง สำเนาที่สองจะปิดตัวลงพร้อมกับข้อความ Error: listen tcp 127.0.0.1:11434: bind: address already in use
มีการตอบสนองแต่ช้ามาก ให้ตรวจสอบ ollama ps ก่อนที่จะปรับเปลี่ยนค่าใดๆ หากพบการใช้งาน CPU ในคอลัมน์ PROCESSOR บนเครื่องที่มี GPU หมายความว่าโมเดลบางส่วนถูกย้ายออกจาก VRAM ให้ลดขนาด context หรือใช้รุ่นที่มีการทำ quantisation เล็กลง สำหรับเครื่องที่ไม่มี GPU ความล่าช้าเป็นเรื่องปกติและไม่มีการตั้งค่าใดที่จะแก้ไขได้
เอเจนต์ลืมคำสั่งระหว่างทำงาน การสนทนาเกินขอบเขตของ context window ทำให้โทเค็นเก่าที่สุดถูกลบออกโดยไม่มีการแจ้งเตือน ให้เพิ่มค่า OLLAMA_CONTEXT_LENGTH และยืนยันด้วย ollama ps ว่าโมเดลยังคงโหลดได้พอดี หากไม่พอดี วิธีแก้ไขคือการใช้เครื่องที่มีสเปกสูงขึ้นแทนการลดขนาดหน้าต่าง context
ตำแหน่งของโมเดลนี้เมื่อเทียบกับทางเลือกอื่น
โมเดลแบบ MoE ขนาด 30B ถือเป็นภาระหนักเกินไปสำหรับการทำงานขนาดเล็ก หากโมเดลแบบ dense ขนาด 8B สามารถจัดการงานของคุณได้อยู่แล้ว การใช้งานโมเดลนั้นจะมีต้นทุนต่ำกว่ามากและโหลดเสร็จภายในไม่กี่วินาที โดย Qwen 3 ขนาด 8B และ 27B บน VPS คือการเปรียบเทียบโดยตรงสำหรับการตัดสินใจดังกล่าว สำหรับการสำรวจภาพรวมว่าแผนการใช้งานที่คุณมีสามารถรองรับอะไรได้บ้าง ให้เริ่มจาก โมเดล AI ที่คุณสามารถ self-host ได้ หากคุณวางแผนที่จะให้บริการเอเจนต์หลายตัวพร้อมกันแทนที่จะเป็นตัวเดียว โปรดอ่าน การเปรียบเทียบ Ollama กับ vLLM ก่อน Ollama สามารถประมวลผลคำขอไปยังโมเดลเดียวแบบขนานได้ แต่ OLLAMA_NUM_PARALLEL ถูกตั้งค่าเริ่มต้นไว้ที่ 1 ดังนั้นโดยค่าเริ่มต้นแล้ว คำขอของเอเจนต์ตัวที่สองจะต้องรออยู่ในคิวจนกว่าตัวแรกจะเสร็จสิ้น สำหรับโมเดลนี้ การเพิ่มค่าดังกล่าวก็ไม่ช่วยเช่นกัน เนื่องจาก ณ Ollama v0.40.11 ตัว scheduler จะบังคับให้สถาปัตยกรรม nemotron_h_moe ที่ tag นี้ใช้งานอยู่กลับไปประมวลผลทีละคำขอและบันทึก log model architecture does not currently support parallel requests ในโมเดลที่รองรับการเพิ่มค่าดังกล่าว การเพิ่มค่าจะทำให้สิ้นเปลืองหน่วยความจำ โดย FAQ ของ Ollama ระบุว่า RAM ที่ต้องใช้จะเพิ่มขึ้นตามจำนวน OLLAMA_NUM_PARALLEL คูณด้วย OLLAMA_CONTEXT_LENGTH ดังนั้นในโมเดลขนาดใหญ่ การคูณค่านี้คือจุดที่การตั้งค่าสำหรับผู้ใช้คนเดียวเริ่มไม่สามารถขยายขีดความสามารถต่อไปได้
FAQ
ฉันควรดึง tag ไหนของ Nemotron 3.5 Lightning บน Linux VPS?
ให้ใช้ nemotron-3.5-lightning:30b-a3b-q4_K_M ซึ่งมีขนาด 25 GB รองรับ context สูงสุดที่ 1M เต็ม และเป็น build ที่ตัวชี้ latest, 30b และ 30b-a3b ส่งค่ากลับมาเมื่อมีการสอบถามในวันที่ 25 ตุลาคม 2026 แม้ว่าทาง library จะย้ายตัวชี้เหล่านั้นไปยัง digest แยกต่างหากในช่วงกลางเดือนตุลาคมก็ตาม ให้ระบุชื่อ tag นี้โดยตรงแทนการดึง latest เพื่อป้องกันไม่ให้การ republish ตัวชี้ดังกล่าวในอนาคตส่งผลต่อพฤติกรรมของ agent โดยที่คุณไม่ทราบ ส่วน tag mlx และ 30b-a3b-nvfp4 เป็น build สำหรับ Apple silicon ซึ่งใช้ digest 30b-a3b-mlx ร่วมกัน จึงไม่สามารถใช้งานบน Linux ได้
Nemotron 3.5 Lightning ต้องการ RAM เท่าไร?
NVIDIA ไม่ได้ระบุตัวเลขหน่วยความจำขั้นต่ำสำหรับ build ของ Ollama ดังนั้นให้ใช้วิธีวัดค่าแทนการคาดเดา ให้ดึง tag มาแล้วรันโมเดลหนึ่งครั้ง จากนั้นอ่านค่า ollama ps ในขณะที่โมเดลถูกโหลดอยู่ ระบบจะแสดงขนาดที่ใช้งานจริงและระบุว่าโมเดลถูกโหลดลงบน GPU หรือ CPU ขนาดไฟล์ดาวน์โหลด 25 GB สำหรับ tag เริ่มต้นนั้นเป็นเพียงค่าต่ำสุด เนื่องจากต้องบวกเพิ่มด้วย KV cache ซึ่งจะขยายตัวตาม context window ที่คุณกำหนด หากแผนที่ใช้มีขนาดเล็กเกินไป Ollama จะปฏิเสธการทำงานพร้อมแสดงข้อความ model requires more system memory และระบุตัวเลขทั้งสองค่าออกมา
ฉันสามารถรัน Nemotron 3.5 Lightning บน VPS ที่ไม่มี GPU ได้หรือไม่?
ได้ หากแผนที่คุณใช้มี RAM เพียงพอสำหรับเก็บน้ำหนัก (weights) ของโมเดล และการออกแบบแบบ MoE ก็ช่วยได้มากเนื่องจากมีการคำนวณพารามิเตอร์เพียงประมาณ 3 จาก 30 พันล้านตัวต่อหนึ่ง token ปัญหาคือเรื่องความเร็ว หากไม่มี GPU โมเดลจะถูกจำกัดด้วย memory bandwidth ดังนั้นการเพิ่ม vCPU จึงแทบไม่ช่วยให้ผลลัพธ์เร็วขึ้น ให้รัน ollama run --verbose ด้วย prompt ที่กำหนดไว้ แล้วอ่านบรรทัด eval rate เพื่อประเมินตัวเลขนั้นเทียบกับเวลาที่ agent ของคุณต้องทำงานให้เสร็จ หากเป็นงาน batch ที่รันข้ามคืนมักจะไม่มีปัญหา แต่หากเป็นงานที่ต้องรอผลลัพธ์แบบ real-time มักจะไม่เหมาะสม
ทำไม Ollama ถึงไม่ให้ context window เต็ม 1M?
1M คือค่าสูงสุดของโมเดล ไม่ใช่ค่าเริ่มต้นของ Ollama โดย Ollama จะกำหนด window ที่เล็กกว่ามากและจะลบ token ที่เก่าที่สุดทิ้งเมื่อการสนทนาเกินขีดจำกัดโดยไม่มีการแจ้งเตือนข้อผิดพลาด ซึ่งทำให้ agent ดูเหมือนลืมคำสั่งของตัวเอง ให้ตั้งค่า OLLAMA_CONTEXT_LENGTH ใน systemd service หรือส่งค่า num_ctx ต่อการร้องขอแต่ละครั้ง ให้ค่อยๆ เพิ่มค่าและตรวจสอบ ollama ps ในแต่ละครั้ง เนื่องจากหน่วยความจำของ KV cache จะเพิ่มขึ้นตามขนาด window และอาจทำให้ layer ของโมเดลถูกผลักออกจาก GPU ได้
Nemotron 3.5 Lightning สามารถใช้งานเชิงพาณิชย์ได้ฟรีหรือไม่?
Model card ของ NVIDIA ระบุว่าโมเดลนี้อยู่ภายใต้ใบอนุญาต OpenMDW-1.1 และพร้อมสำหรับการใช้งานเชิงพาณิชย์ ณ วันที่ 25 ตุลาคม 2026 หน้า library ของ Ollama ระบุใบอนุญาตที่มาพร้อมกับการดาวน์โหลดว่าเป็น NVIDIA Open Model License Agreement ดังนั้นโปรดอ่านทั้งสองฉบับก่อนตัดสินใจใช้งาน ใบอนุญาตนี้ครอบคลุมเฉพาะน้ำหนักของโมเดลที่คุณดาวน์โหลดและรันเองเท่านั้น ไม่ได้ครอบคลุมถึงซอฟต์แวร์อื่นใน stack ของคุณ ดังนั้นควรตรวจสอบใบอนุญาตของ agent harness และเครื่องมืออื่นๆ ที่คุณเชื่อมต่อแยกต่างหาก และอ่าน model card ฉบับล่าสุดก่อนนำไปใช้ในสัญญาทางกฎหมายใดๆ