Ollama मध्ये num_predict ने output लांबी कशी मर्यादित
num_predict Ollama ला किती output tokens लिहू द्यायचे ते ठरवते. ते सेट करण्याची तीन ठिकाणे, कोणती setting लागू होते आणि प्रतिसादातील done_reason कसे वाचायचे ते समजा.
Ollama मध्ये num_predict काय करते
num_predict हा Ollama पर्याय आहे. तो एका प्रतिसादात मॉडेल किती tokens तयार करू शकते याची कमाल मर्यादा ठरवतो. यात फक्त output tokens मोजले जातात. त्यामुळे prompt या मर्यादेत मोजला जात नाही. मॉडेल ही मर्यादा गाठल्यावर जिथे असेल तिथे generation थांबते. कधीकधी हे एखाद्या शब्दाच्या मध्यावरही घडते. त्यानंतर प्रतिसादात done_reason ची किंमत length अशी सेट केलेली असते.
या वैशिष्ट्याचे स्वरूप इतकेच आहे. अडचण अशी आहे की Ollama मध्ये ही किंमत सेट करण्यासाठी तीन स्वतंत्र ठिकाणे आहेत. विनंतीच्या सर्वात जवळची setting लागू होते. जवळपास प्रत्येक "num_predict does nothing" अहवालामागे एक layer दुसरी setting शांतपणे override करत असते.
num_predict हे num_ctx नाही
Ollama मधील इतर कोणत्याही पर्यायांच्या जोडीपेक्षा या दोन पर्यायांमध्ये अधिक गोंधळ होतो. त्यामुळे debugging साठी लागणारा प्रत्यक्ष वेळ वाढतो.
num_ctx हे model किती वाचू शकते ते ठरवते. ही context window ची क्षमता आहे. त्यात prompt आणि आतापर्यंत तयार झालेला सर्व मजकूर असतो. ही क्षमता वाढवल्यास memory अधिक लागते, कारण त्या tokens साठी model ठेवत असलेला key/value cache window सोबत वाढतो. तुमच्या hardware साठी num_ctx चे आकारमान ठरवणे हे स्वतंत्र काम आहे आणि त्यात वेगवेगळ्या प्रकारच्या समस्या उद्भवू शकतात.
num_predict हे model किती लिहील ते ठरवते. हा allocation नसून थांबण्याचा नियम आहे. ही मर्यादा वाढवल्यास RAM पेक्षा wall-clock time अधिक लागतो. तसेच आधीपासून काहीही reserve केले जात नाही.
हे दोन्ही एका ठिकाणी परस्पर संबंधित होतात. तयार झालेले tokens तयार होत असतानाच context window मध्ये जमा होतात. Ollama v0.40.11 मध्ये बहुतेक models साठी context shift default ने enabled आहे. त्यामुळे window पूर्ण झाल्यावर जुने tokens काढले जातात आणि generation सुरू राहते. shift बंद असल्यास, request मध्ये "shift": false पाठवले असल्यामुळे किंवा model shifting ला support करत नसल्यामुळे, तुमची cap गाठण्याऐवजी window भरल्यानेही reply थांबू शकतो. दोन्ही परिस्थितींमध्ये Ollama length दाखवते. त्यामुळे या दोन्ही परिस्थितींमध्ये फरक करणारी संख्या eval_count आहे. तिचे पुढे सविस्तर वर्णन केले आहे.
Modelfile वापरून ते एकदाच सेट करा
Modelfile तुम्ही तयार करत असलेल्या model मध्ये हे मूल्य कायमचे समाविष्ट करते. फाइल लिहा:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512त्यानंतर model तयार करा आणि तयार केलेली व्याख्या पुन्हा वाचा:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters साठवलेल्या प्रत्येक parameter साठी त्याचे मूल्य असलेली एक ओळ दाखवते. त्या output मध्ये num_predict नसल्यास, model मध्ये पूर्वनिश्चित कमाल मर्यादा नाही आणि Ollama चे स्वतःचे default लागू होते. ollama show --modelfile qwen3-capped संपूर्ण definition दाखवते. विद्यमान model सोबत आधीपासून आलेले parameters copy करण्याचा हा सर्वात जलद मार्ग आहे. अशा प्रकारे मर्यादित model तयार केल्याने जवळजवळ अतिरिक्त disk space लागत नाही, कारण नवीन entry base model ने आधीच download केलेले weight blobs पुन्हा वापरते; त्यांची प्रत बनवत नाही. VPS चा root disk भरून जाण्यापूर्वी Ollama हे blobs कुठे ठेवते हे जाणून घेणे उपयुक्त ठरते.
प्रत्येक caller ने वारशाने वापरावे असे मूल्य सेट करण्यासाठी हा योग्य स्तर आहे. मात्र हे अंतिम मूल्य असेल अशी अपेक्षा असल्यास हा चुकीचा स्तर आहे, कारण ते अंतिम नसते.
प्रत्येक विनंतीसाठी options ऑब्जेक्टमध्ये ते सेट करा
प्रत्येक generation endpoint options ऑब्जेक्ट स्वीकारतो आणि num_predict त्यामध्ये ठेवले जाते:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat मध्ये त्याच अर्थाने तोच options key वापरला जातो. येथे दिलेले मूल्य केवळ त्या एका call ला लागू होते; इतर कोणत्याही call ला लागू होत नाही. तुमची tools हीच layer वापरतात: chat front end, script, SDK wrapper किंवा coding agent. ते सर्व options object पाठवतात, त्या object साठी तुम्हाला स्वतंत्र box दिसत असो वा नसो.
एका सत्रासाठी /set parameter ने ते सेट करा
ollama run मध्ये interactive session त्या सत्राच्या उर्वरित कालावधीसाठी options सेट करते:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters तुमच्या पुढील message सोबत session काय पाठवेल ते दाखवते. त्यामुळे बदल लागू झाला आहे का हे तपासण्याचा हा सर्वात जलद मार्ग आहे. तुम्ही /bye टाइप करेपर्यंत ही value कायम राहते. ती जतन करण्यासाठी /save qwen3-capped सध्याचे session आणि त्यातील parameters यांचा नवीन model म्हणून लिखाण करते. तुम्ही येथे /set केलेली कोणतीही गोष्ट इतर client पर्यंत पोहोचत नाही.
कोणती setting लागू होते आणि तुमची setting दुर्लक्षित का दिसते
क्रम स्पष्ट आहे. Request सोबत पाठवलेले options इतर सर्व settings वर प्राधान्य घेतात. Model च्या Modelfile मधील PARAMETER num_predict line ही request मध्ये कोणतीही value नसल्यास वापरली जाणारी fallback setting आहे. दोन्ही नसल्यास Ollama चा built-in default लागू होतो.
/set parameter हा तिसरा नियम नाही. Interactive session हा API client असतो. त्यामुळे तिथे सेट केलेली value त्या request च्या options म्हणून पाठवली जाते. म्हणूनच ती त्या session साठी Modelfile वर override करते.
आता यामुळे स्पष्ट होणारे अपयश पाहू. तुम्ही PARAMETER num_predict 512 जोडता, model पुन्हा build करता, तरी replies हजारो tokens पर्यंत चालू राहतात. तुमची setting उपस्थित आहे आणि ollama show --parameters हे सिद्ध करते. प्रत्येक request वर ती override होत आहे, कारण client स्वतःचा options object पाठवत आहे आणि त्यात स्वतःची संख्या देत आहे. ही संख्या अनेकदा तुम्ही काही महिन्यांपूर्वी settings screen मध्ये टाइप केलेली असते आणि नंतर विसरलेली असते. ollama show stored model वाचते. HTTP द्वारे प्रत्यक्षात काय येते ते ती दाखवू शकत नाही.
एकाच command ने server-side वर्तनाची खात्री करा. दीर्घ उत्तर निर्माण करणारा request पाठवा, cap कमी ठेवा आणि दोन fields वाचा:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'तपशीलवार उत्तर 32 tokens पेक्षा बरेच पुढे जाईल. त्यामुळे "length" आणि 32 अपेक्षित आहेत. jq उपलब्ध नसेल, तर आधी ते sudo apt install -y jq ने install करा. 32 निश्चित नाही, कारण eval_count ही server ने प्रत्यक्षात निर्माण केलेल्या output tokens ची संख्या आहे. Model लवकर पूर्ण झाल्यास "stop" मिळेल आणि count कमी असेल. अशा वेळी अधिक मजकूर मागणारा prompt वापरा. "length" आणि 32 मिळाल्यास request मधील value ने qwen3-capped मध्ये stored असलेल्या 512 वर override केले आहे. यावरून server per-request options स्वीकारतो हे दिसते. तुमचा application काय पाठवतो हे यातून समजत नाही. त्यामुळे तपास client कडे वळतो. एखाद्या request बाबत server स्वतः कोणती माहिती नोंदवतो हे पाहण्यासाठी environment मध्ये OLLAMA_DEBUG=1 देऊन तो पुन्हा सुरू करा आणि application त्याच्याशी संवाद साधत असताना journalctl -u ollama -f monitor करा.
नकारात्मक मूल्ये आणि तुम्ही कॉपी करू नयेत असे आकडे
num_predict नकारात्मक मूल्येही स्वीकारते. ही मूल्ये count नसून sentinel असतात. एका नकारात्मक मूल्याचा अर्थ आहे, “यावर मर्यादा घालू नका; निर्मिती सुरू ठेवा.” दुसऱ्या मूल्याचा अर्थ “उरलेला context भरा” असा होता. October 2026 पर्यंत Ollama Modelfile reference मध्ये default म्हणून -1, म्हणजेच infinite generation, दिले आहे. याच तक्त्याच्या जुन्या आवृत्त्यांमध्ये context भरण्यासाठी -2 देखील दिले होते.
हे सर्व version-dependent समजा, कारण त्यात बदल झाले आहेत. Reference मध्ये बराच काळ default म्हणून 128 दिले होते. नंतर ही नोंद दुरुस्त करून -1 करण्यात आली. त्यामुळे अनेक guides मध्ये अजूनही जुना आकडा दिलेला आढळतो. वर्तनातही बदल झाला आहे. October 25, 2026 रोजीची current release असलेली Ollama v0.40.11, GGUF models upstream llama-server process कडे पाठवते. त्या process ला finite budget आवश्यक असतो. त्यामुळे ती कोणतेही negative value आणि num_ctx च्या दहापटांपेक्षा जास्त असलेली कोणतीही cap, num_ctx च्या दहापट मूल्याने बदलते. त्यामुळे वरील qwen3-capped model साठी “Infinite” म्हणजे 81,920 tokens. तसेच -2 चे वर्तन आता -1 पेक्षा वेगळे राहिलेले नाही. तुम्ही प्रत्यक्षात चालवत असलेल्या version साठी Modelfile parameter reference वाचा. त्यानंतर वरील eval_count check वापरून वर्तनाची खात्री करा. स्वतःच्या box वर पडताळलेले मूल्य, या post मध्ये वाचलेल्या मूल्यासह इतर कुठेही वाचलेल्या मूल्यापेक्षा अधिक विश्वासार्ह असते.
CPU-only VPS वर output length हाच मुख्य खर्च का ठरतो
तुमच्या नियंत्रणातील मशीनवर Ollama चालवण्यासाठी कोणतेही शुल्क आकारले जात नाही, त्यामुळे local generation साठी मीटरनुसार शुल्क नसते; त्याऐवजी लांब उत्तरासाठी अधिक वेळ लागतो. Generation दोन टप्प्यांत होते आणि दोन्हींचा वेग खूप वेगळा असतो. Prompt tokens चे मूल्यांकन batches मध्ये, एकावेळी अनेक tokens चे, केले जाते. Output tokens मात्र एकावेळी एक तयार केले जातात आणि प्रत्येक token साठी वापरल्या जाणाऱ्या weights वरून एक pass करावा लागतो. CPU-only VPS वर हा pass memory bandwidth मुळे मर्यादित असतो. त्यामुळे एका generated token ची किंमत एका prompt token पेक्षा खूप जास्त असते. त्या token साठी वापरले जाणारे प्रत्येक weight वाचावे लागते. Dense model मध्ये सर्व weights वाचावे लागतात; Nemotron 3.5 Lightning सारख्या mixture-of-experts model मध्ये प्रत्येक token साठी routed experts एवढेच weights सक्रिय होतात. या model मध्ये 30B parameters पैकी सुमारे 3B parameters प्रत्येक token साठी सक्रिय होतात. त्यामुळे प्रत्येक weight व्यापत असलेल्या bytes ची संख्या तुमच्या token rate ची कमाल मर्यादा ठरवते. म्हणूनच त्याच model च्या q8 किंवा fp16 आवृत्तीपेक्षा q4 build जलद decode करतो.
Streaming शिवाय response मागितल्यास संख्या थेट दिसतात:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709Durations nanoseconds मध्ये आहेत. त्या block मध्ये Ollama API documentation मध्ये October 2026 पर्यंत प्रकाशित केलेला sample response आहे; तो कोणत्याही विशिष्ट server वरील measurement नाही. त्यात 11 prompt tokens साठी सुमारे 0.013 seconds लागले, तर 18 output tokens साठी सुमारे 0.052 seconds लागले. म्हणजे प्रत्येक prompt token साठी साधारण 1.2 milliseconds, तर प्रत्येक output token साठी 2.9 milliseconds लागले. त्यामुळे एका ओळीच्या reply मध्येही प्रत्येक generated token साठी वाचलेल्या प्रत्येक token पेक्षा दुप्पटहून अधिक खर्च झाला. लांब उत्तरात clock प्रामुख्याने output मुळे चालू राहतो. तुमचा स्वतःचा generation rate म्हणजे eval_count ला eval_duration ने भागून seconds मध्ये रूपांतरित केलेले मूल्य. तसेच तुमच्या स्वतःच्या hardware वर tokens per second मोजणे इतर कोणतेही tuning करण्यापूर्वी एकदा करणे उपयुक्त ठरते. हा rate मशीनइतकाच model वरही अवलंबून असतो. त्यामुळे लांब उत्तरे हाच खरा खर्च असेल, तर VPS वर Nemotron 3.5 Lightning सारखा जलद decoding साठी तयार केलेला model कमी cap मुळे वाचणारा काही वेळ परत मिळवून देतो.
उर्वरित गणित सोपे आहे. 8 tokens per second या वेगाने 2,000 tokens चे उत्तर मशीनला चार मिनिटांपेक्षा जास्त वेळ व्यापून ठेवते. तुम्हाला paragraph हवा होता याची model ला कल्पना नसते. Reasoning model तुम्ही मागितलेला शब्द लिहिण्यापूर्वी त्या budget मधील काही भाग विचार करण्यासाठी वापरतो. हे thinking देखील इतर सर्व गोष्टींसारखे एकावेळी एक token तयार करून होते. त्यामुळे तुम्ही मागत असलेला reasoning effort हाच खर्च नियंत्रित करणारा आणखी एक घटक आहे. काही models एखादी phrase पुन्हा पुन्हा तयार करत राहतात, जोपर्यंत काहीतरी त्यांना थांबवत नाही. कोणताही cap नसल्यास, context shift मुळे full window संपण्यापूर्वी ती एकच request core व्यस्त ठेवते आणि ती num_ctx tokens च्या दहापट संख्येपर्यंत पोहोचू शकते. num_predict हे त्याला मर्यादा घालणारे setting आहे. लहान self-hosted Ollama VPS वर याचे महत्त्व सर्वाधिक असते, कारण एकच लांब request संपूर्ण मशीन व्यापू शकते.
Truncated output सहसा मर्यादेमुळे असते; model खराब झालेले नसते
लक्षणे model च्या अपयशासारखी दिसतात. उत्तर वाक्याच्या मध्यावर थांबते. शेवटचा brace न आल्यामुळे JSON parse होत नाही. लगेच model किंवा quantisation ला दोष दिला जातो. आधी response वाचा.
done_reason उत्तर प्रश्नाला थेट उत्तर देते. stop याचा अर्थ कोणतीही मर्यादा गाठण्यापूर्वी generation समाप्त झाले. याचे कारण model ने end-of-sequence token निर्माण केलेले असू शकते किंवा तुमच्या stop option मधील एखाद्या string शी output जुळलेले असू शकते. अशा जुळणीच्या ठिकाणी reply समाप्त होते. length याचा अर्थ जागा संपल्यामुळे generation मध्येच थांबले. length दिसल्यास eval_count ची तुमच्या cap शी तुलना करा: दोन्ही अगदी समान असल्यास num_predict मुळे ते थांबले. संख्या त्यापेक्षा कमी असल्यास context window आधी भरली; context shift बंद असल्यावरच हे घडू शकते.
तुम्ही stream वापरत असल्यास ही fields अंतिम chunk मध्ये येतात; त्या chunk मध्ये "done": true असते. अनेक client libraries हा chunk टाकून देतात आणि तुमच्या code ला फक्त text देतात. त्यामुळे application मध्ये तीच truncation अस्पष्ट दिसते, पण curl अंतर्गत ती स्पष्ट दिसते. एखादी library हे field लपवत असल्यास curl सह एक request पाठवा. त्यामुळे server ने प्रत्यक्षात काय सांगितले ते कळेल.
आणखी एक मुद्दा लक्षात ठेवल्यास अनावश्यक वेळ वाचतो. num_predict वाढवल्याने model अधिक लिहीत नाही. त्यातून फक्त कमाल मर्यादा दूर होते. done_reason च्या stop सह reply 200 tokens वर संपत असल्यास model ने ते पूर्ण झाले असे ठरवलेले असू शकते किंवा तुमच्या stop पैकी एखादी string जुळलेली असू शकते. अशा वेळी मोठी cap केल्याने काही बदलत नाही. stop असलेली छोटी उत्तरे ही prompting किंवा stop-string ची समस्या असते. length असलेली छोटी उत्तरे ही cap ची समस्या असते.
मूल्य निवडणे
- परस्परसंवादी चॅटसाठी कमाल मर्यादा ठेवू नका आणि अनियंत्रित उत्तर थांबवण्यासाठी Ctrl+C दाबा. तुम्ही स्क्रीनवर लक्ष ठेवत असता.
- स्क्रिप्टद्वारे चालणाऱ्या कोणत्याही प्रक्रियेसाठी ही मर्यादा सेट करा. कमाल मर्यादा नसलेली generation loop मध्ये चालवल्यास दहा मिनिटांत पूर्ण होणारे batch job दुसऱ्या दिवशी सकाळीही सुरू राहू शकते.
- संरचित output साठी, अपेक्षित सर्वात मोठ्या वैध document पेक्षा ही मर्यादा जास्त ठेवा. त्यानंतर
done_reasonपैकीlengthआल्यास ते hard error समजा आणि परत आलेले output parse करण्याऐवजी पुन्हा प्रयत्न करा. - coding agent साठी हे मूल्य agent च्याच configuration मध्ये ठेवा, कारण प्रत्येक request वेळी agent स्वतःचे options पाठवतो. coding agent ला Ollama कडे निर्देशित करणे येथे ही settings कुठे असतात ते स्पष्ट केले आहे.
ही मर्यादा words किंवा characters नव्हे, तर tokens मोजते. त्यामुळे तिचा अंदाज लावू नका. कमाल मर्यादा न ठेवता एक प्रतिनिधिक answer generate करा, eval_count वाचा आणि limit त्यापेक्षा पुरेशी जास्त ठेवा. वेगवेगळ्या model families मध्ये tokenisation वेगळी असते. त्यामुळे Llama model साठी योग्य असलेले मूल्य त्याच VPS वरील Qwen 3 model कडून मिळणारे तेच answer truncate करू शकते.
FAQ
num_ctx आणि num_predict मध्ये Ollama मधील फरक काय आहे?
num_ctx ही context window ची लांबी आहे. त्यामुळे मॉडेल किती मजकूर वाचू शकते हे ती ठरवते: prompt आणि आतापर्यंत तयार झालेला सर्व मजकूर. यासाठी memory लागते, कारण key/value cache त्यानुसार वाढतो. num_predict एका response मध्ये मॉडेलने जास्तीत जास्त किती tokens लिहावेत हे ठरवते. यासाठी memory पेक्षा वेळ लागतो आणि कोणतीही जागा आधीच राखीव ठेवली जात नाही. तयार झालेले tokens दोन्ही मर्यादांमध्ये मोजले जातात. त्यामुळे context shift बंद असल्यास reply यांपैकी कोणत्याही एका मर्यादेमुळे लवकर थांबू शकतो.
माझी num_predict setting दुर्लक्षित होत असल्यासारखी का दिसते?
कारण request सोबत पाठवलेली value मॉडेलमध्ये साठवलेल्या value वर प्राधान्य घेते. Modelfile मध्ये PARAMETER num_predict 512 ठेवा. त्यानंतर त्या मॉडेलचा वापर chat front end किंवा coding agent मधून करा. Client स्वतःचा options object पाठवतो आणि त्यातील number लागू होतो. ollama show --parameters मात्र तुमची value दाखवत राहते, कारण ते साठवलेले मॉडेल वाचते आणि HTTP द्वारे आलेली value पाहू शकत नाही. "options": {"num_predict": 32} वापरून curl असलेली एक request पाठवा आणि दीर्घ उत्तर आवश्यक असलेला prompt द्या. त्यानंतर done_reason आणि eval_count वाचा. eval_count ची value 32 असलेले length request मधील value ने साठवलेल्या value वर प्राधान्य घेतल्याचे दाखवते. यावरून server योग्यरीत्या कार्य करत असल्याचे निश्चित होते आणि तपास application कडे वळवता येतो. कमी count असलेले stop फक्त मॉडेल आधीच पूर्ण झाल्याचे दर्शवते. त्यामुळे अधिक मजकूर मागणाऱ्या prompt सह पुन्हा प्रयत्न करा.
माझे output num_predict मुळे अपूर्ण राहिले आहे का हे कसे समजेल?
"stream": false सह request पाठवा आणि done_reason वाचा. stop value म्हणजे मॉडेल स्वतःहून पूर्ण झाले किंवा तुमच्या stop पैकी एखाद्या string मुळे ते थांबले. length value म्हणजे उपलब्ध जागा संपली. त्यानंतर eval_count ची तुलना तुमच्या cap शी करा. दोन्ही अगदी समान असल्यास num_predict मुळे generation थांबले. eval_count लहान असल्यास context window आधी भरली. Streaming वापरताना दोन्ही fields "done": true असलेल्या अंतिम chunk मध्ये येतात. तुमच्या code ला ते दिसण्यापूर्वी अनेक client libraries हा chunk काढून टाकतात.
num_predict ची default value काय आहे?
एखाद्या लेखाऐवजी तुमच्या स्वतःच्या install मधून ती वाचा. October 2026 पर्यंत Ollama Modelfile reference मध्ये default म्हणून -1 दिले आहे. याचा अर्थ generation वर मर्यादा नाही. दीर्घ काळ 128 दस्तऐवजीकरण केल्यानंतर ही नोंद दुरुस्त करण्यात आली. Ollama v0.40.11 मध्ये हे open-ended default, इतर कोणत्याही negative value प्रमाणे, प्रत्यक्षात ten times num_ctx येथे थांबते. Negative values या counts नसून sentinels आहेत. याच table च्या जुन्या versions मध्ये उरलेली context भरण्यासाठी -2 देखील दिले होते. तुमच्या version साठी Modelfile parameter reference तपासा. त्यानंतर ollama show --parameters आणि एक curl request वापरून ते निश्चित करा.
num_predict वाढवल्याने मॉडेल अधिक लांब उत्तरे लिहिते का?
नाही. त्यामुळे फक्त कमाल मर्यादा दूर होते. stop च्या done_reason सह reply संपत असल्यास, मॉडेलने ते पूर्ण झाले असे ठरवले आहे किंवा तुमच्या stop पैकी एखादी string जुळली आहे. मोठी cap दिल्याने काहीही बदलत नाही. अशा वेळी लांबीचा प्रश्न prompting शी संबंधित असतो: विशिष्ट structure, section count किंवा अपेक्षित detail level सांगा. done_reason चे उत्तर length आल्यावरच num_predict वाढवा.