Ollama में num_predict का उपयोग कैसे करें
Ollama में num_predict के जरिए आउटपुट टोकन की सीमा तय करें। जानें कि API, Modelfile और CLI में से कौन सी सेटिंग प्रभावी है और done_reason का विश्लेषण कैसे करें।
Ollama में num_predict क्या करता है
num_predict Ollama का वह विकल्प है जो यह सीमित करता है कि एक response में model अधिकतम कितने tokens generate कर सकता है। यह केवल output tokens की गणना करता है, इसलिए prompt के tokens इसमें शामिल नहीं होते हैं। जब model इस सीमा तक पहुँच जाता है, तो generation वहीं रुक जाता है, कभी-कभी शब्द के बीच में ही, और response में done_reason का मान length हो जाता है।
यह पूरी सुविधा बस इतनी ही है। समस्या यह है कि Ollama में इस मान को सेट करने के लिए तीन अलग-अलग स्थान दिए गए हैं, और request के सबसे करीब वाली सेटिंग प्रभावी होती है। लगभग हर "num_predict काम नहीं कर रहा है" वाली रिपोर्ट का कारण यही होता है कि एक लेयर चुपचाप दूसरी लेयर को override कर रही होती है।
num_predict और num_ctx एक नहीं हैं
Ollama में किसी भी अन्य जोड़ी की तुलना में इन दो विकल्पों को लेकर सबसे अधिक भ्रम होता है, और यह भ्रम वास्तविक डिबगिंग में समय बर्बाद करता है।
num_ctx यह निर्धारित करता है कि मॉडल कितना पढ़ सकता है। यह context window का आकार है, जिसमें प्रॉम्प्ट और अब तक उत्पन्न की गई हर चीज़ शामिल होती है। इसे बढ़ाने से मेमोरी की खपत बढ़ती है, क्योंकि उन टोकन के लिए मॉडल द्वारा रखा गया key/value cache विंडो के साथ बढ़ता है। अपने हार्डवेयर के लिए num_ctx का आकार निर्धारित करना एक अलग कार्य है जिसके अपने विफलता के कारण हैं।
num_predict यह निर्धारित करता है कि मॉडल कितना लिखेगा। यह एक स्टॉपिंग रूल (रोकने का नियम) है, न कि कोई एलोकेशन। इसे बढ़ाने से RAM के बजाय वास्तविक समय (wall-clock time) की खपत होती है, और पहले से कुछ भी रिज़र्व नहीं किया जाता है।
ये दोनों एक जगह मिलते हैं। उत्पन्न टोकन जैसे-जैसे बनते हैं, वे context window के अंदर आते जाते हैं। Ollama v0.40.11 में अधिकांश मॉडलों के लिए context shift डिफ़ॉल्ट रूप से चालू रहता है, इसलिए विंडो भर जाने पर पुराने टोकन हट जाते हैं और जनरेशन जारी रहती है। यदि शिफ्ट बंद है, क्योंकि अनुरोध में "shift": false भेजा गया है या मॉडल शिफ्टिंग का समर्थन नहीं करता है, तो उत्तर इसलिए भी रुक सकता है क्योंकि विंडो भर गई है, न कि इसलिए कि आपकी सीमा (cap) तक पहुँच गए हैं। Ollama दोनों ही स्थितियों में length रिपोर्ट करता है, इसलिए वह संख्या जो उन्हें अलग करती है वह eval_count है, जिसे नीचे विस्तार से समझाया गया है।
Modelfile के साथ इसे एक बार सेट करें
Modelfile आपके द्वारा बनाए गए मॉडल में मान (value) को स्थायी रूप से शामिल कर देता है। फ़ाइल लिखें:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512फिर इसे बिल्ड करें और जो आपने बनाया है उसे पढ़ें:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters प्रत्येक संग्रहीत पैरामीटर को उसके मान के साथ एक पंक्ति में प्रिंट करता है। यदि उस आउटपुट में num_predict मौजूद नहीं है, तो मॉडल में कोई पूर्व-निर्धारित सीमा (cap) नहीं है और Ollama का अपना डिफ़ॉल्ट मान लागू होता है। ollama show --modelfile qwen3-capped संपूर्ण परिभाषा को प्रिंट करता है, जो किसी मौजूदा मॉडल के पैरामीटर्स को कॉपी करने का सबसे तेज़ तरीका भी है। इस तरह से सीमित मॉडल बनाने में डिस्क स्पेस लगभग खर्च नहीं होता, क्योंकि नई प्रविष्टि बेस मॉडल द्वारा पहले से डाउनलोड की गई weight blobs का पुन: उपयोग करती है, उन्हें कॉपी नहीं करती। Ollama इन blobs को कहाँ रखता है यह जानना तब उपयोगी होता है जब VPS की root disk भरने वाली हो।
यह उस मान के लिए सही स्तर है जिसे आप चाहते हैं कि हर caller इनहेरिट करे। यदि आप इसे अंतिम (final) मान रहे हैं, तो यह गलत स्तर है, क्योंकि यह अंतिम नहीं है।
Options object में इसे प्रति अनुरोध सेट करें
प्रत्येक generation endpoint एक options object लेता है, और num_predict इसके अंदर जाता है:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat उसी options key का उपयोग करता है जिसका अर्थ समान रहता है। यहाँ दिया गया मान केवल उस एक call पर लागू होता है और किसी अन्य पर नहीं। यह वह layer है जिसका उपयोग आपके tools करते हैं: एक chat front end, एक script, एक SDK wrapper, या एक coding agent। वे सभी एक options object भेजते हैं, चाहे वे आपको इसके लिए कोई box दिखाएं या न दिखाएं।
/set पैरामीटर के साथ इसे एक सेशन के लिए सेट करें
ollama run के अंदर, इंटरैक्टिव सेशन बाकी सेशन के लिए विकल्प सेट करता है:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters यह प्रिंट करता है कि आपका अगला मैसेज क्या भेजेगा, जो यह पुष्टि करने का सबसे तेज़ तरीका है कि बदलाव प्रभावी हो गया है। यह मान तब तक रहता है जब तक आप /bye टाइप नहीं करते। इसे सुरक्षित रखने के लिए, /save qwen3-capped वर्तमान सेशन को, पैरामीटर्स सहित, एक नए मॉडल के रूप में लिखता है। यहाँ आपके द्वारा /set की गई कोई भी चीज़ किसी अन्य क्लाइंट तक नहीं पहुँचती है।
कौन सी सेटिंग प्रभावी होती है, और आपकी सेटिंग अनदेखी क्यों की जाती है
प्राथमिकता का क्रम छोटा है। अनुरोध (request) के साथ भेजी गई सेटिंग्स बाकी सब पर भारी पड़ती हैं। Modelfile में मौजूद PARAMETER num_predict लाइन एक फॉलबैक है, जिसका उपयोग तब किया जाता है जब अनुरोध में कोई मान (value) नहीं होता। यदि दोनों न हों, तो Ollama का इन-बिल्ट डिफ़ॉल्ट लागू होता है।
/set parameter कोई तीसरा नियम नहीं है। इंटरैक्टिव सेशन एक API क्लाइंट की तरह काम करता है, इसलिए आप वहाँ जो सेट करते हैं, वह उस अनुरोध के options के रूप में भेजा जाता है। यही कारण है कि यह सेशन के लिए Modelfile को ओवरराइड कर देता है।
अब उस विफलता को समझें जिसे यह स्पष्ट करता है। आप PARAMETER num_predict 512 जोड़ते हैं, मॉडल को फिर से बनाते हैं, और उत्तर अभी भी हजारों टोकन तक चलते हैं। आपकी सेटिंग मौजूद है, और ollama show --parameters इसे साबित करता है। इसे हर अनुरोध पर ओवरराइड किया जा रहा है, क्योंकि क्लाइंट अपना खुद का options ऑब्जेक्ट भेजता है जिसमें उसकी अपनी संख्या होती है। यह अक्सर वह संख्या होती है जिसे आपने महीनों पहले सेटिंग्स स्क्रीन में टाइप किया था और भूल गए थे। ollama show केवल संग्रहीत मॉडल को पढ़ता है। यह आपको यह नहीं दिखा सकता कि HTTP के माध्यम से क्या आ रहा है।
सर्वर साइड को एक कमांड से साबित करें। एक ऐसा अनुरोध भेजें जो लंबा उत्तर उत्पन्न करे, कैप को कम पर मजबूर करें, और दो फ़ील्ड पढ़ें:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'एक विस्तृत उत्तर 32 टोकन से काफी आगे निकल जाता है, इसलिए "length" और 32 की अपेक्षा करें। यदि jq मौजूद नहीं है, तो पहले इसे sudo apt install -y jq के साथ इंस्टॉल करें। 32 की गारंटी नहीं है, क्योंकि eval_count केवल उन आउटपुट टोकन की संख्या है जो सर्वर ने वास्तव में उत्पन्न किए हैं। यदि मॉडल जल्दी समाप्त हो जाता है, तो आपको "stop" और कम संख्या मिलेगी, और इसका समाधान एक ऐसा प्रॉम्प्ट है जो अधिक जानकारी मांगता है। जब आपको "length" और 32 प्राप्त होते हैं, तो अनुरोध का अपना मान qwen3-capped में संग्रहीत 512 से अधिक प्रभावी होता है, जो दर्शाता है कि सर्वर प्रति-अनुरोध (per-request) विकल्पों का सम्मान करता है। यह आपको यह नहीं बताता कि आपका एप्लिकेशन क्या भेजता है, इसलिए खोज क्लाइंट की ओर बढ़ जाती है। अनुरोध के सर्वर-साइड विवरण के लिए, इसे वातावरण में OLLAMA_DEBUG=1 के साथ पुनरारंभ करें और journalctl -u ollama -f पर नज़र रखें जब आपका एप्लिकेशन इससे बात कर रहा हो।
ऋणात्मक मान, और वे संख्याएँ जिन्हें आपको कॉपी नहीं करना चाहिए
num_predict ऋणात्मक मानों को भी स्वीकार करता है, और वे गणना के बजाय संकेत (sentinels) होते हैं। एक ऋणात्मक मान का अर्थ है "इसे सीमित न करें, जनरेट करना जारी रखें"। एक अन्य का अर्थ "शेष संदर्भ को भरना" रहा है। अक्टूबर 2026 तक, Ollama Modelfile संदर्भ डिफ़ॉल्ट को -1 बताता है, जिसका अर्थ है अनंत जनरेशन, और उसी तालिका के पुराने संस्करणों में संदर्भ भरने के लिए -2 भी सूचीबद्ध था।
इन सभी को संस्करण-निर्भर मानें, क्योंकि यह बदलता रहा है। संदर्भ ने लंबे समय तक डिफ़ॉल्ट को 128 के रूप में प्रलेखित किया था, इससे पहले कि प्रविष्टि को सुधार कर -1 किया गया, इसलिए कई गाइड अभी भी पुरानी संख्या को दोहराते हैं। व्यवहार भी बदल गया है। Ollama v0.40.11, जो 25 अक्टूबर, 2026 को वर्तमान रिलीज़ है, GGUF मॉडल्स को एक अपस्ट्रीम llama-server प्रक्रिया को सौंपता है जिसे एक सीमित बजट की आवश्यकता होती है, इसलिए यह किसी भी ऋणात्मक मान को, और num_ctx के दस गुना से अधिक की किसी भी सीमा को, num_ctx के दस गुना से बदल देता है। इसलिए "अनंत" का अर्थ ऊपर दिए गए qwen3-capped मॉडल के लिए 81,920 टोकन है, और -2 अब -1 से अलग व्यवहार नहीं करता है। उस संस्करण के लिए Modelfile parameter reference पढ़ें जिसे आप वास्तव में चला रहे हैं, फिर ऊपर दिए गए eval_count चेक के साथ व्यवहार की पुष्टि करें। आपके अपने बॉक्स पर सत्यापित किया गया मान कहीं भी पढ़े गए मान से बेहतर है, जिसमें यह पोस्ट भी शामिल है।
CPU-only VPS पर output length मुख्य लागत क्यों है
Ollama को आपके द्वारा नियंत्रित मशीन पर चलाना मुफ्त है, इसलिए local generation के लिए कभी भी शुल्क नहीं लिया जाता है और एक लंबे उत्तर की कीमत समय के रूप में चुकानी पड़ती है। Generation के दो चरण होते हैं जिनकी गति बहुत अलग होती है। Prompt tokens को एक साथ बैच में evaluate किया जाता है। Output tokens एक-एक करके तैयार किए जाते हैं, और प्रत्येक token को उन weights पर एक pass की आवश्यकता होती है जिनका वह उपयोग करता है। CPU-only VPS पर वह pass memory bandwidth द्वारा सीमित होता है, इसलिए एक generated token की लागत एक prompt token की तुलना में कहीं अधिक होती है। चूंकि उस pass को token द्वारा उपयोग किए जाने वाले प्रत्येक weight को पढ़ना पड़ता है (dense model में सभी, या Nemotron 3.5 Lightning जैसे mixture-of-experts model में केवल routed experts, जो प्रति token अपने 30B parameters में से लगभग 3B को सक्रिय करता है), इसलिए प्रत्येक weight द्वारा घेरे गए bytes की संख्या आपकी token दर की सीमा तय करती है, यही कारण है कि q4 build, q8 या fp16 पर उसी model की तुलना में तेजी से decode होता है।
Streaming के बिना प्रतिक्रिया मांगें और आंकड़े आपके सामने होंगे:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709अवधियाँ nanoseconds में हैं। उस block में, जो अक्टूबर 2026 तक Ollama API documentation में प्रकाशित sample response है (न कि किसी विशेष सर्वर का मापन), 11 prompt tokens में लगभग 0.013 सेकंड लगे जबकि 18 output tokens में लगभग 0.052 सेकंड लगे। यह प्रति prompt token लगभग 1.2 milliseconds है, जबकि प्रति output token 2.9 milliseconds है, इसलिए एक पंक्ति के उत्तर में भी प्रत्येक generated token की लागत पढ़े गए प्रत्येक token से दोगुनी से अधिक थी, और लंबे उत्तर पर output पक्ष ही समय लेता है। आपकी अपनी generation दर eval_count को eval_duration से विभाजित करके सेकंड में परिवर्तित करने पर मिलती है, और अपने हार्डवेयर पर tokens per second मापना कुछ भी और ट्यून करने से पहले एक बार कर लेना चाहिए। वह दर मशीन के साथ-साथ model पर भी निर्भर करती है, इसलिए यदि लंबे उत्तर वास्तविक लागत हैं, तो VPS पर Nemotron 3.5 Lightning जैसा fast decoding के लिए बनाया गया model उस समय को वापस पा लेता है जिसे कम cap अन्यथा सुरक्षित कर रहा होता है।
बाकी काम गणित करता है। 8 tokens प्रति सेकंड पर, 2,000 tokens का उत्तर मशीन को चार मिनट से अधिक समय तक व्यस्त रखता है, और model को यह पता नहीं होता कि आप केवल एक paragraph चाहते थे। एक reasoning model आपके द्वारा मांगे गए शब्द को लिखने से पहले उस बजट का कुछ हिस्सा सोचने में खर्च करता है, और वह सोच बाकी सब चीजों की तरह एक-एक token करके generate की जाती है, इसलिए आप जो reasoning effort मांगते हैं वह उसी बिल पर एक और कारक है। कुछ models loop भी करते हैं, और किसी चीज़ के रुकने तक एक ही वाक्यांश को दोहराते रहते हैं। बिना किसी cap के, वह एक अनुरोध एक core को तब तक व्यस्त रखता है जब तक वह num_ctx tokens तक नहीं पहुँच जाता, क्योंकि context shift पूर्ण window को समाप्त होने से रोकता है। num_predict वह setting है जो इसे सीमित करती है, जो एक छोटे self-hosted Ollama VPS पर सबसे अधिक मायने रखती है जहाँ एक लंबा अनुरोध पूरी मशीन को व्यस्त कर देता है।
Truncated output आमतौर पर एक सीमा (cap) है, न कि कोई खराब मॉडल
लक्षण मॉडल की विफलता जैसे दिखते हैं। एक उत्तर जो वाक्य के बीच में रुक जाता है। JSON जो पार्स नहीं होगा, क्योंकि अंतिम ब्रेस (closing brace) कभी नहीं आया। पहली प्रतिक्रिया मॉडल या क्वांटाइजेशन को दोष देने की होती है। पहले प्रतिक्रिया को पढ़ें।
done_reason प्रश्न का सीधा उत्तर देता है। stop का अर्थ है कि जनरेशन किसी भी सीमा से पहले समाप्त हो गई, या तो इसलिए कि मॉडल ने अपना end-of-sequence टोकन उत्सर्जित किया या इसलिए कि आउटपुट आपके stop विकल्प में मौजूद किसी स्ट्रिंग से मेल खाता है, जो उत्तर को वहीं समाप्त कर देता है जहाँ मैच होता है। length का अर्थ है कि जनरेशन को काट दिया गया क्योंकि उसके पास जगह खत्म हो गई थी। जब आप length देखते हैं, तो eval_count की तुलना अपनी सीमा (cap) से करें: एक सटीक मिलान का अर्थ है कि num_predict ने इसे रोक दिया, और एक छोटी संख्या का अर्थ है कि कॉन्टेक्स्ट विंडो पहले भर गई, जो केवल कॉन्टेक्स्ट शिफ्ट बंद होने पर ही हो सकता है।
जब आप स्ट्रीम करते हैं, तो वे फ़ील्ड अंतिम चंक में आते हैं, जो "done": true ले जाता है। कई क्लाइंट लाइब्रेरी उस चंक को हटा देती हैं और आपके कोड को केवल टेक्स्ट देती हैं, यही कारण है कि वही ट्रंकेशन किसी एप्लिकेशन के अंदर अस्पष्ट दिखता है और curl के तहत स्पष्ट होता है। यदि कोई लाइब्रेरी इसे छिपा रही है, तो यह जानने के लिए कि सर्वर ने वास्तव में क्या कहा, curl के साथ एक अनुरोध भेजें।
एक और बिंदु एक बर्बाद दोपहर को बचा सकता है। num_predict बढ़ाने से मॉडल अधिक नहीं लिखता है। यह केवल एक छत (ceiling) को हटाता है। यदि कोई उत्तर stop के done_reason के साथ 200 टोकन पर समाप्त होता है, तो या तो मॉडल ने तय किया कि वह समाप्त हो गया है या आपकी stop स्ट्रिंग्स में से कोई एक मेल खाती है, और एक बड़ी सीमा कुछ भी नहीं बदलती है। stop के साथ छोटे उत्तर एक प्रॉम्प्टिंग या स्टॉप-स्ट्रिंग समस्या हैं। length के साथ छोटे उत्तर एक सीमा (cap) की समस्या हैं।
मान (value) का चयन
- इंटरैक्टिव चैट के लिए, इसे uncapped छोड़ें और runaway reply को रोकने के लिए Ctrl+C दबाएं। आप वैसे भी स्क्रीन देख रहे होते हैं।
- स्क्रिप्टेड कार्यों के लिए, इसे सेट करें। लूप के अंदर uncapped generation के कारण ही वह batch job जो दस मिनट में पूरी होनी चाहिए थी, अगली सुबह तक चलती रहती है।
- स्ट्रक्चर्ड आउटपुट के लिए, कैप को अपने द्वारा अपेक्षित सबसे बड़े वैध दस्तावेज़ से ऊपर सेट करें, फिर
done_reasonoflengthको एक hard error मानें और जो वापस आया उसे पार्स करने के बजाय पुनः प्रयास करें। - कोडिंग एजेंट के लिए, यह मान एजेंट के अपने कॉन्फ़िगरेशन में होना चाहिए, क्योंकि एजेंट हर अनुरोध पर अपने विकल्प स्वयं भेजता है। Ollama पर कोडिंग एजेंट को पॉइंट करना बताता है कि ये सेटिंग्स कहाँ रहती हैं।
कैप शब्दों या वर्णों को नहीं, बल्कि टोकन को गिनता है, इसलिए इसका अनुमान न लगाएं। बिना किसी कैप के एक प्रतिनिधि उत्तर जनरेट करें, eval_count पढ़ें, और सीमा को उससे काफी ऊपर सेट करें। मॉडल परिवार अलग-अलग तरह से टोकनाइज़ करते हैं, इसलिए जो मान Llama मॉडल के लिए उपयुक्त है, वह उसी VPS पर Qwen 3 मॉडल के समान उत्तर को छोटा (truncate) कर सकता है।
FAQ
Ollama में num_ctx और num_predict के बीच क्या अंतर है?
num_ctx कॉन्टेक्स्ट विंडो का आकार है, जो यह निर्धारित करता है कि मॉडल कितना पढ़ सकता है: आपका प्रॉम्प्ट और अब तक उत्पन्न की गई सामग्री। यह मेमोरी का उपयोग करता है, क्योंकि की/वैल्यू कैश इसके साथ बढ़ता है। num_predict यह निर्धारित करता है कि मॉडल एक प्रतिक्रिया में कितने टोकन लिख सकता है। यह मेमोरी के बजाय समय का उपयोग करता है, और इसके लिए पहले से कुछ भी आरक्षित नहीं किया जाता है। उत्पन्न टोकन दोनों सीमाओं के विरुद्ध गिने जाते हैं, इसलिए यदि कॉन्टेक्स्ट शिफ्ट बंद है, तो उत्तर इन दोनों में से किसी भी सीमा के कारण छोटा हो सकता है।
मेरी num_predict सेटिंग को अनदेखा क्यों किया जा रहा है?
क्योंकि अनुरोध के साथ भेजा गया मान मॉडल में संग्रहीत मान को ओवरराइड कर देता है। Modelfile में PARAMETER num_predict 512 सेट करें, फिर उस मॉडल को किसी चैट फ्रंट-एंड या कोडिंग एजेंट से चलाएं, तो क्लाइंट अपना स्वयं का options ऑब्जेक्ट भेजता है जिसका मान प्रभावी होता है। ollama show --parameters अभी भी आपके मान को प्रिंट करता है, क्योंकि यह संग्रहीत मॉडल को पढ़ता है और यह नहीं देख सकता कि HTTP के माध्यम से क्या आ रहा है। "options": {"num_predict": 32} का उपयोग करके curl के साथ एक अनुरोध भेजें, जिसमें ऐसा प्रॉम्प्ट हो जिसे लंबे उत्तर की आवश्यकता हो, फिर done_reason और eval_count को पढ़ें। eval_count 32 के साथ एक length यह दर्शाता है कि अनुरोध के मान ने संग्रहीत मान को ओवरराइड कर दिया है, जो पुष्टि करता है कि सर्वर सही ढंग से काम कर रहा है और समस्या आपके एप्लिकेशन में है। कम संख्या वाला stop केवल यह दर्शाता है कि मॉडल पहले समाप्त हो गया, इसलिए अधिक उत्तर की मांग करने वाले प्रॉम्प्ट के साथ पुनः प्रयास करें।
मैं यह कैसे पता लगाऊं कि मेरा आउटपुट num_predict द्वारा काटा गया है?
अनुरोध को "stream": false के साथ भेजें और done_reason को पढ़ें। stop का मान यह दर्शाता है कि मॉडल अपने आप समाप्त हो गया या आपकी किसी stop स्ट्रिंग ने इसे समाप्त कर दिया। length का मान यह दर्शाता है कि जगह खत्म हो गई थी। फिर eval_count की तुलना अपनी सीमा से करें: यदि वे बिल्कुल मेल खाते हैं, तो num_predict ने इसे रोक दिया, और यदि eval_count छोटा है, तो कॉन्टेक्स्ट विंडो पहले भर गई थी। स्ट्रीमिंग के दौरान, दोनों फ़ील्ड अंतिम चंक में "done": true के साथ आते हैं, जिसे कई क्लाइंट लाइब्रेरी आपके कोड तक पहुँचने से पहले ही हटा देती हैं।
num_predict का डिफ़ॉल्ट मान क्या है?
इसे किसी लेख के बजाय अपने स्वयं के इंस्टॉलेशन से पढ़ें। अक्टूबर 2026 तक, Ollama Modelfile संदर्भ डिफ़ॉल्ट मान को -1 बताता है, जिसका अर्थ है कि जनरेशन की कोई सीमा नहीं है, और उस प्रविष्टि को 128 के दस्तावेजीकरण की लंबी अवधि के बाद सुधारा गया था। Ollama v0.40.11 में वह ओपन-एंडेड डिफ़ॉल्ट, किसी भी नकारात्मक मान की तरह, वास्तव में num_ctx के दस गुना पर रुक जाता है। नकारात्मक मान गणना के बजाय संकेत (sentinels) होते हैं, और उसी तालिका के पुराने संस्करणों में शेष कॉन्टेक्स्ट को भरने के लिए -2 भी सूचीबद्ध था। अपने संस्करण के लिए Modelfile parameter reference देखें, फिर ollama show --parameters और एक curl अनुरोध के साथ इसकी पुष्टि करें।
क्या num_predict बढ़ाने से मॉडल लंबे उत्तर लिखता है?
नहीं। यह केवल एक ऊपरी सीमा को हटाता है। यदि कोई उत्तर stop के done_reason के साथ समाप्त होता है, तो मॉडल ने तय किया कि वह पूरा हो गया है या आपकी किसी stop स्ट्रिंग ने उसे रोक दिया है, और बड़ी सीमा से कुछ नहीं बदलेगा। उस स्थिति में लंबाई एक प्रॉम्प्टिंग का प्रश्न है: एक विशिष्ट संरचना, अनुभागों की संख्या, या विवरण के एक निश्चित स्तर के लिए कहें। num_predict को केवल तब बढ़ाएं जब done_reason का मान length के रूप में वापस आए।