Ollama-তে num_predict দিয়ে output length সীমিত করুন
Ollama-তে num_predict কত token লিখবে তা সীমিত করে। তিনটি setting কোথায় দিতে হয়, কোনটি জেতে এবং response-এর done_reason কীভাবে পড়বেন, তা জানুন।
Ollama-তে num_predict কী করে
num_predict হলো Ollama-এর সেই option, যা একটি response-এ model সর্বোচ্চ কত token generate করতে পারবে তা সীমাবদ্ধ করে। এটি শুধু output token গণনা করে; তাই prompt-এর token এতে গণনা হয় না। model এই সীমায় পৌঁছালে সেখানেই generation বন্ধ হয়। কখনও শব্দের মাঝখানেও এটি ঘটতে পারে। তখন response-এ done_reason-এর মান length সেট করা থাকে।
এটাই এই feature-এর সম্পূর্ণ কাজ। সমস্যা হলো, Ollama-তে এই value সেট করার জন্য তিনটি আলাদা জায়গা আছে। request-এর সবচেয়ে কাছের setting কার্যকর হয়। প্রায় সব "num_predict does nothing" report-এর কারণ হলো, একটি layer নীরবে অন্য layer-এর setting override করছে।
num_predict, num_ctx নয়
Ollama-তে এই দুটি option অন্য যেকোনো জোড়ার চেয়ে বেশি গুলিয়ে ফেলা হয়, এবং এই বিভ্রান্তির কারণে debugging-এ বাস্তব সময় নষ্ট হয়।
num_ctx নির্ধারণ করে মডেল কতটা পড়তে পারবে। এটি context window-এর আকার, যেখানে prompt এবং এখন পর্যন্ত তৈরি হওয়া সবকিছু থাকে। এর মান বাড়ালে memory খরচ বাড়ে, কারণ ওই token-গুলোর জন্য মডেল যে key/value cache সংরক্ষণ করে, window বড় হওয়ার সঙ্গে সেটিও বড় হয়। আপনার hardware-এর জন্য num_ctx নির্ধারণ একটি আলাদা কাজ, যার নিজস্ব failure mode রয়েছে।
num_predict নির্ধারণ করে মডেল কতটা লিখবে। এটি একটি stopping rule, allocation নয়। এর মান বাড়ালে RAM-এর বদলে wall-clock time বেশি লাগে, এবং আগে থেকে কোনো memory সংরক্ষিত থাকে না।
এই দুটি এক জায়গায় মিলিত হয়। তৈরি হওয়া token উৎপন্ন হওয়ার সঙ্গে সঙ্গে context window-এর মধ্যে যুক্ত হয়। Ollama v0.40.11-এ অধিকাংশ model-এর জন্য context shift default হিসেবে চালু থাকে। তাই window পূর্ণ হলে পুরোনো token বাদ পড়ে এবং generation চলতে থাকে। shift বন্ধ থাকলে, request-এ "shift": false পাঠানোর কারণে বা model shift সমর্থন না করায়, আপনার cap-এ পৌঁছানোর বদলে window পূর্ণ হওয়ার কারণেও reply থেমে যেতে পারে। Ollama উভয় ক্ষেত্রেই length report করে। তাই যে number দুটিকে আলাদা করে, সেটি হলো eval_count, যা নিচে আরও ব্যাখ্যা করা হয়েছে।
Modelfile দিয়ে একবার সেট করুন
আপনি যে মডেল তৈরি করবেন, একটি Modelfile সেই মডেলের মধ্যে মানটি স্থায়ীভাবে সংরক্ষণ করে। ফাইলটি লিখুন:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512এরপর এটি build করুন এবং কী তৈরি হয়েছে তা পড়ে দেখুন:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters সংরক্ষিত প্রতিটি parameter-এর মানসহ একটি করে লাইন দেখায়। ওই output-এ num_predict না থাকলে মডেলটিতে স্থায়ী cap নেই এবং Ollama-এর নিজস্ব default প্রযোজ্য হবে। ollama show --modelfile qwen3-capped সম্পূর্ণ definition দেখায়। বিদ্যমান কোনো মডেল যে parameter-গুলো নিয়ে আসে, সেগুলো কপি করার এটিই দ্রুততম উপায়। এভাবে cap-যুক্ত মডেল তৈরি করতে প্রায় কোনো অতিরিক্ত disk space লাগে না। নতুন entry-টি base model আগে download করা weight blob পুনরায় ব্যবহার করে; সেগুলোর কপি তৈরি করে না। VPS-এর root disk পূর্ণ হওয়ার আগে Ollama এই blob-গুলো কোথায় রাখে তা জানা উপযোগী।
প্রতিটি caller যে মান উত্তরাধিকারসূত্রে পাবে, তার জন্য এটিই সঠিক স্তর। তবে মানটি চূড়ান্ত থাকবে বলে আশা করলে এটি সঠিক স্তর নয়, কারণ তা নয়।
প্রতিটি অনুরোধের জন্য options object-এ এটি নির্ধারণ করুন
প্রতিটি generation endpoint একটি options object গ্রহণ করে, এবং num_predict তার ভেতরে থাকে:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat একই options key একই অর্থে ব্যবহার করে। এখানে নির্ধারিত value শুধু ওই একটি call-এর ক্ষেত্রে প্রযোজ্য; অন্য কোনো কিছুর ক্ষেত্রে নয়। আপনার tools এই স্তরটি ব্যবহার করে: একটি chat front end, একটি script, একটি SDK wrapper বা একটি coding agent। এগুলো সবই একটি options object পাঠায়, সেখানে সেটির জন্য কোনো input box দেখানো হোক বা না হোক।
একটি সেশনের জন্য /set parameter দিয়ে এটি নির্ধারণ করুন
ollama run-এর মধ্যে interactive session সেই session-এর বাকি সময়ের জন্য options নির্ধারণ করে:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters আপনার পরবর্তী message-এর সঙ্গে session কী পাঠাবে তা দেখায়। তাই কোনো পরিবর্তন কার্যকর হয়েছে কি না নিশ্চিত করার এটি সবচেয়ে দ্রুত উপায়। আপনি /bye টাইপ করা পর্যন্ত value-টি থাকে। এটি সংরক্ষণ করতে /save qwen3-capped বর্তমান session-কে, parameters-সহ, একটি নতুন model হিসেবে লেখে। আপনি এখানে /set-এ যা করেন, তা অন্য কোনো client-এ প্রযোজ্য হয় না।
কোন সেটিং কার্যকর হয় এবং আপনার সেটিং উপেক্ষিত মনে হয় কেন
ক্রমটি সংক্ষিপ্ত। অনুরোধের সঙ্গে পাঠানো option অন্য সবকিছুর ওপর প্রাধান্য পায়। মডেলের Modelfile-এ থাকা একটি PARAMETER num_predict লাইন হলো fallback, যা অনুরোধে কোনো মান না থাকলে ব্যবহৃত হয়। কোনোটিই না থাকলে Ollama-এর built-in default কার্যকর হয়।
/set parameter তৃতীয় কোনো নিয়ম নয়। Interactive session একটি API client। তাই সেখানে সেট করা মান ওই অনুরোধের options হিসেবে পাঠানো হয়। এই কারণেই session চলাকালে এটি Modelfile-এর মানকে override করে।
এখন এই সমস্যাটি কীভাবে ব্যাখ্যা করে তা দেখুন। আপনি PARAMETER num_predict 512 যোগ করে model rebuild করেন, কিন্তু reply এখনও হাজার হাজার token পর্যন্ত চলে। আপনার setting উপস্থিত আছে, এবং ollama show --parameters তা প্রমাণ করে। প্রতিটি অনুরোধে এটি override হচ্ছে, কারণ client নিজস্ব options object পাঠাচ্ছে, যার মধ্যে নিজস্ব একটি সংখ্যা রয়েছে। অনেক সময় এই সংখ্যাটি এমন একটি settings screen-এ কয়েক মাস আগে প্রবেশ করানো হয়েছিল, যা পরে ভুলে গেছেন। ollama show stored model পড়ে। HTTP-এর মাধ্যমে কী পৌঁছাচ্ছে, তা এটি দেখাতে পারে না।
একটি command-এ server side প্রমাণ করুন। এমন একটি request পাঠান, যা দীর্ঘ উত্তর তৈরি করবে, cap কম করে দিন, এবং দুটি field পড়ুন:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'একটি বিস্তারিত উত্তর 32 token-এর অনেক বেশি হবে। তাই "length" এবং 32 প্রত্যাশা করুন। jq অনুপস্থিত থাকলে প্রথমে sudo apt install -y jq দিয়ে এটি install করুন। 32 নিশ্চিত নয়, কারণ eval_count হলো server বাস্তবে যত output token তৈরি করেছে, তার সংখ্যা। Model আগেই শেষ হলে "stop" এবং আরও ছোট count পাবেন। সে ক্ষেত্রে এমন prompt ব্যবহার করতে হবে, যা আরও দীর্ঘ উত্তর চাইবে। আপনি যখন "length" এবং 32 পাবেন, তখন অনুরোধের নিজস্ব মান qwen3-capped-এ সংরক্ষিত 512-কে override করেছে। এতে বোঝা যায়, server per-request option গ্রহণ করে। তবে আপনার application কী পাঠাচ্ছে, এটি তা জানায় না। তাই অনুসন্ধান এখন client-এর দিকে যাবে। কোনো request সম্পর্কে server-এর নিজস্ব log দেখতে server-কে environment-এ OLLAMA_DEBUG=1 দিয়ে restart করুন এবং application server-এর সঙ্গে যোগাযোগ করার সময় journalctl -u ollama -f monitor করুন।
ঋণাত্মক মান এবং যেসব সংখ্যা কপি করা উচিত নয়
num_predict ঋণাত্মক মানও গ্রহণ করে, তবে সেগুলো count নয়, sentinel। একটি ঋণাত্মক মানের অর্থ হলো “এটির সীমা নির্ধারণ করবেন না, generation চালিয়ে যান।” আরেকটির অর্থ ছিল “অবশিষ্ট context পূরণ করুন।” October 2026 অনুযায়ী Ollama Modelfile reference-এ default হিসেবে -1 দেওয়া আছে, যা infinite generation বোঝায়। একই table-এর আগের সংস্করণগুলোতে context পূরণের জন্য -2-ও দেওয়া ছিল।
এগুলোকে version-dependent হিসেবে বিবেচনা করুন, কারণ মানগুলো পরিবর্তিত হয়েছে। দীর্ঘ সময় reference-এ default হিসেবে 128 নথিভুক্ত ছিল। পরে সেই entry সংশোধন করে -1 করা হয়। তাই অনেক guide-এ এখনও পুরোনো সংখ্যাটি দেখা যায়। আচরণও পরিবর্তিত হয়েছে। October 25, 2026-এর বর্তমান release Ollama v0.40.11 GGUF model-গুলো upstream llama-server process-এ পাঠায়, যার একটি নির্দিষ্ট budget প্রয়োজন। তাই এটি যেকোনো ঋণাত্মক মান এবং num_ctx-এর দশ গুণের বেশি যেকোনো cap-কে num_ctx-এর দশ গুণে প্রতিস্থাপন করে। ফলে উপরের qwen3-capped model-এর ক্ষেত্রে “Infinite” বলতে 81,920 token বোঝায়, এবং -2 এখন আর -1 থেকে আলাদা আচরণ করে না। আপনি যে version চালাচ্ছেন, তার জন্য Modelfile parameter reference পড়ুন। এরপর উপরের eval_count check দিয়ে আচরণটি নিশ্চিত করুন। নিজের box-এ যাচাই করা মান যেকোনো জায়গা থেকে পড়া মানের চেয়ে বেশি নির্ভরযোগ্য, এই post-সহ।
CPU-only VPS-এ output length কেন প্রধান খরচ
Ollama আপনার নিয়ন্ত্রণাধীন একটি মেশিনে চালানোর জন্য বিনামূল্যে, তাই local generation কখনও metered হয় না; এর পরিবর্তে দীর্ঘ উত্তরের মূল্য সময় দিয়ে দিতে হয়। Generation দুটি পর্যায়ে হয় এবং দুটির গতি খুব আলাদা। Prompt token batch-এ, একসঙ্গে অনেকগুলো, evaluate করা হয়। Output token একবারে একটি করে তৈরি হয়, এবং প্রতিটির জন্য ব্যবহৃত weights-এর ওপর একটি pass চালাতে হয়। CPU-only VPS-এ সেই pass memory bandwidth দ্বারা সীমাবদ্ধ থাকে। তাই একটি generated token-এর খরচ একটি prompt token-এর তুলনায় অনেক বেশি। কারণ প্রতিটি token-এর জন্য ব্যবহৃত প্রতিটি weight পড়তে হয়—dense model-এ সব weight, আর Nemotron 3.5 Lightning-এর মতো mixture-of-experts model-এ শুধু routed expert-গুলো; এই model প্রতি token-এ 30B parameter-এর মধ্যে প্রায় 3B activate করে—তাই প্রতিটি weight যত byte দখল করে, আপনার token rate-এর সর্বোচ্চ সীমাও ততটাই নির্ধারিত হয়। এই কারণেই একই model-এর q8 বা fp16 build-এর তুলনায় q4 build দ্রুত decode করে।
Streaming ছাড়া response চাইলে সংখ্যাগুলো সরাসরি দেখা যায়:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709সময় nanosecond-এ দেওয়া হয়েছে। এই block-টি কোনো নির্দিষ্ট server-এর measurement নয়; এটি October 2026-এ Ollama API documentation-এ প্রকাশিত sample response। এখানে 11টি prompt token নিতে প্রায় 0.013 seconds এবং 18টি output token নিতে প্রায় 0.052 seconds লেগেছে। অর্থাৎ প্রতি prompt token-এ প্রায় 1.2 milliseconds, আর প্রতি output token-এ 2.9 milliseconds লেগেছে। তাই এক লাইনের reply-তেও প্রতিটি generated token পড়া প্রতিটি token-এর তুলনায় দ্বিগুণের বেশি সময় নিয়েছে। দীর্ঘ উত্তরে clock-এর সময় মূলত output-ই পূরণ করে। আপনার নিজস্ব generation rate হলো eval_count-কে eval_duration দিয়ে ভাগ করে seconds-এ রূপান্তরিত করা। আর নিজের hardware-এ প্রতি second-এ কত token তৈরি হচ্ছে তা মাপা অন্য কিছু tune করার আগে একবার করা উচিত। এই rate machine-এর মতোই model-এর ওপরও নির্ভর করে। তাই দীর্ঘ উত্তরই যদি প্রকৃত খরচ হয়, তাহলে VPS-এ Nemotron 3.5 Lightning-এর মতো দ্রুত decoding-এর জন্য তৈরি model ব্যবহার করলে কম cap যে সময় সুরক্ষিত রাখে, তার কিছুটা পুনরুদ্ধার করা যায়।
বাকি হিসাবটি সহজ। প্রতি second-এ 8টি token তৈরি হলে 2,000 token-এর একটি উত্তর machine-কে চার মিনিটের বেশি ব্যস্ত রাখে। Model জানে না যে আপনি শুধু একটি paragraph চেয়েছিলেন। Reasoning model আপনার অনুরোধের একটি শব্দ লেখার আগেই সেই budget-এর কিছু অংশ চিন্তা করতে ব্যয় করে। সেই thinking-ও অন্য সবকিছুর মতো একবারে একটি token করে generated হয়। তাই আপনি যে reasoning effort চান একই bill নিয়ন্ত্রণের আরেকটি উপায়। কিছু model আবার loop-এ পড়ে এবং কোনো কিছু থামানো পর্যন্ত একটি phrase পুনরাবৃত্তি করে। কোনো cap না থাকলে সেই একক request একটি core ব্যস্ত রাখে, যতক্ষণ না এটি num_ctx tokens-এর দশ গুণে পৌঁছায়। Context shift পূর্ণ window শেষ হওয়া ঠেকায়। num_predict হলো যে setting এই সীমা নির্ধারণ করে। ছোট self-hosted Ollama VPS-এ এটি সবচেয়ে গুরুত্বপূর্ণ, কারণ সেখানে একটি দীর্ঘ request-ই পুরো machine-কে ব্যস্ত রাখতে পারে।
Truncated output সাধারণত সীমা পূর্ণ হওয়ার ফল, মডেল নষ্ট হওয়ার নয়
লক্ষণগুলো দেখে মডেলের ব্যর্থতা মনে হয়। উত্তর মাঝবাক্যে থেমে যায়। শেষের brace না আসায় JSON parse হয় না। স্বাভাবিক প্রতিক্রিয়া হলো মডেল বা quantisation-কে দোষ দেওয়া। আগে response পড়ুন।
done_reason মানে উত্তরটি সরাসরি প্রশ্নের জবাব দিয়েছে। stop মানে কোনো limit-এ পৌঁছানোর আগে generation শেষ হয়েছে। এর কারণ হতে পারে মডেল তার end-of-sequence token emit করেছে, অথবা আপনার stop option-এ থাকা কোনো string-এর সঙ্গে output মিলে গেছে। Match যেখানে হয়েছে, সেখানেই reply শেষ হয়। length মানে পর্যাপ্ত জায়গা না থাকায় generation কেটে গেছে। length দেখলে eval_count-কে আপনার cap-এর সঙ্গে তুলনা করুন। Exact match হলে num_predict generation থামিয়েছে। ছোট সংখ্যা হলে context window আগে পূর্ণ হয়েছে। context shift off থাকলেই এটি ঘটতে পারে।
আপনি stream ব্যবহার করলে এই field-গুলো final chunk-এ আসে, যে chunk-এ "done": true থাকে। অনেক client library এই chunk বাদ দিয়ে আপনার code-কে শুধু text দেয়। তাই application-এর মধ্যে একই truncation-এর কারণ বোঝা যায় না, কিন্তু curl-এর অধীনে তা স্পষ্ট দেখা যায়। কোনো library এটি আড়াল করলে curl সহ একটি request পাঠান। এতে server আসলে কী জানিয়েছে তা জানা যাবে।
আরেকটি বিষয় অযথা সময় নষ্ট হওয়া ঠেকায়। num_predict বাড়ালে মডেল বেশি লিখবে না। এতে শুধু একটি ceiling সরানো হয়। done_reason-এর সঙ্গে stop থাকাকালে reply যদি 200 tokens-এ শেষ হয়, তাহলে হয় মডেল নিজেকে সম্পূর্ণ মনে করেছে, নয়তো আপনার stop string-গুলোর কোনো একটি match করেছে। বড় cap করলে কোনো পরিবর্তন হবে না। stop-সহ ছোট উত্তর prompting বা stop-string সমস্যার ইঙ্গিত দেয়। length-সহ ছোট উত্তর cap সমস্যার ইঙ্গিত দেয়।
একটি মান নির্বাচন করা
- ইন্টার্যাক্টিভ chat-এর জন্য কোনো সীমা নির্ধারণ না করে রাখুন এবং নিয়ন্ত্রণের বাইরে চলে যাওয়া উত্তরের প্রক্রিয়া থামাতে Ctrl+C চাপুন। আপনি এমনিতেই স্ক্রিন পর্যবেক্ষণ করছেন।
- স্ক্রিপ্টে ব্যবহারের ক্ষেত্রে সীমা নির্ধারণ করুন। loop-এর মধ্যে সীমাহীন generation রাখলে যে batch job দশ মিনিটে শেষ হওয়ার কথা, সেটি পরদিন সকালেও চলতে পারে।
- structured output-এর ক্ষেত্রে প্রত্যাশিত বৃহত্তম বৈধ document-এর চেয়ে বেশি সীমা নির্ধারণ করুন। এরপর
done_reasonoflength-কে গুরুতর error হিসেবে বিবেচনা করে পুনরায় চেষ্টা করুন; প্রাপ্ত output parse করার চেষ্টা করবেন না। - coding agent-এর ক্ষেত্রে মানটি agent-এর নিজস্ব configuration-এ রাখতে হবে, কারণ প্রতিটি request-এ agent নিজস্ব options পাঠায়। coding agent-কে Ollama-তে নির্দেশ করা অংশে এই settings কোথায় থাকে তা ব্যাখ্যা করা হয়েছে।
এই সীমা tokens গণনা করে, words বা characters নয়। তাই এটি অনুমান করে নির্ধারণ করবেন না। প্রথমে কোনো cap ছাড়া একটি প্রতিনিধিত্বমূলক answer generate করুন, eval_count পড়ুন, তারপর তার চেয়ে যথেষ্ট বেশি limit নির্ধারণ করুন। বিভিন্ন model family ভিন্নভাবে tokenise করে। তাই একটি Llama model-এর জন্য উপযুক্ত মান একই answer-কে একই VPS-এ চলা একটি Qwen 3 model-এ truncate করতে পারে।
FAQ
num_ctx এবং num_predict-এর মধ্যে পার্থক্য কী?
num_ctx হলো context window-এর আকার। তাই এটি নির্ধারণ করে মডেল কতটা পড়তে পারবে: prompt এবং এখন পর্যন্ত তৈরি হওয়া সবকিছু। এতে memory লাগে, কারণ এর সঙ্গে key/value cache-এর আকার বাড়ে। num_predict নির্ধারণ করে একটি response-এ মডেল সর্বোচ্চ কত token লিখতে পারবে। এতে memory-এর বদলে সময় লাগে, এবং আগে থেকে কোনো memory সংরক্ষিত হয় না। তৈরি হওয়া token উভয় সীমার হিসাবেই ধরা হয়। তাই context shift বন্ধ থাকলে যেকোনো একটির কারণে reply অসম্পূর্ণ হতে পারে।
আমার num_predict setting উপেক্ষা করা হচ্ছে বলে মনে হচ্ছে কেন?
কারণ request-এর সঙ্গে পাঠানো value model-এ সংরক্ষিত value-কে override করে। একটি Modelfile-এ PARAMETER num_predict 512 রাখুন। এরপর সেই model-কে chat front end বা coding agent থেকে চালালে client নিজস্ব options object পাঠায়, এবং তার number কার্যকর হয়। ollama show --parameters তবু আপনার value দেখায়, কারণ এটি stored model পড়ে এবং HTTP-এর মাধ্যমে কী পাঠানো হয়েছে তা দেখতে পারে না। "options": {"num_predict": 32} ব্যবহার করে curl-সহ একটি request এবং দীর্ঘ উত্তর প্রয়োজন এমন prompt পাঠান। এরপর done_reason এবং eval_count পড়ুন। length-এ eval_count 32 থাকলে request-এর value stored value-কে override করেছে। এতে server সঠিকভাবে কাজ করছে বলে নিশ্চিত হওয়া যায় এবং অনুসন্ধান আপনার application-এর দিকে নেওয়া যায়। ছোট count-সহ stop পাওয়ার অর্থ শুধু model আগে শেষ করেছে। তাই আরও দীর্ঘ উত্তর চেয়ে prompt দিয়ে আবার চেষ্টা করুন।
num_predict-এর কারণে output কেটে গেছে কি না কীভাবে বুঝব?
"stream": false-সহ request পাঠান এবং done_reason পড়ুন। stop-এর value-এর অর্থ model নিজে থেকে শেষ করেছে, অথবা আপনার কোনো stop string response শেষ করেছে। length-এর value-এর অর্থ model-এর আর জায়গা ছিল না। এরপর eval_count-কে আপনার cap-এর সঙ্গে তুলনা করুন। দুটির value হুবহু এক হলে num_predict response থামিয়েছে। আর eval_count ছোট হলে context window আগে পূর্ণ হয়েছে। Streaming ব্যবহার করলে উভয় field-ই "done": true-সহ final chunk-এ আসে। আপনার code-এ পৌঁছানোর আগে অনেক client library এই তথ্য বাদ দেয়।
num_predict-এর default value কী?
কোনো article-এর বদলে নিজের install থেকে value পড়ুন। October 2026 অনুযায়ী Ollama Modelfile reference-এ default হিসেবে -1 দেওয়া আছে। এর অর্থ generation-এর কোনো সীমা নেই। দীর্ঘ সময় 128 document করার পর এই entry সংশোধন করা হয়েছিল। Ollama v0.40.11-এ এই open-ended default, যেকোনো negative value-এর মতো, বাস্তবে দশ গুণ num_ctx-এ থামে। Negative value count নয়, sentinel হিসেবে কাজ করে। একই table-এর পুরোনো version-গুলোতে remaining context পূরণের জন্য -2-ও দেওয়া ছিল। আপনার version-এর জন্য Modelfile parameter reference দেখুন। এরপর ollama show --parameters এবং একটি curl request দিয়ে এটি নিশ্চিত করুন।
num_predict বাড়ালে কি model দীর্ঘতর উত্তর লিখবে?
না। এটি শুধু একটি upper limit সরিয়ে দেয়। কোনো reply stop-এর done_reason দিয়ে শেষ হলে model নিজেই শেষ করার সিদ্ধান্ত নিয়েছে, অথবা আপনার কোনো stop string মিলে গেছে। বড় cap এতে কোনো পরিবর্তন আনে না। সে ক্ষেত্রে দৈর্ঘ্য নির্ভর করে prompting-এর ওপর। নির্দিষ্ট structure, section count বা বিস্তারিতের নির্দিষ্ট স্তর চেয়ে prompt লিখুন। done_reason-এর value length হলে তবেই num_predict বাড়ান।