Ollama میں num_predict سے output length کیسے محدود کریں
Ollama میں num_predict صرف output tokens کی حد لگاتا ہے۔ جانیں اسے 3 مقامات پر کہاں set کریں، کون سی setting جیتتی ہے، اور response میں done_reason کیسے پڑھیں۔
Ollama میں num_predict کیا کرتا ہے
num_predict Ollama کا وہ اختیار ہے جو ایک جواب میں ماڈل کے پیدا کیے جانے والے tokens کی زیادہ سے زیادہ تعداد مقرر کرتا ہے۔ اس میں صرف output tokens شمار ہوتے ہیں، اس لیے prompt اس حد میں شامل نہیں ہوتا۔ جب ماڈل اس حد تک پہنچ جاتا ہے تو generation اسی مقام پر رک جاتی ہے، بعض اوقات لفظ کے درمیان بھی، اور جواب done_reason کو length پر set کر کے واپس آتا ہے۔
یہی اس feature کا مکمل کام ہے۔ پیچیدگی یہ ہے کہ Ollama میں value set کرنے کے لیے تین الگ مقامات موجود ہیں، اور request کے سب سے قریب موجود setting نافذ ہوتی ہے۔ تقریباً ہر "num_predict does nothing" رپورٹ کی وجہ یہ ہوتی ہے کہ ایک layer خاموشی سے دوسری layer کی setting override کر رہی ہوتی ہے۔
num_predict، num_ctx نہیں
Ollama میں ان دونوں options کو کسی بھی دوسرے جوڑے سے زیادہ خلط ملط کیا جاتا ہے، اور اس الجھن کی وجہ سے debugging میں حقیقی وقت ضائع ہوتا ہے۔
num_ctx اس بات کا تعین کرتا ہے کہ model کتنا پڑھ سکتا ہے۔ یہ context window کا سائز ہے، جس میں prompt اور اب تک تیار کیا گیا تمام output شامل ہوتا ہے۔ اسے بڑھانے سے memory کی لاگت بڑھتی ہے، کیونکہ model ان tokens کے لیے جو key/value cache رکھتا ہے وہ window کے ساتھ بڑھتا ہے۔ اپنے hardware کے لیے num_ctx کا سائز طے کرنا ایک الگ کام ہے، جس میں failure کی اپنی وجوہات ہوتی ہیں۔
num_predict اس بات کا تعین کرتا ہے کہ model کتنا لکھے گا۔ یہ stopping rule ہے، allocation نہیں۔ اسے بڑھانے سے RAM کے بجائے wall-clock time کی لاگت بڑھتی ہے، اور پہلے سے کچھ reserve نہیں کیا جاتا۔
دونوں کا تعلق ایک مقام پر بنتا ہے۔ تیار کیے گئے tokens، تیار ہوتے وقت context window کے اندر شامل ہوتے جاتے ہیں۔ Ollama v0.40.11 میں زیادہ تر models کے لیے context shift بطور default فعال ہے، اس لیے window بھرنے پر پرانے tokens حذف ہو جاتے ہیں اور generation جاری رہتی ہے۔ اگر shift بند ہو، کیونکہ request "shift": false بھیجتی ہے یا model shifting کو support نہیں کرتا، تو reply اس لیے بھی رک سکتا ہے کہ window بھر گئی، نہ کہ اس لیے کہ آپ کی cap پوری ہو گئی۔ Ollama دونوں صورتوں میں length report کرتا ہے، اس لیے ان دونوں کو الگ کرنے والا نمبر eval_count ہے، جس کا احاطہ آگے کیا گیا ہے۔
Modelfile کے ساتھ اسے ایک بار مقرر کریں
Modelfile آپ کے بنائے ہوئے model میں یہ value مستقل طور پر شامل کر دیتا ہے۔ یہ file لکھیں:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512پھر اسے build کریں اور build کی گئی configuration دوبارہ دیکھیں:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters ذخیرہ شدہ ہر parameter اور اس کی value کے لیے ایک الگ سطر دکھاتا ہے۔ اگر اس output میں num_predict موجود نہ ہو تو model میں پہلے سے مقرر کردہ cap نہیں ہے، اور Ollama کا اپنا default لاگو ہوگا۔ ollama show --modelfile qwen3-capped پوری definition دکھاتا ہے۔ یہ ان parameters کو copy کرنے کا تیز ترین طریقہ بھی ہے جن کے ساتھ موجودہ model پہلے ہی آتا ہے۔ اس طریقے سے capped model بنانے کے لیے تقریباً اضافی disk space درکار نہیں ہوتی، کیونکہ نئی entry base model کے پہلے سے download کیے گئے weight blobs کو copy کرنے کے بجائے دوبارہ استعمال کرتی ہے۔ یہ جاننا بھی مفید ہے کہ Ollama یہ blobs کہاں رکھتا ہے، اس سے پہلے کہ VPS کی root disk بھر جائے۔
یہ اس value کے لیے درست layer ہے جسے آپ چاہتے ہیں کہ ہر caller inherit کرے۔ اگر آپ توقع رکھتے ہیں کہ یہ آخری فیصلہ ہوگا تو یہ غلط layer ہے، کیونکہ ایسا نہیں ہے۔
ہر درخواست کے لیے اسے options object میں مقرر کریں
ہر generation endpoint ایک options object قبول کرتا ہے، اور num_predict اسی کے اندر شامل ہوتا ہے:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat میں بھی یہی options key اسی معنی کے ساتھ استعمال ہوتی ہے۔ یہاں مقرر کی گئی value صرف اسی ایک call پر لاگو ہوتی ہے، کسی اور چیز پر نہیں۔ آپ کے tools اسی layer کو استعمال کرتے ہیں: chat front end، script، SDK wrapper، یا coding agent۔ یہ سب options object بھیجتے ہیں، خواہ وہ آپ کو اس کے لیے کوئی box دکھائیں یا نہ دکھائیں۔
اسے ایک سیشن کے لیے /set parameter کے ذریعے مقرر کریں
ollama run کے اندر interactive session باقی سیشن کے لیے options مقرر کرتا ہے:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters دکھاتا ہے کہ آپ کے اگلے message کے ساتھ session کیا بھیجے گا۔ اس لیے یہ تصدیق کرنے کا تیز ترین طریقہ ہے کہ تبدیلی مؤثر ہوئی یا نہیں۔ یہ value اس وقت تک برقرار رہتی ہے جب تک آپ /bye نہ لکھیں۔ اسے محفوظ رکھنے کے لیے /save qwen3-capped موجودہ session کو، parameters سمیت، ایک نئے model کے طور پر لکھتا ہے۔ آپ یہاں /set میں جو کچھ بھی کرتے ہیں، وہ کسی دوسرے client تک نہیں پہنچتا۔
کون سی setting مؤثر ہوتی ہے، اور آپ کی setting نظرانداز کیوں دکھائی دیتی ہے
ترتیب مختصر ہے۔ درخواست کے ساتھ بھیجی گئی options باقی سب پر مقدم ہوتی ہیں۔ model کے Modelfile میں موجود PARAMETER num_predict line اس وقت fallback کے طور پر استعمال ہوتی ہے جب درخواست میں کوئی value موجود نہ ہو۔ دونوں نہ ہوں تو Ollama کا built-in default لاگو ہوتا ہے۔
/set parameter کوئی تیسرا rule نہیں ہے۔ interactive session ایک API client ہوتا ہے، اس لیے وہاں set کی گئی value اس درخواست کے options کے طور پر بھیجی جاتی ہے۔ اسی وجہ سے وہ session کے لیے Modelfile کی value کو override کرتی ہے۔
اب اس سے واضح ہونے والی failure دیکھیں۔ آپ PARAMETER num_predict 512 شامل کرتے ہیں، model دوبارہ build کرتے ہیں، لیکن replies پھر بھی ہزاروں tokens تک چلتے ہیں۔ آپ کی setting موجود ہے، اور ollama show --parameters اس کی تصدیق کرتا ہے۔ ہر درخواست پر اسے override کیا جا رہا ہے، کیونکہ client اپنا options object بھیجتا ہے جس میں اپنی number ہوتی ہے۔ اکثر یہ وہ number ہوتی ہے جو آپ نے کئی ماہ پہلے settings screen میں درج کی تھی اور بھول گئے۔ ollama show stored model پڑھتا ہے۔ یہ آپ کو نہیں دکھا سکتا کہ HTTP کے ذریعے کیا پہنچ رہا ہے۔
ایک command سے server side ثابت کریں۔ ایسی request بھیجیں جو طویل جواب پیدا کرے، cap کو کم پر مجبور کریں، اور دو fields پڑھیں:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'تفصیلی جواب 32 tokens سے بہت آگے چلا جاتا ہے، اس لیے "length" اور 32 کی توقع کریں۔ اگر jq موجود نہ ہو تو اسے پہلے sudo apt install -y jq کے ذریعے install کریں۔ 32 کی ضمانت نہیں ہے، کیونکہ eval_count صرف ان output tokens کی تعداد ہے جو server نے حقیقت میں generate کیے۔ اگر model جلد مکمل ہو جائے تو "stop" اور اس سے کم count ملے گا؛ ایسی صورت میں ایسا prompt استعمال کریں جو مزید output طلب کرے۔ جب "length" اور 32 ملیں تو درخواست کی اپنی value نے qwen3-capped میں محفوظ 512 کو override کیا ہے۔ اس سے ثابت ہوتا ہے کہ server فی درخواست options کو قبول کرتا ہے۔ اس سے یہ معلوم نہیں ہوتا کہ آپ کی application کیا بھیج رہی ہے، اس لیے تلاش client کی طرف منتقل ہوتی ہے۔ کسی request کے بارے میں server کا اپنا ریکارڈ دیکھنے کے لیے اسے environment میں OLLAMA_DEBUG=1 کے ساتھ restart کریں، اور application کے اس سے رابطہ کرتے وقت journalctl -u ollama -f کو monitor کریں۔
منفی اقدار، اور وہ اعداد جنہیں آپ کو نقل نہیں کرنا چاہیے
num_predict منفی اقدار بھی قبول کرتا ہے، لیکن یہ شمار کے بجائے sentinel values ہوتی ہیں۔ ایک منفی قدر کا مطلب ہے: "اس کی حد مقرر نہ کریں، generation جاری رکھیں۔" دوسری قدر کا مطلب "باقی context مکمل کریں" رہا ہے۔ اکتوبر 2026 تک Ollama Modelfile reference میں default کے طور پر -1 درج ہے، جو infinite generation کی نشاندہی کرتا ہے، جبکہ اسی table کے پہلے versions میں context مکمل کرنے کے لیے -2 بھی درج تھا۔
ان سب کو version-dependent سمجھیں، کیونکہ یہ values تبدیل ہوتی رہی ہیں۔ Reference میں طویل عرصے تک default کو 128 درج کیا گیا، پھر اس entry کو درست کرکے -1 کر دیا گیا۔ اسی لیے بہت سی guides اب بھی پرانا عدد دہراتی ہیں۔ رویہ بھی تبدیل ہوا ہے۔ 25 اکتوبر 2026 کو موجودہ release Ollama v0.40.11، GGUF models کو upstream llama-server process کے حوالے کرتا ہے، جسے finite budget درکار ہوتا ہے۔ اس لیے یہ کسی بھی منفی قدر، اور num_ctx سے دس گنا زیادہ ہر cap، کو num_ctx کے دس گنا سے بدل دیتا ہے۔ چنانچہ "Infinite" کا مطلب اوپر دیے گئے qwen3-capped model کے لیے 81,920 tokens ہے، اور -2 اب -1 سے مختلف رویہ نہیں دکھاتا۔ جس version کو آپ واقعی چلا رہے ہیں، اس کے لیے Modelfile parameter reference پڑھیں، پھر اوپر دیے گئے eval_count check سے رویے کی تصدیق کریں۔ اپنے server پر verify کی ہوئی value، کسی بھی جگہ پڑھی ہوئی value سے زیادہ قابلِ اعتماد ہے، اس post سمیت۔
CPU-only VPS پر output length بنیادی لاگت کیوں ہے
Ollama اپنی زیرِ انتظام machine پر چلانے کے لیے مفت ہے، اس لیے local generation کی پیمائش کسی usage meter سے نہیں ہوتی؛ اس کی قیمت وقت کی صورت میں ادا ہوتی ہے۔ Generation کے دو phases ہیں، اور دونوں کی رفتار میں نمایاں فرق ہے۔ Prompt tokens کو batches میں، بیک وقت بڑی تعداد میں، evaluate کیا جاتا ہے۔ Output tokens ایک ایک کر کے تیار ہوتے ہیں، اور ہر token کے لیے استعمال ہونے والے weights پر ایک pass درکار ہوتا ہے۔ CPU-only VPS پر یہ pass memory bandwidth سے محدود ہوتا ہے، اس لیے ایک generated token کی لاگت ایک prompt token سے کہیں زیادہ ہوتی ہے۔ اس pass میں token کے استعمال کردہ ہر weight کو پڑھنا پڑتا ہے؛ dense model میں یہ تمام weights ہوتے ہیں، جبکہ Nemotron 3.5 Lightning جیسے mixture-of-experts model میں صرف routed experts پڑھے جاتے ہیں، جو ہر token کے لیے اپنے 30B parameters میں سے تقریباً 3B فعال کرتا ہے۔ اسی لیے ہر weight کے زیرِ قبضہ bytes کی تعداد آپ کی token rate کی بالائی حد مقرر کرتی ہے، اور q4 build اسی model کے q8 یا fp16 ورژن سے تیز decode کرتا ہے۔
Streaming کے بغیر response مانگیں تو اعداد واضح طور پر مل جاتے ہیں:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709Durations nanoseconds میں ہیں۔ اس block میں Ollama API documentation میں October 2026 تک شائع شدہ sample response دکھایا گیا ہے، نہ کہ کسی مخصوص server کی measurement۔ 11 prompt tokens میں تقریباً 0.013 seconds لگے، جبکہ 18 output tokens میں تقریباً 0.052 seconds لگے۔ یہ تقریباً 1.2 milliseconds فی prompt token کے مقابلے میں 2.9 milliseconds فی output token بنتا ہے۔ چنانچہ ایک سطر کے جواب میں بھی ہر generated token کی لاگت ہر پڑھے گئے token سے دگنی سے زیادہ رہی، اور طویل جواب میں وقت زیادہ تر output side استعمال کرتی ہے۔ آپ کی اپنی generation rate eval_count کو eval_duration سے تقسیم کر کے اور نتیجے کو seconds میں تبدیل کر کے معلوم ہوتی ہے۔ اپنے hardware پر tokens per second کی measurement کسی بھی دوسری tuning سے پہلے ایک بار کرنا مفید ہے۔ یہ rate machine کے ساتھ ساتھ model پر بھی منحصر ہوتی ہے۔ اس لیے اگر اصل لاگت طویل جوابات ہیں تو fast decoding کے لیے بنایا گیا model، جیسے VPS پر Nemotron 3.5 Lightning، وہ وقت واپس بچا سکتا ہے جسے کم cap ورنہ محدود کر رہی ہوتی۔
باقی حساب خود واضح ہو جاتا ہے۔ 8 tokens per second کی رفتار پر 2,000 tokens کا جواب machine کو چار منٹ سے زیادہ مصروف رکھتا ہے، جبکہ model کو یہ معلوم نہیں ہوتا کہ آپ صرف ایک paragraph چاہتے تھے۔ Reasoning model آپ کے مانگے ہوئے لفظ لکھنے سے پہلے اپنے budget کا کچھ حصہ سوچنے میں صرف کرتا ہے۔ یہ سوچ بھی ہر دوسری چیز کی طرح ایک وقت میں ایک token کے طور پر generate ہوتی ہے، اس لیے آپ کی مقرر کردہ reasoning effort اسی لاگت پر اثر ڈالنے والا ایک اور اختیار ہے۔ کچھ models loop بھی کرتے ہیں اور کسی رکاوٹ تک ایک ہی phrase دہراتے رہتے ہیں۔ کسی cap کے بغیر یہ single request core کو اس وقت تک مصروف رکھتی ہے جب تک وہ num_ctx tokens کے دس گنا تک نہ پہنچ جائے، کیونکہ context shift full window کو ختم ہونے سے روکتا ہے۔ num_predict وہ setting ہے جو اس کی حد مقرر کرتی ہے۔ یہ خاص طور پر چھوٹے self-hosted Ollama VPS پر اہم ہے، جہاں ایک طویل request پوری machine کو مصروف کر دیتی ہے۔
مختصر output عموماً حد کی وجہ سے ہوتا ہے، ماڈل کی خرابی کی وجہ سے نہیں
ظاہری علامات ماڈل کی ناکامی جیسی لگتی ہیں۔ جواب جملہ مکمل ہونے سے پہلے رک جاتا ہے۔ JSON parse نہیں ہوتا، کیونکہ closing brace کبھی موصول ہی نہیں ہوا۔ فوری ردعمل میں ماڈل یا quantisation کو ذمہ دار ٹھہرایا جاتا ہے۔ پہلے response پڑھیں۔
done_reason کا مطلب ہے کہ جواب نے سوال کا براہِ راست جواب دیا۔ stop کا مطلب ہے کہ generation کسی limit تک پہنچے بغیر ختم ہوئی؛ یا تو ماڈل نے اپنا end-of-sequence token پیدا کیا، یا output آپ کے stop option میں موجود strings میں سے کسی ایک سے match ہو گیا، جس مقام پر match ہوا وہیں reply ختم ہو گیا۔ length کا مطلب ہے کہ جگہ ختم ہونے کی وجہ سے generation روک دی گئی۔ جب آپ length دیکھیں تو eval_count کا اپنی cap سے موازنہ کریں: برابر match کا مطلب ہے کہ num_predict نے اسے روکا، جبکہ اس سے چھوٹی value کا مطلب ہے کہ context window پہلے بھر گئی۔ یہ صرف اس وقت ہو سکتا ہے جب context shift بند ہو۔
جب آپ stream استعمال کرتے ہیں تو یہ fields آخری chunk میں آتی ہیں، یعنی اس chunk میں جو "done": true رکھتا ہے۔ بہت سی client libraries اس chunk کو ضائع کر دیتی ہیں اور آپ کے code کو صرف text فراہم کرتی ہیں۔ اسی لیے یہی truncation application کے اندر غیر واضح دکھائی دیتی ہے، لیکن curl کے تحت واضح ہوتی ہے۔ اگر library اسے چھپا رہی ہو تو curl کے ساتھ ایک request بھیجیں تاکہ معلوم ہو سکے کہ server نے واقعی کیا جواب دیا۔
ایک اور نکتہ ضائع ہونے والی کئی گھنٹوں کی troubleshooting سے بچاتا ہے۔ num_predict بڑھانے سے ماڈل زیادہ نہیں لکھتا۔ اس سے صرف ایک ceiling ہٹتی ہے۔ اگر reply 200 tokens پر done_reason کے ساتھ ختم ہو، اور stop ہو، تو یا تو ماڈل نے فیصلہ کیا کہ جواب مکمل ہے، یا آپ کی stop strings میں سے کوئی match ہو گئی۔ بڑی cap سے کچھ تبدیل نہیں ہوگا۔ stop والے مختصر answers prompting یا stop-string کا مسئلہ ہوتے ہیں۔ length والے مختصر answers cap کا مسئلہ ہوتے ہیں۔
قدر منتخب کرنا
- تعاملی چیٹ کے لیے اسے غیر محدود رہنے دیں اور بے قابو جواب روکنے کے لیے Ctrl+C دبائیں۔ آپ اسکرین کی نگرانی کر ہی رہے ہیں۔
- اسکرپٹ کے ذریعے چلنے والے کام کے لیے قدر مقرر کریں۔ loop کے اندر غیر محدود generation کی وجہ سے 10 منٹ میں مکمل ہونے والا batch job اگلی صبح بھی چل رہا ہوتا ہے۔
- structured output کے لیے cap کو متوقع سب سے بڑی درست document سے زیادہ رکھیں۔ پھر
done_reasonکوlengthکا hard error سمجھیں اور واپس موصول ہونے والے مواد کو parse کرنے کے بجائے دوبارہ کوشش کریں۔ - coding agent کے لیے یہ قدر خود agent کی configuration میں ہونی چاہیے، کیونکہ agent ہر request کے ساتھ اپنے options بھیجتا ہے۔ coding agent کو Ollama سے منسلک کرنا میں بتایا گیا ہے کہ یہ settings کہاں موجود ہوتی ہیں۔
cap tokens شمار کرتا ہے، words یا characters نہیں، اس لیے اس کا اندازہ نہ لگائیں۔ پہلے ایک نمائندہ جواب بغیر cap کے generate کریں، eval_count پڑھیں، اور limit کو اس سے مناسب حد تک زیادہ مقرر کریں۔ مختلف model families tokens کو مختلف طریقے سے tokenise کرتی ہیں، اس لیے جو قدر Llama model کے لیے کافی ہو، وہ اسی VPS پر Qwen 3 model سے آنے والے اسی جواب کو truncate کر سکتی ہے۔
FAQ
Ollama میں num_ctx اور num_predict میں کیا فرق ہے؟
num_ctx context window کا سائز ہے، اس لیے یہ طے کرتا ہے کہ model کتنا متن پڑھ سکتا ہے: prompt اور اب تک تیار کیا گیا پورا متن۔ اس کے لیے memory درکار ہوتی ہے، کیونکہ key/value cache اس کے ساتھ بڑھتا ہے۔ num_predict یہ طے کرتا ہے کہ model ایک response میں زیادہ سے زیادہ کتنے tokens لکھ سکتا ہے۔ اس کے لیے memory کے بجائے وقت درکار ہوتا ہے، اور پہلے سے کوئی گنجائش مختص نہیں کی جاتی۔ تیار کیے گئے tokens دونوں limits میں شمار ہوتے ہیں، اس لیے context shift بند ہونے پر reply ان میں سے کسی ایک limit کی وجہ سے وقت سے پہلے رک سکتا ہے۔
میری num_predict setting نظر انداز کیوں ہوتی محسوس ہوتی ہے؟
کیونکہ request کے ساتھ بھیجی گئی value model میں محفوظ value کو override کر دیتی ہے۔ Modelfile میں PARAMETER num_predict 512 رکھیں، پھر اس model کو chat front end یا coding agent سے چلائیں، تو client اپنا options object بھیجتا ہے اور اس میں موجود number ترجیح حاصل کرتا ہے۔ ollama show --parameters پھر بھی آپ کی value دکھاتا ہے، کیونکہ یہ stored model پڑھتا ہے اور HTTP کے ذریعے آنے والی value نہیں دیکھ سکتا۔ curl کے ساتھ "options": {"num_predict": 32} استعمال کرتے ہوئے ایک request بھیجیں اور ایسا prompt دیں جس کے لیے طویل جواب درکار ہو، پھر done_reason اور eval_count پڑھیں۔ eval_count کی value 32 والے length سے request کی value stored value پر غالب آنے کا ظاہر ہونا اس بات کی تصدیق کرتا ہے کہ server درست کام کر رہا ہے اور مسئلے کی تلاش آپ کی application میں ہونی چاہیے۔ کم count والا stop صرف یہ بتاتا ہے کہ model پہلے مکمل ہو گیا؛ اس لیے ایسے prompt کے ساتھ دوبارہ کوشش کریں جو مزید output طلب کرے۔
میں کیسے معلوم کر سکتا ہوں کہ میرے output کو num_predict نے درمیان میں روک دیا؟
Request کو "stream": false کے ساتھ بھیجیں اور done_reason پڑھیں۔ stop کی value کا مطلب ہے کہ model خود مکمل ہو گیا یا آپ کی stop strings میں سے کسی ایک نے اسے ختم کر دیا۔ length کی value کا مطلب ہے کہ available گنجائش ختم ہو گئی۔ پھر eval_count کا اپنے cap سے موازنہ کریں: اگر دونوں بالکل برابر ہوں تو num_predict نے output روکا، اور اگر eval_count اس سے کم ہو تو context window پہلے بھر گئی۔ Streaming کے دوران دونوں fields آخری chunk میں "done": true کے ساتھ آتی ہیں، لیکن بہت سی client libraries آپ کے code تک پہنچنے سے پہلے انہیں ضائع کر دیتی ہیں۔
num_predict کی default value کیا ہے؟
کسی article کے بجائے اپنی installation سے value پڑھیں۔ October 2026 تک Ollama Modelfile reference میں default کو -1 بتایا گیا ہے، یعنی generation پر کوئی cap نہیں، اور یہ entry طویل عرصے تک 128 درج کیے جانے کے بعد درست کی گئی تھی۔ Ollama v0.40.11 میں یہ open-ended default، ہر negative value کی طرح، دراصل num_ctx پر رک جاتا ہے۔ Negative values counts کے بجائے sentinels ہوتی ہیں، اور اسی table کے پرانے versions میں باقی context بھرنے کے لیے -2 بھی درج تھا۔ اپنے version کے لیے Modelfile parameter reference دیکھیں، پھر ollama show --parameters اور ایک curl request سے اس کی تصدیق کریں۔
کیا num_predict بڑھانے سے model طویل جواب لکھتا ہے؟
نہیں۔ یہ صرف ایک upper limit ہٹاتا ہے۔ اگر reply stop کے done_reason کے ساتھ ختم ہو جائے تو model نے فیصلہ کیا کہ جواب مکمل ہے، یا آپ کی stop strings میں سے کوئی match ہو گئی؛ بڑی cap سے کچھ تبدیل نہیں ہوگا۔ ایسی صورت میں length کا تعلق prompting سے ہے: مطلوبہ structure، sections کی تعداد، یا detail کی واضح سطح بتائیں۔ num_predict صرف اس وقت بڑھائیں جب done_reason کی value length واپس آئے۔