SSD Nodes Learn Hosting plans →
الأدلة Matt Connorبقلم Matt Connor · آخر تحديث في 2026-10-21

كيفية ضبط num_ctx في Ollama وتجنب اقتطاع الطلبات

يقتطع Ollama الطلبات الطويلة بصمت عند قيمة افتراضية صغيرة. تعرّف إلى ضبط num_ctx لكل طلب أو على مستوى الخادم، واحسب ذاكرة KV قبل رفعها.

ما الذي يفعله num_ctx، ولماذا قُطع طلبك الطويل

طول السياق في Ollama هو عدد الرموز التي يستطيع النموذج المحمّل الاحتفاظ بها في الذاكرة في الوقت نفسه، وnum_ctx هو الخيار الذي يحدده. يختار Ollama قيمة افتراضية أقل بكثير من الحد الأقصى الذي يعلنه النموذج، لذلك يُقطع الطلب الطويل قبل أن يقرأه النموذج. ولا يخبرك أي شيء في الاستجابة بأن ذلك حدث.

يُدرج Llama 3.1 8B في مكتبة نماذج Ollama مع نافذة سياق تبلغ 128k. لكن الخادم بالإعدادات الافتراضية لن يمنحك هذه القيمة. تعرض وثائق Ollama نفسها قيماً افتراضية مختلفة في صفحات مختلفة: تذكر الأسئلة الشائعة 4096 رمزاً، بينما يذكر مرجع Modelfile أن num_ctx تكون افتراضياً 2048، وتقول صفحة طول السياق إن القيمة الافتراضية تُحدَّد وفق VRAM المتاحة (ذاكرة الفيديو): 4k عندما تكون أقل من 24 GiB، و32k من 24 GiB حتى 48 GiB، و256k عند 48 GiB أو أكثر. كانت كل قيمة من هذه القيم صحيحة في إصدار معيّن. وهذا هو الدرس المفيد هنا: اقرأ القيمة من الخادم الذي يعمل لديك بدلاً من الوثوق بأي صفحة، بما في ذلك هذه الصفحة.

يحدث الاقتطاع بصمت لأن النموذج يواصل الإجابة، وتظل الإجابة تبدو جيدة. لكنه كتبها اعتماداً على نهاية مدخلاتك. يبدو التلخيص الذي يفوّت النصف الأول من مستند كأنه ناتج عن نموذج ضعيف. لكنه يكون عادةً نتيجة نافذة سياق صغيرة.

تحقق من طول سياق Ollama الذي طبّقه خادمك فعلياً

الفحص الذي يعمل على أي إصدار هو prompt_eval_count، أي عدد رموز المطالبة التي يذكر الخادم أنه عالجها. أرسل مطالبة تتجاوز سعة السياق، وسيتوقف هذا العدد عند الحد الأقصى.

sudo apt update && sudo apt install -y jq
LONG=$(python3 -c "print('the quick brown fox jumps over the lazy dog. ' * 2000)")
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:4096}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{prompt_eval_count, prompt_eval_duration}'

تتكون هذه المطالبة من نحو 18,000 كلمة، أي أكثر بكثير من 4096 رمزاً. ستُظهر prompt_eval_count قيمة تقترب من 4096 بدلاً من الاقتراب من العدد الفعلي للرموز، لأن الخادم أسقط الجزء المتبقي. شغّلها مرة أخرى باستخدام "num_ctx":16384، وسيرتفع العدد. إذا أعاد إصدارك خطأً بدلاً من اقتطاع المطالبة، فهذه هي النتيجة نفسها، لكن بإشارة أوضح.

ollama ps

يحتوي العمود CONTEXT، في الإصدارات التي تعرضه، على طول السياق الذي يعمل به النموذج المحمّل حالياً. ويعرض العمود PROCESSOR المجاور له موضع النموذج. تُعد 100% CPU قيمة طبيعية على VPS لا يحتوي على GPU. ويعني توزيع مثل 30%/70% CPU/GPU على خادم مزود بـGPU أن الأوزان وذاكرة التخزين المؤقت لم تعد تتسع داخل VRAM، ويكون رفع num_ctx هو السبب المعتاد.

journalctl -u ollama --no-pager | grep -i n_ctx | tail -n 5

يعرض مشغّل الاستدلال حجم السياق في سطر يحتوي على n_ctx. تتغير الصياغة الدقيقة بين الإصدارات، لذلك تعامل مع غياب السطر على أنه إعادة تسمية، لا دليلاً قاطعاً على أي شيء.

أربعة مواضع لضبط num_ctx

في الطلب. أرسل "options": {"num_ctx": 16384} إلى /api/generate أو /api/chat. يتغلب هذا الإعداد على جميع الإعدادات الأخرى، ويُطبَّق على ذلك الاستدعاء وحده. إذا اختلفت القيمة عن القيمة التي يعمل بها النموذج المحمّل، يعيد الخادم تحميل النموذج أولاً. يمكنك رؤية ذلك في load_duration في الاستجابة، إذ ترتفع المدة من قيمة قريبة من الصفر إلى عدة ثوانٍ كاملة. يظهر الانتظار نفسه عندما يبقى النموذج خاملاً مدة كافية لإلغاء تحميله. لذلك، بعد الاستقرار على حجم سياق معين، من المفيد إبقاء النموذج مقيماً باستخدام keep_alive.

في الجلسة التفاعلية. داخل ollama run، اكتب /set parameter num_ctx 16384. يستمر هذا الإعداد طوال تلك الجلسة.

في Modelfile. يثبّت هذا القيمة في نموذج مُسمّى، ولذلك يحصل عليها كل عميل دون أي تغيير من جهة العميل.

FROM llama3.1:8b
PARAMETER num_ctx 16384
ollama create llama3.1-16k -f ./Modelfile
ollama run llama3.1-16k

على الخادم. يضبط OLLAMA_CONTEXT_LENGTH القيمة الافتراضية لكل طلب لا يتضمن num_ctx الخاص به. في systemd، أضف drop-in بدلاً من تعديل ملف الوحدة.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

تظهر أهمية أولوية الإعدادات خصوصاً عند تصحيح أخطاء عميل يخص شخصاً آخر. يتغلب الطلب الذي يتضمن num_ctx على القيمة الافتراضية للخادم. لذلك قد تلغي واجهة محادثة أو agent يرسل قيمة صغيرة خاصة به تغيير systemd دون إظهار ذلك بوضوح. عندما توجّه coding agent إلى خادم Ollama لديك، تحقق مما يرسله العميل قبل إلقاء اللوم على الخادم.

لماذا لا يمكنك ضبط num_ctx على الحد الأقصى للنموذج

تجعل آلية الانتباه كل رمز ينظر إلى جميع الرموز التي سبقته. تُحفظ المفاتيح والقيم المحسوبة للرموز السابقة حتى لا تُعاد محاسبتها مع كل رمز جديد. ويُسمّى هذا المخزن ذاكرة KV المؤقتة (ذاكرة key/value المؤقتة). تُخصَّص هذه الذاكرة لكامل num_ctx عند تحميل النموذج، وليس مع نمو المحادثة. لذلك يستهلك السياق الكبير ذاكرته حتى مع مطالبة مكوّنة من سطر واحد.

تحتفظ كل طبقة بمتجه key واحد ومتجه value واحد لكل رأس key/value ولكل رمز. لذلك يمكن كتابة العملية الحسابية في سطر واحد:

kv_bytes_per_token = 2 * layers * kv_heads * head_dim * bytes_per_value

يمثل العدد 2 المفاتيح والقيم كلٌّ على حدة. استخرج الأعداد الأخرى من نموذجك نفسه.

curl -s http://localhost:11434/api/show -d '{"model":"llama3.1:8b"}' |
  jq '.model_info | {ctx: ."llama.context_length", layers: ."llama.block_count", heads: ."llama.attention.head_count", kv_heads: ."llama.attention.head_count_kv", embed: ."llama.embedding_length"}'

يعرض Llama 3.1 8B عدد 32 طبقة و8 رؤوس key/value. ويُحسب بُعد الرأس بقسمة embed على heads، لذلك تكون العملية هنا 4096 / 32 = 128. وتنشر بعض النماذج هذه القيمة مباشرة باسم llama.attention.key_length. تحتفظ الذاكرة المؤقتة الافتراضية بقيم f16، لذلك تكون bytes_per_value مساوية لـ2. وتنتج العملية 2 32 8 128 2 القيمة 131,072 بايت. وهذا يساوي 128 KiB من الذاكرة المؤقتة لكل رمز واحد في السياق. اضرب هذه القيمة في طول السياق، وستصبح التكلفة ملموسة.

رسم بيانيLlama 3.1 8B at f16: KV cache and total RAM by context length, in GiB
البيانات وراء هذا الرسم البياني
[
  {
    "label": "4k",
    "kv_cache_gib": 0.5,
    "total_ram_gib": 5.1
  },
  {
    "label": "8k",
    "kv_cache_gib": 1,
    "total_ram_gib": 5.6
  },
  {
    "label": "16k",
    "kv_cache_gib": 2,
    "total_ram_gib": 6.6
  },
  {
    "label": "32k",
    "kv_cache_gib": 4,
    "total_ram_gib": 8.6
  },
  {
    "label": "64k",
    "kv_cache_gib": 8,
    "total_ram_gib": 12.6
  },
  {
    "label": "128k",
    "kv_cache_gib": 16,
    "total_ram_gib": 20.6
  }
]

هذه الصفوف 6 ناتجة حسابياً من الصيغة السابقة، وليست قياسات. يضيف العمود الإجمالي تنزيل 4.9 GB الذي أدرجته مكتبة Ollama لـ llama3.1:8b في أكتوبر 2026، وهو ما يعادل 4.6 GiB، ولا يشمل مخازن الحساب المؤقتة أو عملية الخادم نفسها. تعامل معه باعتباره الحد الأدنى.

المهم هو شكل الزيادة. عند 8k، تستهلك الذاكرة المؤقتة 1 GiB، وهي ضئيلة مقارنة بأوزان النموذج. وعند 128k، وهو كامل سياق النموذج، تستهلك 16 GiB، أي أكثر من ثلاثة أضعاف الأوزان، ليقترب الإجمالي من 20.6 GiB. لذلك لا يستطيع VPS بسعة 4 GB تحميل هذا النموذج ضمن سياق مفيد. ويعمل VPS بسعة 8 GB بشكل مريح عند 8k. أما VPS بسعة 16 GB فيمكنه بلوغ 32k مع إبقاء مساحة لبقية مكونات الخادم. ترتفع كل هذه الحدود مع زيادة الأوزان. لذلك، إذا كنت تقارن نموذجاً أكبر بهذا النموذج ذي 8B، فإن الحسابات نفسها التي أُجريت لـوسم Qwen ذي 27B على VPS لا يستخدم إلا CPU توضّح ضآلة الذاكرة المتبقية للسياق بين 8 و64 GB.

ما يحدث عندما لا تتسع الذاكرة المؤقتة KV

على VPS يعمل بوحدة CPU فقط، تزداد الذاكرة التي تستخدمها العملية ببساطة. راقبها أثناء تحميل النموذج وأثناء تنفيذ طلب طويل.

free -m
ps -eo rss,comm --sort=-rss | head -n 5

تُعرض RSS ‏(حجم المجموعة المقيمة في الذاكرة) بالكيلوبايت. إذا بدأ swap المستخدم في free -m بالازدياد، فخفّض حجم السياق. عندما تكون الذاكرة المؤقتة KV في swap، يتوقف التوليد لثوانٍ عند كل رمز، لأن كل رمز جديد يقرأ الذاكرة المؤقتة كاملة.

إذا نفدت ذاكرة الجهاز تماماً، تختار النواة عملية لإنهائها، وعادةً تكون العملية التي تستخدم أكبر قدر من الذاكرة.

sudo dmesg | grep -i "killed process"

السطر الذي يحتوي على Out of memory: Killed process 1234 (ollama) يعني أن Ollama كانت العملية التي اختارت النواة إنهاءها، وليس بالضرورة العملية التي استهلكت الذاكرة. إذا كانت Ollama هي العملية الكبيرة الوحيدة على الجهاز، فعادةً يكون السبب هو أن حجم السياق أكبر من الذاكرة المتاحة. تحقّق مما كان يعمل أيضاً قبل تقليل num_ctx. غالباً ما ترفض Ollama الطلب قبل الوصول إلى هذه المرحلة، ويفشل الطلب برسالة تذكر مقدار الذاكرة التي احتاج إليها مقارنةً بالذاكرة الحرة.

على جهاز مزود بوحدة GPU، يكون الفشل أقل وضوحاً. تنتقل بعض الطبقات إلى RAM النظام، ويعرض ollama ps توزيع الحمل بين CPU وGPU، وينخفض معدل المعالجة بشدة. يعتمد مقدار الانخفاض على عتادك، لذلك قِس عدد الرموز في الثانية على جهازك عند كل إعداد للسياق، بدلاً من الاعتماد على قيمة من جهاز شخص آخر.

يزداد زمن المعالجة المسبقة أسرع من طول المطالبة

المعالجة المسبقة هي العمل المنفَّذ على مدخلاتك قبل ظهور أول رمز في المخرجات. ينتبه كل رمز في المطالبة إلى كل رمز يسبقه، لذلك يزداد إجمالي العمل مع مربع طول المدخلات. تؤدي مضاعفة طول المطالبة إلى زيادة زمن انتظار الرمز الأول بأكثر من الضعف.

تتضمن الاستجابة القياس، لذلك لا يتعين عليك قبول ذلك دون تحقق.

jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:16384}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{tokens: .prompt_eval_count, prefill_seconds: (.prompt_eval_duration/1000000000)}'

شغّل ذلك باستخدام prompt قصير، ثم كرّره باستخدام prompt طويل، واقسم عدد الـtokens على الزمن بالثواني في كل حالة. على VPS يعمل باستخدام CPU فقط، يكون prefill عادةً أبطأ جزء في طلب طويل السياق، ولن تتنبأ قيمة tokens per second المحسوبة من prompt قصير بأدائه في هذا الطلب. عندما يتجاوز prefill مهلة timeout الموضوعة أمامه، يكون ذلك عادةً سبب ظهور تجاوز مهلة السياق بدلاً من الإجابة عند إرسال prompt طويل. لذلك حدّد أي طبقة توقفت عن الانتظار قبل تقليص السياق.

يظهر أثر ذلك أكثر ما يظهر مع التزامن. تحتاج كل مطالبة قيد المعالجة إلى ذاكرة تخزين مؤقت خاصة بها، لذلك تكون الذاكرة الموضحة في المخطط أعلاه مخصصة لكل طلب، لا لكل خادم، وقد يشغل طلب طويل الخادم بينما تنتظر الطلبات القصيرة خلفه. اضبط OLLAMA_NUM_PARALLEL عن قصد، واقرأ عدد المستخدمين المتزامنين الذين يمكن لنموذج LLM مستضاف ذاتياً خدمته قبل زيادة القيمتين معاً.

استعد الذاكرة المخصّصة للسياق باستخدام ذاكرة تخزين مؤقت أصغر

bytes_per_value في الصيغة هو إعداد تتحكم فيه. توثّق الأسئلة الشائعة في Ollama ‏OLLAMA_KV_CACHE_TYPE، مع كون f16 القيمة الافتراضية، واستخدام q8_0 نحو نصف الذاكرة التي يستخدمها f16، واستخدام q4_0 نحو ربعها. أما القيمة الدقيقة لـ q8_0 فهي تزيد قليلاً على النصف: إذ يخزّن llama.cpp كل كتلة من 32 قيمة على شكل 32 قيمة من بايت واحد، بالإضافة إلى مقياس من بايتين، أي 34 بايتاً، بينما يحتاج f16 إلى 64 بايتاً. لذلك يؤدي الانتقال إلى q8_0 إلى خفض صف 32k إلى نحو 2.1 GiB بدلاً من 4 GiB. وتحرّر كمّية الأوزان الذاكرة من الجانب الآخر من الميزانية نفسها، كما أن وسم GLM الذي يلائم VPS فعلياً يُستعرض تكميمه، مستوى بعد مستوى، إذا كنت تفضّل هذه المقايضة. وتذكر الأسئلة الشائعة نفسها أن الذاكرة المؤقتة لا تُكمَّم إلا عند تفعيل Flash Attention، وتوثّق OLLAMA_FLASH_ATTENTION=1 لفرض تفعيله.

[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"

تحقق بدلاً من الافتراض: أعد تشغيل الخدمة، وحمّل النموذج عند قيمة num_ctx نفسها كما في السابق، ثم قارن RSS. يعتمد الدعم على النموذج وعلى الواجهة الخلفية، لذلك إذا لم يغيّر الإعداد شيئاً، فهذا يعني أن تركيبتك غير مشمولة. نوع الذاكرة المؤقتة خيار عام، ولذلك يعمل كل نموذج على الخادم باستخدامه. من ناحية الجودة، تذكر الأسئلة الشائعة أن q8_0 لا يكون له عادةً تأثير ملحوظ، بينما يفقد q4_0 مزيداً من الدقة، ويظهر ذلك بوضوح أكبر عند أحجام السياق الكبيرة. لذلك اختبر q4_0 باستخدام مطالباتك الخاصة قبل الاعتماد عليه. وإذا كانت هذه الخيارات هي سبب وصولك إلى هنا، فإن Ollama وllama.cpp يعرّضانها بطرق مختلفة.

طريقة اختيار num_ctx

  1. اقرأ الحد الأقصى للسياق وعدد طبقات النموذج وعدد رؤوس key/value من /api/show.
  2. احسب عدد البايتات لكل رمز باستخدام الصيغة، ثم اضرب الناتج في حجم السياق المطلوب.
  3. أضف حجم الأوزان، وقارن الإجمالي بذاكرة RAM الحرة، واترك 1 GiB على الأقل لبقية الخادم.
  4. اضبط القيمة، وحمّل النموذج، ثم تحقّق من القيمة المطبقة باستخدام ollama ps وprompt_eval_count.
  5. شغّل حمل العمل الفعلي مع مراقبة free -m، وخفّض حجم السياق إلى النصف إذا بدأ swap بالتحرك.

تحتاج معظم المهام إلى سياق أصغر مما يحدده المستخدمون. يلائم تلخيص تقرير طويل سياق بحجم 16k. ونادراً ما تتجاوز واجهة retrieval التي تلصق خمس مقاطع من المستندات 8k. أما وكيل البرمجة الذي يقرأ الملفات كاملة، فهو الحالة التي تحتاج فعلاً إلى 64k أو أكثر. وفي هذه الحالة، يجب أن تحدد مواصفات الخادم وفق حجم السياق، لا العكس. إذا كان الخادم جديداً أيضاً، فابدأ من تثبيت Ollama يعمل على VPS، ثم اضبط السياق بعد تحميل النماذج بنجاح.

FAQ

ما طول السياق الافتراضي في Ollama؟

يعتمد ذلك على الإصدار العِمادي والعتاد، لذلك تحقّق بدلاً من الافتراض. توثّق الأسئلة الشائعة في Ollama قيمة 4096 رمزاً، بينما يوثّق مرجع Modelfile قيمة افتراضية num_ctx مقدارها 2048، وتوثّق صفحة طول السياق قيمة افتراضية تُحدَّد من VRAM المتاحة: 4k عندما تكون أقل من 24 GiB، و32k من 24 GiB إلى أقل من 48 GiB، و256k عند 48 GiB أو أكثر. يصل VPS الذي يستخدم CPU فقط إلى الطرف الأصغر من هذا النطاق. تطبع ollama ps السياق المطبّق في الإصدارات التي تتضمن هذا العمود، وتثبت prompt_eval_count في استجابة API القيمة في كل إصدار.

لماذا يتجاهل Ollama بداية المطالبة الطويلة؟

لأن المطالبة كانت أطول من نافذة السياق، لذلك اقتطعها الخادم قبل أن يراها النموذج، ولم يظهر أي خطأ. أرسل المطالبة نفسها مجدداً باستخدام num_ctx أكبر، وراقب ازدياد prompt_eval_count في الاستجابة. إذا لم تتغير هذه القيمة، فهناك مكوّن بينك وبين الخادم يضبط num_ctx بنفسه. يحدث ذلك كثيراً مع واجهات الدردشة وأطر عمل الوكلاء.

ما مقدار RAM الإضافية التي يحتاجها num_ctx الأكبر؟

اضرب طول السياق في تكلفة ذاكرة التخزين المؤقت لكل رمز، وهي 2 * layers * kv_heads * head_dim * bytes_per_value. بالنسبة إلى Llama 3.1 8B عند f16، تبلغ هذه التكلفة 128 KiB لكل رمز، لذلك تستهلك 32k رمزاً 4 GiB، بينما تستهلك 128k كاملة 16 GiB إضافةً إلى ذاكرة الأوزان. يُخصَّص التخزين المؤقت عند تحميل النموذج، لذلك يستهلك num_ctx كبير تلك الذاكرة حتى عندما تبقى مطالباتك قصيرة.

هل تجعل نافذة السياق الأكبر Ollama أبطأ؟

نعم، بطريقتين. يزداد عمل المعالجة التمهيدية مع مربع طول المطالبة، لذلك تؤخر المدخلة الطويلة ظهور الرمز الأول أكثر مما يوحي به طولها. كما ينافس التخزين المؤقت الأكبر على الذاكرة: ففي خادم GPU يدفع بعض الطبقات إلى RAM النظام، وفي خادم CPU يدفع الجهاز نحو استخدام swap. يستهلك num_ctx كبير لا تملؤه أبداً الذاكرة رغم أنه لا يزيد زمن المعالجة التمهيدية.

هل يمكنني ضبط num_ctx بشكل دائم لنموذج واحد؟

نعم. اكتب Modelfile يتضمن FROM llama3.1:8b وPARAMETER num_ctx 16384، ثم شغّل ollama create llama3.1-16k -f ./Modelfile. يحصل كل عميل يطلب llama3.1-16k على ذلك السياق من دون إرسال أي خيارات. يظل للطلب الذي يتضمن num_ctx خاصاً به الأولوية، لذلك يحدد هذا قيمة افتراضية وليس حداً أقصى.

هل كان هذا المقال مفيدًا؟