تزامن Ollama: شرح NUM_PARALLEL وMAX_QUEUE
هل ينتظر الطلب الثاني أم يُرفض؟ تعرّف إلى دور OLLAMA_NUM_PARALLEL وOLLAMA_MAX_QUEUE، ومتى يظهر الخطأ 503، ولماذا تستهلك كل خانة ذاكرة KV إضافية.
ماذا يحدث لطلب Ollama الثاني أثناء إنشاء الإجابة الأولى
تُحدَّد قدرة Ollama على معالجة الطلبات المتزامنة عبر ثلاثة متغيرات بيئية، ومن خارج الصندوق يخدم نموذج محمّل واحد طلباً واحداً في كل مرة. لا يُرفض الطلب الثاني، ولا يتلقى إجابة جزئية. بل ينتظر في قائمة انتظار حتى تتوفر خانة، ثم يُنفَّذ بالسرعة المعتادة.
للطلب الوارد ثلاث نتائج محتملة. يبدأ فوراً في خانة شاغرة. أو ينتظر في قائمة الانتظار. أو تكون قائمة الانتظار ممتلئة، فيرفضه الخادم مع HTTP 503. تحدد OLLAMA_NUM_PARALLEL وOLLAMA_MAX_QUEUE وOLLAMA_MAX_LOADED_MODELS النتيجة التي تحصل عليها. لكن توجد نقطة مهمة في الإصدارات الحالية حتى October 2026. تصف الأسئلة الشائعة قائمة الانتظار بعبارات عامة، لكن الشيفرة المصدرية لبرنامج الجدولة أكثر تحديداً. ينطبق 503 فقط على الطلبات التي تصل بينما لا يزال تحميل نموذجها مطلوباً، أو بينما تجري إعادة تحميله بإعدادات مختلفة. لا يرفض Ollama طلباً يستطيع نموذج محمّل بالفعل خدمته بإعداداته الحالية. بل ينتظر ذلك الطلب خانةً طوال المدة اللازمة.
الإعداد الافتراضي آمن، وهو أيضاً سبب إبلاغ مستخدم ثانٍ بأن الخادم «توقف عن الاستجابة» رغم عدم وجود أي خلل. إضافة خانات عملية من سطرين. لكن الجزء الحرج هو الذاكرة. تحتاج كل خانة متوازية إلى ذاكرة التخزين المؤقت الخاصة بها للمفاتيح والقيم (KV cache)، وهي كتلة الذاكرة التي يحتفظ فيها النموذج بالرموز التي عالجها بالفعل. إذا أضفت خانات من دون إضافة VRAM (ذاكرة الفيديو في GPU)، فستحوّل الإجابة البطيئة إلى فشل في التحميل. وعلى الخادم الذي يستخدم CPU فقط، تُقتطع ذاكرة التخزين المؤقت نفسها من RAM النظام.
ما الذي يتحكم فيه كل من OLLAMA_NUM_PARALLEL وOLLAMA_MAX_QUEUE وOLLAMA_MAX_LOADED_MODELS
هذه هي القيم الافتراضية في إصدارات Ollama الحالية حتى أكتوبر 2026. تحقّق من قيمك بدلاً من الاعتماد على الرقم الوارد هنا، باستخدام سطر السجل الموضح أدناه.
OLLAMA_NUM_PARALLELهو عدد الطلبات التي يعالجها نموذج محمّل واحد في الوقت نفسه. القيمة الافتراضية هي 1، لذلك تُخدَم الطلبات بالتتابع.OLLAMA_MAX_LOADED_MODELSهو عدد النماذج المختلفة التي تبقى محمّلة في الذاكرة في الوقت نفسه. القيمة الافتراضية هي 0، ما يعني أن Ollama يختار العدد: ثلاثة نماذج لكل GPU، وثلاثة نماذج على الجهاز الذي لا يحتوي على GPU.OLLAMA_MAX_QUEUEهو، وفقاً لصياغة FAQ، الحد الأقصى لعدد الطلبات التي يضعها Ollama في قائمة الانتظار عندما يكون مشغولاً قبل رفض الطلبات الإضافية. القيمة الافتراضية هي 512. يُرفض الطلب الذي يصل بعد امتلاء قائمة الانتظار مباشرةً. لكن في كود المجدول الحالي، تدخل هذه القائمة فقط الطلبات التي يلزم تحميل نموذجها أو إعادة تحميله أولاً. أما الطلبات الخاصة بنموذج محمّل بالفعل فتتجاوز هذه القائمة وتنتظر بدلاً من ذلك فتحة متاحة، ولا يوجد حد لهذا الانتظار. وقد وصف أحد المشرفين على المشروع ذلك بأنه أثر جانبي لطريقة تنفيذ المجدول، ويتتبع مشرفو Ollama إصلاحاً له بوصفه طلب ميزة (المشكلة #7758)، وكان الطلب لا يزال مفتوحاً في أكتوبر 2026.
أسوأ حالة لاستهلاك الذاكرة هي حاصل ضرب القيمتين الأوليين. تحميل نموذجين، مع أربع فتحات لكل نموذج، يعني تخصيص ثماني فتحات لذاكرة KV cache، وكلها مقيمة في الذاكرة في الوقت نفسه، وسيحاول Ollama تلبية ذلك. على جهاز يحتوي على GPU واحد، يكون من الأفضل عادةً الاحتفاظ بنموذج واحد ومنحه فتحات، لأن الحساب يبقى بسيطاً بما يكفي لإجرائه ذهنياً.
لماذا تستهلك كل فتحة متوازية جزءاً من VRAM
عندما يحمّل Ollama نموذجاً، فإنه يشغّل عملية runner منفصلة. هناك وسيطان يمررهما مهمان هنا: -c هو إجمالي context الذي يخصّص له runner ذاكرة KV cache، و-np هو عدد التسلسلات المتوازية. يضبط Ollama قيمة -c على حاصل ضرب طول context لكل طلب في عدد الفتحات. ثم يقسّم runner هذا الإجمالي بالتساوي بين الفتحات، لذلك يحصل كل طلب على طول context الذي طلبته.
هذا هو القيد الكامل، وهو سبب عدم مجانية التوازي. يؤدي الانتقال من فتحة واحدة إلى 4 فتحات إلى طلب 4 أضعاف KV cache عند استخدام طول context نفسه لكل طلب. لا توجد ذاكرة مشتركة بين الفتحات، ولا تُعار حصة الفتحة الخاملة إلى فتحة مشغولة، لأن التقسيم يُثبَّت عند بدء runner. على GPU، تكون هذه الذاكرة هي VRAM. وعلى خادم يعمل بوحدة CPU فقط، تكون System RAM، وينطبق الضرب نفسه.
يمكنك قراءة القيم الفعلية بدلاً من القيم التي قصدت ضبطها:
journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"يحتوي هذا السطر على سطر أوامر runner الكامل، بما في ذلك -c و-np. إذا كانت قيمة -np تساوي 1 بعد ضبط المتغير، فتحقق أولاً من نوع النموذج. أضاف Ollama v0.40.15 الطلبات المتوازية إلى نماذج GGUF التكرارية ونماذج الرؤية، لذلك لم يعد قيد الفتحة الواحدة السابق ينطبق على هذه النماذج. لا تزال نماذج التضمين تحصل على فتحة واحدة في المجدول. بالنسبة إلى نموذج إكمال GGUF، تحقق من وصول الإعداد إلى الخادم، كما يوضح القسم التالي.
إذا لم تتسع VRAM لأوزان النموذج مع KV cache، ينقل Ollama بعض الطبقات إلى System RAM، وتعمل هذه الطبقات على CPU. طبقات CPU أبطأ بكثير من طبقات GPU، لذلك يؤدي هذا إلى إبطاء كل طلب، بما في ذلك الطلب الوحيد الذي بدأته. لذلك قد يؤدي رفع التوازي إلى خفض معدل النقل بدلاً من رفعه. مع نموذج كبير بما يكفي، تحسم الأوزان وحدها المسألة قبل بدء أي حسابات للفتحات، ولهذا فإن استضافة شيء بحجم Kimi K3 ذاتياً تتعلق بعدد البطاقات التي لديك، لا بعدد الفتحات التي تضبطها.
ollama psيقرأ العمود PROCESSOR القيمة 100% GPU عندما يتسع كل شيء. ويعني تقسيم مثل 35%/65% CPU/GPU أن جزءاً من النموذج يعمل على CPU. يتضمن العمود SIZE KV cache، لذلك يزداد عند رفع عدد الفتحات وإعادة تحميل النموذج. ارفع OLLAMA_NUM_PARALLEL، وأعد التشغيل، وأرسل طلباً واحداً، ثم شغّل ollama ps مرة أخرى: هذه هي كلفة الذاكرة لتغييرك، مقاسةً بدلاً من تخمينها. إذا أظهر القياس أن النموذج لم يعد يتسع، فتذكر أن الأوزان تمثل النصف الآخر من الميزانية نفسها، وأن الانتقال من fp16 إلى إصدار q8 أو q4 يحرر غالباً VRAM أكبر من الكلفة التي تفرضها الفتحة التي كنت تحاول إضافتها.
يتضاعف طول context مع عدد الفتحات، لذلك يجب اختيارهما معاً. يعني استخدام context كبير مع 4 فتحات أنك تستخدم 4 سياقات كبيرة. وإذا كنت تضبط أيضاً نافذة context num_ctx لنموذجك، فغيّر أحد العاملين في كل مرة، وإلا فلن تعرف أيهما ملأ البطاقة.
كيفية ضبط هذه المتغيرات بحيث تبقى بعد إعادة التشغيل
يعمل Ollama على Linux كخدمة systemd. لا يغيّر تشغيل export OLLAMA_NUM_PARALLEL=4 في shell شيئاً، لأن systemd يشغّل الخدمة ببيئته الخاصة ولا يرى shell الذي تستخدمه. استخدم ملف drop-in.
sudo systemctl edit ollama.serviceأضف ما يلي في المحرر الذي يفتح:
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"بعد ذلك أعد التحميل وأعد التشغيل:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentيطبع systemctl show ما سيمرّره systemd إلى العملية. إذا كان متغيرك مفقوداً هناك، فهذا يعني أن ملف drop-in لم يُحفَظ أو أنه تم تخطي daemon-reload. تحقّق أيضاً من جهة الخادم نفسه:
journalctl -u ollama --no-pager | grep "server config" | tail -1يسجّل Ollama إعدادات خادمه عند بدء التشغيل في سطر تكون رسالته هي server config. تعرض تلك الخريطة قيم البيئة التي أبلغ عنها Ollama، وهي أسرع طريقة لحسم ما إذا كان المتغير قد دخل حيّز التنفيذ. وهي تعرض القيمة التي ضبطتها، لا عدد الفتحات التي حصل عليها نموذج معيّن فعلياً. لمعرفة ذلك، اقرأ قيمة -np في سطر runner السابق مباشرة.
يحتفظ النموذج المحمّل مسبقاً بعدد الفتحات الذي بدأ به، لأن القيمة تُثبَّت في عملية runner عند التشغيل. تؤدي إعادة التشغيل السابقة إلى إلغاء تحميل كل شيء، لذلك يعيد الطلب التالي تحميل النموذج بالإعداد الجديد ويتحمّل وقت التحميل مرة واحدة. أما مدة بقاء النموذج محمّلاً بعد ذلك فهي إعداد منفصل، وتوضّحها إبقاء نموذج Ollama محمّلاً بين الطلبات.
ما يبدو عليه ما خُدِم ووُضِع في قائمة الانتظار ورُفِض من جهة العميل
أرسل عدة طلبات في الوقت نفسه وقِس زمنها. يشغّل هذا ثمانية طلبات بث بالتوازي، ويطبع الحالة والتوقيتات لكل طلب:
for i in $(seq 1 8); do
curl -s -o /dev/null \
-w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
waitttfb هو الزمن حتى وصول أول بايت من البث، وهو قريب من زمن الوصول إلى أول رمز (TTFT)، لأن أول جزء مُبث يحمل الرمز الأول.
خدمة بالتوازي. تُبلغ كل الطلبات عن قيمة متشابهة لـttfb، وترتفع قيمة total لديها جميعاً في الوقت نفسه. تتشارك الخانات قيد التشغيل وحدة GPU، لذلك تستغرق كل إجابة وقتاً أطول مما تستغرقه منفردة، مع اكتمال عدد أكبر من الإجابات في الدقيقة. هذا هو النمط الذي تحصل عليه عند رفع OLLAMA_NUM_PARALLEL.
وضع في قائمة الانتظار. تستجيب الطلبات الأولى بسرعة، بينما تعرض الطلبات اللاحقة قيمة كبيرة لـttfb، ثم تبدأ التوليد بالسرعة المعتادة. الانتظار ناتج عن قائمة الانتظار، وليس عن النموذج. يرى المستخدم الذي يراقب نافذة محادثة توقفاً طويلاً بلا نص، ثم يظهر النص بالسرعة الكاملة. هذا النمط، بدء بطيء يتبعه أداء سريع، يدل على وجود قائمة انتظار وليس على تحميل زائد على وحدة GPU.
رفض. يحصل العميل على http=503 فوراً تقريباً، ويكون نص الاستجابة:
{"error":"server busy, please try again. maximum pending requests exceeded"}تعني هذه الرسالة أن قائمة جدولة الانتظار كانت ممتلئة لحظة وصول الطلب. ولا تقول شيئاً عن VRAM أو عن النموذج. في الإصدارات الحالية، لا تحتفظ قائمة الانتظار هذه إلا بالطلبات التي لم يُحمَّل نموذجها بعد، أو التي يجب إعادة تحميل النموذج لها بإعدادات مختلفة. إذا كان النموذج مقيماً بالفعل عند تشغيل الحلقة السابقة، فتوقّع أن تعيد كل الطلبات الحالة 200، مهما خفّضت قيمة OLLAMA_MAX_QUEUE. وسيظهر تجاوز السعة بدلاً من ذلك على شكل قيمة أطول لـttfb.
هناك حد مهم يجب توضيحه: لا تنشر Ollama عمق قائمة الانتظار. يبلّغ كل من ollama ps ونقطة النهاية /api/ps عن النماذج المحمّلة، لا عن الطلبات المنتظرة. لذلك تقيس قائمة الانتظار من جهة العميل، عبر مراقبة الزمن حتى وصول أول بايت، أو تحسب استجابات 503 عند أي مكوّن موضوع أمام الخدمة.
لماذا يكون ضبط MAX_QUEUE على قيمة أصغر أفضل غالباً
تبدو قائمة انتظار بحجم 512 سخية، لكنها تكاد تكون عديمة الفائدة عند وجود فتحة واحدة فقط. ينتظر الطلب 300 خلف 299 عملية توليد مكتملة. ويستغرق ذلك دقائق في أفضل الأحوال. يتخلى كل عميل HTTP عن الانتظار قبل ذلك بوقت طويل، لذلك يرى المستدعي مهلة انتظار من جهة العميل، لا توضّح له سبب المشكلة ولا تمنح نظام المراقبة لديك شيئاً يطلق تنبيهاً بشأنه.
تحوّل قائمة الانتظار الأصغر هذا التجاوز إلى استجابة 503 فورية، ولكن للطلبات التي تنتظر تحميل نموذج أو إعادة تحميله فقط، مثل الدفعة التي تصل بعد إعادة التشغيل أو أثناء تبديل النماذج. اعتباراً من October 2026، تتجاوز الطلبات الموجّهة إلى نموذج محمّل بالفعل OLLAMA_MAX_QUEUE وتنتظر فتحة حرة بلا حد. لذلك لن يؤدي خفض حجم قائمة الانتظار إلى تقصير الانتظار على خادم مشغول لديه نموذج مقيم واحد. ولرفض الطلب بسرعة في هذه الحالة، حدّد التزامن أمام Ollama، كما يوضح القسم التالي. استجابة 503 مفيدة: يمكن لـ reverse proxy إعادة محاولة الطلب، ويمكن للعميل تقليل معدل الإرسال تدريجياً، ويمكن للوحة المعلومات إحصاؤها، ويمكن للشخص قراءتها. احسب الحد بالاعتماد على قياساتك الخاصة. إذا استغرقت عملية التوليد نحو ten seconds وكان عميلك ينتظر sixty، فيمكن لنحو six requests per slot إكمال العمل ضمن تلك المهلة، والسماح بانتظار عدد أكبر من ذلك لا ينتج إلا مهلات انتظار.
متى تضع طابوراً أمام Ollama
الطابور المضمّن يعمل وفق مبدأ الوارد أولاً يخرج أولاً (FIFO)، ولا يعرف شيئاً عن الجهة التي ترسل الطلب. يكفي ذلك لتطبيق واحد يتصل بخادم واحد، وإضافة بنية تحتية ستضيف نقاط فشل فقط. استخدم مكوّناً أمامه عندما ينطبق أحد الشروط التالية.
- تحتاج إلى تحديد الأولوية. يجب ألا تنتظر محادثة تفاعلية خلف مهمة تلخيص دفعية. لا يوفّر طابور Ollama أولوية، لذلك يجب احتجاز العمل الدفعي خارج Ollama وإرساله تدريجياً.
- تحتاج إلى الإنصاف. يمكن لعميل واحد أن يشغل كل الخانات ويكدّس الطلبات المنتظرة خلفه. عندئذ ينتظر الجميع خلف ذلك العميل، أو يحصلون على 503 إذا كان طلبهم يحتاج إلى تحميل نموذج.
- تحتاج إلى حد أقصى للانتظار. سيحتفظ Ollama بالطلبات الخاصة بنموذج محمّل بالفعل إلى أجل غير محدد، لذلك فإن الحد الموثوق الوحيد هو الحد الذي تضعه أمامه.
- تحتاج إلى بقاء العمل بعد إعادة التشغيل. يعيش الطابور في ذاكرة الخادم. أعد تشغيل Ollama، وستختفي كل الطلبات المنتظرة.
- تحتاج إلى عمليات إعادة محاولة فعلية مع تراجع تدريجي، وتسجيلها في مكان يمكنك فحصه لاحقاً.
الخيار الخفيف هو Reverse Proxy. في nginx، يحد limit_conn من الاتصالات المتزامنة، ويحد limit_req من معدل وصول الطلبات لكل عميل، لذلك يُرفض الفائض عند الـProxy ولا يصل إلى Ollama. أما الخيار الأثقل فهو طابور مهام مع قاعدة بيانات أمام worker يستدعي Ollama. هذا ما تحتاج إليه عندما يجب أن تبقى الطلبات بعد إعادة تشغيل العملية. يتطلب تحديد حجمه لحركة مرور فعلية دراسة مستقلة: يشرح تخطيط LLM مستضاف ذاتياً للمستخدمين المتزامنين الحسابات اللازمة، ويغطي تشغيل Ollama على VPS التثبيت الأساسي الذي تفترضه هذه المتغيرات.
عندما تكون الإجابة الصحيحة هي استخدام خادم مختلف
هناك حد لا يمكنك تجاوزه بتعديل الإعدادات. يقسّم Ollama ذاكرة KV cache إلى خانات متساوية وثابتة عند تحميل النموذج. ولا يمكن استخدام ذاكرة الخانة الخاملة من الخانة المشغولة، كما لا يمكن تغيير عدد الخانات من دون إلغاء تحميل النموذج. يناسب هذا التصميم مستخدماً واحداً، أو فريقاً صغيراً، أو وكيلاً للبرمجة.
تعمل الخوادم المصممة لعدد كبير من المستخدمين المتزامنين بطريقة مختلفة. فهي تخصّص ذاكرة KV cache في صفحات صغيرة عند الحاجة، وتضيف الطلبات الواردة إلى دفعة قيد التشغيل، بحيث تتبع الذاكرة الطلب الفعلي بدلاً من تقسيم ثابت. إذا كان هدفك هو تشغيل عدد كبير من المستخدمين المتزامنين على GPU واحد، فإن هذا الاختلاف المعماري أهم من أي قيمة لـ OLLAMA_NUM_PARALLEL. تجد المقارنة بين Ollama وvLLM المكان المناسب لاتخاذ هذا القرار. لكن لا تنتقل إلى خادم آخر لمجرد المبدأ، لأن تشغيل خادم مختلف يتطلب عملاً تشغيلياً أكبر. وإذا كان عدد المستخدمين لديك بضعة أشخاص، فإن السلوك المضمّن هو الخيار الصحيح. وإذا كان السؤال الفعلي هو ما إذا كان ينبغي لك تشغيل خادم نموذج بنفسك أصلاً، فإن مقارنة خادم AI خاص لا يعرض السعر إلا عند الطلب مع إنشاء الحزمة نفسها على GPU مستأجر تستعرض هذا القرار، بما في ذلك الحالات التي يكون فيها شراء API أفضل.
قِس معدل النقل لديك والوقت حتى أول token
تأتي أرقام tokens في الثانية المنشورة من GPU ونموذج وquantisation وطول context وprompt تخص أشخاصاً آخرين. لا ينطبق أيٌّ من ذلك على جهازك، لذلك تعامل مع أي رقم تقرؤه على أنه مؤشر تقريبي، وقِس أداء الجهاز الذي تستخدمه فعلياً.
يعرض Ollama أزمنة التنفيذ في كائن JSON النهائي لكل استجابة. يبيّن eval_count عدد tokens المُولَّدة، بينما يبيّن eval_duration الوقت المستغرق في توليدها، بوحدة nanoseconds.
sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
| jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'شغّل ذلك باستخدام slot واحد، ثم شغّله مرة أخرى بدرجة التزامن التي تتوقعها فعلياً. قارن بين الرقمين اللذين يحددان رضا المستخدمين: الوقت حتى أول token، وعدد tokens في الثانية لكل طلب. ينخفض معدل النقل لكل طلب دائماً عند إضافة slots. والسؤال هو ما إذا كان هذا الانخفاض يتجاوز الحد الذي يقبله المستخدمون. يشرح قياس عدد tokens في الثانية على LLM محلي الطريقة بمزيد من التفصيل، بما في ذلك كيفية إبقاء prompt ثابتاً بين عمليات التشغيل.
نقطة نهاية عامة ذات قائمة انتظار سخية هدف لهجمات حجب الخدمة
يضع OLLAMA_HOST=0.0.0.0:11434 واجهة API على جميع الواجهات، ولا تتطلب واجهة API المحلية أي مصادقة. يوفّر Ollama تسجيل الدخول المدمج للنماذج السحابية والنشر والتنزيلات الخاصة. يتطلب الاستدلال السحابي المباشر على https://ollama.com/api وhttps://ollama.com/v1 مفتاح API. باستخدام قائمة الانتظار الافتراضية، ستقبل نقطة نهاية مفتوحة ما يصل إلى 512 طلباً بانتظار تحميل نموذج، من أي شخص يعثر عليها. بالنسبة إلى نموذج محمّل مسبقاً، ستحتفظ بكل طلب يتصل بها، بلا حد، طوال مدة بقاء كل عميل متصلاً. لا يكاد هذا الأسلوب في إشغال الخادم يكلّف المهاجم شيئاً: مطالبات طويلة، ولا تسجيل دخول، ولا حد لمعدل الطلبات، ولا فاتورة. عندها سيحصل مستخدموك على استجابات 503 أو ينتظرون طويلاً، وستظل الآلة مشغولة طوال الوقت.
أبقِ المستمع على loopback، واتصل به عبر نفق SSH أو شبكة خاصة، أو ضع المصادقة وتحديد معدل الطلبات أمامه. يغطّي تأمين نقطة نهاية Ollama API الأمرين. اضبط قائمة الانتظار بعد إتمام ذلك، لأن طول قائمة الانتظار إعداد للسعة، ولا يوفر أي حماية.
FAQ
لماذا ينتظر طلبي الثاني إلى Ollama حتى يكتمل الطلب الأول؟
لأن OLLAMA_NUM_PARALLEL تكون قيمته الافتراضية 1، ولذلك يعالج النموذج المحمّل طلباً واحداً في كل مرة، بينما تنتظر بقية الطلبات بالترتيب. يُبقي الطلب المنتظر اتصال HTTP مفتوحاً ولا يرسل أي بايتات حتى تتاح خانة، وهذا يبدو من جهة العميل مطابقاً لنموذج بطيء. يظهر الفرق في نمط التوقيت: التوقف الطويل الذي يتبعه ظهور النص بالسرعة الكاملة يدل على وجود قائمة انتظار، أما التدفق البطيء منذ الرمز الأول فيدل على بطء النموذج. ارفع عدد الخانات باستخدام systemd drop-in، ثم أعد تشغيل الخدمة. بعد ذلك، تحقّق من قيمة -np في سطر runner، لأن نماذج التضمين تحصل أيضاً على خانة واحدة في المجدول.
ماذا يعني "server busy, please try again. maximum pending requests exceeded"؟
هذا خطأ تجاوز قائمة انتظار Ollama، ويُعاد مع حالة HTTP 503. بلغ عدد الطلبات المنتظرة للجدولة، أي المنتظرة لتحميل نموذجها أو إعادة تحميله، قيمة OLLAMA_MAX_QUEUE، التي تكون افتراضياً 512، ولذلك رُفض أحدث طلب بدلاً من إضافته. لا تُحتسب الطلبات الموجّهة إلى نموذج محمّل مسبقاً ضمن هذا الحد. سترى هذا الخطأ غالباً أثناء الدفعات المفاجئة عند بدء التشغيل أو أثناء تبديل النماذج. لا يتعلق الخطأ بالذاكرة ولا بالنموذج. لا يؤدي رفع حجم قائمة الانتظار إلا إلى جعل المستدعين ينتظرون مدة أطول قبل الرفض نفسه. أما الحلول الفعلية فهي زيادة عدد الخانات إذا كانت VRAM المتاحة تسمح بذلك، أو تقليل الحمل الوارد، أو وضع قائمة انتظار أمامية يمكنها إعادة المحاولة وتحديد الأولويات.
هل يؤدي رفع OLLAMA_NUM_PARALLEL إلى جعل Ollama أسرع؟
لا. يتيح ذلك تشغيل عدد أكبر من الطلبات في الوقت نفسه، لكن كل طلب يصبح أبطأ مما لو شُغّل منفرداً، لأنها تتشارك GPU واحدة. كما يضاعف ذلك ذاكرة التخزين المؤقت KV، لأن Ollama يشغّل runner بإجمالي سياق يساوي طول السياق مضروباً في عدد الخانات. إذا لم تعد النتيجة تتسع في VRAM، ينقل Ollama الطبقات إلى CPU، فتتباطأ جميع الطلبات، بما فيها الطلب المنفرد الذي لا ينافسه طلب آخر. تحقّق من ollama ps بعد التغيير، وتأكد من أن العمود PROCESSOR ما زال يعرض 100% GPU.
هل أحتاج إلى إعادة تشغيل Ollama بعد تغيير هذه المتغيرات؟
نعم. يقرأ الخادم هذه المتغيرات عند بدء التشغيل، ويحافظ النموذج قيد التشغيل على عدد الخانات الذي ثُبّت في عملية runner عند تشغيلها. عدّل drop-in باستخدام sudo systemctl edit ollama.service، ثم شغّل sudo systemctl daemon-reload وsudo systemctl restart ollama. أكّد التغيير باستخدام systemctl show ollama --property=Environment، ثم تحقّق من السطر server config في journalctl -u ollama، الذي يسرد قيم البيئة المهيّأة التي يعرضها Ollama.
كم عدد الخانات المتوازية التي ينبغي ضبطها؟
ابدأ بالقيمة 1 وارفعها خطوة واحدة في كل مرة. بعد كل خطوة، أعد تشغيل Ollama، وأرسل طلباً واحداً لتحميل النموذج، ثم شغّل ollama ps. توقّف عند آخر قيمة ما زالت فيها PROCESSOR تعرض 100% GPU، ويحتفظ العمود SIZE بهامش كافٍ لأطول سياق تقدّمه. بعد ذلك، قِس زمن ظهور الرمز الأول وعدد الرموز في الثانية عند هذه القيمة وتحت مستوى التوازي الفعلي لديك، ثم تراجع خطوة واحدة إذا انخفضت سرعة الطلب الواحد عن المستوى الذي يقبله المستخدمون.