SSD Nodes Learn Hosting plans →
راهنماها Matt Connorتوسط Matt Connor

هم‌زمانی Ollama؛ تنظیم NUM_PARALLEL و MAX_QUEUE

درخواست دوم Ollama چه زمانی منتظر می‌ماند و چه زمانی با خطای HTTP 503 رد می‌شود؟ نقش OLLAMA_NUM_PARALLEL و OLLAMA_MAX_QUEUE و هزینه حافظه هر slot را ببینید.

چه اتفاقی برای دومین درخواست Ollama در حین تولید پاسخ توسط درخواست اول می‌افتد

میزان هم‌زمانی (concurrency) در Ollama توسط سه متغیر محیطی تعیین می‌شود و به‌صورت پیش‌فرض، هر مدل بارگذاری‌شده در لحظه فقط به یک درخواست پاسخ می‌دهد. درخواست دوم رد نمی‌شود و پاسخ ناقص نیز دریافت نمی‌کند. این درخواست در یک صف منتظر می‌ماند تا یک جایگاه (slot) خالی شود و سپس با سرعت عادی اجرا می‌گردد.

یک درخواست ورودی سه سرنوشت احتمالی دارد. یا بلافاصله در یک جایگاه خالی شروع می‌شود، یا در صف منتظر می‌ماند، یا صف پر است و سرور با خطای HTTP 503 آن را رد می‌کند. اینکه کدام حالت رخ دهد توسط OLLAMA_NUM_PARALLEL، OLLAMA_MAX_QUEUE و OLLAMA_MAX_LOADED_MODELS تعیین می‌شود. یک نکته در نسخه‌های فعلی تا اکتبر 2026 وجود دارد. بخش FAQ صف را به‌صورت کلی توصیف می‌کند، اما کد منبع زمان‌بند (scheduler) جزئیات دقیق‌تری دارد. خطای 503 فقط برای درخواست‌هایی اعمال می‌شود که در زمانی می‌رسند که مدل آن‌ها هنوز باید بارگذاری شود یا با تنظیمات متفاوت مجدداً بارگذاری گردد. Ollama درخواستی را که یک مدلِ از پیش بارگذاری‌شده می‌تواند همان‌طور که هست پاسخ دهد، رد نمی‌کند. آن درخواست تا زمانی که جایگاه خالی شود، منتظر می‌ماند.

تنظیمات پیش‌فرض ایمن هستند و همین موضوع دلیل آن است که کاربر دوم گزارش می‌دهد سرور "هنگ" کرده است، در حالی که هیچ خرابی رخ نداده است. افزودن جایگاه‌ها تنها با تغییر دو خط انجام می‌شود. بخشی که چالش‌برانگیز است، حافظه است. هر جایگاه موازی به کش کلید/مقدار (KV cache) اختصاصی خود نیاز دارد؛ یعنی همان بلوک حافظه‌ای که مدل برای توکن‌هایی که قبلاً پردازش کرده است، نگه می‌دارد. اگر بدون افزایش VRAM (حافظه ویدیویی روی GPU) جایگاه‌ها را اضافه کنید، پاسخِ کند را به یک خطای بارگذاری تبدیل خواهید کرد. در سروری که فقط از CPU استفاده می‌کند، همین کش از RAM سیستم مصرف می‌شود.

پارامترهای OLLAMA_NUM_PARALLEL، OLLAMA_MAX_QUEUE و OLLAMA_MAX_LOADED_MODELS چه چیزی را کنترل می‌کنند

این مقادیر پیش‌فرض در نسخه‌های فعلی Ollama تا اکتبر 2026 هستند. به‌جای اعتماد به این اعداد، با استفاده از خط لاگ نمایش‌داده‌شده در ادامه، مقادیر سیستم خود را بررسی کنید.

  • OLLAMA_NUM_PARALLEL تعیین می‌کند که یک مدل بارگذاری‌شده، هم‌زمان به چند درخواست پاسخ دهد. مقدار پیش‌فرض 1 است، بنابراین درخواست‌ها یکی پس از دیگری پردازش می‌شوند.
  • OLLAMA_MAX_LOADED_MODELS تعیین می‌کند که چند مدل مختلف به‌طور هم‌زمان در حافظه باقی بمانند. مقدار پیش‌فرض 0 است؛ یعنی Ollama خود تصمیم می‌گیرد: سه مدل به ازای هر GPU، و سه مدل در سیستمی که GPU ندارد.
  • OLLAMA_MAX_QUEUE طبق توضیحات FAQ، حداکثر تعداد درخواست‌هایی است که Ollama هنگام شلوغی در صف قرار می‌دهد تا از رد شدن درخواست‌های اضافی جلوگیری کند. مقدار پیش‌فرض 512 است. درخواستی که هنگام پر بودن این صف برسد، بلافاصله رد می‌شود. با این حال، در کد فعلی زمان‌بندی (scheduler)، فقط درخواست‌هایی که مدل آن‌ها باید ابتدا بارگذاری یا بازگذاری شود وارد این صف می‌شوند. درخواست‌ها برای مدلی که از قبل بارگذاری شده است، از این صف عبور کرده و منتظر یک اسلات خالی می‌مانند؛ این انتظار محدودیتی ندارد. یکی از نگهداران پروژه این موضوع را یک اثر جانبی از نحوه پیاده‌سازی scheduler توصیف کرده است و تیم Ollama این مورد را به‌عنوان یک درخواست ویژگی (issue #7758) پیگیری می‌کند که تا اکتبر 2026 همچنان باز بود.

بدترین حالت مصرف حافظه، حاصل‌ضرب دو پارامتر اول است. دو مدل بارگذاری‌شده با چهار اسلات برای هر کدام، به معنای هشت تخصیص اسلات برای KV cache است که همگی هم‌زمان در حافظه مقیم هستند و Ollama تلاش می‌کند آن را تأمین کند. در سیستمی با یک GPU، معمولاً بهتر است یک مدل را نگه دارید و اسلات‌ها را به آن اختصاص دهید، زیرا محاسبات آن به‌سادگی در ذهن قابل انجام است.

چرا هر اسلات موازی هزینه VRAM دارد

هنگامی که Ollama یک مدل را بارگذاری می‌کند، یک پردازش runner جداگانه را اجرا می‌کند. دو مورد از آرگومان‌هایی که ارسال می‌کند در اینجا اهمیت دارند: -c که کل کانتکستی است که runner برای آن یک KV cache تخصیص می‌دهد، و -np که تعداد توالی‌های موازی است. Ollama مقدار -c را برابر با طول کانتکست هر درخواست ضرب‌در تعداد اسلات‌ها قرار می‌دهد. سپس runner این مقدار کل را به‌طور مساوی بین اسلات‌ها تقسیم می‌کند تا هر درخواست همچنان به همان طول کانتکستی که درخواست کرده‌اید، دسترسی داشته باشد.

این تمام محدودیت موجود است و به همین دلیل است که موازی‌سازی رایگان نیست. تغییر از یک اسلات به چهار اسلات، چهار برابر KV cache بیشتر در همان طول کانتکستِ هر درخواست طلب می‌کند. هیچ‌چیز بین اسلات‌ها به اشتراک گذاشته نمی‌شود و سهم یک اسلات بیکار به اسلات مشغول قرض داده نمی‌شود، زیرا این تقسیم‌بندی هنگام شروع به کار runner ثابت می‌شود. در GPU، این حافظه همان VRAM است. در سروری که فقط CPU دارد، این حافظه RAM سیستم است و همان قاعده ضرب اعمال می‌شود.

شما می‌توانید اعداد واقعی را به‌جای اعدادی که قصد تنظیم آن‌ها را داشتید، بخوانید:

journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"

آن خط شامل کل خط فرمان runner، از جمله -c و -np است. اگر پس از تنظیم متغیر، مقدار -np برابر با 1 است، ابتدا نوع مدل را بررسی کنید. نسخه v0.40.15 از Ollama درخواست‌های موازی را برای مدل‌های GGUF بازگشتی (recurrent) و بینایی (vision) اضافه کرد، بنابراین محدودیت تک‌اسلاتِ قبلی برای آن مدل‌ها دیگر اعمال نمی‌شود. مدل‌های Embedding همچنان یک اسلات در زمان‌بندی (scheduler) دریافت می‌کنند. برای یک مدل تکمیل GGUF، بررسی کنید که تنظیمات به سرور می‌رسد، همان‌طور که بخش بعدی توضیح می‌دهد.

اگر وزن‌های مدل به اضافه آن KV cache در VRAM جا نشوند، Ollama برخی از لایه‌ها را به RAM سیستم منتقل می‌کند و آن لایه‌ها روی CPU اجرا می‌شوند. لایه‌های CPU بسیار کندتر از لایه‌های GPU هستند، بنابراین این کار باعث کند شدن هر درخواست می‌شود، از جمله همان تک درخواستی که با آن شروع کرده بودید. بنابراین افزایش موازی‌سازی می‌تواند به‌جای افزایش throughput، آن را کاهش دهد. با یک مدل به اندازه کافی بزرگ، وزن‌ها به‌تنهایی پیش از شروع هرگونه محاسبات اسلات، تکلیف را مشخص می‌کنند؛ به همین دلیل است که میزبانی شخصی مدلی به اندازه Kimi K3 بحثی درباره تعداد کارت‌هایی است که دارید، نه تعداد اسلات‌هایی که تنظیم می‌کنید.

ollama ps

ستون PROCESSOR زمانی که کل مدل جا می‌شود، مقدار 100% GPU را نشان می‌دهد. تقسیمی مانند 35%/65% CPU/GPU به این معنی است که بخشی از مدل روی CPU در حال اجراست. ستون SIZE شامل KV cache است، بنابراین با افزایش تعداد اسلات و بارگذاری مجدد مدل، این مقدار رشد می‌کند. مقدار OLLAMA_NUM_PARALLEL را افزایش دهید، restart کنید، یک درخواست بفرستید و دوباره ollama ps را اجرا کنید: این هزینه حافظه تغییر شماست که به‌جای حدس زدن، اندازه‌گیری شده است. اگر آن اندازه‌گیری نشان می‌دهد که مدل دیگر جا نمی‌شود، به یاد داشته باشید که وزن‌ها نیمه دیگر همان بودجه هستند و تغییر از fp16 به یک build مدل q8 یا q4 اغلب VRAM بیشتری نسبت به هزینه‌ای که اسلات مورد نظر شما دارد، آزاد می‌کند.

طول کانتکست و تعداد اسلات در هم ضرب می‌شوند، بنابراین باید با هم انتخاب شوند. یک کانتکست بزرگ با چهار اسلات، به معنای چهار کانتکست بزرگ است. اگر در حال تنظیم پنجره کانتکست num_ctx برای مدل خود هستید، هر بار فقط یکی از این دو را تغییر دهید، در غیر این صورت متوجه نخواهید شد کدام‌یک کارت را پر کرده است.

نحوه تنظیم این متغیرها به گونه‌ای که پس از reboot باقی بمانند

در لینوکس، Ollama به عنوان یک سرویس systemd اجرا می‌شود. اجرای export OLLAMA_NUM_PARALLEL=4 در shell شما هیچ تغییری ایجاد نمی‌کند، زیرا systemd سرویس را با محیط اختصاصی خود اجرا می‌کند و هرگز shell شما را نمی‌بیند. از یک فایل drop-in استفاده کنید.

sudo systemctl edit ollama.service

محتوای زیر را در ویرایشگری که باز می‌شود اضافه کنید:

[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"

سپس تنظیمات را reload کرده و سرویس را restart کنید:

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

دستور systemctl show خروجی آنچه را که systemd به پردازش تحویل می‌دهد، چاپ می‌کند. اگر متغیر شما در آنجا وجود ندارد، فایل drop-in ذخیره نشده است یا مرحله daemon-reload انجام نشده است. این موضوع را از سمت خود سرور نیز تأیید کنید:

journalctl -u ollama --no-pager | grep "server config" | tail -1

Ollama پیکربندی سرور خود را هنگام راه‌اندازی در خطی که پیام آن server config است، لاگ می‌کند. آن نقشه (map)، مقادیر محیطی پیکربندی‌شده‌ای که Ollama گزارش می‌دهد را نشان می‌دهد و سریع‌ترین راه برای پایان دادن به بحث در مورد اعمال شدن یا نشدن یک متغیر است. این خروجی مقداری که شما تنظیم کرده‌اید را نشان می‌دهد، نه تعداد slotهایی که یک مدل خاص واقعاً دریافت کرده است. برای مشاهده آن، مقدار -np را در خط runner در بالا بخوانید.

مدلی که از قبل بارگذاری شده است، تعداد slotهایی که با آن شروع شده را حفظ می‌کند، زیرا این مقدار در زمان راه‌اندازی در پردازش runner ثابت می‌شود. restart بالا همه چیز را unload می‌کند، بنابراین درخواست بعدی مدل را با تنظیمات جدید بارگذاری کرده و یک بار زمان بارگذاری را صرف می‌کند. اینکه یک مدل پس از آن چه مدت در حافظه باقی می‌ماند، یک کنترل جداگانه است که در نگه داشتن مدل Ollama در حافظه بین درخواست‌ها پوشش داده شده است.

وضعیت‌های served، queued و refused از دیدگاه کلاینت

چندین درخواست را هم‌زمان ارسال کرده و زمان‌بندی آن‌ها را اندازه‌گیری کنید. دستور زیر هشت درخواست استریم را به‌صورت موازی اجرا کرده و وضعیت و زمان‌بندی هرکدام را چاپ می‌کند:

for i in $(seq 1 8); do
  curl -s -o /dev/null \
    -w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
    http://127.0.0.1:11434/api/generate \
    -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
wait

ttfb زمان رسیدن به اولین بایت استریم است که به زمان اولین توکن (TTFT) نزدیک است، زیرا اولین بخش استریم‌شده حاوی اولین توکن است.

Served (سرویس‌شده) به‌صورت موازی. هر درخواست مقدار ttfb مشابهی را گزارش می‌دهد و total برای همه آن‌ها با هم افزایش می‌یابد. GPU بین اسلات‌های در حال اجرا به اشتراک گذاشته می‌شود، بنابراین هر پاسخ کندتر از حالتی است که به‌تنهایی اجرا شود، اما تعداد پاسخ‌های تکمیل‌شده در هر دقیقه بیشتر است. این همان وضعیتی است که با افزایش OLLAMA_NUM_PARALLEL برای آن هزینه می‌کنید.

Queued (در صف). درخواست‌های اول به‌سرعت پاسخ داده می‌شوند و درخواست‌های بعدی یک ttfb بزرگ را نشان می‌دهند که پس از آن تولید متن به‌صورت عادی انجام می‌شود. این انتظار مربوط به صف است، نه مدل. کاربری که پنجره چت را مشاهده می‌کند، یک وقفه طولانی خالی و سپس متن را با سرعت کامل می‌بیند. این الگو—شروع کند و سپس سرعت بالا—نشانه وجود صف است، نه بارگذاری بیش از حد GPU.

Refused (ردشده). کلاینت تقریباً بلافاصله http=503 را دریافت می‌کند و بدنه پاسخ به این صورت است:

{"error":"server busy, please try again.  maximum pending requests exceeded"}

این پیام به این معنی است که صف زمان‌بندی در لحظه رسیدن درخواست پر بوده است. این پیام هیچ ارتباطی با VRAM یا خود مدل ندارد. در نسخه‌های فعلی، آن صف فقط درخواست‌هایی را نگه می‌دارد که مدل آن‌ها هنوز بارگذاری نشده است یا باید با تنظیمات متفاوتی دوباره بارگذاری شود. اگر هنگام اجرای حلقه بالا، مدل از قبل در حافظه مستقر باشد، انتظار داشته باشید که هر درخواست کد 200 برگرداند، صرف‌نظر از اینکه OLLAMA_MAX_QUEUE را چقدر پایین تنظیم کرده باشید. سرریز در این حالت به‌صورت یک ttfb طولانی‌تر ظاهر می‌شود.

یک محدودیت صادقانه: Ollama عمق صف را منتشر نمی‌کند. ollama ps و اندپوینت /api/ps مدل‌هایی را گزارش می‌دهند که بارگذاری شده‌اند، نه درخواست‌هایی که در انتظار هستند. بنابراین شما باید صف را از سمت کلاینت و با مشاهده زمان رسیدن به اولین بایت اندازه‌گیری کنید، یا پاسخ‌های 503 را در هر چیزی که جلوی سرویس قرار دارد، بشمارید.

چرا مقدار کوچک‌تر برای MAX_QUEUE اغلب تنظیم بهتری است

یک صف با ظرفیت 512 بزرگ به نظر می‌رسد، اما برای یک اسلات (slot) عملاً بی‌فایده است. درخواست شماره 300 باید منتظر بماند تا 299 تولید محتوا (generation) به پایان برسد. این فرآیند در بهترین حالت چندین دقیقه طول می‌کشد. هر کلاینت HTTP بسیار زودتر از این زمان تسلیم می‌شود، بنابراین کلاینت با خطای timeout مواجه می‌شود که هیچ اطلاعاتی درباره علت اصلی به او نمی‌دهد و سیستم مانیتورینگ شما نیز هشداری دریافت نمی‌کند.

یک صف کوچک‌تر، این سرریز را به یک خطای فوری 503 تبدیل می‌کند، اما فقط برای درخواست‌هایی که منتظر بارگذاری یا بارگذاری مجدد مدل هستند؛ مانند ترافیک ناگهانی که پس از راه‌اندازی مجدد یا در حین تعویض مدل‌ها رخ می‌دهد. از اکتبر 2026، درخواست‌ها به مدلی که از قبل بارگذاری شده است، OLLAMA_MAX_QUEUE را دور می‌زنند و بدون محدودیت منتظر یک اسلات خالی می‌مانند. بنابراین، کاهش صف باعث کوتاه‌تر شدن زمان انتظار در یک سرور شلوغ با یک مدل مقیم نمی‌شود. برای دریافت پاسخ سریع در آن شرایط، مطابق آنچه در بخش بعدی توضیح داده شده، concurrency را پیش از Ollama محدود کنید. خطای 503 مفید است: یک reverse proxy می‌تواند آن را دوباره تلاش (retry) کند، کلاینت می‌تواند عقب‌نشینی (back off) کند، داشبورد می‌تواند آن را شمارش کند و کاربر می‌تواند آن را مشاهده کند. حد مجاز را بر اساس اندازه‌گیری‌های خود تعیین کنید. اگر تولید یک محتوا حدود ده ثانیه طول می‌کشد و کلاینت شما شصت ثانیه منتظر می‌ماند، در این بازه زمانی حدود شش درخواست در هر اسلات قابل پردازش است و اجازه دادن به بیش از این تعداد برای انتظار، تنها منجر به timeout می‌شود.

چه زمانی باید یک queue را جلوی Ollama قرار دهید

queue داخلی از نوع first in, first out (FIFO) است و اطلاعی از هویت فراخواننده ندارد. برای یک application که با یک server ارتباط دارد، همین کافی است و افزودن زیرساخت فقط failure modeهای بیشتری ایجاد می‌کند. اگر یکی از شرایط زیر برقرار است، استفاده از یک لایه در جلوی Ollama را در نظر بگیرید.

  • به priority نیاز دارید. یک چت تعاملی نباید پشت یک job مربوط به batch summarisation منتظر بماند. queue مربوط به Ollama priority ندارد؛ بنابراین باید کارهای batch را خارج از آن نگه دارید و به‌تدریج وارد queue کنید.
  • به fairness نیاز دارید. یک client می‌تواند همه slotها را اشغال کند و درخواست‌های در حال انتظار خودش را پشت سر هم انباشته کند. در این حالت، سایر clientها پشت همان client منتظر می‌مانند یا اگر درخواستشان به load شدن یک model نیاز داشته باشد، پاسخ 503 می‌گیرند.
  • به wait محدود نیاز دارید. Ollama درخواست‌های مربوط به modelی را که از قبل load شده است، به‌صورت نامحدود نگه می‌دارد؛ بنابراین تنها limit قابل‌اعتماد، limitی است که در جلوی آن قرار می‌دهید.
  • می‌خواهید کار پس از restart نیز باقی بماند. queue در memory مربوط به server قرار دارد. با restart کردن Ollama، تمام درخواست‌های در حال انتظار از بین می‌روند.
  • به retry واقعی با backoff نیاز دارید که در محلی ثبت شود و بعداً بتوانید آن را بررسی کنید.

راهکار سبک، استفاده از reverse proxy است. در nginx، limit_conn تعداد connectionهای هم‌زمان را محدود می‌کند و limit_req نرخ ورود درخواست را برای هر client محدود می‌کند؛ بنابراین درخواست‌های اضافی در proxy رد می‌شوند و هرگز به Ollama نمی‌رسند. راهکار سنگین، استفاده از یک job queue همراه با database در جلوی workerی است که Ollama را فراخوانی می‌کند. زمانی که درخواست‌ها باید از restart شدن یک process عبور کنند، به این راهکار نیاز دارید. اندازه‌گذاری این معماری برای traffic واقعی، موضوعی مستقل است: برنامه‌ریزی برای یک LLM self-hosted برای کاربران هم‌زمان محاسبات لازم را بررسی می‌کند و اجرای Ollama روی یک VPS نصب پایه‌ای را توضیح می‌دهد که این متغیرها بر اساس آن فرض شده‌اند.

وقتی پاسخ درست، استفاده از یک سرور دیگر است

محدودی وجود دارد که با تنظیمات نمی‌توانید از آن عبور کنید. Ollama هنگام بارگذاری مدل، KV cache را به slotهای ثابت و هم‌اندازه تقسیم می‌کند. حافظهٔ یک slot بیکار را نمی‌توان به slot مشغول اختصاص داد و تعداد slotها نیز بدون خارج‌کردن مدل از حافظه تغییر نمی‌کند. این طراحی برای یک نفر، یک تیم کوچک یا یک coding agent مناسب است.

سرورهایی که برای کاربران هم‌زمان متعدد ساخته شده‌اند، متفاوت عمل می‌کنند. آن‌ها KV cache را در pageهای کوچک و بر اساس نیاز تخصیص می‌دهند و درخواست‌های جدید را به batch در حال اجرا اضافه می‌کنند. در نتیجه، مصرف حافظه از تقاضای واقعی پیروی می‌کند، نه از یک تقسیم‌بندی ثابت. اگر هدف شما پشتیبانی از تعداد زیادی کاربر هم‌زمان روی یک GPU است، این تفاوت معماری از هر مقدار برای OLLAMA_NUM_PARALLEL مهم‌تر است. مقایسهٔ Ollama و vLLM محل مناسبی برای تصمیم‌گیری دربارهٔ این موضوع است. بااین‌حال، صرفاً از روی اصل و قاعده مهاجرت نکنید؛ کار با یک سرور دیگر به عملیات و نگهداری بیشتری نیاز دارد و اگر ترافیک شما به چند نفر محدود است، رفتار داخلی همین ابزار پاسخ درست است. اگر پرسش اصلی این است که آیا اصلاً باید model server را خودتان اجرا کنید، مقایسهٔ یک سرور خصوصی هوش مصنوعی با قیمت فقط پس از استعلام و ساخت همین stack روی یک GPU اجاره‌ای این تصمیم را بررسی می‌کند؛ از جمله این‌که چه زمانی خرید API انتخاب بهتری است.

سنجش توان عملیاتی و زمان رسیدن به اولین توکن

ارقام مربوط به تعداد توکن‌های تولیدشده در ثانیه که منتشر می‌شوند، از GPU، مدل، کوانتیزاسیون، طول کانتکست و پرامپتِ شخص دیگری به دست آمده‌اند. هیچ‌کدام از این موارد با شرایط شما مطابقت ندارند؛ بنابراین هر عددی که می‌خوانید را فقط به عنوان یک راهنمای کلی در نظر بگیرید و عملکرد دستگاه خودتان را بسنجید.

Ollama در شیء JSON نهایی هر پاسخ، زمان‌بندی‌ها را برمی‌گرداند. eval_count تعداد توکن‌های تولیدشده و eval_duration زمان صرف‌شده برای تولید آن‌ها به نانوثانیه است.

sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
  | jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'

این کار را یک‌بار با یک اسلات و سپس با میزان هم‌زمانی (concurrency) که واقعاً انتظار دارید اجرا کنید. سپس دو عددی را که تعیین‌کننده رضایت کاربران هستند با هم مقایسه کنید: زمان رسیدن به اولین توکن و تعداد توکن در ثانیه برای هر درخواست. توان عملیاتی به ازای هر درخواست با افزایش اسلات‌ها همیشه کاهش می‌یابد. پرسش اصلی این است که آیا این کاهش بیش از حدِ تحمل کاربران شماست یا خیر. سنجش توکن در ثانیه در یک LLM محلی این روش را با جزئیات بیشتری پوشش می‌دهد، از جمله اینکه چگونه پرامپت را بین اجراهای مختلف ثابت نگه دارید.

یک نقطه پایانی عمومی با صف بزرگ، هدفی برای حملات محروم‌سازی از سرویس (DoS) است

تنظیم OLLAMA_HOST=0.0.0.0:11434 باعث می‌شود API روی تمامی رابط‌های شبکه در دسترس قرار گیرد و API محلی نیز به هیچ احراز هویتی نیاز ندارد. Ollama دارای قابلیت ورود به سیستم برای مدل‌های ابری، انتشار و دانلودهای خصوصی است. استنتاج مستقیم ابری در https://ollama.com/api و https://ollama.com/v1 نیازمند یک API key است. با صف پیش‌فرض، یک نقطه پایانی باز می‌تواند تا 512 درخواست را در انتظار بارگذاری مدل، از سوی هر کسی که آن را پیدا کند، بپذیرد. برای مدلی که از قبل بارگذاری شده است، این سرویس هر درخواستی که متصل شود را بدون محدودیت و تا زمانی که کلاینت متصل بماند، نگه می‌دارد. مشغول کردن سرور به این روش برای مهاجم تقریباً هیچ هزینه‌ای ندارد: پرامپت‌های طولانی، بدون نیاز به ورود، بدون محدودیت نرخ (rate limit) و بدون هزینه. در این حالت، کاربران واقعی شما با پاسخ‌های 503 یا انتظار طولانی مواجه می‌شوند و دستگاه در تمام مدت مشغول خواهد بود.

شنونده (listener) را روی loopback نگه دارید و از طریق یک SSH tunnel یا شبکه خصوصی به آن دسترسی پیدا کنید، یا یک لایه احراز هویت و محدودیت نرخ در مقابل آن قرار دهید. ایمن‌سازی نقطه پایانی API در Ollama هر دو روش را پوشش می‌دهد. پس از انجام این کار، صف را تنظیم کنید، زیرا طول صف یک تنظیم ظرفیت است و هیچ‌گونه حفاظتی ایجاد نمی‌کند.

FAQ

چرا درخواست دوم من در Ollama منتظر می‌ماند تا درخواست اول تمام شود؟

زیرا مقدار OLLAMA_NUM_PARALLEL به‌صورت پیش‌فرض روی 1 تنظیم شده است؛ بنابراین مدل بارگذاری‌شده در هر لحظه فقط یک درخواست را پردازش می‌کند و سایر درخواست‌ها به‌ترتیب در صف می‌مانند. درخواستِ در انتظار، اتصال HTTP خود را باز نگه می‌دارد و تا زمانی که یک جایگاه (slot) خالی نشود، هیچ داده‌ای ارسال نمی‌کند؛ این وضعیت از دید کلاینت دقیقاً مشابه کند بودن مدل به نظر می‌رسد. تفاوت در الگوی زمان‌بندی است: وقفه طولانی و سپس نمایش متن با سرعت کامل، نشانه وجود صف است، در حالی که جریانِ قطره‌چکانی از همان توکن اول، نشانه کند بودن مدل است. با استفاده از یک systemd drop-in، تعداد جایگاه‌ها را افزایش دهید و سرویس را restart کنید. سپس مقدار -np را در خط runner بررسی کنید، زیرا مدل‌های embedding همچنان در زمان‌بند (scheduler) فقط یک جایگاه دریافت می‌کنند.

پیام "server busy, please try again. maximum pending requests exceeded" به چه معناست؟

این خطای سرریز صف در Ollama است که با کد وضعیت HTTP 503 بازگردانده می‌شود. تعداد درخواست‌های در انتظار برای زمان‌بندی (یعنی درخواست‌هایی که منتظر بارگذاری یا بارگذاری مجدد مدل خود هستند) به مقدار OLLAMA_MAX_QUEUE رسیده است که به‌صورت پیش‌فرض 512 است؛ بنابراین درخواست جدید به‌جای اضافه شدن به صف، رد شده است. درخواست‌هایی که برای مدلی ارسال می‌شوند که از قبل بارگذاری شده است، در این محدودیت لحاظ نمی‌شوند. شما این خطا را عمدتاً در زمان هجوم درخواست‌ها هنگام راه‌اندازی یا در حین تعویض مدل‌ها مشاهده خواهید کرد. این یک خطای حافظه یا خطای مدل نیست. افزایش ظرفیت صف فقط باعث می‌شود کلاینت‌ها قبل از دریافت همان پیام رد درخواست، مدت بیشتری منتظر بمانند؛ بنابراین راهکارهای واقعی عبارتند از: افزایش تعداد جایگاه‌ها (اگر VRAM کافی دارید)، کاهش بار ورودی، یا قرار دادن یک صف در مقابل سرویس که بتواند درخواست‌ها را مجدداً ارسال و اولویت‌بندی کند.

آیا افزایش OLLAMA_NUM_PARALLEL باعث سریع‌تر شدن Ollama می‌شود؟

خیر. این کار اجازه می‌دهد درخواست‌های بیشتری به‌طور هم‌زمان اجرا شوند، اما هر یک از این درخواست‌ها نسبت به زمانی که به‌تنهایی اجرا می‌شدند، کندتر خواهند بود، زیرا همگی از یک GPU مشترک استفاده می‌کنند. این کار همچنین حافظه KV cache را چند برابر می‌کند، زیرا Ollama پردازشگر (runner) را با مجموع context برابر با "طول context شما ضرب‌در تعداد جایگاه‌ها" راه‌اندازی می‌کند. اگر نتیجه دیگر در VRAM جا نشود، Ollama لایه‌ها را به CPU منتقل می‌کند و سرعت تمام درخواست‌ها، حتی در حالتی که فقط یک درخواست در حال اجرا باشد، کاهش می‌یابد. پس از تغییر، ollama ps را بررسی کنید و مطمئن شوید که ستون PROCESSOR همچنان مقدار 100% GPU را نشان می‌دهد.

آیا پس از تغییر این متغیرها نیاز به restart کردن Ollama هست؟

بله. سرور این متغیرها را هنگام راه‌اندازی می‌خواند و مدل در حال اجرا، تعداد جایگاه‌هایی را که در زمان شروع فرآیند runner تعیین شده بود، حفظ می‌کند. فایل drop-in را با sudo systemctl edit ollama.service ویرایش کنید، سپس دستورات sudo systemctl daemon-reload و sudo systemctl restart ollama را اجرا کنید. با systemctl show ollama --property=Environment تغییرات را تأیید کنید و سپس خط server config را در journalctl -u ollama بررسی کنید که مقادیر محیطی پیکربندی‌شده‌ای که Ollama گزارش می‌دهد را فهرست می‌کند.

چند جایگاه موازی (parallel slots) باید تنظیم کنم؟

از 1 شروع کنید و هر بار یک واحد افزایش دهید. پس از هر مرحله، Ollama را restart کنید، یک درخواست برای بارگذاری مدل بفرستید و ollama ps را اجرا کنید. در آخرین مقداری که PROCESSOR همچنان 100% GPU را نشان می‌دهد و ستون SIZE فضای کافی برای طولانی‌ترین context مورد نیاز شما باقی می‌گذارد، متوقف شوید. سپس زمان رسیدن به اولین توکن و تعداد توکن در ثانیه را در آن تنظیمات و تحت بار کاری واقعی خود اندازه‌گیری کنید؛ اگر سرعت هر درخواست به کمتر از حد تحمل کاربران شما رسید، یک مرحله به عقب برگردید.

آیا این مقاله مفید بود؟

#ollama#concurrency#vram#queueing#self-hosted-llm