رفع خطای context deadline exceeded در Ollama
خطای context deadline exceeded در Ollama به دلیل اتمام زمان مجاز در Go رخ میدهد. با بررسی تنظیمات Nginx، کلاینت API یا زمان بارگذاری مدل، این مشکل را حل کنید.
معنای واقعی خطای context deadline exceeded
خطای context deadline exceeded در Ollama، گزارشی از اتمام زمان مجاز (timeout) است. بخشی از کد Go برای یک عملیات، ضربالاجلی تعیین کرده است، اما آن عملیات در زمان مقرر به پایان نرسیده و ضربالاجل منقضی شده است. در بیشتر موارد، این عملیات، درخواستی است که منتظر پاسخ مدل است. هیچچیز کرش نکرده و هیچ فایلی آسیب ندیده است. کار همچنان در حال اجرا بود که زمان به پایان رسید.
این عبارت از بسته context در زبان Go گرفته شده است و خود به تنهایی سرنخ مفیدی است. یک کلاینت پایتون که بر پایه httpx ساخته شده باشد، به جای آن خطای httpx.ReadTimeout را صادر میکند. مرورگر نیز یک خطای شبکه ساده نمایش میدهد. اگر دقیقاً همین عبارت را مشاهده میکنید، یک برنامه Go از انتظار دست کشیده است: ابزار خط فرمان Ollama، خودِ سرور Ollama، یا یک برنامه Go که در حال فراخوانی API (رابط برنامهنویسی کاربردی) است.
این ضربالاجل همیشه مربوط به پاسخدهی مدل نیست. همین عبارت هنگام دانلودها نیز ظاهر میشود: ollama pull، یا عملیات pull که ollama run هنگام نبودن مدل روی دیسک آغاز میکند. شماره مسئله 17484 در Ollama که برای نسخه 0.32.5 گزارش شده است، نشان میدهد که ollama run یک مدل Hugging Face، خطوط pulling خود را چاپ کرده و سپس Error: context deadline exceeded میدهد، در حالی که لاگ سرور نشان میدهد دریافت یک blob از hf.co با همین خطا مواجه شده است. اگر خروجی شما بلافاصله پس از خطوط pulling متوقف میشود، ضربالاجل مربوط به دانلود است؛ بنابراین پیش از تغییر هر تنظیماتی در ادامه، عملیات pull را دوباره امتحان کنید و مسیر شبکه به سمت registry را بررسی کنید.
زمانی که مدل از قبل روی دیسک موجود است، پنج لایه درگیر هستند. سه مورد از آنها ضربالاجل خاص خود را تعیین میکنند: کلاینت شما، زمان مجاز بارگذاری مدل در سرور، و یک reverse proxy. دو مورد دیگر، یعنی keep_alive و num_ctx، ضربالاجلی تعیین نمیکنند، اما تصمیم میگیرند که چه مقدار کار باید در یک بازه زمانی جای بگیرد. آنها در نقاط متفاوتی شکست میخورند و هر کدام نیاز به اصلاح متفاوتی دارند، بنابراین کل کار، تشخیص این است که کدامیک عامل بروز این خطا است.
- کلاینت HTTP شما، که برای درخواست یک بودجه زمانی ثابت تعیین کرده است.
- زمان مجاز بارگذاری مدل در سرور Ollama، که هنگام خواندن یک مدل بزرگ از دیسک برای اولین بار فعال میشود.
keep_alive، که مدل را بین درخواستها از حافظه خارج میکند تا فراخوانی بعدی دوباره هزینه بارگذاری را بپردازد.- یک
num_ctxکه به قدری بزرگ است که پردازش prompt به تنهایی روی یک سیستم بدون GPU، دقایق طول میکشد. - یک reverse proxy مانند nginx یا Traefik، که پیش از پاسخدهی Ollama، اتصال را قطع میکند.
این لیست را به ترتیب بررسی کنید. هر مرحله در ادامه، یک لایه را از تصویر حذف میکند تا از حدس و گمان دست بردارید.
بازتولید درخواست از طریق API برای حذف پروکسی از مسیر
درخواست را مستقیماً روی خود سرور و به سمت Ollama اجرا کنید، بدون اینکه پروکسی در میان باشد.
time curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Why is the sky blue?",
"stream": false
}' | head -c 400curl هیچ محدودیت زمانی کلی برای خود تعیین نمیکند و فقط یک timeout برای اتصال دارد، بنابراین این دستور تا زمانی که Ollama نیاز داشته باشد منتظر میماند. این کار مسئله را به دو بخش تقسیم میکند. اگر بدنه JSON بازگردانده شد، یعنی Ollama پاسخ داده است و محدودیت زمانی مربوط به بخشی است که پیش از آن قرار دارد. اگر این فراخوانی برای چند دقیقه معلق بماند، تأخیر در داخل Ollama است و پروکسی شما بیگناه است.
حالا همان درخواست را از طریق URL عمومی خود ارسال کنید و زمان آن را اندازه بگیرید.
curl -s -o /dev/null -w '%{http_code} %{time_total}\n' \
-X POST https://llm.example.com/api/generate \
-d '{"model": "llama3.1:8b", "prompt": "hi", "stream": false}'وضعیت 504 که پس از یک عدد رُند مشکوک مانند 60.0 یا 30.0 ثانیه چاپ شود، نشاندهنده timeout پروکسی است. پروکسیها از مقادیر پیشفرض رُند استفاده میکنند. یک مدل دو بار پشت سر هم دقیقاً در 60.000 ثانیه به پایان نمیرسد. اگر فراخوانی مستقیم بهجای کند بودن، فوراً رد (refuse) شود، شما بهجای مشکل محدودیت زمانی، با مشکل listener مواجه هستید و آدرسی که Ollama روی پورت 11434 به آن متصل میشود این مورد را پوشش میدهد.
نظارت بر لاگ سرور هنگام اجرای درخواست
یک نشست (session) دوم باز کنید و لاگ سرویس را دنبال کنید، سپس درخواست را مجدداً ارسال کنید.
journalctl -u ollama --no-pager --follow --pager-endیک شروع سرد (cold start) سالم، بارگذاری مدل، سپس شروع به کار runner و در نهایت پاسخدهی به درخواست را در لاگ ثبت میکند. یک بارگذاری ناموفق در نسخههای فعلی، که در اکتبر 2026 بر اساس سورس 0.40.11 بررسی شده است، به شکل زیر دیده میشود و این همان رشتهای است که timeout بارگذاری داخلی سرور را مشخص میکند:
timed out waiting for llama-server to start - <last error from the runner>در نسخههای قدیمیتر مانند 0.12.0، این پیام به صورت timed out waiting for llama runner to start - progress 0.00 - درج میشود. در هر دو حالت، پردازش مدل در بازه زمانی تعیینشده توسط سرور به پایان نرسیده است. در عبارت قدیمی، عدد پیشرفت نشان میدهد که فرآیند تا چه مرحلهای پیش رفته است و 0.00 به این معناست که runner پیش از رسیدن به مهلت زمانی، هیچ گزارشی ارسال نکرده است که معمولاً نشاندهنده در حال خواندن بودن فایل یا استفاده سیستم از swap است. نسخههای فعلی این عدد را حذف کرده و آخرین خطای runner را به انتهای پیام اضافه میکنند؛ اگر خطایی وجود نداشته باشد، این بخش خالی است. اگر لاگ به جای آن هشدار دهد که اتصال کلاینت پیش از پایان بارگذاری توسط llama-server بسته شده است، یعنی فراخواننده (کلاینت شما یا پروکسیِ مقابل آن) زودتر از موعد منصرف شده و بارگذاری متوقف شده است. برای جزئیات بیشتر در حین بارگذاری، سرویس را با تنظیم OLLAMA_DEBUG=1 مجدداً راهاندازی کرده و عملیات را تکرار کنید.
سنجش اینکه آیا تأخیر مربوط به بارگذاری است یا تولید
Ollama زمانبندیهای اختصاصی خود را گزارش میدهد، بنابراین نیازی به حدس زدن در این بخش ندارید.
ollama run --verbose llama3.1:8b "Why is the sky blue?"پس از دریافت پاسخ، این ابزار مقادیر total duration، load duration، prompt eval count، prompt eval rate، eval count و eval rate را چاپ میکند. دستور را دو بار اجرا کنید. در اجرای دوم، مقدار load duration باید تقریباً به صفر برسد، زیرا مدل از قبل در حافظه بارگذاری شده است. اگر این مقدار کاهش نیافت، مدل بین دو اجرای شما از حافظه خارج میشود که مربوط به مورد keep_alive در ادامه است.
همین اعداد در شیء نهایی JSON از طریق API با نامهای load_duration، prompt_eval_duration و eval_duration بازگردانده میشوند. طبق مستندات، تمام مدتزمانها به نانوثانیه هستند، بنابراین برای خواندن به ثانیه، آنها را بر 10^9 تقسیم کنید.
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"prompt": "Why is the sky blue?",
"stream": false
}' | python3 -c 'import json,sys; d=json.load(sys.stdin); print({k: round(v/1e9, 2) for k, v in d.items() if k.endswith("_duration")})'بزرگترین عدد را بررسی کنید. اگر load_duration مقدار غالب است، شما با مشکل بارگذاری مدل مواجه هستید؛ پس به دو بخش بعدی بروید. اگر prompt_eval_duration مقدار غالب است، هزینه مربوط به پردازش پرامپت است؛ پس به بخش num_ctx بروید. اگر eval_duration مقدار غالب است، مدل بهسادگی روی این سختافزار بهکندی تولید میشود و هیچ تنظیمات timeout این وضعیت را تغییر نخواهد داد. خروجی را با num_predict کوتاهتر کنید یا از یک مدل کوچکتر استفاده نمایید.
افزایش OLLAMA_LOAD_TIMEOUT، پس از بررسی نسخه
متغیر سروری که این موضوع را کنترل میکند OLLAMA_LOAD_TIMEOUT است. در سورس کد نسخه 0.40.11 که در اکتبر 2026 بررسی شد، این متغیر به عنوان مدتزمانی تعریف شده است که به بارگذاری مدل اجازه میدهد پیش از متوقف شدن (timeout) در حالت انتظار باقی بماند. مقدار پیشفرض آن 5 دقیقه است و هر نشانه از پیشرفت بارگذاری، این زمانسنج را بازنشانی میکند. این متغیر در نسخههای قدیمیتر مانند 0.3.0 اصلاً وجود ندارد، بنابراین به جای تکیه بر هر مقالهای، از جمله همین متن، مقدار پیشفرض را برای نسخه خودتان بررسی کنید. ابتدا نسخه را چاپ کنید.
ollama --versionسپس سورس کد مربوط به همان تگ دقیق را در https://github.com/ollama/ollama/blob/<your version>/envconfig/config.go باز کنید و به دنبال OLLAMA_LOAD_TIMEOUT بگردید. مقداری که در آن فایل قرار دارد، پیشفرضی است که باینری شما با آن کامپایل شده است. مقدار دلخواه خود را از طریق یک drop-in در systemd تنظیم کنید.
sudo systemctl edit ollama.serviceمتغیرها را در بخش [Service] اضافه کنید؛ این روشی است که مستندات رسمی Ollama برای لینوکس ارائه داده است:
[Service]
Environment="OLLAMA_LOAD_TIMEOUT=15m"
Environment="OLLAMA_KEEP_ALIVE=-1"sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentدستور آخر، محیطی (environment) را که سرویس واقعاً دریافت کرده است چاپ میکند. نتیجه خالی به این معناست که فایل drop-in خارج از نشانگرهای ویرایشگر یا تحت نام بخش اشتباه ذخیره شده است و در نتیجه، هیچکدام از تنظیمات شما اعمال نشدهاند. توجه داشته باشید که این کار چه نتیجهای برای شما دارد: افزایش timeout بارگذاری، تنها مانع از تسلیم شدن سرور میشود و هیچچیز را سریعتر نمیکند. اگر مدل در حافظه جا نشود، سیستم شروع به swap میکند، بارگذاری بسیار کند میشود و عدد بزرگتر فقط زمان شکست را به تعویق میاندازد.
چرا اولین درخواست پس از یک وقفه، کند است
Ollama مدلهای بلااستفاده را برای آزاد کردن حافظه از RAM خارج میکند. تنظیم keep_alive تعیین میکند که این اتفاق چه زمانی رخ دهد. مستندات Ollama مقدار پیشفرض را 5 دقیقه اعلام کردهاند که در اکتبر 2026 بررسی شد. بنابراین، یک برنامه چت که هر ساعت یکبار استفاده میشود، مدل را با هر پیام دوباره بارگذاری میکند و هر پیام متحمل هزینه کامل شروع سرد (cold start) میشود. درخواستی که با timeout مواجه میشود، اولین درخواست پس از یک دوره سکوت است؛ دقیقاً همان الگویی که کاربران آن را تصادفی توصیف میکنند.
بررسی کنید چه چیزی در حال حاضر در حافظه مقیم است:
ollama ps
curl -s http://127.0.0.1:11434/api/psیک لیست خالی یا انقضایی که چند دقیقه با زمان فعلی فاصله دارد، این موضوع را تأیید میکند. keep_alive یک رشته مدتزمان مانند "10m" یا "24h"، یک عدد ساده بر حسب ثانیه، 0 برای تخلیه فوری، و یک عدد منفی برای نگه داشتن دائمی مدل در حافظه را میپذیرد. این مقدار را برای هر درخواست یا از طریق OLLAMA_KEEP_ALIVE در سرویس برای همه درخواستها تنظیم کنید. مقدار ارسالی در درخواست اولویت دارد: مستندات Ollama بیان میکنند که پارامتر API با نام keep_alive تنظیمات OLLAMA_KEEP_ALIVE را نادیده میگیرد، بنابراین کلاینتی که keep_alive اختصاصی خود را ارسال میکند، همچنان مدل را طبق زمانبندی خودش تخلیه میکند.
curl -s http://127.0.0.1:11434/api/generate -d '{
"model": "llama3.1:8b",
"keep_alive": -1
}'یک درخواست شامل مدل بدون prompt، مدل را بارگذاری کرده و بازمیگردد. این روش مستندشده برای گرم کردن (warm-up) یک سرور پس از reboot است و باید در یک unit کوچک systemd قرار گیرد تا هیچکس منتظر اولین شروع سرد پس از reboot نماند. هزینه این کار مشخص است: یک مدل ثابت (pinned) حافظه را برای همیشه اشغال میکند، بنابراین در یک سرور کوچک میتوانید فقط یک مدل را ثابت نگه دارید، نه چهار مدل را. نگه داشتن مدل در حافظه بین درخواستها محاسبات حافظه و unit مربوط به گرمسازی را بررسی میکند.
چرا مقدار بزرگ num_ctx پیش از تولید اولین توکن دچار timeout میشود
پیش از آنکه مدل شروع به نوشتن کند، باید کل پرامپت شما را بخواند. این مرحله prefill نام دارد و همان چیزی است که prompt eval اندازهگیری میکند. پارامتر num_ctx طول کانتکست را تعیین میکند که همزمان دو کار انجام میدهد: سقف تعداد توکنهایی که مدل میتواند در نظر بگیرد را محدود میکند و اندازه KV cache (کش کلید-مقدار) که سرور از پیش تخصیص میدهد را مشخص مینماید. هر دو مورد باعث افزایش حجم پردازش میشوند.
در سروری که فقط از CPU استفاده میکند، prefill کند است و با تعداد توکنهای پرامپت رابطه خطی دارد. یک سند طولانی که در چت کپی میشود ممکن است دقایقی در مرحله prefill بماند در حالی که کلاینت هیچ چیزی دریافت نمیکند، زیرا استریمینگ هنوز آغاز نشده است. کلاینت به مهلت زمانی (deadline) خود میرسد و خطای context deadline exceeded را گزارش میدهد، در حالی که سرور در تمام این مدت مشغول کار بوده است. این موضوع را با اعداد بخش قبل اثبات کنید. پرامپت طولانی را ارسال کنید و مقادیر prompt_eval_count و prompt_eval_duration را بخوانید که Ollama آنها را به عنوان زمان صرفشده برای ارزیابی توکنهای پرامپتِ کشنشده تعریف میکند. وجود دقایق در این بخش، با مقدار کوچک eval_duration، نشاندهنده prefill است. از آنجا که فقط توکنهای کشنشده محاسبه میشوند، تکرار همان پرامپت روی مدلی که همچنان در حافظه بارگذاری شده است ممکن است زمان بسیار کمتری را گزارش کند؛ بنابراین فقط اولین اجراها را با هم مقایسه کنید. برای مشاهده هزینه کش بزرگتر، پرامپت را با "options": {"num_ctx": 2048} و سپس با 32768 اجرا کنید و load_duration را نیز بخوانید، زیرا زمان صرفشده برای بارگذاری مدل در آنجا گزارش میشود و نه در prompt_eval_duration.
مقدار پیشفرض سرور از OLLAMA_CONTEXT_LENGTH میآید و یک num_ctx در هر درخواست در شیء options آن را بازنویسی (override) میکند. افزایش این مقدار تا حداکثرِ اعلامشده برای مدل، صرفاً به این دلیل که آن حداکثر وجود دارد، یک اشتباه رایج است؛ زیرا تخصیص KV cache میتواند مدل را از RAM خارج کرده و یک تنظیمات کاری را به وضعیتی تبدیل کند که درگیر swapping میشود. انتخاب num_ctx بر اساس حافظه واقعی جزئیات مربوط به اندازهگیری را توضیح میدهد.
چرا nginx خطای 504 Gateway Time-out برمیگرداند
مستندات nginx برای proxy_read_timeout مقدار پیشفرض 60s را تعیین کرده است و لاگ خطای آن، علت شکست را بهصراحت بیان میکند:
upstream timed out (110: Connection timed out) while reading response header from upstreamنکتهٔ مهم در مستندات nginx این است که این زمانبندی «فقط بین دو عملیات خواندن متوالی تنظیم میشود، نه برای انتقال کل پاسخ». یک پاسخ streaming با هر تکه (chunk) ساعت را بازنشانی میکند، بنابراین چتهای streaming دچار وقفه نمیشوند. درخواستی با "stream": false تا زمانی که پاسخ کامل نشود، هیچ دادهای ارسال نمیکند، بنابراین کل فرایند تولید پاسخ باید در همان بازهٔ زمانی به پایان برسد. به همین دلیل است که یک مدل مشابه در پنجرهٔ چت کار میکند اما از طریق اسکریپت دچار timeout میشود.
location / {
proxy_pass http://127.0.0.1:11434;
proxy_http_version 1.1;
proxy_set_header Host $host;
proxy_read_timeout 600s;
proxy_send_timeout 600s;
proxy_buffering off;
}sudo nginx -t && sudo systemctl reload nginxproxy_buffering off برای streaming اهمیت دارد. با فعال بودن buffering، nginx میتواند پاسخ را جمعآوری کرده و در انتها تحویل دهد؛ در نتیجه توکنها دیگر یکییکی ظاهر نمیشوند و یک استریمِ در حال کار، بهصورت یک فرایند متوقفشده (hang) به نظر میرسد.
Traefik کنترل مشابهی را روی ServersTransport که router از آن استفاده میکند، اعمال میکند.
http:
serversTransports:
ollama:
forwardingTimeouts:
dialTimeout: "30s"
responseHeaderTimeout: "0s"
idleConnTimeout: "60s"responseHeaderTimeout مدتزمان انتظار برای دریافت هدرهای پاسخ پس از ارسال درخواست را پوشش میدهد و مقدار صفر به معنای عدم وجود timeout است. سرویس باید با استفاده از serversTransport: ollama به آن transport ارجاع دهد، در غیر این صورت شما بلوکی را ویرایش کردهاید که توسط هیچچیز استفاده نمیشود.
کوانتیزاسیون کوچکتر سریعتر بارگذاری میشود زیرا دادههای کمتری برای خواندن وجود دارد
کوانتیزاسیون همان دقتی است که وزنها با آن ذخیره میشوند. دقت پایینتر به معنای فایل کوچکتر است و بارگذاری مدل عمدتاً شامل خواندن آن فایل از دیسک به حافظه است.
دادههای پشت این نمودار
[
{
"label": "q4_K_M",
"download_size_gb": 4.9
},
{
"label": "q8_0",
"download_size_gb": 8.5
},
{
"label": "fp16",
"download_size_gb": 16
}
]اینها اندازههای منتشرشده در صفحه مدل هستند، نه اندازهگیریهای بهدستآمده از یک سیستم تست. نسخه پیشفرض 8B با حجم 4.9 GB عرضه میشود. نسخه با دقت کامل همان مدل 16 GB است؛ یعنی بیش از سه برابر بایت بیشتر برای خواندن و بیش از سه برابر حافظه بیشتر برای نگهداری. در یک سرور اجارهای با فضای ذخیرهسازی اشتراکی، این تفاوت دقیقاً همان فاصلهای است که تعیین میکند بارگذاری با موفقیت انجام شود یا با خطای timeout مواجه گردد. محاسبه اینکه کدام مدل در RAM شما جای میگیرد بررسی لازمی است که باید پیش از دریافت هر فایل حجیمی انجام دهید.
تغییرات لازم در سرور اجارهای
این موارد را به ترتیبی که اندازهگیریها نشان میدهند، یکییکی اعمال کنید و پس از هر تغییر، دستور زمانسنجی را دوباره اجرا نمایید.
- مدل را با
OLLAMA_KEEP_ALIVE=-1پین کنید و آن را در زمان بوت گرم کنید تا درخواستهای کاربر متحمل هزینه بارگذاری نشوند. سپس بررسی کنید که هیچ کلاینتی مقدارkeep_aliveاختصاصی خود را ارسال نکند، زیرا مقداری که در درخواست باشد، تنظیمات سرور را نادیده میگیرد. - مقدار
num_ctxرا به آنچه پرامپتهای شما واقعاً نیاز دارند کاهش دهید؛ این کار مرحله prefill را کوتاهتر کرده و حافظهای که توسط KV cache اشغال شده بود را آزاد میکند. - از یک کوانتیزاسیون (quantisation) کوچکتر استفاده کنید تا عملیات بارگذاری، بایتهای کمتری بخواند و مدل فضای کافی برای کش داشته باشد.
- مقدار
proxy_read_timeoutرا در Nginx یاresponseHeaderTimeoutرا در Traefik افزایش دهید و buffering را خاموش کنید تا توکنهای استریمشده به کلاینت برسند. - زمان timeout را در کلاینت خود افزایش دهید، زیرا یک برنامه Go یا Python با محدودیت 30 ثانیه، در برابر هر مدلی که برای پاسخدهی بیشتر از این زمان نیاز دارد، با شکست مواجه میشود.
یک دلیل دیگر نیز در پس همه این موارد پنهان است. Ollama تعداد محدودی درخواست را همزمان پردازش میکند و بقیه را در صف قرار میدهد؛ بنابراین ممکن است کلاینت دوم در صف منتظر بماند تا مهلت زمانیاش (deadline) به پایان برسد، بدون اینکه مدل کندی در کار باشد. لاگ سرور نشان میدهد که درخواست با تأخیر پردازش شده است، نه اینکه با خطا مواجه شده باشد. آنچه هنگام اشتراک چند نفر از یک سرور Ollama رخ میدهد تنظیمات موازیسازی را پوشش میدهد و نصب پایه روی یک VPS تنظیمات سرویسی را توضیح میدهد که این تغییرات بر اساس آن فرض شدهاند.
FAQ
خطای "context deadline exceeded" در Ollama به چه معناست؟
این خطا به این معنی است که مهلت زمانی (deadline) پیش از پایان یافتن عملیات مورد نظر به اتمام رسیده است. در بیشتر موارد، این عملیات شامل درخواستی است که منتظر پاسخ مدل است، اما همین خطا ممکن است هنگام دانلود مدل، در ollama pull یا عملیات pull که توسط ollama run آغاز میشود نیز رخ دهد. این عبارت از بسته context در زبان Go گرفته شده است، بنابراین توسط یک برنامه نوشتهشده با Go چاپ شده است: ابزار خط فرمان Ollama، سرور Ollama یا یک برنامه Go که API را فراخوانی میکند. این یک خطای timeout است، بنابراین هیچچیز خراب یا فاسد نشده است. اگر خروجی دقیقاً پس از pulling خط متوقف شد، آن را به عنوان یک مشکل دانلود در نظر بگیرید. در غیر این صورت، گام بعدی یافتن لایهای است که مهلت زمانی را تعیین کرده است، زیرا کلاینت، بارگذاری مدل و reverse proxy هر کدام مهلت زمانی خود را دارند، در حالی که keep_alive و num_ctx تعیین میکنند چه مقدار کار باید در آن بازه زمانی انجام شود.
آیا باید timeout کلاینت خود را افزایش دهم یا timeout مربوط به Ollama را؟
ابتدا اندازهگیری کنید. درخواست را با استفاده از curl مستقیماً روی خود سرور و به سمت http://127.0.0.1:11434 ارسال کنید، زیرا curl هیچ محدودیت زمانی کلی اعمال نمیکند. اگر آن فراخوانی یک بدنه JSON برگرداند، Ollama در حال پاسخدهی است و مهلت زمانی متعلق به کلاینت یا پروکسی شماست، پس آن را در همانجا افزایش دهید. اگر آن فراخوانی نیز معلق ماند، تأخیر در داخل Ollama است و فیلدهای load_duration و prompt_eval_duration در پاسخ به شما میگویند که آیا مدل در حال بارگذاری است یا در حال خواندن prompt شما.
چرا اولین درخواست timeout میدهد اما درخواست بعدی کار میکند؟
Ollama مدلهای غیرفعال را برای آزاد کردن حافظه، طبق زمانبندی تعیینشده توسط keep_alive از حافظه خارج میکند. مقدار پیشفرض مستندشده، 5 دقیقه است که در اکتبر 2026 بررسی شد. اولین درخواست پس از یک دوره عدم فعالیت، مدل را از دیسک بارگذاری مجدد میکند و هزینه کامل cold start را میپردازد، در حالی که درخواستی که بلافاصله پس از آن ارسال شود، مدل را در حافظه یافته و سریع پاسخ میدهد. دستور ollama ps را اجرا کنید تا ببینید چه چیزی بارگذاری شده و چه زمانی منقضی میشود. برای نگه داشتن مدل در حافظه، OLLAMA_KEEP_ALIVE=-1 را تنظیم کنید و بپذیرید که حافظه اشغال باقی میماند. کلاینتی که keep_alive خاص خود را ارسال میکند، این تنظیم را نادیده میگیرد، بنابراین کلاینتهای خود را نیز بررسی کنید.
چرا فقط وقتی از طریق nginx اقدام میکنم، با شکست مواجه میشود؟
nginx پارامتر proxy_read_timeout را با مقدار پیشفرض 60s مستند کرده است و این timeout بین دو خواندن متوالی اعمال میشود، نه برای کل پاسخ. یک پاسخ streaming با هر chunk آن را بازنشانی میکند، در حالی که درخواستی که با "stream": false ارسال میشود باید در یک پنجره زمانی واحد تکمیل شود. به همین دلیل است که پنجره چت کار میکند اما اسکریپت با شکست مواجه میشود. به دنبال upstream timed out (110: Connection timed out) while reading response header from upstream در لاگ خطای nginx بگردید، سپس proxy_read_timeout را افزایش داده و proxy_buffering off را تنظیم کنید.
آیا افزایش OLLAMA_LOAD_TIMEOUT باعث سریعتر شدن بارگذاری میشود؟
خیر. این مقدار فقط تغییر میدهد که سرور چقدر اجازه میدهد بارگذاری متوقف بماند تا زمانی که تسلیم شود و timed out waiting for llama-server to start (یا در نسخههای قدیمیتر timed out waiting for llama runner to start) را لاگ کند. اگر مدل در حافظه جا نشود، سیستم از swap استفاده میکند، سرعت بارگذاری به شدت کاهش مییابد و افزایش timeout فقط باعث میشود شکست در زمان دیرتری رخ دهد بدون اینکه مشکل حل شود. مقدار پیشفرض نسخه خود را با اجرای ollama --version و خواندن envconfig/config.go در آن تگ بررسی کنید، و بارگذاریهایی که به دقیقه زمان نیاز دارند را به عنوان نشانهای برای دریافت یک کوانتیزاسیون (quantisation) کوچکتر در نظر بگیرید.