اتصال Ollama به Coding Agent: راهنمای تنظیمات
با تغییر base URL و وارد کردن یک کلید صوری، Ollama را به coding agent خود متصل کنید. در این مطلب تنظیمات دقیق context length و پورت 11434 را برای عملکرد بهینه بررسی میکنیم.
آنچه به آن متصل میشوید
شما میتوانید از Ollama در کنار coding agent خود استفاده کنید و اتصال آن بسیار سادهتر از آن چیزی است که تصور میکنید. کافی است یک base URL را تغییر دهید و یک نام مدل انتخاب کنید. فیلد API key همچنان به یک مقدار نیاز دارد، اما سرور محلی آن را نادیده میگیرد، بنابراین هر رشتهای (string) در آن کار میکند.
Ollama روی پورت 11434 گوش میدهد و همزمان سه سطح API را ارائه میدهد. /api رابط برنامهنویسی بومی Ollama است. /v1 لایه سازگار با OpenAI است که خود چندین ساختار را پوشش میدهد: /v1/chat/completions، /v1/responses، /v1/completions، /v1/models و /v1/embeddings. مستندات Ollama بیان میکند که کلید در آنجا الزامی است اما نادیده گرفته میشود. سطح سوم با Anthropic سازگار است: کلاینت از http://localhost:11434 به عنوان base URL استفاده کرده و /v1/messages را به آن اضافه میکند که همان چیزی است که Claude Code از آن استفاده میکند. اکثر ایجنتها از /v1/chat/completions استفاده میکنند، Codex از /v1/responses و Claude Code از /v1/messages بهره میبرد. ایجنت شما از قبل با یکی از این موارد سازگار است، بنابراین هیچ تغییر دیگری در آن لازم نیست.
این بخش پنج دقیقه زمان میبرد. اینکه آیا نتیجه قابل استفاده است یا خیر، به دو تنظیماتی بستگی دارد که تقریباً هیچکس آنها را تغییر نمیدهد: طول کانتکست (context length) و keep-alive، و همچنین سپردن کاری به مدل که در آن مهارت دارد. هر دو مورد بخش مخصوص به خود را دارند و محدودیتهای واقعی در پایان ذکر شدهاند.
کدام ایجنتهای برنامهنویسی آدرس پایه (Base URL) محلی را میپذیرند
آزمون این موضوع یک پرسش ساده است: آیا ابزار تنظیماتی برای Base URL ارائه میدهد؟ اگر پاسخ مثبت است، میتواند با سرور شما ارتباط برقرار کند.
Ollama صفحات یکپارچهسازی را برای Claude Code، OpenCode، Codex، Cline، Roo Code، Zed، محیطهای توسعه JetBrains و VS Code منتشر کرده است. Aider پشتیبانی خود از Ollama را بهصورت جداگانه مستند کرده است. این موارد اکثر ابزارهایی را که در اکتبر 2026 بهعنوان ایجنت برنامهنویسی شناخته میشوند، پوشش میدهد. همه آنها از ساختار یکسانی برای درخواستها استفاده نمیکنند و همین تفاوت، دلیل اصلی شکست در راهاندازیهاست.
- اکثر ایجنتها به یک endpoint سازگار با OpenAI نیاز دارند. به آنها آدرس پایه
http://localhost:11434/v1و هر رشته غیرخالی بهعنوان API key بدهید. - ابزار Claude Code بههیچوجه آدرس پایه OpenAI را نمیپذیرد. این ابزار از Anthropic Messages API استفاده میکند، بنابراین نیاز دارد که
ANTHROPIC_BASE_URLرویhttp://localhost:11434تنظیم شود، جایی که Ollama سرویس/v1/messagesرا ارائه میدهد. - ابزار Codex از OpenAI Responses API استفاده میکند. Ollama نیز از نسخه 0.13.3 به بعد،
/v1/responsesرا ارائه میدهد. - ایجنتی که تنظیمات Base URL ندارد، قابل هدایت به مسیر دیگر نیست، زیرا endpoint در داخل کلاینت سختکد شده است. اگر ایجنت یک URL سفارشی میپذیرد اما به ساختار API متفاوتی نیاز دارد، یک لایه ترجمه مانند یک gateway LiteLLM خودمیزبان در مقابل آن قرار دهید و مدل خود را با هر ساختاری که کلاینت درخواست میکند، دوباره ارائه دهید.
Ollama میتواند این پیکربندیها را برای شما بنویسد. دستور ollama launch opencode ابزار OpenCode را با یک پیکربندی درونخطی برای مدل انتخابی شما اجرا میکند، ollama launch claude همین کار را برای Claude Code انجام میدهد و ollama launch droid --config پیکربندی را بدون اجرای ابزار، برای شما مینویسد.
نصب Ollama و دریافت مدلی با قابلیت فراخوانی ابزار
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama --no-pager
ollama pull qwen3-coder:30b
ollama lsنصبکننده، یک unit برای systemd اضافه کرده و آن را اجرا میکند، بنابراین دستور systemctl status ollama باید خروجی active (running) را نمایش دهد. اگر چنین نیست، journalctl -e -u ollama دلیل آن را چاپ میکند.
مدل باید از قابلیت فراخوانی ابزار (tool calling) پشتیبانی کند، زیرا عامل (agent) از همین طریق کار میکند. عامل یک فایل را میخواند، یک patch مینویسد، تست را اجرا میکند، سپس خطا را میخواند و دوباره تلاش میکند. مدلی که نتواند فراخوانی ابزار صادر کند، تغییرات را بهجای اعمال کردن، به صورت متن توصیف میکند و عامل در حلقه میافتد یا متوقف میشود. پیش از دریافت مدل، برچسب tools را در صفحهٔ آن در ollama.com جستجو کنید. مدل qwen3-coder:30b این قابلیت را دارد و تا اکتبر 2026، این تگ یک دانلود 19 گیگابایتی با پنجرهٔ متنی 256K است. اگر سرور شما فقط CPU دارد یا با کمبود RAM مواجه است، محاسبات حافظه برای تگ Qwen 27B روی یک VPS نشان میدهد که چه چیزی در فضای 8 تا 64 گیگابایت جای میگیرد؛ پیش از صرف حجم برای دانلود، این مطلب را بررسی کنید. پس از دانلود، این گیگابایتها روی دیسک root سرور قرار میگیرند که معمولاً کمترین فضای خالی را در VPS دارد، بنابراین محل ذخیره فایلهای مدل در Ollama و نحوه انتقال آنها به مسیری دیگر ارزش خواندن دارد تا دیسک پر نشود.
اکنون تأیید کنید که سرور دقیقاً چه نامهایی را ارائه میدهد:
curl http://localhost:11434/v1/modelsرشتههای موجود در آن پاسخ، دقیقاً همان چیزی هستند که باید در پیکربندی عامل شما قرار بگیرند. بررسی این مورد پیش از هر چیز، اکثر خطاهای «مدل یافت نشد» را برطرف میکند. اگر Ollama هنوز نصب نشده است، راهنمای کاملتر در میزبانی شخصی یک LLM با Ollama روی VPS موجود است.
تنظیم OpenCode برای استفاده از Ollama
فایل ~/.config/opencode/opencode.json را ویرایش کنید:
{
"$schema": "https://opencode.ai/config.json",
"provider": {
"ollama": {
"npm": "@ai-sdk/openai-compatible",
"name": "Ollama",
"options": {
"baseURL": "http://localhost:11434/v1"
},
"models": {
"qwen3-coder:30b": {
"name": "qwen3-coder 30b"
}
}
}
}
}کلید موجود در models همان نام مدلی است که به Ollama ارسال میشود، بنابراین باید دقیقاً با ollama ls مطابقت داشته باشد. فیلد name صرفاً برچسبی است که در انتخابگر مدل نمایش داده میشود. برنامه opencode را اجرا کنید، ارائهدهنده (provider) را روی Ollama قرار دهید و journalctl -e -u ollama را مانیتور کنید تا مطمئن شوید درخواست به سرور شما رسیده است و به مقصد دیگری ارسال نمیشود. راهاندازی خودِ agent در اجرای OpenCode روی یک VPS توضیح داده شده است.
تنظیم Claude Code برای استفاده از Ollama
export ANTHROPIC_AUTH_TOKEN=ollama
export ANTHROPIC_API_KEY=""
export ANTHROPIC_BASE_URL=http://localhost:11434
claude --model qwen3-coder:30bمتغیر ANTHROPIC_API_KEY عمداً خالی تنظیم شده است. این Base URL کنترل میکند که درخواستها به کجا ارسال شوند؛ پاک کردن این کلید باعث میشود اعتبارنامههای سرویسهای ابری در این تنظیمات محلی وارد نشوند. دستور ollama launch claude تمام این موارد را برای شما تنظیم میکند.
به محدودیتهای لایه سازگاری توجه داشته باشید. این لایه tool_choice یا قابلیت prompt caching را پیادهسازی نمیکند و فاقد endpoint برای شمارش توکن است؛ بنابراین تعداد توکنهایی که مشاهده میکنید، مقادیر تقریبی حاصل از tokenizer خود مدل هستند. همچنین Claude Code به همراه یک system prompt بزرگ و مجموعهای گسترده از ابزارها عرضه میشود، بنابراین نسبت به یک کلاینت چت معمولی، به context بیشتری نیاز دارد. پرسش کلیتر درباره اینکه چه مواردی منتقل میشوند و چه مواردی خیر، در امکان میزبانی شخصی Claude بررسی شده است.
تنظیم Aider برای استفاده از Ollama
export OLLAMA_API_BASE=http://127.0.0.1:11434
aider --model ollama_chat/qwen3-coder:30bمستندات Aider استفاده از پیشوند ollama_chat/ را نسبت به ollama/ توصیه میکند. Aider بهصورت پیشفرض برای هر درخواست، فضای متنی کافی به همراه 8k توکن برای پاسخ در نظر میگیرد. این ابزار همچنین به شما اجازه میدهد پنجرهٔ context را برای هر مدل در .aider.model.settings.yml تعیین کنید؛ این قابلیت زمانی مفید است که یک مدل به پنجرهای متفاوت از مقدار پیشفرض سرور نیاز داشته باشد:
- name: ollama_chat/qwen3-coder:30b
extra_params:
num_ctx: 65536چرا یک تنظیمات کارآمد همچنان خروجی بیمعنی تولید میکند
این بخشی است که اهمیت دارد. Ollama طول کانتکست پیشفرض را بر اساس مجموع VRAM (حافظه ویدیویی روی GPUها) که شناسایی میکند انتخاب کرده و برای هر GPU شناساییشده، OLLAMA_GPU_OVERHEAD را از آن کسر میکند. پیادهسازی از این آستانهها استفاده میکند:
دادههای پشت این نمودار
[
{
"label": "Under 23 GiB aggregate VRAM",
"default_context_tokens": "4,096"
},
{
"label": "23 to under 47 GiB aggregate VRAM",
"default_context_tokens": "32,768"
},
{
"label": "47 GiB aggregate VRAM or more",
"default_context_tokens": "262,144"
}
]بیشتر پلنهای VPS و تمام سرورهایی که فقط از CPU استفاده میکنند، در ردیف اول قرار میگیرند: 4,096 توکن. چندین GPU کوچکتر میتوانند با هم به آستانه 47 GiB برای 262,144 توکن در ردیف آخر برسند.
یک ایجنت پیش از انجام هر کاری، 4096 توکن را مصرف میکند. پرامپت سیستم، تعاریف ابزارها، لیست مخزن و اولین فایلی که باز میکند، از قبل بزرگتر از این مقدار هستند. آنچه در ادامه رخ میدهد، کل مشکل است: هیچ خطایی رخ نمیدهد. مستندات Aider بیان میکند که Ollama بهطور بیصدا کانتکستی را که از پنجره فراتر میرود، حذف میکند. قدیمیترین توکنها خارج میشوند، بنابراین مدل با اطمینان درباره فایلی که دیگر نمیتواند ببیند پاسخ میدهد، یا دستوری را که دو مرحله قبل به آن دادهاید فراموش میکند. این مکانیزم دلیل اصلی بیشتر گزارشهایی است که میگویند یک مدل محلی برای نوشتن کد بیش از حد ضعیف است. انتخاب خودِ این عدد یک تصمیم مستقل است و مطالعه هزینه num_ctx در حافظه KV cache در هر اندازه پیش از نهایی کردن آن، ارزشمند است.
مستندات Ollama میگوید وظایفی مانند ایجنتها و ابزارهای کدنویسی باید حداقل روی 64000 توکن تنظیم شوند. آن را روی سرور تنظیم کنید:
sudo systemctl edit ollama.serviceاین خطوط را در فایل override اضافه کنید:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"سپس reload و restart کنید:
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psپس از restart، یک درخواست از ایجنت خود بفرستید، سپس ollama ps را دوباره اجرا کنید تا یک مدل بارگذاریشده برای بررسی وجود داشته باشد. ollama ps همان بررسی است. این دستور یک ستون CONTEXT چاپ میکند و آن عدد همان چیزی است که مدل واقعاً دریافت کرده است. مقادیر ID و SIZE شما متفاوت خواهند بود:
NAME ID SIZE PROCESSOR CONTEXT RUNNER UNTIL
qwen3-coder:30b a1b2c3d4e5f6 24 GB 100% GPU 64000 ggml 4 minutes from nowبه دو دلیل، آن را روی سرور تنظیم کنید نه در ایجنت. طرح (schema) چت کامپلیشن OpenAI هیچ فیلدی برای طول کانتکست ندارد، بنابراین یک کلاینت سازگار با OpenAI نمیتواند آن را درخواست کند. و پیشفرض سرور برای هر ایجنتی اعمال میشود، مگر اینکه یک مدل یا درخواست آن را override کند. سمت خروجی سقف خاص خود را دارد و برخلاف طول کانتکست، از طریق endpoint سازگاری منتقل میشود، بنابراین num_predict و فیلد max_tokens که به آن نگاشت میشود همان چیزی است که وقتی پاسخ در میان یک پچ متوقف میشود، باید به سراغش بروید. اگر یک مدل به پنجره متفاوتی نیاز دارد، آن را با یک Modelfile در یک کپی بگنجانید:
FROM qwen3-coder:30b
PARAMETER num_ctx 65536ollama create qwen3-coder-64k -f Modelfileکانتکست رایگان نیست. پنجره طولانیتر هزینه حافظه بیشتری دارد، بنابراین ستون PROCESSOR را زیر نظر داشته باشید. 100% GPU همان چیزی است که میخواهید. هنگامی که بخشی از مدل به CPU سرریز شود، نرخ توکن بهقدری افت میکند که حلقه ایجنت غیرقابل استفاده میشود و اندازهگیری توکن بر ثانیه در یک LLM محلی روشی است که با آن سقف واقعی دستگاه خود را پیدا میکنید. تعیین اندازه ماشین پیش از خرید آن در میزان RAM و CPU مورد نیاز برای یک VPS ایجنت کدنویسی پوشش داده شده است.
نگه داشتن مدل در حافظه بین درخواستها
بهصورت پیشفرض، Ollama مدل را 5 دقیقه پس از آخرین درخواست از حافظه خارج میکند. این رفتار برای یک محیط چت مناسب است اما برای کارهای مبتنی بر Agent مناسب نیست. وقتی برای خواندن یک diff توقف میکنید، تایمر به پایان میرسد و در درخواست بعدی، دهها گیگابایت وزن (weights) باید از دیسک بارگذاری شود تا اولین توکن ظاهر گردد. این وضعیت مانند هنگکردن سیستم به نظر میرسد.
OLLAMA_KEEP_ALIVE یک رشته زمانی مانند 10m یا 24h، یک عدد ساده بر حسب ثانیه، -1 برای نگه داشتن دائمی مدل در حافظه، یا 0 برای تخلیه فوری آن میپذیرد. این مقدار را در کنار طول کانتکست (context length) تنظیم کنید:
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=64000"
Environment="OLLAMA_KEEP_ALIVE=-1"فیلد درخواست keep_alive در endpointهای بومی /api/generate و /api/chat در Ollama و همچنین به عنوان یک افزونه Ollama در /v1/chat/completions وجود دارد. Agentهایی که فیلدهای درخواست اضافی را در اختیار میگذارند میتوانند آن را به این مسیر ارسال کنند؛ در غیر این صورت از متغیر محیطی (environment variable) استفاده کنید. هنگامی که به حافظه نیاز دارید، ollama stop qwen3-coder:30b مدل را بدون متوقف کردن سرور از حافظه خارج میکند. اگر میخواهید این تنظیمات پس از reboot باقی بماند، یا میخواهید بین نگه داشتن وزنها در حافظه در تمام طول روز و آزاد کردن آن حافظه تصمیم بگیرید، نگه داشتن مدل Ollama در حافظه هر دو روش را پوشش میدهد.
اجرای Ollama روی یک سرور مجزا
برنامه Ollama بهصورت پیشفرض روی localhost گوش میدهد. برای دسترسی به آن از یک ماشین دیگر، مقدار OLLAMA_HOST=0.0.0.0:11434 را در همان override فایل systemd تنظیم کرده و سرویس را restart کنید.
این کار را فقط در یک شبکه خصوصی انجام دهید. مستندات Ollama بیان میکنند که هیچ احراز هویتی برای API محلی مورد نیاز نیست؛ بنابراین باز گذاشتن پورت 11434 روی اینترنت به این معناست که هر کسی میتواند از سختافزار شما استفاده کند. دو گزینه امن وجود دارد. اتصال را روی localhost نگه دارید و پورت را از طریق SSH از لپتاپ خود forward کنید:
ssh -N -L 11434:localhost:11434 you@your-vpsعامل (agent) شما همچنان به http://localhost:11434/v1 اشاره میکند و متوجه هیچ تفاوتی نخواهد شد. گزینه دیگر استفاده از VPN است، بهطوری که Ollama بهجای 0.0.0.0 به آدرس VPN متصل شود. اگر قرار است چندین نفر یا چندین عامل از یک سرور استفاده کنند، Ollama در صورت کافی بودن حافظه از درخواستهای موازی پشتیبانی میکند و مقایسه بین Ollama و vLLM نشان میدهد که تفاوت در توان عملیاتی (throughput) از کجا شروع به ایجاد مشکل میکند.
کجا مدلهای کدنویسی محلی برتری دارند و کجا خیر
عاملی که توسط مدلی که خودتان میزبانی میکنید هدایت میشود، جایگزین APIهای پیشرفته در همه وظایف نیست. این مدلها در چهار نوع کار برتری آشکار دارند:
- ویرایشهای مکانیکی انبوه، که در آن هر تغییر کوچک است و میتوانید آن را بررسی کنید. تغییر نام در کل مخزن، افزودن type hintها، نوشتن docstringها و ترجمه کامنتها. مدل میتواند ساعتها اجرا شود و هزینهای برای شما نداشته باشد.
- کارهایی که نباید از سختافزار شما خارج شوند. کدهای مشتری که تحت توافقنامه محرمانگی هستند، یا مخازن داخلی که اجازه ندارید آنها را برای شخص ثالث ارسال کنید.
- ماشینهای آفلاین و ایزوله (air-gapped)، که در آنها اصلاً API میزبانیشدهای برای فراخوانی وجود ندارد.
- هزینه قابل پیشبینی. وقتی هزینه سرور پرداخت شد، عاملی که توکنها را در یک حلقه مصرف میکند هزینه اضافی ندارد، که این دقیقاً برعکس APIهای مبتنی بر مصرف است. محاسبات مربوط به نقطه سر به سر شدن هزینه GPU VPS در برابر توکنهای API محاسبات این موضوع را نشان میدهد.
این مدلها در وظایف طولانی و چندمرحلهای شکست میخورند. «یافتن دلیل شکست این تست، رفع علت و بهروزرسانی فراخوانندهها» نیاز به فراخوانیهای ابزاری صحیح و متوالی دارد، در حالی که کل تاریخچه باید در context باقی بماند. مدلی در محدوده 8B تا 14B روی یک سرور معمولی، یک فراخوانی ابزار ناقص تولید میکند یا پس از چند مرحله طرح کلی را فراموش میکند، و شما زمان بیشتری را صرف هدایت آن میکنید تا اینکه خودتان کار را انجام دهید. این یک مشکل در prompt نیست که بتوان با نوشتن بهتر آن را حل کرد؛ این یک محدودیت ظرفیت است.
همچنین در هر جایی که اشتباه کردن هزینهبر باشد و شما نخواهید هر خط را بخوانید، این مدلها شکست میخورند. به مدل محلی کارهای محدودی بدهید که خروجی آن را تأیید میکنید، و برای کارهایی که نمیخواهید مرحله به مرحله بررسی کنید، از یک مدل میزبانیشده استفاده کنید.
حالتهای شکست و پیامهایی که مشاهده خواهید کرد
curl: (7) Failed to connect to localhost port 11434 after 0 ms: Connection refused. سرور در حال اجرا نیست یا agent به میزبان دیگری اشاره میکند. دستور systemctl status ollama و سپس journalctl -e -u ollama را اجرا کنید.
ایجنت گزارش میدهد که مدل وجود ندارد. نام موجود در فایل پیکربندی شما با نامی که سرور ارائه میدهد مطابقت ندارد. آن را با curl http://localhost:11434/v1/models مقایسه کنید و رشته را از آنجا کپی کنید. تگ بخشی از نام است، بنابراین پیکربندی که به تگی اشاره میکند که هرگز آن را دریافت (pull) نکردهاید، با شکست مواجه میشود؛ حتی اگر مدل مشابهی نصب شده باشد.
ایجنت به صورت متنی پاسخ میدهد و هیچ فایلی را ویرایش نمیکند. یا مدل از ابزارها پشتیبانی نمیکند، یا درخواست به همراه تعاریف ابزارهای آن، پنجره کانتکست (context window) را پر کرده است. برچسب tools را در صفحه مدل بررسی کنید، سپس ستون CONTEXT را در ollama ps چک کنید.
سکوت طولانی پیش از تولید اولین توکن و سپس سرعت عادی. زمان keep-alive به پایان رسیده و وزنها دوباره از روی دیسک خوانده میشوند. مقدار OLLAMA_KEEP_ALIVE را تنظیم کنید.
مدل با فایلی که بهتازگی خوانده است تناقض دارد. این ناشی از کوتاهشدن کانتکست (context truncation) است. ollama ps معمولاً مقداری برای CONTEXT نشان میدهد که از آنچه تصور میکنید کمتر است، زیرا متغیر محیطی (environment variable) به جای اعمال در systemd unit، فقط در shell شما تنظیم شده است.
همه چیز کار میکند اما کند است و PROCESSOR مقدار 100% CPU یا تقسیم بار بین CPU/GPU را نشان میدهد. معمولاً مدل به همراه کانتکست آن در VRAM جا نمیشود. اگر PROCESSOR در سیستمی که دارای GPU است مقدار 100% CPU را نشان میدهد، ابتدا علت دیگر را رد کنید: ممکن است Ollama اصلاً GPU را شناسایی نکرده باشد. مستندات Ollama اشاره میکند که در لینوکس، پس از یک چرخه suspend/resume، گاهی اوقات شناسایی GPU انویدیا با شکست مواجه شده و سیستم به CPU بازمیگردد؛ بارگذاری مجدد درایور با sudo rmmod nvidia_uvm && sudo modprobe nvidia_uvm این مشکل را حل میکند. اگر GPU شناسایی شد و تقسیم بار همچنان باقی ماند، طول کانتکست را کاهش دهید یا به سراغ مدل کوچکتر یا کوانتایزیشن (quantisation) سبکتر بروید. پیش از دریافت مجدد مدل، هزینه حافظه برای q4_K_M، q8_0 و fp16 و اینکه کیفیت در کجا افت میکند به شما میگوید که با یک پله کاهش، چقدر فضا به دست میآورید و چه چیزی را از دست میدهید. Unknown نیز یک مقدار ممکن برای PROCESSOR است؛ این مقدار باعث offload شدن روی CPU نمیشود.
FAQ
آیا میتوانم Claude Code را به Ollama متصل کنم؟
بله، اما نه با URL سازگار با OpenAI. برنامه Claude Code از Anthropic Messages API استفاده میکند و Ollama این ساختار را در /v1/messages روی همان پورت 11434 ارائه میدهد. متغیرهای ANTHROPIC_BASE_URL=http://localhost:11434، ANTHROPIC_AUTH_TOKEN=ollama و یک ANTHROPIC_API_KEY خالی را export کنید و سپس آن را با claude --model qwen3-coder:30b اجرا نمایید. دستور ollama launch claude همین تنظیمات را برای شما مینویسد. لایه سازگاری، قابلیت tool_choice یا prompt caching را پیادهسازی نمیکند و فاقد endpoint برای شمارش توکن است، بنابراین تعداد توکنهای گزارششده تقریبی هستند.
چرا مدل محلی من درباره کدی که نمیتواند ببیند پاسخ میدهد؟
زیرا درخواست دیگر در context window جا نمیشود و قدیمیترین بخش آن بدون هیچ خطایی حذف شده است. Ollama مقدار پیشفرض context را بر اساس مجموع VRAM شناساییشده پس از کسر سربار پیکربندیشده برای هر GPU تعیین میکند: زیر 23 GiB مقدار پیشفرض 4,096 توکن، از 23 تا کمتر از 47 GiB مقدار 32,768 توکن، و در 47 GiB یا بیشتر مقدار 262,144 توکن است. متغیر OLLAMA_CONTEXT_LENGTH=64000 را در unit فایل systemd تنظیم کنید، Ollama را restart کنید و تأیید کنید که ستون CONTEXT در ollama ps مقدار جدید را نشان میدهد.
برای یک coding agent روی VPS از چه مدلی استفاده کنم؟
بزرگترین مدلی را انتخاب کنید که برچسب tools دارد و همچنان با یک context window به اندازه 64k در حافظه جا میشود؛ مدلهای بهینهشده برای کد را در اولویت قرار دهید. qwen3-coder:30b پاسخ رایج برای سرورهای GPU با VRAM کافی است. اگر این مدل برای سرور شما بیش از حد بزرگ است، ارقام RAM و سرعتهای CPU-only برای Nemotron 3.5 Lightning پیش از اقدام به دانلود، مقایسه مفیدی ارائه میدهند. مدلهای زیر 14B پارامتر همچنان میتوانند به سؤالات درباره کد بهخوبی پاسخ دهند اما در ویرایشهای چندمرحلهای شکست میخورند، زیرا کارِ agent، خطاهای کوچک در فرمتبندی فراخوانی ابزارها (tool calls) را برنمیتابد. به جای استفاده از یک prompt نمونه، با یک تسک واقعی از مخزن کد خود تست کنید.
آیا برای اجرای یک coding agent روی مدل شخصی به GPU نیاز دارم؟
در عمل بله. استنتاج (inference) فقط با CPU کار میکند و برای سؤالات تکی مناسب است، اما یک agent برای هر تسک درخواستهای زیادی میفرستد و هر کدام تاریخچه طولانی را دوباره میخوانند؛ بنابراین سرعت پایین تولید توکن، یک تسک دو دقیقهای را به یک ساعت زمان نیاز دارد. ستون PROCESSOR را در ollama ps بررسی کنید: 100% CPU یا تقسیم بار بین CPU/GPU نشاندهنده استفاده از CPU است که سرعت استنتاج را کاهش میدهد. Unknown به معنای فعالسازی CPU offloading نیست.