SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor · আপডেট করা হয়েছে 2026-11-12

Ollama কনকারেন্সি: OLLAMA_NUM_PARALLEL ও MAX_QUEUE এর কাজ

OLLAMA_NUM_PARALLEL ও OLLAMA_MAX_QUEUE কীভাবে কাজ করে জানুন। দ্বিতীয় রিকোয়েস্ট কেন কিউতে আটকে থাকে এবং কেন প্রতিটি প্যারালাল স্লট আপনার সার্ভারের মেমোরি খরচ বাড়ায় তা দেখুন।

প্রথম Ollama রিকোয়েস্ট জেনারেট হওয়ার সময় দ্বিতীয় রিকোয়েস্টের কী হয়

Ollama-এর কনকারেন্সি তিনটি এনভায়রনমেন্ট ভেরিয়েবল দ্বারা নির্ধারিত হয় এবং ডিফল্টভাবে একটি লোড করা মডেল একবারে একটি রিকোয়েস্ট প্রসেস করে। দ্বিতীয় রিকোয়েস্টটি প্রত্যাখ্যান করা হয় না এবং এটি কোনো অসম্পূর্ণ উত্তরও পায় না। এটি একটি কিউ বা সারিতে অপেক্ষা করে যতক্ষণ না একটি স্লট খালি হয়, এরপর এটি স্বাভাবিক গতিতে চলতে শুরু করে।

একটি ইনকামিং রিকোয়েস্টের তিনটি সম্ভাব্য পরিণতি হতে পারে। এটি সরাসরি একটি খালি স্লটে শুরু হতে পারে। এটি কিউতে অপেক্ষা করতে পারে। অথবা কিউ পূর্ণ থাকলে সার্ভার সেটিকে HTTP 503 এর মাধ্যমে প্রত্যাখ্যান করতে পারে। আপনি কোনটি পাবেন তা OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE এবং OLLAMA_MAX_LOADED_MODELS দ্বারা নির্ধারিত হয়। অক্টোবর 2026 পর্যন্ত বর্তমান রিলিজগুলোতে একটি বিষয় খেয়াল রাখতে হবে। FAQ-তে কিউ সম্পর্কে সাধারণ ধারণা দেওয়া হয়েছে, কিন্তু শিডিউলারের সোর্স কোড আরও সুনির্দিষ্ট। 503 এররটি শুধুমাত্র সেই রিকোয়েস্টগুলোর ক্ষেত্রে প্রযোজ্য হয়, যেগুলো আসার সময় মডেলটিকে নতুন করে লোড করতে হয় অথবা ভিন্ন সেটিংসে রিলোড করতে হয়। Ollama এমন কোনো রিকোয়েস্ট প্রত্যাখ্যান করে না যা একটি ইতিমধ্যে লোড করা মডেল সরাসরি সার্ভ করতে পারে। সেই রিকোয়েস্টটি স্লট খালি হওয়া পর্যন্ত অপেক্ষা করে।

ডিফল্ট সেটিংসটি নিরাপদ, এবং এই কারণেই দ্বিতীয় একজন ব্যবহারকারী রিপোর্ট করেন যে সার্ভার "হ্যাং" হয়ে গেছে, যদিও আসলে কোনো সমস্যা হয়নি। স্লট বাড়ানোর কাজটি মাত্র দুই লাইনের পরিবর্তন। তবে এর আসল চ্যালেঞ্জ হলো মেমোরি। প্রতিটি প্যারালাল স্লটের জন্য নিজস্ব কী/ভ্যালু ক্যাশ (KV cache) প্রয়োজন, যা হলো মেমোরির সেই অংশ যেখানে মডেলটি ইতিমধ্যে প্রসেস করা টোকেনগুলো জমা রাখে। GPU-তে VRAM না বাড়িয়ে স্লট বাড়ালে একটি ধীরগতির উত্তরের পরিবর্তে লোড ফেইল করতে পারে। শুধুমাত্র CPU-ভিত্তিক সার্ভারে এই একই ক্যাশ সিস্টেম RAM থেকে খরচ হয়।

OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE এবং OLLAMA_MAX_LOADED_MODELS প্রতিটি কী নিয়ন্ত্রণ করে

এগুলো অক্টোবর 2026 পর্যন্ত Ollama-এর বর্তমান রিলিজের ডিফল্ট মান। নিচে দেখানো লগ লাইন ব্যবহার করে এখানে দেওয়া সংখ্যার ওপর নির্ভর না করে আপনার নিজের সেটিংস যাচাই করুন।

  • OLLAMA_NUM_PARALLEL হলো একটি লোড করা মডেল একই সময়ে কয়টি অনুরোধ (request) সামলাতে পারে। এর ডিফল্ট মান 1, যার মানে অনুরোধগুলো একটির পর একটি প্রসেস করা হয়।
  • OLLAMA_MAX_LOADED_MODELS হলো কতগুলো ভিন্ন মডেল একসাথে মেমরিতে (resident) থাকতে পারবে। এর ডিফল্ট মান 0, যার মানে Ollama নিজেই সিদ্ধান্ত নেয়: প্রতি GPU-এর জন্য তিনটি মডেল এবং GPU নেই এমন মেশিনের ক্ষেত্রে তিনটি মডেল।
  • OLLAMA_MAX_QUEUE হলো, FAQ-এর ভাষায়, Ollama ব্যস্ত থাকলে অতিরিক্ত অনুরোধ প্রত্যাখ্যান করার আগে সর্বোচ্চ কতগুলো অনুরোধ কিউ (queue)-তে রাখবে। এর ডিফল্ট মান 512। যখন এই কিউ পূর্ণ থাকে, তখন আসা নতুন অনুরোধগুলো সাথে সাথে প্রত্যাখ্যান করা হয়। তবে বর্তমান শিডিউলার কোডে, শুধুমাত্র সেই অনুরোধগুলোই এই কিউতে ঢোকে যেগুলোর মডেল প্রথমে লোড বা রিলোড করতে হয়। যে মডেলটি ইতিমধ্যে লোড করা আছে, সেটির জন্য আসা অনুরোধগুলো এই কিউ এড়িয়ে সরাসরি খালি স্লটের জন্য অপেক্ষা করে, এবং এই অপেক্ষার কোনো সীমা নেই। একজন মেইনটেইনার এটিকে শিডিউলার বাস্তবায়নের একটি পার্শ্বপ্রতিক্রিয়া হিসেবে বর্ণনা করেছেন এবং Ollama-এর মেইনটেইনাররা একটি ফিক্স নিয়ে কাজ করছেন যা একটি ফিচার রিকোয়েস্ট (issue #7758) হিসেবে ট্র্যাক করা হচ্ছে, যা অক্টোবর 2026 পর্যন্ত ওপেন ছিল।

সবচেয়ে খারাপ পরিস্থিতির মেমরি ব্যবহারের পরিমাণ হলো প্রথম দুটির গুণফল। চারটি করে স্লটসহ দুটি লোড করা মডেল মানে হলো একসাথে আটটি KV cache স্লট বরাদ্দ থাকা, এবং Ollama সেটি পূরণ করার চেষ্টা করবে। একটি সিঙ্গেল GPU মেশিনে সাধারণত একটি মডেল রাখা এবং সেটিকে স্লট দেওয়া ভালো, কারণ এতে হিসাবটি সহজ থাকে যা আপনি সহজেই মনে রাখতে পারবেন।

কেন প্রতিটি প্যারালাল স্লটের জন্য VRAM খরচ হয়

Ollama যখন কোনো মডেল লোড করে, তখন এটি একটি আলাদা রানার প্রসেস চালু করে। এখানে দুটি আর্গুমেন্ট গুরুত্বপূর্ণ: -c হলো মোট কনটেক্সট যার জন্য রানার একটি KV ক্যাশ বরাদ্দ করে, এবং -np হলো প্যারালাল সিকোয়েন্সের সংখ্যা। Ollama -c-কে আপনার প্রতি-রিকোয়েস্ট কনটেক্সট লেন্থ এবং স্লট সংখ্যার গুণফল হিসেবে সেট করে। এরপর রানার সেই মোট অংশকে স্লটগুলোর মধ্যে সমানভাবে ভাগ করে দেয়, যাতে প্রতিটি রিকোয়েস্ট আপনার চাওয়া কনটেক্সট লেন্থ পায়।

এটিই মূল সীমাবদ্ধতা, এবং এই কারণেই প্যারালালিজম বিনামূল্যে পাওয়া যায় না। একটি স্লট থেকে চারটি স্লটে যাওয়ার অর্থ হলো একই প্রতি-রিকোয়েস্ট কনটেক্সটে চার গুণ বেশি KV ক্যাশ প্রয়োজন। স্লটগুলোর মধ্যে কিছুই শেয়ার করা হয় না এবং একটি অলস স্লটের অংশ অন্য ব্যস্ত স্লটকে ধার দেওয়া যায় না, কারণ রানার শুরু হওয়ার সময়ই এই বিভাজন নির্ধারিত হয়ে যায়। GPU-এর ক্ষেত্রে এই মেমোরি হলো VRAM। CPU-ভিত্তিক সার্ভারের ক্ষেত্রে এটি সিস্টেম RAM, এবং একই গুণন প্রক্রিয়া এখানেও প্রযোজ্য।

আপনি যে সংখ্যাগুলো সেট করতে চেয়েছিলেন তার পরিবর্তে প্রকৃত সংখ্যাগুলো দেখতে পারেন:

journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"

এই লাইনে সম্পূর্ণ রানার কমান্ড লাইন থাকে, যার মধ্যে -c এবং -np অন্তর্ভুক্ত। যদি ভেরিয়েবল সেট করার পরেও -np এর মান 1 থাকে, তবে প্রথমে মডেলের ধরন পরীক্ষা করুন। Ollama v0.40.15 ভার্সনে রিকারেন্ট এবং ভিশন GGUF মডেলের জন্য প্যারালাল রিকোয়েস্ট সুবিধা যুক্ত করা হয়েছে, তাই এই মডেলগুলোর ক্ষেত্রে আগের এক-স্লটের সীমাবদ্ধতা আর নেই। এম্বেডিং মডেলগুলো শিডিউলারের ক্ষেত্রে এখনো একটি স্লটই পায়। GGUF কমপ্লিশন মডেলের ক্ষেত্রে, সেটিংসটি সার্ভারে পৌঁছাচ্ছে কি না তা পরীক্ষা করুন, যা পরবর্তী সেকশনে ব্যাখ্যা করা হয়েছে।

যদি মডেলের ওয়েট এবং KV ক্যাশ VRAM-এ না ধরে, তবে Ollama কিছু লেয়ারকে সিস্টেম RAM-এ সরিয়ে নেয় এবং সেই লেয়ারগুলো CPU-তে চলে। CPU লেয়ারগুলো GPU লেয়ারের তুলনায় অনেক ধীরগতির, তাই এটি প্রতিটি রিকোয়েস্টকে ধীর করে দেয়, এমনকি আপনার শুরু করা একক রিকোয়েস্টটিও ধীর হয়ে যায়। তাই প্যারালালিজম বাড়ালে থ্রুপুট বাড়ার পরিবর্তে কমে যেতে পারে। অনেক বড় মডেলের ক্ষেত্রে স্লট গণনার আগেই শুধুমাত্র ওয়েটের কারণেই মেমোরি পূর্ণ হয়ে যায়, আর এই কারণেই Kimi K3-এর মতো বড় মডেল সেলফ-হোস্ট করা মানে হলো আপনার কয়টি কার্ড আছে তা নিয়ে আলোচনা করা, কয়টি স্লট সেট করেছেন তা নিয়ে নয়।

ollama ps

যখন পুরো মডেলটি মেমোরিতে ধরে যায়, তখন PROCESSOR কলামে 100% GPU দেখায়। 35%/65% CPU/GPU-এর মতো বিভাজনের অর্থ হলো মডেলের একটি অংশ CPU-তে চলছে। SIZE কলামে KV ক্যাশ অন্তর্ভুক্ত থাকে, তাই স্লট সংখ্যা বাড়ালে এবং মডেল রিলোড করলে এটি বৃদ্ধি পায়। OLLAMA_NUM_PARALLEL বাড়ান, রিস্টার্ট করুন, একটি রিকোয়েস্ট পাঠান এবং পুনরায় ollama ps চালান: এটিই আপনার পরিবর্তনের মেমোরি খরচ, যা অনুমানের পরিবর্তে পরিমাপ করা হয়েছে। যদি এই পরিমাপে দেখা যায় যে মডেলটি আর ধরছে না, তবে মনে রাখবেন যে ওয়েটগুলো একই বাজেটের অন্য অর্ধেক, এবং fp16 থেকে q8 বা q4 বিল্ডে রূপান্তর প্রায়শই আপনার যোগ করতে চাওয়া স্লটের খরচের চেয়ে বেশি VRAM খালি করে দেয়।

কনটেক্সট লেন্থ এবং স্লট সংখ্যা গুণিতক হিসেবে কাজ করে, তাই এগুলোকে একসাথে নির্বাচন করতে হয়। চারটি স্লটসহ একটি বড় কনটেক্সট মানে হলো চারটি বড় কনটেক্সট। আপনি যদি আপনার মডেলের জন্য num_ctx কনটেক্সট উইন্ডো টিউন করেন, তবে যেকোনো একটি পরিবর্তন করুন, অন্যথায় আপনি বুঝতে পারবেন না কোনটি কার্ডটিকে পূর্ণ করেছে।

কিভাবে এই ভেরিয়েবলগুলো সেট করবেন যাতে রিবুটের পরেও সেগুলো কার্যকর থাকে

Linux-এ Ollama একটি systemd সার্ভিস হিসেবে চলে। আপনার শেলে export OLLAMA_NUM_PARALLEL=4 রান করলে কোনো পরিবর্তন হবে না, কারণ systemd সার্ভিসটিকে তার নিজস্ব এনভায়রনমেন্টে শুরু করে এবং আপনার শেলের কোনো পরিবর্তন দেখতে পায় না। এর জন্য একটি ড্রপ-ইন ফাইল ব্যবহার করুন।

sudo systemctl edit ollama.service

যে এডিটরটি খুলবে তাতে নিচের অংশটি যোগ করুন:

[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"

এরপর রিলোড এবং রিস্টার্ট করুন:

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

systemctl show কমান্ডটি প্রিন্ট করে দেখায় যে systemd প্রসেসটিকে কী প্রদান করবে। যদি আপনার ভেরিয়েবল সেখানে না থাকে, তবে ড্রপ-ইন ফাইলটি সেভ হয়নি অথবা daemon-reload কমান্ডটি চালানো বাদ পড়েছে। সার্ভারের দিক থেকেও এটি নিশ্চিত করুন:

journalctl -u ollama --no-pager | grep "server config" | tail -1

Ollama স্টার্টআপের সময় তার সার্ভার কনফিগারেশন একটি লাইনে লগ করে যার মেসেজ হলো server config। সেই ম্যাপটি দেখায় যে Ollama কোন এনভায়রনমেন্ট ভ্যালুগুলো রিপোর্ট করছে, এবং কোনো ভেরিয়েবল কার্যকর হয়েছে কি না তা যাচাই করার সবচেয়ে দ্রুত উপায় এটি। এটি আপনার সেট করা ভ্যালুটি দেখায়, কোনো নির্দিষ্ট মডেল আসলে কতগুলো স্লট পেয়েছে তা নয়। সেটি জানতে, উপরের রানার লাইনে থাকা -np ভ্যালুটি দেখুন।

একটি মডেল যা আগে থেকেই লোড করা আছে, সেটি তার শুরুর স্লট সংখ্যাই ধরে রাখে, কারণ লঞ্চের সময় রানার প্রসেসে এই ভ্যালুটি ফিক্সড হয়ে যায়। উপরের রিস্টার্টের ফলে সবকিছু আনলোড হয়ে যায়, তাই পরবর্তী রিকোয়েস্ট নতুন সেটিং অনুযায়ী মডেলটিকে রিলোড করে এবং একবার লোড টাইম নেয়। এরপর একটি মডেল কতক্ষণ মেমরিতে থাকবে তা একটি আলাদা কন্ট্রোল, যা রিকোয়েস্টের মাঝে Ollama মডেল লোড রাখা অংশে আলোচনা করা হয়েছে।

ক্লায়েন্টের দৃষ্টিকোণ থেকে served, queued এবং refused কেমন দেখায়

একসাথে বেশ কয়েকটি অনুরোধ পাঠান এবং সেগুলোর সময় পরিমাপ করুন। এটি সমান্তরালভাবে আটটি স্ট্রিমিং অনুরোধ চালায় এবং প্রতিটির স্ট্যাটাস ও সময় প্রদর্শন করে:

for i in $(seq 1 8); do
  curl -s -o /dev/null \
    -w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
    http://127.0.0.1:11434/api/generate \
    -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
wait

ttfb হলো স্ট্রীমের প্রথম বাইট পর্যন্ত সময়, যা প্রথম টোকেনের সময়ের (TTFT) কাছাকাছি, কারণ প্রথম স্ট্রীমড চাঙ্কটিই প্রথম টোকেন বহন করে।

সমান্তরালভাবে পরিবেশিত (Served in parallel)। প্রতিটি অনুরোধ একই রকম ttfb রিপোর্ট করে এবং সবগুলোর জন্য total একসাথে বৃদ্ধি পায়। GPU চলমান স্লটগুলোর মধ্যে ভাগ করা থাকে, তাই প্রতিটি উত্তর একা চলার চেয়ে ধীরগতির হয়, যদিও প্রতি মিনিটে বেশি সংখ্যক অনুরোধ সম্পন্ন হয়। আপনি যখন OLLAMA_NUM_PARALLEL বৃদ্ধি করেন, তখন আপনি এই মোডটিই বেছে নিচ্ছেন।

সারিবদ্ধ (Queued)। প্রথম অনুরোধগুলো দ্রুত উত্তর দেয় এবং পরবর্তী অনুরোধগুলোতে একটি দীর্ঘ ttfb দেখা যায়, যার পরে স্বাভাবিক জেনারেশন শুরু হয়। এই অপেক্ষার কারণ হলো কিউ (queue), মডেল নয়। চ্যাট উইন্ডোতে ব্যবহারকারী দীর্ঘ সময় কোনো কিছু না দেখে হঠাৎ পূর্ণ গতিতে টেক্সট আসা শুরু হতে দেখেন। শুরুতে ধীরগতি এবং পরে দ্রুতগতি—এটি ওভারলোডেড GPU-এর চেয়ে কিউ-এর লক্ষণ।

প্রত্যাখ্যাত (Refused)। ক্লায়েন্ট তাৎক্ষণিকভাবে http=503 পায় এবং বডিতে থাকে:

{"error":"server busy, please try again.  maximum pending requests exceeded"}

এই বার্তার অর্থ হলো অনুরোধটি আসার মুহূর্তে শিডিউলিং কিউ পূর্ণ ছিল। এটি VRAM বা মডেল সম্পর্কে কোনো তথ্য দেয় না। বর্তমান রিলিজগুলোতে, সেই কিউ শুধুমাত্র সেই অনুরোধগুলোকেই ধরে রাখে যেগুলোর মডেল এখনো লোড হয়নি, অথবা ভিন্ন সেটিংসের সাথে পুনরায় লোড করতে হবে। যদি আপনি উপরের লুপটি চালানোর সময় মডেলটি আগে থেকেই মেমরিতে থাকে, তবে OLLAMA_MAX_QUEUE যত কমই সেট করুন না কেন, প্রতিটি অনুরোধ থেকে 200 রেসপন্স আশা করতে পারেন। ওভারফ্লো এক্ষেত্রে দীর্ঘ ttfb হিসেবে দেখা দেয়।

একটি বাস্তব সীমাবদ্ধতা: Ollama কিউ-এর গভীরতা প্রকাশ করে না। ollama ps এবং /api/ps এন্ডপয়েন্ট শুধুমাত্র লোড করা মডেলগুলোর রিপোর্ট দেয়, অপেক্ষমাণ অনুরোধগুলোর নয়। তাই আপনাকে ক্লায়েন্ট সাইড থেকে প্রথম বাইটের সময় পর্যবেক্ষণ করে কিউ পরিমাপ করতে হবে, অথবা আপনার সার্ভারের সামনে যা আছে সেখানে 503 রেসপন্স গণনা করতে হবে।

কেন ছোট MAX_QUEUE সাধারণত ভালো সেটিংস

512-এর একটি কিউ (queue) শুনতে অনেক বড় মনে হতে পারে, কিন্তু একটি সিঙ্গেল স্লটের ক্ষেত্রে এটি প্রায় অকেজো। 300 নম্বর রিকোয়েস্টটিকে 299টি জেনারেশন সম্পন্ন হওয়ার জন্য অপেক্ষা করতে হয়। এটি হতে কয়েক মিনিট সময় লাগতে পারে। প্রতিটি HTTP client তার অনেক আগেই সংযোগ বিচ্ছিন্ন করে দেয়, ফলে ব্যবহারকারী একটি client side timeout দেখতে পান। এটি সমস্যার কারণ সম্পর্কে কোনো তথ্য দেয় না এবং আপনার মনিটরিং সিস্টেমেও কোনো অ্যালার্ট তৈরি করে না।

একটি ছোট কিউ এই ওভারফ্লোকে তাৎক্ষণিক 503 error-এ রূপান্তর করে। তবে এটি শুধুমাত্র সেইসব রিকোয়েস্টের ক্ষেত্রে ঘটে যা মডেল লোড বা রিলোড হওয়ার জন্য অপেক্ষা করছে, যেমন রিস্টার্টের পরে আসা রিকোয়েস্টের চাপ বা মডেল অদলবদল হওয়ার সময়। অক্টোবর 2026 অনুযায়ী, যে মডেলটি ইতিমধ্যে লোড করা আছে তার রিকোয়েস্টগুলো OLLAMA_MAX_QUEUE বাইপাস করে এবং কোনো সীমা ছাড়াই খালি স্লটের জন্য অপেক্ষা করে। তাই কিউ কমিয়ে দিলে একটি resident মডেল থাকা ব্যস্ত সার্ভারে অপেক্ষার সময় কমবে না। সেখানে দ্রুত প্রত্যাখ্যান (fast refusal) পেতে Ollama-এর সামনে concurrency সীমাবদ্ধ করুন, যা পরবর্তী সেকশনে বর্ণনা করা হয়েছে। একটি 503 error কার্যকর: একটি reverse proxy এটি retry করতে পারে, client ব্যাক-অফ করতে পারে, ড্যাশবোর্ড এটি গণনা করতে পারে এবং একজন ব্যবহারকারী এটি পড়তে পারেন। আপনার নিজস্ব পরিমাপ থেকে এই সীমা নির্ধারণ করুন। যদি একটি জেনারেশনে প্রায় দশ সেকেন্ড সময় লাগে এবং আপনার client ষাট সেকেন্ড অপেক্ষা করে, তবে প্রতি স্লটে প্রায় ছয়টি রিকোয়েস্ট সেই সময়ের মধ্যে সম্পন্ন হতে পারে। এর চেয়ে বেশি রিকোয়েস্ট অপেক্ষা করতে দিলে তা কেবল timeout তৈরি করবে।

কখন Ollama-এর সামনে একটি কিউ (queue) ব্যবহার করবেন

Ollama-এর বিল্ট-ইন কিউটি ফার্স্ট-ইন, ফার্স্ট-আউট (FIFO) পদ্ধতিতে কাজ করে এবং এটি কে কল করছে তা জানে না। একটি সার্ভারের সাথে একটি অ্যাপ্লিকেশনের যোগাযোগের ক্ষেত্রে এটি যথেষ্ট এবং অতিরিক্ত অবকাঠামো যোগ করলে কেবল ব্যর্থতার ঝুঁকিই বাড়ে। নিচের যেকোনো একটি সত্য হলে আপনি একটি কিউ ব্যবহারের কথা বিবেচনা করতে পারেন।

  • আপনার অগ্রাধিকার (priority) প্রয়োজন। একটি ইন্টারঅ্যাক্টিভ চ্যাট কোনো ব্যাচ সামারাইজেশন জব-এর পেছনে আটকে থাকা উচিত নয়। Ollama-এর কিউতে কোনো অগ্রাধিকার ব্যবস্থা নেই, তাই ব্যাচ জবগুলোকে বাইরে রেখে ধীরে ধীরে ইনপুট দিতে হয়।
  • আপনার ন্যায্যতা (fairness) নিশ্চিত করা প্রয়োজন। একটি ক্লায়েন্ট সব স্লট দখল করে নিতে পারে এবং তার পেছনে অন্য অনুরোধগুলোকে জমিয়ে রাখতে পারে। সেক্ষেত্রে অন্য সবাই সেই ক্লায়েন্টের পেছনে অপেক্ষা করবে অথবা তাদের অনুরোধের জন্য মডেল লোড করার প্রয়োজন হলে 5-0-3 (503) এরর পাবে।
  • আপনার একটি নির্দিষ্ট অপেক্ষার সময়সীমা (bounded wait) প্রয়োজন। Ollama ইতিমধ্যে লোড হওয়া মডেলের জন্য অনুরোধগুলোকে অনির্দিষ্টকাল ধরে রাখে, তাই নির্ভরযোগ্য সীমা নির্ধারণের একমাত্র উপায় হলো সামনে একটি কিউ রাখা।
  • আপনার রিস্টার্টের পরেও কাজের ধারাবাহিকতা বজায় রাখা প্রয়োজন। কিউটি সার্ভারের মেমরিতে থাকে। Ollama রিস্টার্ট করলে অপেক্ষমাণ সব অনুরোধ মুছে যায়।
  • আপনার ব্যাকঅফ (backoff) সহ প্রকৃত রিট্রাই (retry) প্রয়োজন, যা পরবর্তীতে পরীক্ষা করার জন্য কোথাও রেকর্ড করা থাকবে।

হালকা সমাধানের জন্য একটি reverse proxy ব্যবহার করুন। Nginx-এ limit_conn দিয়ে একই সাথে কতগুলো সংযোগ থাকবে তা নির্ধারণ করা যায় এবং limit_req দিয়ে প্রতি ক্লায়েন্টের অনুরোধের হার সীমাবদ্ধ করা যায়। ফলে অতিরিক্ত অনুরোধগুলো প্রক্সিতেই প্রত্যাখ্যাত হয় এবং Ollama পর্যন্ত পৌঁছায় না। ভারী সমাধানের জন্য একটি জব কিউ এবং ডাটাবেস ব্যবহার করুন যা এমন একটি ওয়ার্কারের সামনে থাকবে যে Ollama-কে কল করবে। প্রসেস রিস্টার্টের পরেও অনুরোধগুলো টিকিয়ে রাখতে চাইলে এটিই আপনার প্রয়োজন। প্রকৃত ট্রাফিকের জন্য এর আকার নির্ধারণ করা একটি আলাদা কাজ: concurrent ব্যবহারকারীদের জন্য self-hosted LLM পরিকল্পনা নিবন্ধে এর গাণিতিক হিসাব দেওয়া হয়েছে এবং VPS-এ Ollama চালানো নিবন্ধে এই ভেরিয়েবলগুলোর ওপর ভিত্তি করে বেস ইন্সটলেশন প্রক্রিয়া আলোচনা করা হয়েছে।

যখন সঠিক সমাধান হলো একটি ভিন্ন সার্ভার

এমন একটি সীমা আছে যা আপনি কোনো টিউনিংয়ের মাধ্যমে অতিক্রম করতে পারবেন না। মডেল লোড হওয়ার সময় Ollama KV cache-কে সমান এবং নির্দিষ্ট কিছু স্লটে বিভক্ত করে। একটি অলস স্লটের মেমোরি অন্য একটি ব্যস্ত স্লট ব্যবহার করতে পারে না এবং মডেল আনলোড না করে এই স্লটের সংখ্যা পরিবর্তন করা সম্ভব নয়। এই ডিজাইনটি একজন ব্যক্তি, ছোট দল বা কোডিং এজেন্টের জন্য উপযুক্ত।

অনেক ব্যবহারকারী একসাথে ব্যবহার করতে পারে এমন সার্ভারগুলো ভিন্নভাবে কাজ করে। এগুলো চাহিদার ভিত্তিতে ছোট ছোট পেজে KV cache বরাদ্দ করে এবং চলমান ব্যাচের সাথে নতুন অনুরোধগুলো যুক্ত করে। ফলে মেমোরি ব্যবহারের ক্ষেত্রে নির্দিষ্ট বিভাজনের পরিবর্তে প্রকৃত চাহিদাকে গুরুত্ব দেওয়া হয়। যদি আপনার লক্ষ্য হয় একটি GPU-তে অনেক বেশি সংখ্যক ব্যবহারকারীকে সেবা দেওয়া, তবে এই আর্কিটেকচারগত পার্থক্যটি OLLAMA_NUM_PARALLEL-এর যেকোনো মানের চেয়ে বেশি গুরুত্বপূর্ণ। Ollama এবং vLLM-এর মধ্যে তুলনা বিষয়টি সিদ্ধান্ত নেওয়ার জন্য উপযুক্ত জায়গা। তবে শুধুমাত্র নীতিগত কারণে পরিবর্তন করবেন না: একটি ভিন্ন সার্ভার পরিচালনা করা বেশি জটিল। যদি আপনার ট্রাফিক মাত্র কয়েকজনের হয়, তবে বিল্ট-ইন আচরণই সঠিক সমাধান। যদি মূল প্রশ্নটি হয় যে আদৌ নিজের মডেলে সার্ভার চালানো উচিত কি না, তবে একটি প্রাইভেট AI সার্ভারের খরচের সাথে ভাড়াকৃত GPU-তে একই স্ট্যাক তৈরির তুলনা বিষয়টি আপনাকে সিদ্ধান্ত নিতে সাহায্য করবে, যেখানে API কেনা কখন বেশি লাভজনক তাও আলোচনা করা হয়েছে।

নিজের throughput এবং time to first token পরিমাপ করুন

প্রকাশিত tokens per second-এর পরিসংখ্যান অন্য কারও GPU, model, quantisation, context length এবং prompt থেকে পাওয়া। এগুলোর কোনোটিই আপনার ব্যবস্থার সঙ্গে মেলে না। তাই পড়া যেকোনো সংখ্যাকে আনুমানিক নির্দেশনা হিসেবে নিন এবং আপনার সামনে থাকা machine-এর কর্মক্ষমতা নিজেই পরিমাপ করুন।

Ollama প্রতিটি response-এর final JSON object-এ timing ফেরত দেয়। eval_count হলো তৈরি হওয়া token-এর সংখ্যা এবং eval_duration হলো সেগুলো তৈরি করতে ব্যয় হওয়া সময়, nanosecond-এ।

sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
  -d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
  | jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'

প্রথমে এটি একটি slot নিয়ে চালান। এরপর আপনি বাস্তবে যে concurrency আশা করছেন, সেটি ব্যবহার করে আবার চালান। তারপর ব্যবহারকারীরা সন্তুষ্ট কি না নির্ধারণ করে এমন দুটি সংখ্যা তুলনা করুন: time to first token এবং প্রতি request-এ tokens per second। slot যোগ করলে প্রতি request-এর throughput সবসময় কমে। প্রশ্ন হলো, এটি আপনার ব্যবহারকারীরা যতটা গ্রহণ করতে পারবেন তার চেয়ে বেশি কমে কি না। স্থানীয় LLM-এ প্রতি সেকেন্ডে token পরিমাপ করা পদ্ধতিটি আরও বিস্তারিতভাবে ব্যাখ্যা করে। এর মধ্যে প্রতিটি run-এর সময় prompt অপরিবর্তিত রাখার পদ্ধতিও রয়েছে।

উদার queue-সহ একটি public endpoint denial-of-service আক্রমণের লক্ষ্য হতে পারে

OLLAMA_HOST=0.0.0.0:11434 সেট করলে API প্রতিটি interface-এ listen করবে, এবং local API-তে কোনো authentication প্রয়োজন হবে না। Ollama-তে cloud model, publishing এবং private download-এর জন্য built-in sign-in আছে। https://ollama.com/api এবং https://ollama.com/v1-এ সরাসরি cloud inference করতে API key প্রয়োজন। Default queue-তে কোনো open endpoint মডেল load হওয়ার অপেক্ষায় থাকা সর্বোচ্চ 512টি request গ্রহণ করবে—যে কেউ endpoint-টি খুঁজে পেলেই। কোনো model আগে থেকেই load করা থাকলে, endpoint-টি সংযুক্ত হওয়া প্রতিটি request-এর সংযোগ ধরে রাখবে, কোনো সীমা ছাড়াই, যতক্ষণ প্রতিটি client সংযুক্ত থাকবে। এভাবে server ব্যস্ত করে রাখতে আক্রমণকারীর প্রায় কোনো খরচ হয় না: দীর্ঘ prompt, কোনো login নেই, কোনো rate limit নেই, কোনো bill নেই। ফলে আপনার নিজস্ব user-রা 503 response বা দীর্ঘ অপেক্ষার সম্মুখীন হবে, এবং পুরো সময় machine ব্যস্ত থাকবে।

Listener-টি loopback-এ রাখুন এবং SSH tunnel বা private network-এর মাধ্যমে এতে সংযোগ করুন। অথবা এর সামনে authentication ও rate limiting যোগ করুন। Ollama API endpoint সুরক্ষিত করা—এ দুটিরই ব্যাখ্যা দেয়। এরপর queue সামঞ্জস্য করুন, কারণ queue length একটি capacity setting এবং এটি কোনো সুরক্ষা দেয় না।

FAQ

আমার দ্বিতীয় Ollama রিকোয়েস্টটি প্রথমটি শেষ না হওয়া পর্যন্ত অপেক্ষা করে কেন?

কারণ OLLAMA_NUM_PARALLEL ডিফল্টভাবে 1 থাকে, তাই একটি লোড হওয়া মডেল একসাথে একটি রিকোয়েস্টই প্রসেস করতে পারে এবং বাকিগুলো ক্রমানুসারে অপেক্ষা করে। অপেক্ষমাণ রিকোয়েস্টটি তার HTTP কানেকশন খোলা রাখে এবং কোনো ডেটা পাঠায় না যতক্ষণ না একটি স্লট খালি হয়, যা ক্লায়েন্টের কাছে মডেলটি ধীরগতির বলে মনে হতে পারে। টাইমিংয়ের ধরন দেখে এটি বোঝা যায়: দীর্ঘ বিরতির পর যদি টেক্সট দ্রুত আসতে থাকে তবে সেটি একটি কিউ (queue), আর যদি প্রথম টোকেন থেকেই ধীরগতিতে টেক্সট আসে তবে সেটি মডেলের ধীরগতি। systemd drop-in ব্যবহার করে স্লট সংখ্যা বাড়ান এবং সার্ভিসটি রিস্টার্ট করুন। এরপর রানার লাইনে -np মানটি পরীক্ষা করুন, কারণ এম্বেডিং মডেলগুলো শিডিউলারের মধ্যে একটি স্লটই পায়।

"server busy, please try again. maximum pending requests exceeded" এর মানে কী?

এটি Ollama-এর কিউ ওভারফ্লো এরর, যা HTTP status 503 এর সাথে আসে। শিডিউল হওয়ার অপেক্ষায় থাকা রিকোয়েস্টের সংখ্যা, অর্থাৎ মডেল লোড বা রিলোড হওয়ার অপেক্ষায় থাকা রিকোয়েস্টের সংখ্যা OLLAMA_MAX_QUEUE এ পৌঁছেছে (যার ডিফল্ট মান 512), তাই নতুন রিকোয়েস্টটি কিউতে যোগ না করে বাতিল করা হয়েছে। যে মডেলটি ইতিমধ্যে লোড করা আছে, সেটির রিকোয়েস্ট এই সীমার মধ্যে গণনা করা হয় না। সাধারণত স্টার্টআপের সময় বা মডেল অদলবদল করার সময় এই এররটি দেখা যায়। এটি কোনো মেমোরি বা মডেল এরর নয়। কিউ বাড়ালে ব্যবহারকারীরা কেবল দীর্ঘক্ষণ অপেক্ষা করার পর একই প্রত্যাখ্যান পাবেন, তাই প্রকৃত সমাধান হলো আপনার VRAM থাকলে স্লট সংখ্যা বাড়ানো, ইনকামিং লোড কমানো, অথবা সামনে এমন একটি কিউ রাখা যা রিকোয়েস্ট রিট্রাই বা প্রায়োরিটি সেট করতে পারে।

OLLAMA_NUM_PARALLEL বাড়ালে কি Ollama দ্রুত হয়?

না। এটি একই সময়ে আরও বেশি রিকোয়েস্ট চলতে দেয়, এবং প্রতিটি রিকোয়েস্ট একা চলার চেয়ে ধীরগতির হয় কারণ তারা একটি GPU শেয়ার করে। এটি KV cache-কেও গুণিতক হারে বাড়িয়ে দেয়, কারণ Ollama আপনার কনটেক্সট লেন্থের সাথে স্লট সংখ্যা গুণ করে মোট কনটেক্সট নিয়ে রানার শুরু করে। যদি ফলাফল আর VRAM-এ না ধরে, তবে Ollama লেয়ারগুলোকে CPU-তে পাঠিয়ে দেয় এবং প্রতিটি রিকোয়েস্ট ধীর হয়ে যায়, এমনকি কোনো প্রতিযোগিতা না থাকলেও। পরিবর্তনের পর ollama ps চেক করুন এবং নিশ্চিত করুন যে PROCESSOR কলামে এখনো 100% GPU দেখাচ্ছে।

এই ভেরিয়েবলগুলো পরিবর্তনের পর কি Ollama রিস্টার্ট করতে হবে?

হ্যাঁ। সার্ভার স্টার্টআপের সময় এগুলো পড়ে এবং একটি চলমান মডেল তার রানার প্রসেস চালু হওয়ার সময় যে স্লট সংখ্যা নির্ধারণ করা হয়েছিল তা বজায় রাখে। sudo systemctl edit ollama.service দিয়ে drop-in এডিট করুন, তারপর sudo systemctl daemon-reload এবং sudo systemctl restart ollama চালান। systemctl show ollama --property=Environment দিয়ে নিশ্চিত করুন এবং তারপর journalctl -u ollama-এ server config লাইনটি চেক করুন, যেখানে Ollama-এর কনফিগার করা এনভায়রনমেন্ট ভ্যালুগুলো তালিকাভুক্ত থাকে।

আমার কয়টি প্যারালাল স্লট সেট করা উচিত?

1 থেকে শুরু করুন এবং ধাপে ধাপে বাড়ান। প্রতিটি ধাপের পর Ollama রিস্টার্ট করুন, মডেল লোড করার জন্য একটি রিকোয়েস্ট পাঠান এবং ollama ps চালান। শেষ যে মানে PROCESSOR এখনো 100% GPU দেখায় এবং SIZE কলামে আপনার সার্ভ করা দীর্ঘতম কনটেক্সটের জন্য পর্যাপ্ত জায়গা থাকে, সেখানে থামুন। এরপর আপনার প্রকৃত কনকারেন্সিতে প্রথম টোকেনের সময় এবং প্রতি সেকেন্ডে টোকেনের হার পরিমাপ করুন। যদি প্রতি রিকোয়েস্টের গতি আপনার ব্যবহারকারীদের সহনশীলতার নিচে নেমে যায়, তবে এক ধাপ কমিয়ে আনুন।

এই লেখাটি কি কাজে লেগেছে?

#ollama#concurrency#vram#queueing#self-hosted-llm