SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor

VPS-এ Ollama দিয়ে GLM 5.2 চালানো যাবে কি?

Ollama-তে GLM 5.2 cloud-only। VPS-এর জন্য চলবে GLM-4.7-Flash, আর quantisation অনুযায়ী কত RAM লাগবে, tag বাছাই ও private endpoint রাখার উপায় জানুন।

একটি VPS-এ কি GLM 5.2 চালানো যায়?

হ্যাঁ, তবে Ollama-এর official tag ব্যবহার করে নয়। 25 October 2026 অনুযায়ী, Ollama-এর library-তে GLM 5.2-এর ঠিক একটি tag আছে, glm-5.2:cloud। :cloud tag Ollama-এর server-এ চলে। আপনার machine prompt পাঠায় এবং token গ্রহণ করে, তাই weight কখনো আপনার disk-এ আসে না। Z.ai weight প্রকাশ করে এবং SGLang ও vLLM দিয়ে local deployment-এর নির্দেশনা দেয়। Z.ai-এর নিজস্ব weight repository অনুযায়ী, model-টিতে প্রায় 753 billion parameter আছে। প্রতি parameter-এ চার bit ধরে 753 billion parameter-এর weight-এর আকার প্রায় 377 GB। এটি context, activation বা operating system-এর memory বাদ দেওয়ার আগের সাধারণ হিসাব। প্রকাশিত VPS plan-গুলোর কিছুতে এই memory capacity আছে: Paragon তাদের E-48 plan-এ 512 GB RAM-এর জন্য €580/month উল্লেখ করেছে।

আপনি যে model-টি ভাড়া করা server-এ চালাতে পারবেন, সেটি হলো glm-4.7-flash। এটি downloadable weight-সহ 4টি tag-এ প্রকাশিত হয়েছে। এটি একটি mixture-of-experts model। অর্থাৎ প্রতিটি token-এর জন্য network-এর কেবল একটি ছোট অংশ চলে। Z.ai এটিকে 30B-A3B হিসেবে বর্ণনা করে: মোট 30 billion parameter, যার মধ্যে প্রতি token-এ প্রায় 3 billion সক্রিয় থাকে। তাই এই guide এমন প্রশ্নের উত্তর দেয়, যার ভিত্তিতে আপনি কাজ করতে পারেন। একটি tag নির্দিষ্ট করুন, server-এর capacity নির্ধারণ করুন, নিজের speed মাপুন এবং endpoint private রাখুন।

এখানে থাকা command-সহ যেকোনো command copy করার আগে tag যাচাই করুন। Ollama-এর library কোনো notice ছাড়াই পরিবর্তিত হতে পারে। glm-4.7-flash tag list খুলে নিশ্চিত করুন যে tag-টি এখনো আছে। local weight-সহ আরও নতুন কোনো GLM release প্রকাশিত হলে সেটি ব্যবহার করুন এবং বাস্তবে কোন tag পরীক্ষা করেছেন তা লিখে রাখুন।

আপনি যদি তবুও GLM 5.2 নিজেই চালাতে চান, ollama run glm-5.2:cloud, ollama signin-এর পরে কাজ করে এবং client-এর দিক থেকে এটি অন্য যেকোনো Ollama model-এর মতোই আচরণ করে। আপনি কীতে সম্মতি দিচ্ছেন তা বুঝে নিন: prompt আপনার server ছেড়ে যায়। আপনার self-hosting-এর কারণ যদি হয় যে data আপনার machine-এই থাকতে হবে, তাহলে :cloud tag সেই শর্ত পূরণ করে না।

কোন GLM tag রয়েছে এবং কোনটি নির্দিষ্ট করে ব্যবহার করবেন

এখানে দুটি official GLM entry গুরুত্বপূর্ণ। glm-5.2 Ollama-এর library-তে শুধু cloud-এর জন্য রয়েছে। glm-4.7-flash হলো local entry। এর প্রকাশিত tag এবং প্রতিটির জন্য Ollama যে download size উল্লেখ করেছে, সেগুলো নিচে দেওয়া হলো। আপনি আগে glm-5.1 ব্যবহার করে থাকলে মনে রাখুন, Ollama 25 September 2026-এ এটি অবসর দিয়েছে এবং এর library page-এ এখন কোনো model তালিকাভুক্ত নেই। Z.ai এখনও GLM-5.1 weights প্রকাশ করে এবং local deployment-এর নির্দেশনা দেয়। তাই Ollama এটি অবসর দিলেও modelটি অন্যত্র unavailable হয়ে যায়নি।

চার্টglm-4.7-flash tags in Ollama's library, checked 2026-10-25
এই চার্টের পেছনের ডেটা
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

এগুলো library page-এ প্রকাশিত figure, measurement নয়। latest এবং q4_K_M উভয়ের download size 19 GB হিসেবে তালিকাভুক্ত। তাই latest বর্তমানে Q4 build-এ resolve হয়। কোনো republish-এর সময় এটি পরিবর্তিত হতে পারে। এ কারণেই script বা Dockerfile-এ কখনও bare ollama pull glm-4.7-flash লিখবেন না। Quantisation নির্দিষ্ট করে লিখুন। সবচেয়ে বড় tag, bf16, হলো 60 GB download, যাতে unquantised bfloat16 weights রয়েছে।

Library-তে search করলে name-এ slash থাকা namespaced upload-ও দেখা যায়, যেমন someuser/glm-5.2। Slash থাকার অর্থ হলো কোনো user account এটি প্রকাশ করেছে। তাই এটি official entry নয়, বরং community re-upload। এর ভেতরে কোন weights রয়েছে, তার নিশ্চয়তা কেউ দেয় না। Internet-এ পাওয়া কোনো unsigned binary যেভাবে ব্যবহার করবেন, এটিকেও সেভাবেই বিবেচনা করুন।

Ollama ইনস্টল করুন এবং নির্দিষ্ট tag pull করুন

Ollama-এর Linux installer একটি command।

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

Installer-টি ollama user হিসেবে চলা একটি systemd service তৈরি করে। কিছু pull করার আগে এটি চালু হয়েছে কি না নিশ্চিত করুন।

systemctl status ollama --no-pager

Active: active (running)-এর অর্থ হলো systemd service-টিকে running হিসেবে বিবেচনা করছে; এটি API ready কি না বা কোন port-এ listening করছে তা নিশ্চিত করে না। Default address ও port-এ curl -fsS http://127.0.0.1:11434/api/tags ব্যবহার করে আলাদাভাবে API পরীক্ষা করুন। Unit না থাকলে installer একটি সাধারণ binary install-এ ফিরে গেছে। সে ক্ষেত্রে Ollama Linux documentation-এ হাতে তৈরি করার service file দেওয়া আছে।

glm-4.7-flash page-এ Ollama-এর minimum version দেওয়া আছে। পুরোনো binary model-টি ধীরে চালায় না; এটি model প্রত্যাখ্যান করে। Pull ব্যর্থ হয়ে এমন message দেখায় যে model-টির জন্য Ollama-এর আরও নতুন version প্রয়োজন। Upgrade করতে install script আবার চালান। 2 November 2026 অনুযায়ী current release হলো 0.40.13, যা ওই minimum version-এর চেয়ে যথেষ্ট নতুন।

এখন name দিয়ে একটি tag pull করুন।

ollama pull glm-4.7-flash:q4_K_M
ollama ls

ollama ls-এ glm-4.7-flash:q4_K_M-এর size প্রকাশিত 19 GB-এর কাছাকাছি দেখানো উচিত। Pull মাঝপথে ব্যর্থ হলে runnable কিছু অবশিষ্ট থাকে না। তাই একই command আবার চালান। ছোট plan ব্যবহার করলে pull করার আগে disk space পরীক্ষা করুন। Standard Linux install model-গুলো /usr/share/ollama/.ollama/models-এ লেখে, যদি না OLLAMA_MODELS ব্যবহার করে location পরিবর্তন করেন। শুরু করার আগে df -h /usr/share/ollama দিয়ে পরীক্ষা করুন।

প্রতিটি quantisation-এর কত RAM প্রয়োজন?

Download size-কে সর্বনিম্ন সীমা ধরে শুরু করুন, তারপর তার সঙ্গে অতিরিক্ত memory যোগ করুন। Weights-গুলো memory-তে resident থাকতে হবে। এর ওপর থাকে KV cache (key/value cache), যা conversation-এ ইতিমধ্যে থাকা tokens মনে রাখার জন্য runtime ব্যবহার করে। এর সঙ্গে compute buffers এবং operating system-এর ব্যবহৃত memory-ও যোগ হয়। ঠিক 19 GB RAM থাকা কোনো machine 19 GB tag চালাতে পারবে না।

সবার জন্য সঠিক এমন কোনো একক multiplier নেই। কারণ আপনি যত context length অনুমোদন করেন, KV cache তত বাড়ে। Runtime version পরিবর্তিত হলে অন্যান্য memory requirement-ও বদলাতে পারে। তাই অনুমান না করে মাপুন। একটি trivial prompt দিয়ে model load করুন, তারপর server কত memory reserve করেছে তা দেখুন।

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

ollama ps loaded model-টি SIZE column এবং PROCESSOR column-সহ দেখায়। SIZE হলো runtime বাস্তবে যত memory reserve করেছে। আপনার পরিকল্পনার সঙ্গে তুলনা করার জন্য এই সংখ্যাটিই ব্যবহার করুন। PROCESSOR দেখায় কাজটি কোথায় হচ্ছে। তাই 100% CPU মানে GPU একেবারেই ব্যবহৃত হয়নি।

Model fit না হলে generation শুরু হওয়ার আগেই Ollama load error ফেরত দিতে পারে। Swap pressure এবং out-of-memory kill-ও ঘটতে পারে। প্রতিটি memory failure নীরবে ঘটে ধরে না নিয়ে journalctl -u ollama --no-pager দিয়ে service logs এবং journalctl -k | grep -i "out of memory" দিয়ে kernel logs পরীক্ষা করুন।

19 GB Q4 tag থেকে 32 GB Q8 tag-এ যাওয়াই এই সংখ্যার ওপর আপনার প্রধান নিয়ন্ত্রণ। Q4 ব্যবহার করলে কিছু output quality কমে। কতটা কমবে তা task-এর ওপর নির্ভর করে। Structured output এবং দীর্ঘ reasoning chain casual chat-এর তুলনায় বেশি ক্ষতিগ্রস্ত হয়। সিদ্ধান্ত নেওয়ার আগে Q4, Q8 এবং FP16 বাস্তবে কীভাবে আলাদা পড়ে নেওয়া ভালো। কারণ CPU-only VPS-এ quantisation choice সাধারণত নির্ধারণ করে model আদৌ চলবে কি না।

CPU-only VPS-এ কী ঘটে

বেশিরভাগ VPS plan-এ GPU থাকে না, এবং Ollama আপনাকে কোনো সতর্কতা না দিয়েই CPU-তে model চালাবে। ফলাফল ব্যবহারযোগ্য হবে কি না, তা workload এবং আপনার ধৈর্যের ওপর নির্ভর করে।

Mixture-of-experts design গতি বাড়াতে সাহায্য করে। যেকোনো token-এর জন্য 30 billion parameter-এর মধ্যে প্রায় 3 billion ব্যবহার করা হয়। তাই প্রতি token-এর জন্য প্রয়োজনীয় arithmetic একটি dense 30B model-এর তুলনায় অনেক কম। কিন্তু memory-এর প্রয়োজন কমে না। প্রতিটি expert memory-তে সক্রিয় অবস্থায় থাকতে হবে, কারণ পরের token-এর জন্য router যেকোনো expert বেছে নিতে পারে। তাই CPU-only box-এর জন্যও Q4 tag-এ সম্পূর্ণ 19 GB বা তার বেশি RAM প্রয়োজন, এবং এর throughput মূলত clock speed নয়, memory bandwidth দ্বারা নিয়ন্ত্রিত হয়।

এর একটি ব্যবহারিক ফল আছে: একই core count এবং একই RAM থাকা দুটি plan লক্ষণীয়ভাবে ভিন্ন গতিতে output তৈরি করতে পারে, কারণ তাদের memory subsystem আলাদা। একটি shared plan-এ দ্বিতীয় একটি পরিবর্তনশীল যুক্ত হয়, কারণ ব্যস্ত প্রতিবেশীর কারণে CPU steal time tokens-per-second হিসাবে প্রকাশ পায় এবং এই মান hour to hour পরিবর্তিত হয়। এ কারণেই অন্য কারও প্রকাশিত সংখ্যা আপনার ফলাফল নির্ভুলভাবে পূর্বাভাস দিতে পারে না, এবং এ কারণেই পরের section-এ ফলাফলের table নয়, measurement recipe দেওয়া হয়েছে।

নিজের tokens per second পরিমাপ করুন

Ollama-এর generate endpoint তার চূড়ান্ত JSON object-এ timing field ফেরত দেয়। generated token-এর সংখ্যা generation duration দিয়ে ভাগ করলে আপনার plan ও prompt অনুযায়ী প্রকৃত মান পাবেন।

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

eval_count কতগুলো token generated হয়েছে এবং eval_duration সেগুলো generate করতে কত nanosecond লেগেছে তা নির্দেশ করে। তাই eval_count / eval_duration * 1e9 হলো tokens per second। prompt_eval_duration আপনার prompt পড়তে ব্যয় হওয়া সময় নির্দেশ করে। প্রথম token দেখা দেওয়ার আগের অপেক্ষা হিসেবে ব্যবহারকারী এই সময়টিই অনুভব করেন। load_duration disk থেকে model load করতে ব্যয় হওয়া সময়। তাই restart-এর পর প্রথম call-এ এটি বড় হয় এবং পরের call-এ প্রায় শূন্য থাকে।

এটি তিনবার চালান এবং দ্বিতীয় ও তৃতীয় ফলাফল রাখুন, কারণ প্রথম ফলাফলে model load করার সময় অন্তর্ভুক্ত থাকে। এরপর অনেক দীর্ঘ prompt দিয়ে আবার চালান, কারণ prompt processing input length অনুযায়ী বাড়ে, কিন্তু generation speed বাড়ে না। আপনার plan name এবং quantisation-এর পাশে সংখ্যাগুলো লিখে রাখুন। এই record আপনার পড়া যেকোনো benchmark-এর চেয়ে বেশি কার্যকর, কারণ আপনি যে hardware-এর জন্য অর্থ দিচ্ছেন, এই পরিমাপ সেটিতেই করা হয়েছে।

কীভাবে context length memory একাধিক গুণ বাড়ায়

GPU ছাড়া, অথবা 24 GiB-এর কম VRAM থাকা কোনো মেশিনে Ollama ডিফল্টভাবে 4096-token context ব্যবহার করে। মডেলটি এর চেয়ে অনেক বেশি, অর্থাৎ glm-4.7-flash-এর জন্য 198K token সমর্থন করার কথা জানায়। তবে এটি ডিফল্টভাবে পাওয়া যায় না, এবং চালু করলে অতিরিক্ত memory লাগে।

KV cache-এ প্রতিটি layer-এ প্রতিটি token-এর জন্য একটি key vector এবং একটি value vector থাকে। আপনি যত token অনুমোদন করেন, এর আকারও তত অনুপাতে বাড়ে। 4096 থেকে 32768 token-এ গেলে context আট গুণ হয়, তাই KV cache-ও আনুমানিক আট গুণ হয়। যে মেশিনে শুধু model weights রাখার মতো memory আছে, সেখানে এই অতিরিক্ত allocation-ই swap ব্যবহারের কারণ হয়। তাই ছোট prompt-এ ঠিকমতো উত্তর দেওয়া মেশিনটি কেউ একটি দীর্ঘ document paste করলে হঠাৎ খুব ধীর হয়ে যায়। একই মেশিনে দীর্ঘ context প্রয়োজন হলে, f16-এর পরিবর্তে q8_0-এ KV cache সংরক্ষণ করলে weights পরিবর্তন না করেই ওই allocation প্রায় অর্ধেক করা যায়। Ollama-এর FAQ অনুযায়ী q8_0-এ f16-এর প্রায় অর্ধেক memory লাগে। f16 হলো OLLAMA_KV_CACHE_TYPE-এর ডিফল্ট মান। তবে quantized cache কেবল flash attention enabled থাকলেই কার্যকর হয়। Backend এবং device সমর্থন করলে Ollama নিজে থেকেই flash attention চালু করে, আর OLLAMA_FLASH_ATTENTION=1 এটি জোর করে চালু করে।

উপরের curl command-এর মতো options object-এ num_ctx ব্যবহার করে প্রতি request-এর জন্য এটি নির্ধারণ করুন, অথবা server-এর default পরিবর্তন করুন।

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

শেষ command-এ আপনার OLLAMA_CONTEXT_LENGTH value দেখানোর কথা। যদি একটি খালি Environment= দেখায়, তাহলে override file-টি ভুল directory-তে আছে অথবা reload করা হয়নি। পরবর্তী model load-এর পরে ollama ps-এ 4096-এর সময়কার তুলনায় স্পষ্টতই বড় SIZE দেখা উচিত। ধাপে ধাপে value বাড়ান এবং প্রতিবার ওই number পর্যবেক্ষণ করুন। num_ctx দিয়ে Ollama-এর context length নির্ধারণ-এ এর সঙ্গে keep-alive এবং parallel request কীভাবে কাজ করে তা ব্যাখ্যা করা হয়েছে। এই দুটিই একই খরচ একাধিক গুণ বাড়ায়। একাধিক client server ব্যবহার করলে context-এর সঙ্গে একই সময়ে concurrency limit নির্ধারণ করুন, কারণ প্রতিটি parallel slot-এর নিজস্ব KV cache থাকে এবং queue setting নির্ধারণ করে দ্বিতীয় request অপেক্ষা করবে, নাকি সরাসরি প্রত্যাখ্যাত হবে।

API যখন সার্ভারের চেয়ে সস্তা

Self-hosting সবসময় সস্তা নয়। এই model family-র প্রকাশিত list price বিষয়টি অস্বাভাবিকভাবে স্পষ্ট করে।

চার্টZ.ai published list prices per million tokens, checked 2026-10-25
এই চার্টের পেছনের ডেটা
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

25 October 2026 অনুযায়ী, Z.ai প্রতি million input token-এর জন্য GLM-5.2-এর দাম $1.4 এবং প্রতি million output token-এর জন্য $4.4 নির্ধারণ করেছে। এই guide-এ locally চালানো model GLM-4.7-Flash-এর জন্য input ও output—উভয় দিকেই প্রতি million token-এর দাম $0। এগুলো প্রকাশিত price এবং সময়ের সঙ্গে পরিবর্তিত হতে পারে। তাই যেকোনো একটির ভিত্তিতে budget পরিকল্পনা করার আগে বর্তমান page পরীক্ষা করুন।

তাই এখন self-hosting glm-4.7-flash-এর পক্ষে cost-এর যুক্তি দুর্বল। পর্যাপ্ত RAM-সহ একটি VPS-এর জন্য প্রতি মাসে বাস্তব খরচ হয়, অথচ publisher একই model বিনামূল্যে সরবরাহ করে। নিজে চালালে আপনি অন্য সুবিধা পান: আপনার prompt আপনার নিয়ন্ত্রণাধীন machine-এই থাকে, এবং আপনি পরিবর্তন না করা পর্যন্ত model version পরিবর্তিত হয় না। Self-hosting-এর এগুলো ভালো কারণ। তবে এই model-এর জন্য এবং এই price-এ cost তার মধ্যে একটি নয়।

আপনার প্রয়োজনীয় model বিনামূল্যে না হলে, অথবা আইনগত কারণে আপনার data নিজের network-এর বাইরে পাঠানো না গেলে, হিসাবের ফল বদলে যায়। GPU VPS এবং API token-এর break-even point প্রতিটি variable উল্লেখ করে এই হিসাব দেখায়। আপনি যদি এখনও machine নির্বাচন করে থাকেন, একটি VPS-এর প্রকৃত মাসিক খরচ এই হিসাবের অন্য অর্ধেক।

লোকালহোস্টে endpoint রাখুন

এটি এমন একটি ধাপ, যা অনেকে বাদ দেন। অথচ এটিই সবচেয়ে গুরুত্বপূর্ণ।

Ollama ডিফল্টভাবে port 11434-এ 127.0.0.1-এ bind করে। তাই এটি শুধু সার্ভার থেকেই পৌঁছানো যায়। অনুমান না করে আপনার সার্ভারে এটি নিশ্চিত করুন।

ss -ltnp | grep 11434

আপনি 127.0.0.1:11434 দেখতে চান। 0.0.0.0:11434 বা *:11434 দেখা গেলে API প্রতিটি interface-এ, public interface-সহ, listening করছে।

এটি গুরুত্বপূর্ণ, কারণ Ollama-এর local API-তে ডিফল্টভাবে কোনো authentication প্রয়োজন হয় না। কোনো password নেই, token নেই, allowlist নেই। যে কেউ port 11434-এ পৌঁছাতে পারলে আপনার model-এর তালিকা দেখতে পারে, আপনার খরচে চলা hardware-এ generation চালাতে পারে, disk পূর্ণ না হওয়া পর্যন্ত নতুন model pull করতে পারে এবং আপনার থাকা model মুছে দিতে পারে। Port 11434 হলো well-known default; OLLAMA_HOST bind address এবং port—দুটিই পরিবর্তন করতে পারে।

OLLAMA_HOST=0.0.0.0 সেট করবেন না। এই variable Ollama কোন address-এ bind করবে তা পরিবর্তন করে। আপনার laptop-এর client সংযোগ করতে না পারলে অনেক tutorial এটিকে সমাধান হিসেবে প্রস্তাব করে। এটি সঠিক সমাধান নয়। পরিবর্তে port forward করুন।

ssh -N -L 11434:127.0.0.1:11434 you@your-server

আপনার laptop-এ SSH port 11434-এ listening করে এবং প্রতিটি connection-কে server-এর দৃষ্টিতে 127.0.0.1:11434-এ forward করে। Ollama ডিফল্টভাবে সেখানেই listening করে। তাই tunnel-এর জন্য OLLAMA_HOST পরিবর্তন করতে হয় না, http://localhost:11434-এর জন্য configured যেকোনো client অপরিবর্তিতভাবে কাজ করে, এবং নতুন কিছু expose হয় না। একাধিক ব্যক্তি বা একাধিক machine-এর জন্য server-কে private tunnel network-এ রাখুন এবং Ollama-কে tunnel address-এ bind করুন; কখনো 0.0.0.0-এ নয়।

Server ছাড়া অন্য কোনো স্থান থেকে যাচাই করুন। SSH tunnel বন্ধ রেখে আপনার laptop থেকে:

curl -m 5 http://your-server-ip:11434/api/tags

curl: (28) Connection timed out বা curl: (7) Failed to connect সঠিক ফলাফল। আপনার model-এর JSON তালিকা দেখা গেলে port Internet-এর জন্য খোলা আছে এবং এখনই এটি ঠিক করতে হবে। আপনার provider-এর network firewall এবং সার্ভারে চলা firewall আলাদা নিয়ন্ত্রণব্যবস্থা, তাই দুটিই পরীক্ষা করুন। VPS hosting নিরাপদ কি না—এই বিস্তৃত প্রশ্ন-এ সার্ভার চালু রেখে দেওয়া machine-এর baseline নিরাপত্তার বাকি বিষয়গুলো আলোচনা করা হয়েছে।

glm-4.7-flash-ও যদি এখনও বড় হয়

Q4 tag আপনার plan-এ না ধরলে context ছোট করবেন না; ছোট model ব্যবহার করুন। কোনো model চালানোর জন্য context কমালে এমন কিছু পাবেন, যা load হয় কিন্তু প্রথম দীর্ঘ prompt-এই ব্যর্থ হয়। VPS-এ 8B ও 27B-তে Qwen 3 একই install path অনুসরণ করে এবং সীমিত সক্ষমতার box-এর উপযোগী size দেয়। VPS-এ Ollama দিয়ে LLM self-hosting-এর সাধারণ নির্দেশিকা-তে আপনি যে model-ই বেছে নিন, একই থাকা অংশগুলো ব্যাখ্যা করা হয়েছে। যে model ব্যবহার করুন না কেন, tag নির্দিষ্ট করে রাখুন, নিজের plan-এ মাপ নিন এবং endpoint loopback-এ রাখুন।

FAQ

GLM 5.2 কি VPS-এ স্থানীয়ভাবে চালানো যায়?

হ্যাঁ, Z.ai-এর প্রকাশিত weights এবং SGLang বা vLLM-এর মতো সমর্থিত runtime ব্যবহার করে। 25 October 2026 অনুযায়ী, Ollama-এর library-তে GLM 5.2 শুধু glm-5.2:cloud হিসেবে আছে। এই tag Ollama-এর নিজস্ব infrastructure-এ চলে এবং কাজ করার আগে ollama signin প্রয়োজন। Z.ai-এর weights repository অনুযায়ী model-টিতে প্রায় 753 billion parameters আছে। তাই প্রতি parameter-এ চার bit ব্যবহার করলেও শুধু weights-এর আকার প্রায় 377 GB হয়। প্রকাশিত high-memory VPS plan-গুলোর মধ্যে Paragon-এর 512 GB E-48 এই পরিমাণের চেয়ে বেশি memory দেয়। তবে runtime overhead এবং context-এর জন্যও জায়গা রাখতে হবে। এই guide-এ downloadable weights-সহ ব্যবহৃত ছোট GLM model হলো glm-4.7-flash।

glm-4.7-flash-এর কত RAM প্রয়োজন?

Tag-এর download size-কে ন্যূনতম প্রয়োজনীয়তা হিসেবে ধরুন। এর সঙ্গে KV cache এবং operating system-এর জন্য অতিরিক্ত memory রাখুন। Ollama-এর তালিকা অনুযায়ী Q4 tag-এর আকার 19 GB, Q8-এর আকার 32 GB, এবং bfloat16 tag-এর আকার 60 GB। সবার জন্য একই fixed multiplier প্রযোজ্য নয়, কারণ আপনার নির্ধারিত context length অনুযায়ী KV cache-এর আকার বাড়ে। Model load করুন, ollama ps চালান, এবং নিজের box-এ প্রকৃত মান জানতে SIZE column দেখুন।

নিজের VPS-এ প্রতি সেকেন্ডে token-এর হার কীভাবে মাপব?

"stream": false সহ http://localhost:11434/api/generate-এ একটি request পাঠান। এরপর response থেকে eval_count এবং eval_duration পড়ুন। প্রতি সেকেন্ডে token-এর হার হলো eval_count / eval_duration * 1e9, কারণ eval_duration nanosecond-এ report করা হয়। প্রথম run-এর ফল বাদ দিন, কারণ ওই run-এ load_duration-এর মধ্যে disk থেকে weights পড়ার সময়ও অন্তর্ভুক্ত থাকে। দীর্ঘ prompt দিয়েও আবার পরীক্ষা করুন, কারণ input length বাড়লে prompt_eval_duration বাড়ে, কিন্তু generation speed বাড়ে না।

OLLAMA_HOST-এর মান 0.0.0.0 দেওয়া উচিত নয় কেন?

কারণ Ollama-এর local API-তে defaultভাবে কোনো authentication প্রয়োজন হয় না। তাই এটিকে 0.0.0.0-এ bind করলে এটি প্রতিটি IPv4 interface-এ exposed হয়ে যায়। এরপর public access routing এবং firewall-এর ওপর নির্ভর করে। Port 11434-এ পৌঁছাতে পারে এমন যেকেউ আপনার hardware ব্যবহার করে generation চালাতে এবং কোন model installed থাকবে তা পরিবর্তন করতে পারে। Default 127.0.0.1 bind বজায় রাখুন, ss -ltnp | grep 11434 দিয়ে তা পরীক্ষা করুন, এবং ssh -N -L 11434:127.0.0.1:11434 you@your-server-এর মতো SSH tunnel ব্যবহার করে laptop থেকে API-তে সংযোগ করুন।

এই লেখাটি কি কাজে লেগেছে?