SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor

VPS-এ llama.cpp সার্ভার সেটআপ করার নিয়ম

VPS-এ llama.cpp সার্ভার চালানোর পূর্ণাঙ্গ গাইড। নির্দিষ্ট ভার্সন পিন করা, GGUF মডেল লোড, OpenAI API কনফিগারেশন এবং systemd-এর মাধ্যমে মেমরি লিমিট সেট করার নিয়ম দেখুন।

আপনি যা তৈরি করছেন

একটি VPS-এ llama.cpp সার্ভার চালানো মানে হলো একটি মাত্র বাইনারি, llama-server, যা একটি GGUF মডেল ফাইল লোড করে এবং OpenAI-সামঞ্জস্যপূর্ণ API-তে HTTP অনুরোধের উত্তর দেয়। একটি সামঞ্জস্যপূর্ণ ক্লায়েন্টকে http://127.0.0.1:8080/v1-এর দিকে নির্দেশ করুন, তারপর আপনার অ্যাপ্লিকেশন যে ফিচারগুলো ব্যবহার করে তা পরীক্ষা করুন: সামঞ্জস্যতা আংশিক। ইনস্টলেশন হলো সহজ অংশ।

বাকি কাজগুলো হলো অপারেশনস: একটি নির্দিষ্ট ভার্সন পিন করা, পোর্টটিকে localhost-এ রাখা, একটি systemd ইউনিট লেখা এবং সার্ভারের মেমরি শেষ হয়ে গেলে কী ঘটবে তা নির্ধারণ করা। এই নির্দেশিকাটি সেই বিষয়গুলোই কভার করে। আপনি যদি এখনো দুটি স্পষ্ট অপশনের মধ্যে সিদ্ধান্ত না নিয়ে থাকেন, তবে প্রথমে Ollama এবং llama.cpp-এর মধ্যে পার্থক্য পড়ুন, কারণ সেই তুলনামূলক আলোচনায় এই ব্যবহারিক নির্দেশিকাটি ইচ্ছাকৃতভাবে বাদ দেওয়া হয়েছে।

একটি রিলিজ ট্যাগ নির্বাচন করুন এবং তা লিখে রাখুন

llama.cpp nightly development build-এর জন্য b10488-এর মতো build-number ট্যাগ এবং অফিসিয়াল রিলিজের জন্য vX.Y.Z-এর মতো semantic version ট্যাগ ব্যবহার করে। এখানে b10488-কে পিন করা বিল্ড হিসেবে ব্যবহার করা হয়েছে, যা 18 আগস্ট 2026 তারিখে রিলিজ হয়েছে। "Latest" একটি পরিবর্তনশীল বিষয় এবং আপনি যে সংস্করণটি পরীক্ষা করেছেন, শুধুমাত্র সেটিই আপনি সাপোর্ট করতে পারবেন। একটি ট্যাগ নির্বাচন করুন, সেটি লিখে রাখুন এবং আপনার clone, binary-এর নাম ও নোটের ক্ষেত্রে একই স্ট্রিং ব্যবহার করুন।

b10488 ট্যাগের সাথে প্রি-বিল্ট আর্কাইভও দেওয়া থাকে। CPU-only x86 VPS-এর জন্য এটি llama-b10488-bin-ubuntu-x64.tar.gz, এবং আপনি যদি x86-এর পরিবর্তে ARM VPS ব্যবহার করেন, তবে তার পাশেই arm64 আর্কাইভটি পাবেন।

curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | head

আর্কাইভটি এক্সট্র্যাক্ট করার আগে তার ফাইলগুলো দেখে নিন, যাতে আপনি বুঝতে পারেন ফাইলগুলো কোথায় জমা হচ্ছে। এই বাইনারিগুলো যে ইমেজে তৈরি হয়েছে তার C library-এর সাথে লিঙ্ক করা থাকে, তাই পুরনো কোনো ডিস্ট্রিবিউশনে এগুলো চালু করার সময় এমন একটি GLIBC_ সংস্করণের ত্রুটি দেখাতে পারে যা ইনস্টল করা নেই। ছোট VPS-এ সোর্স থেকে বিল্ড করতে মাত্র কয়েক মিনিট সময় লাগে এবং এতে এই ধরনের সমস্যা পুরোপুরি দূর হয়, তাই নিচে সেই পদ্ধতিই দেখানো হলো।

একটি নির্দিষ্ট ট্যাগ থেকে llama-server বিল্ড করা

sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2

একটি --branch b10488-এ --depth 1 কমান্ড ব্যবহার করে নির্দিষ্ট ট্যাগটি চেকআউট করলে শুধুমাত্র সেই ভার্সনটিই পাওয়া যায়, ফলে কাজ করার সময় বিল্ডের কোনো পরিবর্তন হওয়ার সুযোগ থাকে না।

libssl-dev গুরুত্বপূর্ণ কারণ LLAMA_OPENSSL অপশনটি ডিফল্টভাবে চালু থাকে, যা পরবর্তীতে বাইনারিটিকে HTTPS-এর মাধ্যমে মডেল ডাউনলোড করতে দেয়। OpenSSL ডেভেলপমেন্ট ফাইল না থাকলে, এই পিন করা বিল্ডটি কনফিগারেশন ব্যর্থ না করে শুধুমাত্র HTTPS সাপোর্ট নিষ্ক্রিয় থাকার সতর্কবার্তা দেয়।

-DBUILD_SHARED_LIBS=OFF কমান্ডটি llama.cpp এবং GGML-কে এক্সিকিউটেবলের সাথে লিঙ্ক করে; তবে সিস্টেম লাইব্রেরি ডিপেন্ডেন্সিগুলো থেকেই যায়। ডিফল্ট বিল্ডে শেয়ার্ড লাইব্রেরিগুলো এক্সিকিউটেবলের পাশেই থাকে, তাই শুধুমাত্র এক্সিকিউটেবল ফাইলটি /usr/local/bin-এ কপি করলে তা error while loading shared libraries: libllama.so এর কারণে ব্যর্থ হয়।

-t llama-server শুধুমাত্র সার্ভার টার্গেটটি বিল্ড করে। ডিফল্ট বিল্ডে অন্যান্য টুল এবং টেস্টগুলোও কম্পাইল হয়, যা একটি দুই কোরের VPS-এ অপ্রয়োজনীয় ফাইলগুলোর জন্য কয়েক মিনিট বাড়তি সময় নষ্ট করে।

-j 2 ইচ্ছাকৃতভাবে ব্যবহার করা হয়েছে। প্রতিটি প্যারালাল কম্পাইল জব নিজস্ব মেমোরি ব্যবহার করে, তাই ছোট প্ল্যানে -j $(nproc) ব্যবহার করলে তা c++: fatal error: Killed signal terminated program cc1plus-এ গিয়ে শেষ হয়, যার ফলে কার্নেলের আউট-অফ-মেমোরি কিলার কম্পাইলারকে থামিয়ে দেয়। জবের সংখ্যা কমিয়ে দিন অথবা বিল্ডের জন্য সোয়াপ (swap) যোগ করুন।

একটি ফ্ল্যাগ যা আপনি পরিবর্তন করতে চাইতে পারেন: GGML_NATIVE ডিফল্টভাবে চালু থাকে, তাই কম্পাইলার বিল্ড করা CPU-এর জন্য অপ্টিমাইজ করে। আপনি যদি সেই মেশিনেই এটি চালান যেখানে বিল্ড করছেন, তবে এটিই সঠিক। যদি আপনি একবার বিল্ড করে বাইনারিটি অন্য কোনো হোস্টে কপি করতে চান, তবে -DGGML_NATIVE=OFF যোগ করুন। কারণ অন্য CPU-তে নেই এমন ইনস্ট্রাকশন ব্যবহার করলে বাইনারিটি প্রথম ইনফারেন্সের সময়ই Illegal instruction (core dumped) এর কারণে বন্ধ হয়ে যাবে।

এটিকে এমন একটি নামে ইনস্টল করুন যা ট্যাগটিকে নির্দেশ করে।

./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server

--version কমান্ডটি বিল্ড নম্বর এবং কমিট প্রিন্ট করে। এটি আপনার চেকআউট করা ট্যাগের সাথে মিলতে হবে। যদি না মেলে, তবে আপনি অন্য কিছু বিল্ড করেছেন। ফাইলের নামে নম্বরটি রাখা এবং একটি সিমলিংক (symlink) ব্যবহার করার অর্থ হলো, একটি আপগ্রেড মানে হলো একটি ln -sfn এবং একটি রিস্টার্ট, আর রোলব্যাক করার জন্য পুরনো নম্বর দিয়ে একই কমান্ড চালানোই যথেষ্ট।

একটি GGUF মডেল সংগ্রহ করুন এবং প্রথমে ডিস্কের জায়গা পরীক্ষা করুন

GGUF হলো একক ফাইলের ফরম্যাট যা llama.cpp লোড করে। একটি ফাইলের মধ্যেই ওয়েট (weights), টোকেনাইজার এবং মেটাডেটা থাকে, তাই আলাদা করে আর কিছু ইনস্টল করার প্রয়োজন নেই। ফাইলের নামের শেষে থাকা অংশটি হলো কোয়ান্টাইজেশন, যা ওয়েটগুলো সংরক্ষণের নির্ভুলতার মাত্রা নির্দেশ করে: Q4_K_M হলো 4-বিটের একটি মিশ্রণ, Q8_0 হলো 8-বিট, এবং f16 হলো আনকোয়ান্টাইজড হাফ-প্রিসিশন ফাইল।

কিছু ডাউনলোড করার আগে একটি সার্ভিস অ্যাকাউন্ট এবং একটি মডেল ডিরেক্টরি তৈরি করে নিন।

sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srv

সার্ভার নিজেই -hf ব্যবহার করে মডেলটি সংগ্রহ করতে পারে, যা আপনার বিল্ডটি কাজ করছে কি না তা যাচাই করার দ্রুততম উপায়।

sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
  -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080

LLAMA_CACHE ডাউনলোডের ডিরেক্টরি নির্ধারণ করে। এটি বা XDG_CACHE_HOME ছাড়া, ফাইলটি যে অ্যাকাউন্ট থেকে কমান্ড চালানো হয়েছে তার ~/.cache/llama.cpp ডিরেক্টরিতে জমা হয়; নিচের ইউনিটটি /srv/llama-কে রিড-অনলি করে দেয়। এর পরে ls -lh /srv/models চালান, কারণ ক্যাশ করা ফাইলের নাম সাধারণ ফাইলের নামের পরিবর্তে রিপোজিটরির নাম থেকে তৈরি হয়।

সার্ভিসের জন্য, আপনার পছন্দমতো একটি পাথে ডাউনলোড করুন, যাতে ইউনিট ফাইলটি একটি স্থিতিশীল লোকেশনকে নির্দেশ করতে পারে।

sudo -u llama curl -L --output-dir /srv/models -O \
  https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf

ডিস্কের জায়গা হলো প্রথম সীমাবদ্ধতা যার মুখোমুখি ব্যবহারকারীরা হন। 18 আগস্ট 2026 তারিখে যাচাইকৃত দুটি মডেলের প্রকাশিত ফাইলের আকার নিচে দেওয়া হলো।

চার্টGGUF file size on disk, published figures, 18 August 2026
এই চার্টের পেছনের ডেটা
[
  {
    "label": "gemma-3-1b-it Q4_K_M",
    "size_gb": 0.81
  },
  {
    "label": "gemma-3-1b-it Q8_0",
    "size_gb": 1.07
  },
  {
    "label": "gemma-3-1b-it f16",
    "size_gb": 2.01
  },
  {
    "label": "gpt-oss-20b MXFP4",
    "size_gb": 12.11
  }
]

1বি (1B) মডেলের 4-বিট ফাইলের আকার হলো 0.81 জিবি। কোনো কোয়ান্টাইজেশন ছাড়া একই মডেলের আকার 2.01 জিবি, অর্থাৎ ফরম্যাট নির্বাচনের কারণে ফাইলের আকার দ্বিগুণেরও বেশি পরিবর্তিত হয়। MXFP4 ফরম্যাটে একটি 20বি (20B) মডেলের আকার 12.11 জিবি, এবং এরপরও সেটিকে মেমরিতে লোড করতে হয়। আপনি যদি নির্দিষ্ট কোনো মডেল ফ্যামিলি নিয়ে কাজ করতে চান, তবে GLM-এর জন্য একই সাইজিং অনুশীলন থেকে দেখা যায় যে কীভাবে একটি বড় মডেলের আকার দ্রুত ভিপিএস (VPS)-এর ক্ষমতার বাইরে চলে যায়, যেখানে ছোট মডেলগুলো সহজেই জায়গা করে নেয়।

প্রতিটি ডাউনলোডের আগে df -h পরীক্ষা করুন। 12 জিবি ফাইল ট্রান্সফারের সময় রুট ফাইলসিস্টেম পূর্ণ হয়ে গেলে তা জার্নালসহ অন্যান্য রাইট অপারেশনকে অকেজো করে দেয়।

একবার হাতে কলমে চালান এবং পরীক্ষা করুন

sudo -u llama /usr/local/bin/llama-server \
  --model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 \
  --ctx-size 4096 --parallel 1 --threads 2 --no-webui

দ্বিতীয় একটি সেশনে সার্ভারটিকে জিজ্ঞাসা করুন যে এটি প্রস্তুত কি না।

curl -s http://127.0.0.1:8080/health

ফাইলটি লোড হওয়ার সময় আপনি HTTP 503 এবং এই বডিটি পাবেন:

{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}

যখন এটি প্রস্তুত হয়, তখন বডিটি হয় {"status": "ok" }। এরপর একটি প্রকৃত রিকোয়েস্ট পাঠান।

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'

একটি choices অ্যারে সম্বলিত JSON অবজেক্ট মানে সার্ভারটি কাজ করছে। model ফিল্ডটি সেখানে থাকে কারণ OpenAI ক্লায়েন্টরা সবসময় এটি পাঠায়। এই সার্ভারে একটি মাত্র মডেল লোড করা আছে, তাই মানটি কোনো কিছু নির্বাচন করতে ব্যবহৃত হয় না।

OpenAI-সামঞ্জস্যপূর্ণ API এবং এই পোর্টে আর যা কিছু আছে

POST /v1/chat/completions, POST /v1/completions, POST /v1/responses এবং POST /v1/embeddings হলো OpenAI-সামঞ্জস্যপূর্ণ রুট এবং GET /v1/models লোড করা মডেলের তথ্য প্রদান করে। এমবেডিংয়ের জন্য none ব্যতীত অন্য কোনো পুলিং (pooling) সক্ষম মডেল প্রয়োজন। GET /props সার্ভারের বর্তমান সেটিংস দেখায় এবং আপনি যদি --metrics ফ্ল্যাগ দিয়ে শুরু করেন, তবে GET /metrics প্রমিথিউস (Prometheus) কাউন্টারগুলো উন্মুক্ত করে। GET /health হলো পূর্বোল্লিখিত রেডিনেস চেক।

সামঞ্জস্যপূর্ণ OpenAI SDK কলের জন্য, বেস URL হিসেবে http://127.0.0.1:8080/v1 সেট করুন এবং SDK-এর প্রয়োজন হলে একটি নন-এম্পটি API কি (key) প্রদান করুন। এটি প্রতিটি SDK ফিচারের সাথে সামঞ্জস্যতার নিশ্চয়তা দেয় না। আপনি নিজে --api-key বা --api-key-file সেট না করা পর্যন্ত কোনো কিছুই এই কি (key) যাচাই করে না।

অন্য কারো থ্রুপুট দাবিকে আপনার নিজস্ব পরিকল্পনার জন্য মানদণ্ড হিসেবে ধরবেন না। CPU ইনফারেন্সের গতি নির্ভর করে কোর সংখ্যা, মেমোরি ব্যান্ডউইথ এবং আপনি যে হোস্ট শেয়ার করছেন তার অন্যান্য ব্যবহারকারীর ওপর। তাই আপনার নিজের মেশিনে প্রতি সেকেন্ডে টোকেন পরিমাপ করুন এবং সেই ফলাফলকেই সত্য হিসেবে গণ্য করুন। নয়েজি নেইবার থেকে স্টিল টাইম এখানে জেনারেশন স্পিড হিসেবে দেখা দেয়, যা প্রতি ঘণ্টায় পরিবর্তিত হতে পারে।

এটিকে 127.0.0.1-এ রাখুন এবং সামনে একটি প্রক্সি ব্যবহার করুন

--host ডিফল্টভাবে 127.0.0.1-এ সেট করা থাকে, তাই আপনি পরিবর্তন না করা পর্যন্ত সার্ভারটি বাইরে থেকে অ্যাক্সেস করা যায় না। এটি এভাবেই রাখুন। ইউজার অ্যাকাউন্ট, রিকোয়েস্ট রেট লিমিট এবং অডিট লগিংয়ের জন্য প্রক্সি ব্যবহার করুন; বিল্ট-ইন API অথেন্টিকেশনে স্ট্যাটিক কি (key) ব্যবহার করা হয়: --api-key একটি কি বা কমা দিয়ে আলাদা করা তালিকার মাধ্যমে কাজ করে এবং --api-key-file প্রতি লাইনে একটি করে কি পড়ে। একটি উন্মুক্ত ইনফারেন্স পোর্ট যে কেউ খুঁজে পেলে তা তাদের জন্য বিনামূল্যে কম্পিউট রিসোর্স হিসেবে কাজ করবে, এবং Ollama-এর ক্ষেত্রে করা একই ভুল এখানেও একই রূপ নেয়: সেলফ-হোস্টেড মডেল API সুরক্ষিত করা বিষয়টি এখানে হুবহু প্রযোজ্য।

nginx-এ TLS (transport layer security) টার্মিনেট করুন এবং loopback পোর্টে প্রক্সি করুন।

server {
    listen 443 ssl;
    server_name llm.example.com;

    location /v1/ {
        proxy_pass http://127.0.0.1:8080;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_buffering off;
        proxy_read_timeout 600s;
    }
}

proxy_buffering off স্ট্রিমিং রেসপন্সগুলো nginx পাওয়ার সাথে সাথেই ক্লায়েন্টের কাছে পাঠিয়ে দেয়। বাফারিং অন থাকলে, nginx প্রতিটি ইভেন্ট সরাসরি ফরোয়ার্ড না করে আপস্ট্রিম ডেটা বাফার করে। proxy_read_timeout 600s ধীরগতির উত্তরের জন্য সময় দেয়। এটি সার্ভার থেকে দুটি রিডের মধ্যবর্তী সর্বোচ্চ সময়, পুরো রেসপন্সের জন্য কোনো সময়সীমা নয়; তাই ডিফল্ট 60 সেকেন্ডের মধ্যে যদি কোনো নন-স্ট্রিমিং রিকোয়েস্ট কোনো ডেটা না পাঠায়, তবে সেটি টাইম-আউট হয়ে যায়। b10488-এ, স্ট্রিমিং রেসপন্সগুলো ডিফল্টভাবে প্রতি 30 সেকেন্ডে SSE কিপ-অ্যালাইভ পিং পাঠায়, এমনকি দীর্ঘ প্রম্পট প্রসেসিংয়ের সময়ও। nginx-এ Certbot এবং Let's Encrypt ব্যবহার করে সার্টিফিকেট সংগ্রহ করুন।

systemd unit

/etc/systemd/system/llama-server.service লিখুন।

[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target

[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes

[Install]
WantedBy=multi-user.target

সেটিংসগুলো Environment= লাইনে থাকে কারণ llama-server বেশিরভাগ ফ্ল্যাগের জন্য LLAMA_ARG_* ভেরিয়েবলগুলো পড়ে এবং কমান্ড লাইন আর্গুমেন্ট সংশ্লিষ্ট ভেরিয়েবলকে ওভাররাইড করে। এটি আপনাকে কনটেক্সট সাইজ পরিবর্তনের জন্য একটি নির্দিষ্ট জায়গা দেয় এবং ExecStart-কে এক নজরে পড়ার মতো সংক্ষিপ্ত রাখে।

ProtectSystem=strict এই ইউনিটের জন্য ফাইলসিস্টেমকে রিড-অনলি করে দেয়, তবে প্রাইভেট টেম্পোরারি ডিরেক্টরিগুলো এর ব্যতিক্রম। এটি ঠিক আছে কারণ সার্ভার শুধুমাত্র মডেলটি রিড করে। আপনি যদি -hf ব্যবহার করে সার্ভিসটিকে মডেল ডাউনলোড করতে দিতে চান, তবে ReadWritePaths=/srv/models এবং Environment=LLAMA_CACHE=/srv/models যোগ করুন। ProtectHome=yes ডিরেক্টরি /home, /root এবং /run/user-কে লুকিয়ে ফেলে; এটি /srv/llama-এ থাকা সার্ভিস অ্যাকাউন্টের হোম ডিরেক্টরি লুকায় না, তবে ProtectSystem=strict সেই ডিরেক্টরিটিকে রিড-অনলি করে দেয়।

sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pager

enable --now হলো সেই অংশ যা মানুষ এড়িয়ে যায়। enable ছাড়া, পরবর্তী রিবুটের পর সার্ভারটি আর থাকবে না। আপনি যদি সার্ভিসের আশেপাশে কোনো নির্ধারিত কাজ করতে চান, যেমন নতুন কোনো রিলিজের জন্য প্রতি রাতে চেক করা, তবে একটি systemd service এবং timer হলো এর সঠিক পদ্ধতি।

OOM ঘটার আগেই সিদ্ধান্ত নিন কী ঘটবে

মেমরি ব্যবহারের দুটি অংশ আছে এবং একটি সীমার অধীনে তারা ভিন্নভাবে আচরণ করে। মডেল ফাইলটি ডিফল্টভাবে মেমরি-ম্যাপ করা থাকে, তাই এর পেজগুলো ফাইল-ব্যাকড: কার্নেল এগুলোকে ড্রপ করতে পারে এবং প্রয়োজনে ডিস্ক থেকে পুনরায় পড়তে পারে। KV cache, যা প্রতিটি সক্রিয় কথোপকথনের জন্য সার্ভার কর্তৃক সংরক্ষিত প্রতি-টোকেন স্টেট, তা হলো অ্যানোনিমাস মেমরি। এটি ড্রপ করা যায় না, তাই এই মেমরি ব্যবহারের কারণেই প্রসেসটি কিল (kill) হয়ে যায়।

এই কারণেই ইউনিটের দুটি লিমিট ভিন্ন কাজ করে। MemoryHigh=3G হলো একটি সফট লিমিট: এর উপরে গেলে কার্নেল cgroup-এর ওপর রিক্লেইম প্রেশার তৈরি করে, ফলে ম্যাপ করা মডেল পেজগুলো ইভিক্ট (evict) হয় এবং পরবর্তী টোকেনের সময় ডিস্ক থেকে পুনরায় পড়া হয়। সার্ভিসটি কাজ চালিয়ে যায় কিন্তু ধীরগতির হয়ে পড়ে। MemoryMax=3500M হলো হার্ড সিলিং: কার্নেল প্রথমে যা সম্ভব রিক্লেইম করে, এবং যদি ব্যবহার লিমিটের নিচে না আনা যায় তবে ইউনিটের ভেতরেই OOM killer রান করে, এবং জার্নালে তা স্পষ্টভাবে দেখা যায়।

llama-server.service: A process of this unit has been killed by the OOM killer.

--ctx-size নিজে সেট করুন। ডিফল্ট হলো 0, যার অর্থ হলো মডেলটি যে কনটেক্সট নিয়ে ট্রেনিং করা হয়েছে তা ব্যবহার করা, এবং আধুনিক লং-কনটেক্সট মডেলগুলো স্টার্টআপের সময় খুব বড় KV cache বরাদ্দ করে। ফলে একটি রিকোয়েস্ট সার্ভ করার আগেই সার্ভিসটি বন্ধ হয়ে যায়। --parallel নিজে থেকে সেই খরচ গুণিতক হারে বাড়ায় না: --ctx-size হলো KV cache-এর মোট আকার, যা প্রতিটি স্লটের মধ্যে শেয়ার করা হয়, তাই --ctx-size 4096 --parallel 4 প্রতিটি কথোপকথনকে প্রায় 1,024 টোকেন দেয়, মেমরি চার গুণ করার পরিবর্তে। প্রতিটি স্লটকে পূর্ণ কনটেক্সট দেওয়ার অর্থ হলো --ctx-size-কে স্লট সংখ্যা দিয়ে গুণ করা, এবং এর সাথে মেমরিও বৃদ্ধি পায়, তাই যতক্ষণ না আপনার কনকারেন্সির প্রয়োজন হচ্ছে, --parallel-কে 1-এ রাখুন।

Restart=on-failure থাকলে একটি কিল হওয়া সার্ভিস পুনরায় চালু হয়। Systemd শুধুমাত্র তখনই start request repeated too quickly দিয়ে রিস্টার্ট করা বন্ধ করে যখন স্টার্টের সংখ্যা কনফিগার করা রেট লিমিট ছাড়িয়ে যায়; এখানে পাঁচ সেকেন্ডের রিস্টার্ট ডিলে দশ সেকেন্ডে পাঁচটি স্টার্টের ডিফল্ট লিমিটে পৌঁছায় না। একটি চলমান রিস্টার্ট লুপ বন্ধ করতে sudo systemctl stop llama-server ব্যবহার করুন, লিমিট বা কনটেক্সট সাইজ ঠিক করুন, তারপর sudo systemctl reset-failed llama-server দিয়ে যেকোনো ফেইলড স্টেট ক্লিয়ার করুন এবং পুনরায় স্টার্ট করুন।

রিকোয়েস্ট চলার সময় systemctl show llama-server -p MemoryCurrent দিয়ে প্রকৃত সংখ্যাটি পর্যবেক্ষণ করুন। systemd দিয়ে প্রসেস মেমরি এবং CPU সীমাবদ্ধ করা এই নির্দেশিকাগুলো নিয়ে বিস্তারিত আলোচনা করে।

এই ওয়ার্কলোডের জন্য সোয়াপ (swap) এড়িয়ে চলুন। সোয়াপ-আউট হওয়া মডেল প্রতিটি টোকেনকে র‍্যান্ডম-অফসেট ডিস্ক রিডে পরিণত করে। মডেল ফাইলটিকে মেমরি-ম্যাপ করলে কম ক্ষতিতে একই ফলাফল পাওয়া যায়, কারণ কার্নেল সরাসরি ফাইল থেকে প্রয়োজনীয় পেজগুলো পড়ে নেয়।

যেখানে Ollama একটি ভালো সমাধান

এটি একটি গুরুত্বপূর্ণ সিদ্ধান্ত নেওয়ার মুহূর্ত। যখন আপনি এমন একটি প্রসেস চান যেখানে আপনার সেট করা ফ্ল্যাগ, আপনার পিন করা বিল্ড এবং আপনার বেছে নেওয়া ফাইল থাকবে, এবং যেখানে কোনো কিছু পরিবর্তন হবে না কারণ অন্য কোনো প্রসেস চলছে না, তখন llama-server বেছে নিন।

যখন আপনি মডেল ম্যানেজমেন্ট চান, তখন Ollama বেছে নিন: যেমন নাম দিয়ে মডেল পুল করা, ডিস্কে একাধিক মডেল রাখা, অব্যবহৃত মডেল আনলোড করা এবং রি-বিল্ড না করে একটি কমান্ডের মাধ্যমে আপগ্রেড করা। এটি এমন একটি কাজ যা আপনাকে অন্যথায় নিজে স্ক্রিপ্ট করে করতে হতো। VPS-এ Ollama চালানো হলো একই কাজের একটি ভিন্ন পদ্ধতি। উভয়ই OpenAI-compatible API প্রদান করে, তবে যেকোনো একটিতে যাওয়ার আগে আপনার ক্লায়েন্ট যে এন্ডপয়েন্ট এবং ফিচারগুলো ব্যবহার করে তা পরীক্ষা করে নিন।

একটি পিন করা বিল্ড আপগ্রেড করা

bNNNNN-কে সেই nightly build ট্যাগ দিয়ে প্রতিস্থাপন করুন যেটিতে আপনি পরিবর্তন করছেন; অফিসিয়াল রিলিজ ট্যাগের ক্ষেত্রে vX.Y.Z ব্যবহার করুন।

cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-server

পুরানো বাইনারিটি ডিস্কে থেকে যায়, তাই রোলব্যাক করার জন্য কেবল ln -sfn-কে llama-server-b10488-এ ফিরিয়ে নিয়ে একবার রিস্টার্ট করলেই হয়। পরিবর্তন করার আগে রিলিজ নোটগুলো পড়ে নিন। GGUF ফাইলগুলো ভার্সনযুক্ত, কিন্তু ব্যাকওয়ার্ড কম্প্যাটিবিলিটি সব ক্ষেত্রে কাজ করে না: বর্তমান লোডার GGUFv1 গ্রহণ করে না। ফ্ল্যাগগুলোর নামও পরিবর্তিত হয়: b10488-এ, --mlock এবং --no-mmap-কে আগেই --load-mode-এর সুবিধার্থে বাতিল (deprecated) করা হয়েছিল, এবং 11 অক্টোবর 2026 থেকে বর্তমান সার্ভার ডকুমেন্টেশনে সেগুলো আর তালিকাভুক্ত নেই। তাই যে unit file-এ কোনো বাতিল করা ফ্ল্যাগ থাকে, সেটি start করার সময় unrecognised argument মেসেজ দিয়ে ব্যর্থ হয়। ডিফল্ট সেটিংসও পরিবর্তিত হয়: বর্তমান বিল্ডগুলো ডিফল্টভাবে 9931 পোর্টে লিসেন করে, যেখানে b10488 8080 পোর্ট ব্যবহার করত। এই কারণেই প্রতিটি কমান্ড এবং এখানে থাকা unit ফাইলটিতে পোর্টটি স্পষ্টভাবে নির্ধারণ করে দেওয়া হয়েছে।

ব্যর্থতার ধরন এবং যে বার্তাগুলো আপনি দেখতে পাবেন

error while loading shared libraries: libllama.so বাইনারিটি অন্য কোথাও কপি করার পর। ডিফল্ট বিল্ড প্রক্রিয়ায় এর পাশাপাশি শেয়ারড লাইব্রেরি তৈরি হয়। -DBUILD_SHARED_LIBS=OFF ব্যবহার করে পুনরায় বিল্ড করুন অথবা পুরো build/bin ডিরেক্টরিটি কপি করুন।

Illegal instruction (core dumped) স্টার্টআপের সময় বা প্রথম রিকোয়েস্টের সময়। বাইনারিটি GGML_NATIVE চালু রেখে এমন একটি CPU-এর জন্য কম্পাইল করা হয়েছে যা বর্তমান মেশিনের থেকে ভিন্ন। এই মেশিনে পুনরায় বিল্ড করুন অথবা -DGGML_NATIVE=OFF দিয়ে কনফিগার করুন।

c++: fatal error: Killed signal terminated program cc1plus বিল্ড চলাকালীন। অতিরিক্ত মেমরি ব্যবহারের কারণে কম্পাইলারটিকে বন্ধ করে দেওয়া হয়েছে। -j কমিয়ে দিন অথবা বিল্ডের জন্য সোয়াপ (swap) যোগ করুন এবং কাজ শেষে তা সরিয়ে ফেলুন।

curl: (7) Failed to connect ... Connection refused আপনার ল্যাপটপ থেকে। এটি সঠিক: সার্ভারটি VPS-এর লুপব্যাক অ্যাড্রেসে লিসেন করছে। VPS-এর ভেতরেই পরীক্ষা করুন অথবা ssh -L 8080:127.0.0.1:8080 user@your-vps দিয়ে একটি টানেল খুলুন এবং স্থানীয়ভাবে http://127.0.0.1:8080 ব্যবহার করুন।

HTTP 503 এবং "message":"Loading model" রিস্টার্টের পর প্রথম কয়েক সেকেন্ড বা মিনিট। মাল্টি-গিগাবাইট ফাইল পড়তে সময় লাগে এবং প্রসেস শুরু হওয়ার সাথে সাথেই systemd ইউনিটটিকে সক্রিয় হিসেবে রিপোর্ট করে, যদিও মডেলটি তখনো মেমরিতে লোড হয়নি।

রিকোয়েস্ট হ্যাং হয়ে যায় এবং পরে 504 Gateway Time-out রিটার্ন করে। সার্ভার proxy_read_timeout-এর চেয়ে বেশি সময় ধরে কোনো রেসপন্স পাঠায়নি, যা নন-স্ট্রিমিং রিকোয়েস্টের ক্ষেত্রে ঘটতে পারে। b10488-এ স্ট্রিমিং রিকোয়েস্টগুলো দীর্ঘ প্রম্পট প্রসেসিংয়ের সময় ডিফল্টভাবে প্রতি 30 সেকেন্ডে কিপ-অ্যালাইভ পিং পাঠায়। proxy_read_timeout বাড়িয়ে দিন এবং proxy_buffering বন্ধ করুন যাতে টোকেনগুলো তৈরি হওয়ার সাথে সাথেই ক্লায়েন্টের কাছে পৌঁছায়।

ইউনিটটি ফ্ল্যাপ করে এবং তারপর start request repeated too quickly দিয়ে বন্ধ হয়ে যায়। এর স্টার্টআপ কনফিগার করা রেট লিমিট অতিক্রম করেছে। OOM কিলার লাইনটি দেখতে journalctl -u llama-server চেক করুন, তারপর --ctx-size কমিয়ে দিন অথবা MemoryMax বাড়িয়ে দিন।

FAQ

আমার VPS-এ কি llama.cpp-এর server নাকি Ollama চালানো উচিত?

আপনি যখন একটি নির্দিষ্ট build ব্যবহার করতে চান, সুনির্দিষ্ট flag পাস করতে চান এবং এমন একটি মডেল রাখতে চান যা আপনার অজান্তে পরিবর্তিত হবে না, তখন llama-server চালান। মডেল ম্যানেজমেন্ট এবং এক-কমান্ডে আপগ্রেডের সুবিধার জন্য Ollama ব্যবহার করুন, কারণ নাম দিয়ে মডেল পুল করা, ডিস্কে একাধিক মডেল রাখা এবং অব্যবহৃত মডেল আনলোড করার কাজগুলো আপনাকে অন্যথায় স্ক্রিপ্ট লিখে করতে হতো। উভয়ই OpenAI-compatible API প্রদান করে, তবে একটি থেকে অন্যটিতে যাওয়ার আগে আপনার ক্লায়েন্ট যে endpoint এবং ফিচারগুলো ব্যবহার করে তা যাচাই করে নেওয়া প্রয়োজন।

আমার কোন llama.cpp version-টি pin করা উচিত?

যেকোনো tag যা আপনি নিজে build এবং test করেছেন। Nightly development build-গুলো b10488-এর মতো build-number tag ব্যবহার করে, যা 18 আগস্ট 2026-এ রিলিজ হয়েছে; অফিসিয়াল রিলিজগুলো semantic version tag, যেমন vX.Y.Z ব্যবহার করে। --branch <tag> দিয়ে ক্লোন করুন, সেই tag সম্বলিত ফাইলনামে বাইনারিটি ইনস্টল করুন এবং একটি symlink তার দিকে নির্দেশ করুন, যাতে আপগ্রেড এবং রোলব্যাক মাত্র একটি কমান্ডেই করা যায়।

llama-server-এর জন্য কতটুকু RAM প্রয়োজন?

GGUF ফাইলের সাইজ থেকে শুরু করুন, তারপর এর সাথে KV cache যোগ করুন, যা --ctx-size অনুযায়ী বৃদ্ধি পায়। এই সংখ্যাটি হলো মোট token budget যা সমস্ত --parallel স্লটের মধ্যে শেয়ার করা হয়, তাই প্রতিটি স্লটে একই context বজায় রাখতে চাইলে বেশি স্লটের জন্য বড় --ctx-size প্রয়োজন। প্রকাশিত পরিসংখ্যান আপনার নিজের সেটআপ পরিমাপের বিকল্প নয়, কারণ মোট চাহিদা মডেল, কোয়ান্টাইজেশন এবং আপনার অনুমোদিত context-এর ওপর নির্ভর করে। রিকোয়েস্ট চলাকালীন systemctl show llama-server -p MemoryCurrent চালান এবং যে সংখ্যাটি দেখতে পান তা ব্যবহার করুন।

/health কেন "Loading model" মেসেজসহ 503 error দেয়?

প্রসেসটি শুরু হয়েছে কিন্তু মডেল ফাইলটি এখনো মেমরিতে লোড হয়নি, তাই সার্ভার {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}} রেসপন্স দেয়। প্রতিটি রিস্টার্টের পর এটি স্বাভাবিক এবং ফাইলটি পড়া শেষ না হওয়া পর্যন্ত এই অবস্থা থাকে। এটি তখনই সমস্যা হয়ে দাঁড়ায় যখন কোনো ক্লায়েন্ট বা প্রক্সি সেই প্রথম 503-কে চূড়ান্ত ব্যর্থতা হিসেবে গণ্য করে। /health পোল করতে থাকুন যতক্ষণ না এটি {"status": "ok" } রিটার্ন করে।

আমি কি সরাসরি ইন্টারনেট থেকে llama-server-কে expose করতে পারি?

এটিকে 0.0.0.0-এ bind করবেন না এবং পোর্ট ওপেন করবেন না। অ্যাকাউন্ট, রিকোয়েস্ট রেট লিমিট এবং অডিট লগিংয়ের জন্য প্রক্সি ব্যবহার করুন; বিল্ট-ইন API অথেন্টিকেশন --api-key বা --api-key-file দিয়ে সেট করা স্ট্যাটিক কি (key) ব্যবহার করে। ডিফল্ট 127.0.0.1 bind বজায় রাখুন, সামনে TLS সহ nginx বসান এবং --api-key-ও সেট করুন, যাতে প্রক্সি কনফিগারেশনে একটি ভুলের কারণে মডেলটি সবার জন্য উন্মুক্ত না হয়ে যায়।

এই লেখাটি কি কাজে লেগেছে?