llama.cpp server-এ release কীভাবে pin করবেন
llama.cpp-এ `bNNNN` ও `v0.6.0` tag-এর পার্থক্য জানুন, GGUF ও quant-এর পাশে tag লিখে রাখুন এবং undo করা যায় এমন upgrade drill তৈরি করুন।
llama.cpp-এর versioning-এ কী পরিবর্তন হয়েছে
llama.cpp release pin করার অর্থ হলো একটি নির্দিষ্ট named tag দিয়ে build করা এবং model file-এর পাশে সেই tag-এর নাম লিখে রাখা। Tag নিজে থেকে পরিবর্তিত হয় না। তাই server আজ যা তৈরি করছে, আগামীকালও তা-ই তৈরি করবে। বহু বছর বেছে নেওয়ার মতো tag-এর একটিই ধরন ছিল: b10502-এর মতো একটি build number, যা master থেকে স্বয়ংক্রিয়ভাবে তৈরি হতো। 2026 সাল থেকে দ্বিতীয় একটি ধরন চালু হয়েছে, যেমন v0.6.0-এর মতো version tag। এই দুটি track একই গতিতে এগোয় না। master-এর প্রায় প্রতিটি commit-এর পর build tag তৈরি হয়। Version tag একজন maintainer হাতে ধীরে ধীরে তৈরি করেন। প্রতিটি version release-এ তার সঙ্গে মিলে যাওয়া build tag-এর নাম উল্লেখ থাকে।
Version tag শুরুতে পরীক্ষামূলক ছিল। 18 August 2026-এ প্রকাশিত v0.1.2-এর release notes-এ এক লাইনে তা বলা হয়েছিল:
Semantic versioning এখনও কাজ চলছে। আরও তথ্য পাওয়া যাবে https://github.com/ggml-org/ggml/discussions/1579-এ
তিন দিন পরে v0.2.0 বিষয়টি নির্দিষ্ট করে। এর release notes-এ বলা হয়েছে, এই release “llama.cpp-এর জন্য ধারাবাহিক semantic versioning-এর সূচনা চিহ্নিত করে”। সেখানে vX.Y.Z tag-কে ধীর release cadence-সহ stable version হিসেবে বর্ণনা করা হয়েছে, যা downstream distribution এবং সাধারণ ব্যবহারকারীদের জন্য সুপারিশ করা হয়। b[NUM] tag-কে latest functionality-সহ nightly বা dev build হিসেবে বর্ণনা করা হয়েছে, যা developer এবং technical user-দের জন্য সুপারিশ করা হয়। 14 November 2026 অনুযায়ী সর্বশেষ version tag হলো v1.0.0। এটি 13 November-এ প্রকাশিত হয়েছে এবং এর notes-এ মিলে যাওয়া build tag হিসেবে b12359-এর নাম দেওয়া হয়েছে।
ওই link-এর পেছনে থাকা ggml discussion-এ এই scheme-এর যুক্তিগুলো এখনও সংরক্ষিত আছে। 21 October 2026 অনুযায়ী discussion-টি এখনও feedback-এর জন্য খোলা। Version numbering এখন 1.x-এ পৌঁছেছে। তাই প্রতিটি পরিবর্তনের আগে notes পড়ুন। কোন digit পরিবর্তিত হয়েছে তা দেখে upgrade-এর গুরুত্ব বিচার করবেন না।
Build tag-এর number-এর কোনো version-সংক্রান্ত অর্থ নেই। এটি commit count থেকে আসে। তাই আপনার setup-এ প্রাসঙ্গিক কোনো পরিবর্তন না হলেও number নিজে থেকেই বাড়তে থাকে।
যে সার্ভারে কোনো সার্ভিস চলছে সেখানে কখনোই master branch থেকে build করবেন না
git pull কমান্ডটি চালানোর পর নতুন করে build করলে গত কয়েক ঘণ্টায় যা কিছু যুক্ত হয়েছে তার সবই চলে আসবে। ল্যাপটপের ক্ষেত্রে এটি ঠিক আছে। কিন্তু সার্ভারের ক্ষেত্রে, কোনো আচরণের পরিবর্তন হলে গুরুত্বপূর্ণ প্রশ্নের উত্তর দেওয়ার ক্ষমতা আপনার থাকবে না: বর্তমানে কী চলছে এবং গত সপ্তাহে কী চলছিল। মডেলের আউটপুট এবং এর গতি—উভয়ই build-এর সাথে পরিবর্তিত হয়। গত মঙ্গলবার উত্তরগুলো কেন খারাপ হয়েছে, এই অভিযোগের কোনো উত্তর পাওয়া যাবে না যদি মঙ্গলবারের commit-এর কোনো রেকর্ড না থাকে।
এর পরিবর্তে একটি নির্দিষ্ট tag ব্যবহার করুন। প্রজেক্ট কর্তৃপক্ষ আপনার জন্য tag তৈরি করে রাখে এবং Windows CUDA runtime bundle (cudart-llama-bin-win-...) ছাড়া, প্রি-বিল্ট রিলিজ আর্কাইভগুলোর ফাইলের নামেই build tag উল্লেখ থাকে।
llama.cpp-এর কোন tag-এ pin করা উচিত?
নির্দিষ্ট একটি পরিচিত অবস্থায় থাকতে চাইলে build tag pin করুন। এটির দীর্ঘ ইতিহাস রয়েছে, release archive-গুলোর নামকরণ এই track অনুসারে করা হয়, এবং অধিকাংশ bug report-এ এটিই উল্লেখ করা থাকে। তাই build number অন্য কারও build-এর সঙ্গে তুলনা করার সবচেয়ে সহজ উপায়।
আপনি যদি ইচ্ছাকৃতভাবে নির্ধারিত কমসংখ্যক অবস্থান অনুসরণ করতে চান, তাহলে version tag pin করুন। Downstream distribution-এর জন্য project এখন এই track-ই সুপারিশ করে। প্রতিটি version release-এর সঙ্গে সংশ্লিষ্ট build tag উল্লেখ করা থাকে, এবং prebuilt binary-গুলো ওই build tag-এই থাকে। তাই version-এর পাশে build number-ও লিখে রাখুন। Numbering 1.x-এ পৌঁছালেও পরিবর্তন করার আগে notes পড়ুন।
দুই ক্ষেত্রেই operational rule একই। tag string একটি file-এ থাকে, ওই string পরিবর্তিত হলেই কেবল box rebuild করা হয়, এবং পরিবর্তনটি ইচ্ছাকৃতভাবে নেওয়া একটি সিদ্ধান্ত।
পিন করা ট্যাগ বিল্ড করুন
sudo apt update
sudo apt install -y build-essential cmake git
git clone --depth 1 --branch b10502 https://github.com/ggml-org/llama.cpp.git ~/src/llama.cpp-b10502
cd ~/src/llama.cpp-b10502
git describe --tagsgit describe --tags কমান্ডটি চালালে b10502 আউটপুট আসা উচিত। একটি ট্যাগে shallow clone করলে শুধুমাত্র সেই নির্দিষ্ট কমিটটিই থাকে, এর পরের কোনো পরিবর্তন সেখানে আসে না। ফলে কেউ ভুলবশত git pull কমান্ড চালিয়ে এটিকে সরিয়ে ফেলতে পারবে না। যদি কনফিগারেশন ধাপটি কোনো ডিপেন্ডেন্সি না পাওয়ার কারণে থেমে যায়, তবে প্রয়োজনীয় প্যাকেজটি ইনস্টল করে আবার চেষ্টা করুন।
আপনার হার্ডওয়্যারের প্রয়োজন অনুযায়ী অপশন ব্যবহার করে বিল্ড করুন। শুধুমাত্র CPU-এর জন্য:
cmake -B build
cmake --build build --config Release -j $(nproc)NVIDIA GPU-এর জন্য, যার আগে CUDA toolkit ইনস্টল করা থাকতে হবে:
cmake -B build -DGGML_CUDA=ON
cmake --build build --config Release -j $(nproc)শুধুমাত্র CPU-যুক্ত বক্সে OpenBLAS-এর জন্য:
cmake -B build -DGGML_BLAS=ON -DGGML_BLAS_VENDOR=OpenBLAS
cmake --build build --config Release -j $(nproc)বাইনারি ফাইলগুলো build/bin ডিরেক্টরিতে জমা হয়, যেখানে এগুলো লোড করার জন্য প্রয়োজনীয় শেয়ার্ড লাইব্রেরিগুলোও (libllama.so এবং libggml ফাইল) থাকে। ইনস্টল করার আগে বিল্ডটি সঠিকভাবে কাজ করছে কি না তা নিশ্চিত করুন:
./build/bin/llama-server --versionপুরো ডিরেক্টরিটিকে ট্যাগের নামে একটি পাথে ইনস্টল করুন, তারপর একটি সিম্বলিক লিঙ্ক (symlink) সেটির দিকে নির্দেশ করুন:
sudo install -d /opt/llama.cpp/b10502
sudo cp -a build/bin /opt/llama.cpp/b10502/bin
sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/currentশুধুমাত্র একটি ফাইল নয়, পুরো ডিরেক্টরিটি কপি করুন। একটি একক llama-server ফাইল প্রথমবার চালানোর সময় error while loading shared libraries: libllama.so: cannot open shared object file এর কারণে ব্যর্থ হবে, কারণ এর প্রয়োজনীয় লাইব্রেরিগুলো ওই ডিরেক্টরির ভেতরেই থাকে।
সার্ভিসটিকে সবসময় সিম্বলিক লিঙ্কের দিকে নির্দেশ করুন, সরাসরি ট্যাগ ডিরেক্টরির দিকে নয়:
[Service]
ExecStart=/opt/llama.cpp/current/bin/llama-server -m /srv/models/model-q4_k_m.gguf -c 8192 -ngl 99 --host 127.0.0.1 --port 8080systemd প্রসেস শুরু করার সময় সিম্বলিক লিঙ্কটি রিজলভ করে, তাই বিল্ড পরিবর্তন করার জন্য শুধু সিম্বলিক লিঙ্কের টার্গেট পরিবর্তন করে sudo systemctl restart llama-server কমান্ডটি দিলেই হয়। ইউনিট ফাইলের বাকি অংশ এবং এর সামনের রিভার্স প্রক্সি সম্পর্কে বিস্তারিত জানতে VPS-এ llama.cpp সার্ভার সেটআপের পূর্ণাঙ্গ নির্দেশিকা দেখুন।
GGUF ফাইল এবং কোয়ান্টাইজেশনের পাশে ট্যাগটি রেকর্ড করুন
আউটপুট কী হবে তা নির্ধারণের ক্ষেত্রে বিল্ড এবং মডেল ফাইল—উভয়ই সমান গুরুত্বপূর্ণ। GGUF (GGML universal file format) হলো সেই কন্টেইনার যাতে মডেলের ওয়েটগুলো থাকে। একই মডেল বিভিন্ন কোয়ান্টাইজেশন লেভেলে প্রকাশিত হয়, তাই একই ট্যাগে থাকা দুটি সার্ভারের আউটপুট ভিন্ন হতে পারে যদি একটিতে Q4_K_M ফাইল এবং অন্যটিতে Q8_0 ফাইল থাকে। সেটআপটি হুবহু পুনর্নির্মাণের জন্য প্রয়োজনীয় সবকিছু একটি ছোট ফাইলে মডেলের পাশে সংরক্ষণ করুন:
tag: b10502
commit: 0adcc3b
model_file: model-q4_k_m.gguf
model_sha256: <output of sha256sum>
quant: Q4_K_M
cmake_args: -DGGML_CUDA=ON
cuda: <output of nvcc --version>
bench_cmd: llama-bench -p 512 -n 128 -r 5
bench_result: <fill in from the run on this box>পিন করা চেকআউটের ভেতরে git rev-parse --short HEAD ব্যবহার করে কমিটটি সংগ্রহ করুন। sha256sum model-q4_k_m.gguf ব্যবহার করে চেকসাম সংগ্রহ করুন এবং ডাউনলোডের সময় প্রকাশকের মানের সাথে তা মিলিয়ে দেখুন, কারণ প্রকাশিত চেকসামের সাথে ডাউনলোড যাচাই করা ফাইলটি অসম্পূর্ণ হওয়ার আগেই তা শনাক্ত করে, যা পরবর্তীতে বিভ্রান্তিকর বাগ তৈরি করা থেকে রক্ষা করে। কোয়ান্টাইজেশন লেভেল নিজে থেকে উত্তরগুলোকে কতটা পরিবর্তন করে তা একটি ভিন্ন প্রশ্ন, এবং প্রতিটি কোয়ান্টাইজেশন লেভেলের খরচ অংশে তা বিস্তারিত আলোচনা করা হয়েছে।
সার্ভার অচল না করে কীভাবে আপগ্রেড করবেন?
আপগ্রেড প্রক্রিয়াটি একটি ড্রিল বা অনুশীলনের মতো করে চালান। পুরনোটির পাশাপাশি নতুন ট্যাগটি বিল্ড করুন, উভয়টির পরিমাপ নিন এবং নতুনটি সফলভাবে কাজ শুরু না করা পর্যন্ত পুরনোটি রেখে দিন।
- নতুন ট্যাগটি তার নিজস্ব ডিরেক্টরিতে ক্লোন করুন। পুরনো চেকআউট পুনরায় ব্যবহার করবেন না।
- ম্যানিফেস্টে রেকর্ড করা একই cmake আর্গুমেন্ট ব্যবহার করে এটি বিল্ড করুন।
- একই মডেল ফাইলের বিপরীতে উভয় বিল্ডে
llama-benchচালান, যেখানে প্রম্পটের দৈর্ঘ্য এবং রিপিটেশন কাউন্ট একই থাকবে। - এমন একটি প্রম্পট পাঠান যার উত্তর আপনার জানা আছে এবং উভয় সার্ভারের উত্তর মিলিয়ে দেখুন।
- সিমলিংক (symlink) পরিবর্তন করুন, সার্ভিসটি রিস্টার্ট করুন এবং পুরনো ডিরেক্টরিটি ডিস্কে রেখে দিন।
/opt/llama.cpp/b10502/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5
/opt/llama.cpp/<new tag>/bin/llama-bench -m /srv/models/model-q4_k_m.gguf -p 512 -n 128 -r 5llama-bench প্রতিটি টেস্টের জন্য একটি করে সারি প্রিন্ট করে, যেখানে একটি backend কলাম, একটি ngl কলাম এবং স্ট্যান্ডার্ড ডেভিয়েশনসহ টোকেন পার সেকেন্ডের কলাম থাকে। দুটি বিল্ডের একই সারির মধ্যে তুলনা করুন; একটি বিল্ডের প্রম্পট সারির সাথে অন্যটির জেনারেশন সারির তুলনা করবেন না। ভিন্ন প্রম্পট দৈর্ঘ্যে নেওয়া পরিমাপ ভিন্ন ফলাফল দেয়, আর এই কারণেই প্রতিবার একই পদ্ধতিতে টোকেন পার সেকেন্ড পরিমাপ করা সংখ্যার চেয়েও বেশি গুরুত্বপূর্ণ।
রোলব্যাক করা মাত্র দুটি কমান্ডের কাজ, এবং এটি কেবল তখনই কাজ করে যখন পুরনো ডিরেক্টরিটি সেখানে বিদ্যমান থাকে:
sudo ln -sfn /opt/llama.cpp/b10502 /opt/llama.cpp/current
sudo systemctl restart llama-serverঅন্তত আগের বিল্ডটি সংরক্ষণ করে রাখুন। এটি মডেল ফাইলটি যে পরিমাণ ডিস্ক স্পেস ব্যবহার করে, তার তুলনায় খুবই সামান্য জায়গা নেয়।
llama.cpp upgrade করলে কী কী ভেঙে যেতে পারে
কোনো model file আর load হয় না। সাধারণত এই কারণেই মানুষ upgrade করে: নতুন প্রকাশিত model এমন architecture ব্যবহার করে, যা pinned build চেনে না। তাই এটি কখনো load হয় না। startup-এর সময় llama-server বন্ধ হয়ে যায়। 21 October 2026 অনুযায়ী server source এই ঘটনার জন্য failed to load model, '/srv/models/model-q4_k_m.gguf' log করে; এতে একটি comma এবং single quote-এর মধ্যে path থাকে। এটি যে শেষ line print করে, সেটি exiting due to model loading error; এতে কোনো path থাকে না। সম্পূর্ণ line-এর বদলে journal-এ failed to load model খুঁজুন। এর ঠিক আগের print হওয়া line-গুলো পড়ুন। এর মধ্যে loader-এর নিজস্ব error loading model: line-ও থাকবে। এগুলো থেকে বোঝা যায় loader কত দূর এগিয়েছিল এবং কেন থেমেছে। GGUF header-এ format version-ও থাকে। spec-এর বর্তমান value 3। version 2 length field-গুলোকে 32 bit থেকে 64 bit করেছিল। তবে বাস্তবে unknown architecture name-এর কারণে format version পরীক্ষা করার অনেক আগেই loading বন্ধ হয়ে যায়। সমাধান হলো একটি newer tag ব্যবহার করা। কোন tag ব্যবহার করেছেন, তা নির্বাচন করে লিখে রাখুন।
কোনো server flag-এর নাম বদলে যায় বা flag-টি deprecated হয়। অচেনা flag startup-এর সময় llama-server বন্ধ করে দেয়। এটি উপেক্ষা করা হয় না। systemd-এর অধীনে এর ফলে এমন দেখায় যে service শুরু হয়ে আবার loop-এর মধ্যে বন্ধ হয়ে যাচ্ছে। আসল message journalctl -u llama-server -n 50-এ দেখা যায়। 19 August 2026 অনুযায়ী server documentation-এ --mlock এবং --mmap-কে deprecated দেখিয়ে -lm, --load-mode ব্যবহারের নির্দেশ দেওয়া হয়েছিল। 21 October 2026 অনুযায়ী server documentation বা master-এর argument list-এ কোনো flag-ই আর নেই। তাই এই আচরণ --load-mode দিয়ে বজায় রাখুন। এটি auto (default), none, mmap, mlock, mmap+mlock এবং dio গ্রহণ করে। GPU offload flag হিসেবে -ngl, --gpu-layers, --n-gpu-layers documentation-এ উল্লেখ আছে। তাই পুরোনো guide-এ থাকা দীর্ঘ spelling এখনও গ্রহণ করা হয়। Default-ও বদলায়। v0.7.0 থেকে llama-server default হিসেবে 8080-এর বদলে port 9931-এ listen করে। Docker image-গুলো container-এর ভিতরে 8080 ব্যবহার করে। তাই unit file-এ --port বাদ থাকলে service আপনার reverse proxy যে port-এ আশা করছে, সেখানে আর response দেবে না। v1.0.0 release deprecated --defrag-thold flag-টিও সরিয়ে দেয়। Symlink পরিবর্তন করার আগে /opt/llama.cpp/<new tag>/bin/llama-server --help চালান এবং unit file-এর প্রতিটি flag-এর সঙ্গে এর output মিলিয়ে দেখুন।
কোনো build option-এর নাম বদলে যায়। CMake option-গুলোর prefix LLAMA_ থেকে GGML_ prefix-এ পরিবর্তিত হয়েছে। root CMakeLists.txt-এ এখনও এই mapping রয়েছে। LLAMA_CUBLAS এখন GGML_CUDA-কে replacement হিসেবে উল্লেখ করে একটি fatal error তৈরি করে। অন্যদিকে LLAMA_CUDA এবং LLAMA_METAL warning তৈরি করে এবং আপনার হয়ে সেগুলো translate করে। configure step-এ build script থেমে যাওয়া ভালো ফল। নীরব ব্যর্থতা আরও খারাপ। ভুল করে -DGGML_CUDA=ON বাদ দিলে build সফল হয়, server শুরু হয়, এবং সবকিছু CPU-তে চলে। llama-bench এটি সঙ্গে সঙ্গে দেখায়, কারণ backend column-এ CPU লেখা থাকে।
Accelerator build portable নয়। 19 August 2026 অনুযায়ী build tag-এর সঙ্গে সংযুক্ত Linux asset-গুলোর মধ্যে x64, arm64 এবং s390x-এর জন্য CPU, Vulkan, SYCL এবং OpenVINO variant ছিল। Linux-এর জন্য কোনো CUDA archive ছিল না। এরপর এটি পরিবর্তিত হয়েছে। 21 October 2026 অনুযায়ী b11669, অর্থাৎ v0.7.0-এর পেছনের build tag, এখন x64-এর জন্য CUDA 12.8 এবং 13.4 এবং arm64-এর জন্য CUDA 13.4-এর Ubuntu CUDA archive-ও বহন করে। প্রতিটির সঙ্গে সামঞ্জস্যপূর্ণ cudart- runtime archive রয়েছে। এর পাশাপাশি একটি ROCm build-ও রয়েছে। Linux এবং Windows উভয় ক্ষেত্রেই CUDA archive toolkit version অনুযায়ী আলাদাভাবে প্রকাশিত হয়। এটি একটি গুরুত্বপূর্ণ নির্দেশনা: toolkit version আপনার binary শনাক্ত করার অংশ। তাই cmake argument-এর পাশে toolkit version-ও লিখে রাখুন।
পরিবর্তে কন্টেইনার ইমেজ পিন করা
একই নিয়ম, ভিন্ন বিশেষ্য। প্রকাশিত ইমেজগুলো (ghcr.io/ggml-org/llama.cpp:server এবং এর এক্সিলারেটর ভেরিয়েন্টগুলো) প্রতিনিয়ত পরিবর্তিত হয়, তাই আগামী মাসে :server পুল করলে আপনি একই লেবেলের অধীনে ভিন্ন একটি প্রোগ্রাম পাবেন। একবার পুল করুন এবং ডাইজেস্টটি পড়ুন:
docker pull ghcr.io/ggml-org/llama.cpp:serverdocker pull একটি Digest: sha256:... লাইন প্রিন্ট করে। সেই ডাইজেস্টটি ট্যাগের পরিবর্তে compose ফাইলে বসিয়ে দিন, তাহলে পরবর্তীবার কেউ docker compose pull চালালে ইমেজটি আর পরিবর্তিত হতে পারবে না। আগের ডাইজেস্টটি একটি কমেন্ট হিসেবে রেখে দিন যাতে রোলব্যাক করা সহজ হয়, ঠিক যেভাবে Compose স্ট্যাকের আপগ্রেড এবং রোলব্যাক রুটিন অন্য সব সার্ভিসকে পরিচালনা করে।
পিনের গুরুত্ব
একটি পিন আপনাকে ঠিক কী চলছে তা নিশ্চিত করতে সাহায্য করে এবং কোনো পরিবর্তনের ফলে পরিস্থিতি খারাপ হলে এক মিনিটের মধ্যে আগের বিল্ডে ফিরে যাওয়ার সুযোগ দেয়। llama.cpp-এর ক্ষেত্রে আপনাকে দুটি বিষয় ট্র্যাক করতে হয়: বিল্ড ট্যাগ এবং মডেল ফাইল, কারণ এটি এই দুটিকে আলাদাভাবে প্রদান করে। যে রানটাইমগুলো এগুলোকে একত্রে বান্ডেল করে, তাদের আচরণ ভিন্ন হয় এবং সার্ভার হিসেবে Ollama এবং llama.cpp-এর তুলনা এই পার্থক্যের বিষয়টি তুলে ধরে: পুরো সিস্টেমের জন্য একটি মাত্র ভার্সন নম্বর থাকলে তা রেকর্ড করা এবং নিয়ন্ত্রণ করা সহজ হয়।
FAQ
b10502 build tag নাকি v0.6.0 tag pin করা উচিত?
যেকোনো একটি ব্যবহার করতে পারেন, তবে অবশ্যই কোনো একটি pin করুন। b10502-এর মতো build tag দীর্ঘমেয়াদি track হিসেবে ব্যবহৃত হয়। Prebuilt release archive-গুলোর filename-এ সাধারণত এটি থাকে (Windows CUDA runtime bundle বাদে), এবং অধিকাংশ bug report-এও এটি উল্লেখ করা হয়। তাই অন্য কোনো operator-এর সঙ্গে তুলনা করার জন্য build number ব্যবহার করাই সহজ। v0.6.0-এর মতো version tag হলো প্রকল্পের downstream distribution-এর জন্য সুপারিশ করা নির্দিষ্ট release point-এর সংক্ষিপ্ত তালিকা। বছরে কয়েকবার পরিচালনা করা server-এর জন্য এটি উপযোগী। প্রতিটি version tag তার সংশ্লিষ্ট build tag উল্লেখ করে, তাই দুটিই record করুন। কোনটি বেছে নিলেন তার চেয়ে বেশি গুরুত্বপূর্ণ হলো tag string-টি model file-এর পাশে record করা এবং upgrading-কে git pull-এর পার্শ্বপ্রতিক্রিয়া না বানিয়ে একটি সচেতন সিদ্ধান্ত হিসেবে নেওয়া।
llama.cpp কি এখন semantic versioning অনুসরণ করে?
হ্যাঁ, 21 August 2026 থেকে v0.2.0-এর পর এটি semantic versioning অনুসরণ করছে। Release notes-এ বলা হয়েছে, এটি llama.cpp-এর ধারাবাহিক semantic versioning-এর সূচনা। এর আগে v0.1.2-এ থাকা work-in-progress সতর্কবার্তাটি এর মাধ্যমে প্রতিস্থাপিত হয়েছে। 14 November 2026 অনুযায়ী version numbering 1.x-এ পৌঁছেছে। সর্বশেষ version হলো v1.0.0, যা 13 November-এ released হয়েছে। আপগ্রেড করার আগে release notes পড়ুন। tag পরিবর্তন করার আগে নতুন tag-টি আপনার নিজের model file-এর সঙ্গে test করুন, version-এর কোন digit পরিবর্তিত হয়েছে তা যাই হোক।
আমার server কোন llama.cpp build চালাচ্ছে, তা কীভাবে বুঝব?
llama-server --version version এবং build information দেখায়। তাই service যে binary ব্যবহার করে, সেটির বিরুদ্ধে এটি চালান: /opt/llama.cpp/current/bin/llama-server --version। 21 October 2026 অনুযায়ী build number, commit hash এবং compiler-সহ startup line-টি trace level-এ log করা হয়। তাই default log level-এ journalctl -u llama-server-এর মধ্যে এটি পাওয়া যাবে বলে ধরে নেবেন না। Source install হলে pinned checkout-এর ভেতরে git describe --tags চালালে tag দেখা যায়। readlink /opt/llama.cpp/current দেখায় service-টি আসলে কোন directory-তে নির্দেশ করা আছে।
llama.cpp upgrade করার পরে আমার model loading বন্ধ হয়ে গেল কেন?
Upgrade-এর পরপরই load failure হলে build এবং GGUF file-এর মধ্যে mismatch হয়েছে। Log-এ file-এর নামসহ failed to load model, '<path>' line থাকে এবং শেষ হয় exiting due to model loading error দিয়ে। এর আগের line-গুলো loader কত দূর পর্যন্ত পড়েছে তা দেখায়। সামনে এগিয়ে upgrade করলে খুব নতুন model file-এর architecture শনাক্ত করতে পারে এমন build প্রয়োজন। পিছনের build-এ rollback করলে file-টি তৈরি করার সময় ব্যবহৃত tag-এর চেয়ে পুরোনো build-এ সেটি নষ্ট হতে পারে, যদিও আগের দিন file-টি কাজ করেছিল। Symlink-টি আগের build-এর দিকে নির্দেশ করান, service restart করুন, এবং কোন build ও file সঠিকভাবে জোড়া হয়েছে তা নিশ্চিত করুন। এরপর দুটির মধ্যে কোনটি পরিবর্তন করবেন তা নির্ধারণ করুন।
Build না করে pin করার মতো prebuilt Linux binary কি আছে?
হ্যাঁ। প্রতিটি build tag-এর সঙ্গে সেই tag-এর নামে release archive থাকে, যেমন llama-b10502-bin-ubuntu-x64.tar.gz। তাই filename-এই tag থাকে এবং pin করা সহজ। 19 August 2026-এ Linux set-এ CPU, arm64, s390x, Vulkan, SYCL এবং OpenVINO ছিল। কোনো CUDA archive ছিল না। 21 October 2026 অনুযায়ী নতুন b11669-এর সঙ্গে Ubuntu CUDA 12.8 এবং 13.4 archive-ও রয়েছে। এগুলোর সঙ্গে সামঞ্জস্যপূর্ণ cudart- runtime bundle-ও দেওয়া হয়। ফলে সাম্প্রতিক tag ব্যবহার করা NVIDIA server-কে আর -DGGML_CUDA=ON দিয়ে source থেকে build করতে হয় না বা CUDA container image চালাতে হয় না। Version tag pin করলে release notes-এ উল্লেখ করা build tag থেকে archive download করুন।