সার্ভারে Python venv, pipx নাকি uv: কোনটি বেছে নেবেন
Ubuntu 24.04-এ `externally-managed-environment` ত্রুটির কারণ জানুন। অ্যাপ, CLI tool বা lockfile দরকার অনুযায়ী venv, pipx ও uv বেছে নিয়ে systemd কনফিগার করুন।
নতুন Ubuntu সার্ভারে pip install ব্যর্থ হওয়ার কারণ
Python venv, pipx এবং uv-এর মধ্যে নির্বাচন নির্ভর করে আপনি কী ইনস্টল করছেন তার ওপর। অ্যাপ্লিকেশনের dependency অ্যাপ্লিকেশনের নিজস্ব directory-এর virtual environment-এ থাকা উচিত। নাম লিখে চালাতে চান এমন command-line tool-এর জন্য pipx ব্যবহার করুন। uv দুটো কাজই করে এবং lockfile যোগ করে। একই environment দ্বিতীয় কোনো machine-এ build করতে হলে এটি গুরুত্বপূর্ণ হয়ে ওঠে। তবে এগুলোর কোনোটি system Python-এ ইনস্টল করে না। কারণ বর্তমান Ubuntu server সরাসরি তা প্রত্যাখ্যান করে।
Ubuntu 24.04-এ sudo pip install requests চালালে কোনো file download করার আগেই pip থেমে যায়।
error: externally-managed-environment
× This environment is externally managed
╰─> To install Python packages system-wide, try apt install
python3-xyz, where xyz is the package you are trying to
install.
If you wish to install a non-Debian-packaged Python package,
create a virtual environment using python3 -m venv path/to/venv.
Then use path/to/venv/bin/python and path/to/venv/bin/pip.
If you wish to install a non-Debian packaged Python application,
it may be easiest to use pipx install xyz, which will manage a
virtual environment for you.
note: If you believe this is a mistake, please contact your Python installation or OS distribution provider. You can override this behaviour by passing --break-system-packages.এটি PEP 668 (Python enhancement proposal 668, "externally managed environments")-এর স্বাভাবিক কার্যক্রম। Debian এবং Ubuntu interpreter-এর পাশে /usr/lib/python3.12/EXTERNALLY-MANAGED-এ একটি marker file রাখে। সেই marker থাকা যেকোনো interpreter-এ pip লিখতে অস্বীকার করে।
এই নিয়মের কারণ sys.path order। apt library ইনস্টল করে /usr/lib/python3/dist-packages-এ। system interpreter-এর বিরুদ্ধে root হিসেবে চালানো pip লিখে /usr/local/lib/python3.12/dist-packages-এ। Debian-এর packaging সেই directory-কে search path-এ আরও আগে রাখে। python3 -c 'import sys; print(sys.path)' দিয়ে নিজেই এটি print করে order দেখুন। ফলে pip যে copy লিখেছে, সেটি apt যে copy ইনস্টল করেছে তাকে আড়াল করে। /usr/bin/python3-এর অধীনে চলা machine-এর প্রতিটি program-এর ক্ষেত্রে এটি প্রযোজ্য, distribution-এর নিজস্ব tool-গুলোর ক্ষেত্রেও। cloud-init সেই interpreter থেকে requests, jinja2 এবং PyYAML import করে। pip দিয়ে এগুলোর কোনো একটি upgrade করে incompatible release ইনস্টল হলে, পরবর্তী boot-এ এমন কোনো service ব্যর্থ হতে পারে যেটিতে আপনি কখনো হাত দেননি। traceback-এ এমন package-এর নাম থাকবে, dependency chain-এ যার উপস্থিতি আপনি জানতেন না। apt এখনও নিজের version-টিকে installed হিসেবে record করে। তাই কোনো সতর্কবার্তা পাওয়া যায় না। সমাধান হলো sudo pip uninstall --break-system-packages requests দিয়ে pip-এর copy সরানো। কারণ শুধু sudo apt reinstall python3-requests চালালে shadow হওয়া apt copy-টিই আবার লেখা হয়।
পরবর্তী নিয়মটি সংক্ষিপ্ত। system Python distribution-এর অধীন। এতে কিছু ইনস্টল করবেন না, pip দিয়ে এর library upgrade করবেন না, এবং বার্তাটি সরানোর জন্য EXTERNALLY-MANAGED file মুছে ফেলবেন না। /usr/bin/python3-কে দেওয়ার একমাত্র কাজ হলো virtual environment তৈরি করা।
venv বনাম pipx বনাম uv: সিদ্ধান্ত গ্রহণের নিয়ম
আপনি কী ইনস্টল করছেন তার ওপর ভিত্তি করে টুল নির্বাচন করুন, সম্প্রতি কোন টুলের কথা পড়েছেন তার ওপর নয়।
- একটি অ্যাপ্লিকেশন যা আপনি সার্ভিস হিসেবে ডেপ্লয় এবং রান করেন, যেমন Django বা Flask প্রজেক্ট: সেই অ্যাপ্লিকেশনের ডিরেক্টরির ভেতরে একটি virtual environment (venv) ব্যবহার করুন।
- একটি কমান্ড-লাইন টুল যা আপনি আপনার
PATH-এ রাখতে চান, যেমনansibleবাhttpie: pipx ব্যবহার করুন, যা প্রতিটি টুলকে একটি প্রাইভেট এনভায়রনমেন্ট এবংPATH-এ একটি লিঙ্ক প্রদান করে। - একটি প্রজেক্ট যার জন্য lockfile, দ্রুত ইনস্টলেশন বা এমন একটি Python ভার্সন প্রয়োজন যা ডিস্ট্রিবিউশন সরবরাহ করে না: uv ব্যবহার করুন, যা একটি সাধারণ venv এবং একটি
uv.lockফাইল তৈরি করে। - একটি লাইব্রেরি যা আপনার কোডের পরিবর্তে কোনো ডিস্ট্রিবিউশন টুলের প্রয়োজন:
sudo apt install python3-<name>ব্যবহার করুন, এটিই সিস্টেম ইন্টারপ্রেটারে কিছু যোগ করার একমাত্র সমর্থিত উপায়।
pipx এবং uv tool install একই কাজ করে, তাই যে বক্সে ইতিমধ্যে uv আছে সেখানে আলাদাভাবে pipx-এর প্রয়োজন নেই। আপনি কোন ওয়েব ফ্রেমওয়ার্ক বেছে নিয়েছেন তা এখানে কোনো পরিবর্তন আনে না: VPS-এ Django এবং Flask-এর ক্ষেত্রে পার্থক্য থাকে requirements.txt-এ কী রাখা হচ্ছে তার ওপর, এনভায়রনমেন্ট কীভাবে তৈরি করা হচ্ছে তার ওপর নয়। নিচে সবকিছু Ubuntu 24.04 এবং এর Python 3.12 ব্যবহার করে দেখানো হয়েছে, তাই আপনার ভার্সন ভিন্ন হলে পাথ-এর ভেতরের ভার্সন নম্বরটি পরিবর্তন করে নিন।
প্রতি অ্যাপ্লিকেশনের জন্য venv তৈরি করুন
Ubuntu মূল Python package থেকে venv module-টি আলাদা package হিসেবে দেয়। তাই minimal image-এ প্রথম প্রচেষ্টা ব্যর্থ হলে message-এ ঠিক কোন জিনিসটি অনুপস্থিত, তা উল্লেখ থাকে।
The virtual environment was not created successfully because ensurepip is not
available. On Debian/Ubuntu systems, you need to install the python3-venv
package using the following command.
apt install python3.12-venvএটি install করুন। এরপর code-এর মালিক যে user হবে, সেই user হিসেবে environment তৈরি করুন।
sudo apt update
sudo apt install -y python3-venv
sudo install -d -o deploy -g deploy -m 755 /srv/myapp
sudo -u deploy python3 -m venv /srv/myapp/.venv
sudo -u deploy /srv/myapp/.venv/bin/pip install -r /srv/myapp/requirements.txtযা নেই, তা লক্ষ্য করুন: কোনো source নেই, কোনো activate নেই। /srv/myapp/.venv/bin/pip ওই environment-এ install হয় binary-টির অবস্থানের কারণে, shell-এ export করা কোনো কিছুর কারণে নয়। পরবর্তী ধাপে যাওয়ার আগে এটি নিশ্চিত করুন।
/srv/myapp/.venv/bin/python -c 'import sys; print(sys.prefix)'এতে /srv/myapp/.venv প্রদর্শিত হয়। যদি /usr প্রদর্শিত হয়, তাহলে আপনি system interpreter ব্যবহার করছেন এবং package-গুলো এমন একটি জায়গায় install হয়েছে, যা আপনার উদ্দেশ্য ছিল না।
venv পরে কীভাবে ব্যবহার করতে পারবেন, তা দুটি বৈশিষ্ট্য নির্ধারণ করে। venv relocatable নয়, কারণ bin/-এর প্রতিটি entry-point script-এ একটি absolute shebang line থাকে: head -1 /srv/myapp/.venv/bin/pip #!/srv/myapp/.venv/bin/python পড়ে। parent directory-এর নাম পরিবর্তন করলে ওই script-গুলো bad interpreter: No such file or directory সহ ব্যর্থ হয়। venv তৈরি করা interpreter-টিকেও venv নির্দিষ্ট করে রাখে। এটি /srv/myapp/.venv/pyvenv.cfg-এর home line-এ সংরক্ষিত থাকে, এবং bin/python3 হলো /usr/bin/python3-এর একটি symlink। release upgrade করার ফলে ওই path যদি নতুন Python-এ নির্দেশ করে, তাহলে নতুন interpreter একটি lib/python3.13 directory-তে package খোঁজে, যা venv-এ নেই। ফলে service start হওয়ার সময় ModuleNotFoundError সহ বন্ধ হয়ে যায়। উভয় ক্ষেত্রেই সমাধান একই: venv মুছে requirements.txt থেকে নতুন venv তৈরি করুন। পুনর্নির্মাণে কয়েক সেকেন্ড লাগে। কখনো একটি machine-এর venv অন্য machine-এ copy করবেন না।
venv কোথায় থাকবে এবং এর মালিকানা কার
venv-কে /srv/myapp/.venv-এ কোডের পাশে রাখুন এবং প্রতিটি অ্যাপ্লিকেশনের জন্য আলাদা venv ব্যবহার করুন। এতে পুরো ডিপ্লয়মেন্ট একটি একক ডিরেক্টরির মধ্যে থাকে, systemd unit এমন একটি পাথ পায় যা কখনোই পরিবর্তিত হয় না এবং একটি শেয়ারড ডিপেন্ডেন্সি আপগ্রেডের কারণে দুটি অ্যাপ্লিকেশন একে অপরের ক্ষতি করতে পারে না। আপনার ওয়েব সার্ভার সরাসরি ফাইল পাবলিশ করে এমন কোনো জায়গায় venv রাখবেন না, কারণ এতে আপনার ডিপেন্ডেন্সি এবং প্রায়শই কনফিগারেশন থাকে।
মালিকানার বিষয়টি গুরুত্বের সাথে দেখুন। কোড এবং এনভায়রনমেন্টের মালিকানা একজন deploy ব্যবহারকারীকে দিন এবং সার্ভিস অ্যাকাউন্টকে শুধুমাত্র রিড (read) এবং এক্সিকিউট (execute) করার অনুমতি দিন।
sudo adduser --system --group --no-create-home myapp
sudo chown -R deploy:myapp /srv/myapp
sudo chmod -R o-rwx /srv/myappসার্ভিসটি এখন তার ডিপেন্ডেন্সিগুলো ইমপোর্ট করতে পারে কিন্তু সেগুলো পরিবর্তন করতে পারে না। এর মানে হলো, ওয়েব অ্যাপ্লিকেশনে কোনো কোড এক্সিকিউশন বাগ থাকলে তা নীরবে ডিস্কে থাকা কোনো লাইব্রেরি প্রতিস্থাপন করতে পারবে না এবং রিস্টার্টের পরেও টিকে থাকতে পারবে না। মেশিনের অন্যান্য অংশের ক্ষেত্রেও একই যুক্তি প্রযোজ্য, যা least-privilege ব্যবহারকারী হিসেবে সার্ভিস চালানো অংশে আলোচনা করা হয়েছে।
কমান্ড-লাইন টুলের জন্য pipx
pipx অ্যাপ্লিকেশন ইনস্টল করে, লাইব্রেরি নয়। প্রতিটি টুল ~/.local/share/pipx/venvs/<name>-এর অধীনে নিজস্ব environment পায়, এবং সেই টুলের executable-গুলো ~/.local/bin-এ link করা হয়। তাই একই library-এর ভিন্ন version প্রয়োজন এমন দুটি টুলের মধ্যে কখনো সংঘাত হয় না।
sudo apt update
sudo apt install -y pipx
pipx ensurepath
pipx install httpiepipx ensurepath আপনার shell startup file সম্পাদনা করে ~/.local/bin-কে PATH-এ যোগ করে। আপনি বর্তমানে যে shell-এ আছেন, সেটি এটি পরিবর্তন করতে পারে না। তাই ইনস্টলের পরপরই http: command not found দেখা গেলে সাধারণত বুঝতে হবে, আপনি এখনো logout করে আবার login করেননি। Ubuntu-এর default ~/.profile login-এর সময় ওই directory আগে থেকেই থাকলেই ~/.local/bin যোগ করে। এ কারণে নতুন account-এ সমস্যাটি একবার দেখা যায়, পরে আর দেখা যায় না।
কোনো library-কে pipx-এ নির্দিষ্ট করলে এটি প্রত্যাখ্যান করে এবং এমন একটি message দেখায়, যার শুরু হয়:
No apps associated with package requests.এর মাধ্যমে tool জানায় যে এটি কাজের জন্য সঠিক মাধ্যম নয়। Library কোনো application-এর venv-এর মধ্যে থাকা উচিত।
সার্ভারে যে বিষয়টি গুরুত্বপূর্ণ, তা হলো location। সাধারণ pipx install সবকিছু একজন user-এর home directory-এর অধীনে রাখে। myapp হিসেবে চলা systemd unit এটি দেখতে পারে না, root-এর cron job-ও দেখতে পারে না, এবং sudo-ও এটি খুঁজে পাবে না। কারণ /etc/sudoers-এর secure_path, PATH-কে একটি নির্দিষ্ট তালিকা দিয়ে প্রতিস্থাপন করে। পুরো মেশিনে যে tool ব্যবহার করার কথা, সেটি globally ইনস্টল করুন।
sudo pipx install --global ansible
sudo pipx ensurepath --global--global flag environment-গুলো /opt/pipx-এ রাখে এবং executable-গুলো /usr/local/bin-এ link করে। এটি default PATH-এর মধ্যে এবং secure_path-এর ভেতরে রয়েছে। প্রথমে pipx --version দিয়ে version পরীক্ষা করুন। Ubuntu 24.04-এ pipx 1.4.3 প্যাকেজ করা থাকে, যা --global-এর চেয়ে পুরোনো। তাই পুরোনো pipx unrecognized arguments: --global দিয়ে উত্তর দেয়। ওই version-এ দুটি documented directory নিজে নির্ধারণ করুন:
sudo env PIPX_HOME=/opt/pipx PIPX_BIN_DIR=/usr/local/bin pipx install ansible
command -v ansiblecommand -v ansible-এর output /usr/local/bin/ansible দেখানো উচিত। যদি /home-এর অধীনে কোনো path দেখায়, তাহলে tool-টি একজন user-এর account-এ ইনস্টল হয়েছে এবং কোনো service এটি খুঁজে পাবে না।
lockfile চাইলে uv
uv হলো Astral-এর একটি single binary, যা pip, venv এবং pip-tools-এর কাজগুলো করে। এটি interpreter-ও download করতে পারে। এটি এত দ্রুত যে ছোট VPS-এও পার্থক্য বোঝা যায়। এটি একটি প্রকৃত lockfile লেখে।
Official installer uv এবং uvx-কে ~/.local/bin-এ রাখে:
curl -LsSf https://astral.sh/uv/install.sh | sh
uv --versionকোনো script server-এ shell-এ pipe করার আগে একটু সতর্ক হওয়া দরকার। URL-এ version pin করুন এবং চালানোর আগে fileটি পড়ুন:
curl -LsSf https://astral.sh/uv/0.12.3/install.sh -o uv-install.sh
less uv-install.sh
sh uv-install.shpipx আগে থেকেই থাকলে pipx install uv-ও কাজ করে। uv নিজের কোনো Python dependency ছাড়া একটি self-contained binary। তাই এটিকে /usr/local/bin-এ copy করে server-এর প্রতিটি user-এর জন্য ব্যবহার করা যায়।
pyproject.toml থাকা কোনো project-এর workflow চারটি command নিয়ে গঠিত। এর মধ্যে শুধু শেষ commandটি server-এ চালানো হয়।
uv init myapp
uv add flask gunicorn
uv lock
uv sync --frozen --no-devuv lock uv.lock লেখে। এটি একটি cross-platform lockfile, যাতে resolve করা exact version থাকে। আপনি এটি code-এর পাশে commit করেন। uv sync project root-এ .venv তৈরি করে, যাতে সেটি lockfile-এর সঙ্গে মেলে। Server-এ --frozen হলো গুরুত্বপূর্ণ flag। Documentation অনুযায়ী, এটি lockfile up to date কি না পরীক্ষা করার পরিবর্তে lockfile-এ থাকা version-গুলোকে source of truth হিসেবে ব্যবহার করে। Deployment-এর জন্য এটাই প্রয়োজনীয় আচরণ। --no-dev development dependency group বাদ দেয়।
বিদ্যমান requirements.txt project-কে convert করতে হয় না, কারণ uv pip-এর ভাষা বোঝে:
uv venv /srv/myapp/.venv
uv pip install --python /srv/myapp/.venv/bin/python -r /srv/myapp/requirements.txtফলাফল হিসেবে সাধারণ virtual environment তৈরি হয়। পার্থক্য হলো, uv এতে pip install করে না। তাই .venv/bin/pip এবং .venv/bin/python -m pip কাজ করে না, যদি না আপনি uv venv --seed দিয়ে environment তৈরি করেন। এর পরিবর্তে uv pip দিয়ে install করুন। এই guide-এর পরবর্তী কোনো ধাপে environment-এর ভেতরে pip চালানো হয় না। তাই পরবর্তী কোনো ধাপও পরিবর্তন হয় না।
Server-এ uv ব্যবহার করার আগে এর একটি default জানা দরকার। এর python-preference setting-এর default হলো managed। Documentation অনুযায়ী, এটি system-এ আগে থেকেই থাকা interpreter-এর পরিবর্তে “যেগুলো uv download ও install করে” সেগুলো বেছে নেয়। তাই শুধু 3.12 থাকা কোনো box-এ uv venv --python 3.13 চালালে এটি নীরবে 3.13 download করে ~/.local/share/uv/python-এ রাখবে, ব্যর্থ হবে না। Laptop-এ এটি সুবিধাজনক। Server-এ এটি অপ্রত্যাশিত, কারণ আপনার service এমন একটি interpreter-এর ওপর নির্ভর করবে, যা home directory-তে থাকে এবং apt upgrade কখনো patch করবে না। Distribution-এর interpreter ব্যবহার করতে চাইলে uv.toml-এ python-preference-কে only-system সেট করুন। Environment-কে project root-এর বাইরে রাখতে চাইলে UV_PROJECT_ENVIRONMENT project virtual environment-এর জন্য ব্যবহৃত directory নির্ধারণ করে।
venv-এর interpreter-কে systemd-এ নির্দেশ করুন, activate-কে নয়
এখানেই অধিকাংশ Python deployment ব্যর্থ হয়। কারণটি হলো activate কী করে, তা নিয়ে ভুল ধারণা।
bin/activate একটি shell script। এটি venv-এর bin directory-কে PATH-এর শুরুতে যোগ করে, VIRTUAL_ENV সেট করে, পুরোনো মানগুলো সংরক্ষণ করে যাতে deactivate সেগুলো পুনরুদ্ধার করতে পারে, এবং আপনার prompt পরিবর্তন করে। Interpreter নিজে যে কোনো কিছু পড়ে, এর মধ্যে তেমন কিছু নেই। Activation হলো prompt-এ মানুষ python টাইপ করার সুবিধা মাত্র।
আসলে কোন environment ব্যবহৃত হবে, তা নির্ধারণ করে আপনি কোন interpreter file execute করছেন। /srv/myapp/.venv/bin/python শুরু হলে Python-এর site module executable থাকা directory এবং তার এক level উপরে pyvenv.cfg file খোঁজে। /srv/myapp/.venv/pyvenv.cfg পাওয়া গেলে sys.prefix venv-এ সেট হয়। এর ফলে ওই venv-এর site-packages, sys.path-এ যুক্ত হয়। এটাই সম্পূর্ণ প্রক্রিয়া। এর জন্য কোনো environment variable বা shell দরকার হয় না।
তাই এই unit কখনো শুরু হয় না:
[Service]
ExecStart=source /srv/myapp/.venv/bin/activate && gunicorn app:appmyapp.service: Failed to locate executable source: No such file or directory
myapp.service: Failed at step EXEC spawning source: No such file or directory
myapp.service: Main process exited, code=exited, status=203/EXECExecStart কোনো shell command line নয়। systemd সরাসরি একটি program execute করে। তাই কোনো source builtin থাকে না, && literal argument হিসেবে পাঠানো হয়, এবং systemd নিজে যে কয়েকটি expansion নথিভুক্ত করেছে সেগুলো ছাড়া shell-এর কোনো expansion ঘটে না।
আর এই unit শুরু হয়ে পরে বন্ধ হয়ে যায়:
[Service]
ExecStart=/usr/bin/python3 /srv/myapp/app.pyModuleNotFoundError: No module named 'flask'/usr/bin/python3 হলো system interpreter। এর sys.path-এ আপনার venv কখনো ছিল না। আপনার SSH session-এ একই command কাজ করে, কারণ সেখানে আপনি venv activate করেছিলেন। ফলে shell python3 ব্যবহার করে PATH-এর মাধ্যমে .venv/bin/python3 খুঁজে পেয়েছিল।
Command-টিকে /bin/bash -c 'source ... && gunicorn ...'-এর মধ্যে wrap করলে কাজ করে। তবে এতে systemd এবং আপনার process-এর মাঝখানে অপ্রয়োজনীয়ভাবে একটি shell যুক্ত হয়। একটি absolute path-ই যথেষ্ট:
[Unit]
Description=myapp web service
After=network-online.target
Wants=network-online.target
[Service]
Type=simple
User=myapp
Group=myapp
WorkingDirectory=/srv/myapp
Environment=PYTHONUNBUFFERED=1
Environment=PATH=/srv/myapp/.venv/bin:/usr/local/bin:/usr/bin:/bin
ExecStart=/srv/myapp/.venv/bin/gunicorn --workers 3 --bind 127.0.0.1:8000 app:app
Restart=on-failure
RestartSec=5
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=full
[Install]
WantedBy=multi-user.targetsudo systemctl daemon-reload
sudo systemctl enable --now myapp
systemctl status myapp
journalctl -u myapp -n 50 --no-pagersystemctl status myapp-এর output-এ active (running) থাকা উচিত, এবং Main PID হিসেবে আপনার gunicorn process দেখা উচিত। অন্য কিছু দেখা গেলে journal পরীক্ষা করুন।
Environment=PATH= line-টি ExecStart-এর জন্য নয়। ExecStart-এর মধ্যেই পূর্ণ path রয়েছে। এটি আপনার application যে process-গুলো শুরু করে, সেগুলোর জন্য। systemd থেকে service সাধারণত সংক্ষিপ্ত একটি default PATH পায়। তাই Python code যদি subprocess.run(["ffmpeg", ...]) call করে, অথবা কোনো management command venv-এর console script চালাতে shell ব্যবহার করে, তাহলে প্রয়োজনীয় file খুঁজে পাবে না। venv-এর bin directory-কে শুরুতে রাখা হলো activate-এর একমাত্র অংশ, যা service সত্যিই ব্যবহার করে। Unit আসলে কী পেয়েছে, তা systemctl show -p Environment myapp দিয়ে পরীক্ষা করুন।
একই নিয়ম scheduled work-এর ক্ষেত্রেও প্রযোজ্য। Ubuntu-তে cron আপনার shell বা daemon-এর PATH কোনো job-এ পাঠায় না। crontab নিজে PATH সেট না করলে, প্রতিটি job compiled-in default /usr/bin:/bin পায়, এবং /etc/environment সেটি override করে না। এতে আপনার venv কখনো থাকে না। তাই python3 /srv/myapp/cleanup.py লেখা crontab line system interpreter চালায় এবং ভোর তিনটায় ModuleNotFoundError error দিয়ে ব্যর্থ হয়। cron error-টি crontab-এর owner-কে mail করে, অথবা আপনি MAILTO address সেট করলে সেখানে পাঠায়। অধিকাংশ server-এ এর অর্থ হলো এমন একটি local mailbox, যা কেউ পড়ছে না। কোনো mail program ইনস্টল না থাকলে cron output বাতিল করে এবং system log-এ শুধু No MTA installed, discarding output লেখে। সেখানেও absolute venv path লিখুন। ওই output journal-এ পেতে এবং সর্বশেষ run-এর record রাখতে চাইলে, একটি systemd service ও timer-এর জোড়া একই ExecStart line ব্যবহার করে।
Docker কি এই সিদ্ধান্তটিকে প্রতিস্থাপন করে?
একটি কন্টেইনারের নিজস্ব ফাইলসিস্টেম থাকে, তাই প্রশ্নটি অদৃশ্য না হয়ে বরং রূপ পরিবর্তন করে। python:3.12-slim-এর মতো একটি অফিসিয়াল ইমেজে, Python সরাসরি /usr/local-এর ভেতরে বিল্ড করা থাকে এবং এতে কোনো EXTERNALLY-MANAGED মার্কার থাকে না। তাই প্যাকেজ যোগ করার জন্য pip install হিসেবে root ব্যবহার করাই হলো উদ্দেশ্যপ্রণোদিত পদ্ধতি এবং এক্ষেত্রে venv খুব একটা বাড়তি সুবিধা দেয় না। এর পরিবর্তে FROM ubuntu:24.04 বিল্ড করলে আপনি ইমেজের ভেতরেও পুনরায় externally-managed-environment-এর মুখোমুখি হবেন, যার কারণ হোস্ট মেশিনের মতোই: এটি ডিস্ট্রিবিউশনের নিজস্ব ইন্টারপ্রেটার যা ডিস্ট্রিবিউশনের মার্কার ফাইল বহন করে।
অনেক ইমেজেই এখনও venv ব্যবহার করা হয়, কারণ এটি মাল্টি-স্টেজ বিল্ডকে সহজ করে তোলে। বিল্ডার স্টেজটি /opt/venv-এ ইনস্টল করে এবং রানটাইম স্টেজটি শুধুমাত্র সেই ডিরেক্টরিটিকে কপি করে নেয়, ফলে কম্পাইলারগুলো বাদ পড়ে যায়। activate সংক্রান্ত সমস্যাটি এর সাথেই থেকে যায়। একটি RUN source /opt/venv/bin/activate লাইন শুধুমাত্র সেই বিল্ড লেয়ারের শেলকে প্রভাবিত করে, তাই রানটাইমে কন্টেইনারটি সিস্টেম ইন্টারপ্রেটারে চালু হয় এবং ModuleNotFoundError ত্রুটি দেখায়। এক্ষেত্রে ENV PATH="/opt/venv/bin:$PATH" সেট করুন, অথবা CMD-কে /opt/venv/bin/gunicorn অ্যাবসোলিউট পাথ প্রদান করুন। এটি systemd-এর মতোই একটি বাগ, যা ভিন্ন একটি ফাইলে বিদ্যমান।
সুতরাং, কন্টেইনার ইন্টারপ্রেটার সংক্রান্ত প্রশ্নটিকে প্রতিস্থাপন করে, কারণ ইমেজটি ইন্টারপ্রেটার এবং এর অধীনস্থ সবকিছুকে পিন (pin) করে রাখে। এটি পিনিং সংক্রান্ত প্রশ্নটিকে প্রতিস্থাপন করে না। একটি আনপিনড requirements.txt থেকে তৈরি ইমেজ পরের মাসে ভিন্ন ভিন্ন ভার্সন রেজলভ করতে পারে, যার অর্থ হলো ইমেজ ট্যাগটি রিপ্রোডিউসিবল হলেও যে বিল্ড থেকে এটি তৈরি হয়েছে তা নয়। কন্টেইনার থাকুক বা না থাকুক, uv.lock-এর মতো একটি লকফাইল বা সম্পূর্ণ পিন করা রিকোয়ারমেন্ট ফাইলই এই ব্যবধান দূর করে। আর যখন একটি অ্যাপ্লিকেশন systemd-এর অধীনে একটি VPS-এ চলে, তখন কন্টেইনার মূলত এই একই সিদ্ধান্তকে একটি Dockerfile-এ স্থানান্তর করে, কারণ systemd ইতিমধ্যেই ব্যর্থ প্রসেস রিস্টার্ট করে এবং এর আউটপুট জার্নালে সংরক্ষণ করে। VPS-এ Docker চালানো তখনই কার্যকর হয় যখন আপনি বিল্ড করা ইমেজটিকেই সরাসরি ডেপ্লয় করতে চান।
FAQ
আমি কি --break-system-packages ব্যবহার করে সরাসরি pip install করতে পারি?
যে সার্ভার সচল রাখতে হবে, সেখানে নয়। Flag-টি যা বলে, সেটিই করে: এটি সুরক্ষা সরিয়ে দেয় এবং pip /usr/local/lib/python3.12/dist-packages-এ লিখে, যা sys.path-এর apt directory-এর আগে থাকে। এরপর /usr/bin/python3-এর অধীনে চলা প্রতিটি system script-এর ক্ষেত্রে আপনার version distribution-এর version-কে আড়াল করে। apt এখনও মনে করে তার নিজস্ব version-ই ইনস্টল করা আছে। তাই কোনো কিছু নষ্ট না হওয়া পর্যন্ত conflict ধরা পড়ে না। প্রতিবার নতুন করে তৈরি করা container image-এর ভিতরে ক্ষতি ওই image-এর মধ্যেই সীমাবদ্ধ থাকে। তাই সেখানে এটি গ্রহণযোগ্য হতে পারে। আপনি যে machine রক্ষণাবেক্ষণ করেন, সেখানে একটি venv তৈরি করুন। এর জন্য একটি command-ই যথেষ্ট।
সার্ভারে virtual environment কোথায় রাখা উচিত?
অ্যাপ্লিকেশনের নিজস্ব directory-এর ভিতরে, /srv/myapp/.venv হিসেবে রাখুন। এটি deploy user-এর মালিকানাধীন হবে এবং service account-এর শুধু read ও execute access থাকবে। প্রতিটি অ্যাপ্লিকেশনের জন্য একটি করে venv রাখুন। কারণ shared venv ব্যবহার করলে প্রথম অ্যাপ্লিকেশনের upgrade দ্বিতীয় অ্যাপ্লিকেশনটি নষ্ট করতে পারে। venv তৈরি করার পরে সেটি সরাবেন না বা copy করবেন না। এর bin/ directory-এর প্রতিটি entry-point script-এর shebang line-এ ওই absolute path লেখা থাকে। তাই সরানো venv bad interpreter: No such file or directory দিয়ে ব্যর্থ হয়। এটি মুছে requirements.txt থেকে আবার তৈরি করুন।
আমার systemd service ModuleNotFoundError দিয়ে ব্যর্থ হয় কেন?
কারণ unit-টি venv-এর interpreter ব্যবহার করছে না। systemctl cat myapp চালিয়ে ExecStart পড়ুন। এতে absolute path দিয়ে /srv/myapp/.venv/bin/python, অথবা একই bin/ directory-এর কোনো console script উল্লেখ থাকতে হবে। ExecStart-এ সরাসরি activate source করা কাজ করবে না। কারণ ExecStart কোনো shell নয়, এবং systemd Failed to locate executable source-কে status=203/EXEC দিয়ে report করে। Environment=PATH=/srv/myapp/.venv/bin:/usr/local/bin:/usr/bin:/bin যোগ করুন, যাতে আপনার code শুরু করা যেকোনো subprocess venv-এর tools-ও খুঁজে পায়।
venv এবং pip-এর পরিবর্তে কি uv ব্যবহার করা উচিত?
Lockfile চাইলে, install time যথেষ্ট ধীর হলে, অথবা আপনার distribution যে Python version release করে না সেটি প্রয়োজন হলে uv ব্যবহার করুন। এটি একটি সাধারণ venv তৈরি করে। তাই systemd unit এবং file layout পরিবর্তন হয় না, এবং uv sync --frozen lockfile-এ record করা জিনিসই ইনস্টল করে। কোনো একটি অ্যাপ্লিকেশন যদি pinned requirements.txt ব্যবহার করে git থেকে deploy হয় এবং install কয়েক সেকেন্ডে শেষ হয়, তাহলে python3 -m venv ইতিমধ্যেই যথেষ্ট। এতে সার্ভারে update রাখতে হয় এমন binary-ও একটি কম থাকে।