ডেটাবেস কি Docker-এ চালানো উচিত নাকি সরাসরি host-এ?
Docker-এ PostgreSQL, MySQL বা Redis চালানো প্রোডাকশনে নিরাপদ। তবে volumes, major version আপগ্রেড, ব্যাকআপ এবং memory limits সঠিকভাবে কনফিগার না করলে ডেটা হারানোর ঝুঁকি থাকে।
ডেটাবেস কি Docker-এ চলবে নাকি সরাসরি host-এ?
ডেটাবেস Docker-এ চালান। একটি VPS-এ একটি অ্যাপ্লিকেশন স্ট্যাকের জন্য কন্টেইনারাইজড PostgreSQL, MySQL, MongoDB বা Redis ব্যবহার করা একটি সাধারণ প্রোডাকশন সিদ্ধান্ত। এটি নিয়ে সাধারণত যে বিতর্ক হয়, তা ভুল। কন্টেইনার হলো Linux-এর একটি প্রসেস, যার চারপাশে namespaces এবং cgroups থাকে; এটি কোনো virtual machine নয়। তাই ডেটাবেস এবং ডিস্কের মাঝে কোনো hypervisor থাকে না। bind mount বা local named volume ব্যবহার করলে read এবং write সরাসরি host filesystem-এই হয়, যা প্যাকেজ ইন্সটলেশনের ক্ষেত্রেও একই।
এর আসল খরচ হলো অপারেশনাল। এই সেটআপটি সঠিক হবে নাকি বিপর্যয় ডেকে আনবে, তা চারটি বিষয়ের ওপর নির্ভর করে: ডেটা কোথায় থাকে, সেই ডিরেক্টরির মালিক কে, major version আপগ্রেড প্রক্রিয়া কেমন, এবং আপনি কখনো ব্যাকআপ রিস্টোর করেছেন কি না। এই বিষয়গুলো ঠিক থাকলে কন্টেইনার কেবল একটি প্রযুক্তিগত খুঁটিনাটি মাত্র। আর এগুলো ভুল হলে কন্টেইনারই হবে আপনার সব সমস্যার কারণ।
যেকোনো সার্ভার ডেটাবেসের ক্ষেত্রে সিদ্ধান্তটি একই। নিচের উদাহরণগুলোতে PostgreSQL, MySQL, MongoDB এবং Redis ব্যবহার করা হয়েছে এবং যেখানে প্রয়োজন সেখানে প্রোডাক্ট-নির্দিষ্ট পার্থক্যগুলো উল্লেখ করা হয়েছে।
একটি কন্টেইনার আসলে যা পরিবর্তন করে
স্টোরেজ পাথ নয়, যতক্ষণ আপনি একটি মাউন্ট ব্যবহার করছেন। একই কার্নেল, একই পেজ ক্যাশ, একই ফাইলসিস্টেম।
পারফরম্যান্সের ক্ষেত্রে একটি বড় ফাঁদ রয়েছে, আর তা হলো যখন আপনি কিছুই মাউন্ট করেন না। কোনো ভলিউম ছাড়া, ডেটা ডিরেক্টরি কন্টেইনারের রাইটেবল লেয়ারে চলে যায়, যা ইমেজের ওপর স্তরে স্তরে সাজানো একটি ওভারলে ফাইলসিস্টেম। সেখানে রাইট অপারেশন ধীরগতির হয় এবং কন্টেইনার রিমুভ করা হলে পুরো লেয়ারটি মুছে যায়। "আজ সকালে আমার ডেটাবেস খালি ছিল" সমস্যাটি এখান থেকেই তৈরি হয়।
যা সত্যিকার অর্থে পরিবর্তিত হয়:
- লাইফসাইকেল।
docker compose downকন্টেইনারটিকে ধ্বংস করে দেয়। ভলিউমের বাইরে থাকা যেকোনো কিছু এর সাথেই মুছে যায়। - সংস্করণ। ইমেজ ট্যাগই হলো সংস্করণ। ডেটাবেস কন্টেইনারের ভেতরে এমন কোনো
apt upgradeনেই যা পরবর্তীdocker compose pullপর্যন্ত টিকে থাকে। - মেমোরি অ্যাকাউন্টিং। একটি cgroup লিমিট হলো কার্নেল দ্বারা কার্যকর করা একটি কঠোর সীমা, এবং বেশিরভাগ ডেটাবেসের ডিফল্ট কনফিগারেশন নিজেদের সেই অনুযায়ী নির্ধারণ করে না। MySQL 9.3 বা তার পরবর্তী সংস্করণ কিছু সেটিংসের জন্য এই লিমিটটি পড়ে। MongoDB তার WiredTiger ক্যাশের জন্য এটি করার চেষ্টা করে, কিন্তু তাদের নিজস্ব ডকুমেন্টেশনে সতর্ক করা হয়েছে যে কিছু ক্ষেত্রে এটি কাজ নাও করতে পারে। PostgreSQL এবং Redis এটি করে না।
- ব্যবহারকারী। প্রসেসটি কন্টেইনারের ভেতরে একটি সংখ্যাসূচক ইউজার আইডি হিসেবে চলে, যার আপনার হোস্ট মেশিনে কোনো কিছুর ওপর মালিকানা নাও থাকতে পারে।
ডেটা যেখানে থাকে তা সবকিছু নির্ধারণ করে
এখানে দুটি ভালো বিকল্প এবং একটি সাধারণ ভুল রয়েছে।
- একটি named volume:
pgdata:/var/lib/postgresql/data। Docker/var/lib/docker/volumes/<project>_pgdata/_data-এ ডিরেক্টরি তৈরি করে এবং প্রথমবার চালানোর সময় ইমেজ এন্ট্রি পয়েন্ট মালিকানা (ownership) নির্ধারণ করে। এটিই ডিফল্ট উত্তর। - একটি bind mount:
/srv/appname/pg:/var/lib/postgresql/data। আপনি পাথ নির্বাচন করেন, তাই অনুমতির (permissions) সমস্যা আপনার নিজের। - কোনো মাউন্ট না থাকা। উপরে দেখুন। ডেটা কন্টেইনারের ভেতরে থাকে।
এর সুবিধা-অসুবিধা একটি আলাদা বিষয়, এবং bind mounts against named volumes-এ তা বিস্তারিত আলোচনা করা হয়েছে। ডেটাবেসের জন্য সংক্ষিপ্ত কথা হলো: যদি হোস্ট পাথ জানার সুনির্দিষ্ট কারণ না থাকে তবে named volume ব্যবহার করুন। আর যদি bind mount ব্যবহার করতেই হয়, তবে এটিকে /srv/appname/pg-এর মতো কোনো স্থিতিশীল স্থানে রাখুন, প্রজেক্ট ডিরেক্টরির ভেতরে নয় যেখানে git clean-এর নাগাল পেতে পারে।
নেটওয়ার্ক স্টোরেজের ক্ষেত্রে সতর্ক থাকুন। ডেটাবেস ডেটা ডিরেক্টরি NFS (network file system) বা অন্য কোনো নেটওয়ার্ক মাউন্টে রাখবেন না, যার লকিং এবং fsync আচরণ আপনি পরীক্ষা করেননি। PostgreSQL NFS-এর জন্য একটি সুনির্দিষ্ট প্রয়োজনীয়তার কথা উল্লেখ করে, যা হলো hard অপশন ব্যবহার করে মাউন্ট করা। এছাড়া NFS সার্ভারে sync এক্সপোর্ট অপশন ব্যবহারের জন্য জোরালো পরামর্শ দেয়, কারণ এটি ছাড়া ক্লায়েন্টের fsync সার্ভারের ডিস্কে পৌঁছাবে এমন নিশ্চয়তা নেই। ডেটাবেস ধরে নেয় যে একটি সফল fsync মানেই বাইটগুলো স্থিতিশীল স্টোরেজে আছে। যখন এই ধারণাটি ভুল হয়, তখন ডেটা করাপশন ঘটে যা কয়েক সপ্তাহ পরে ধরা পড়ে।
ভলিউম হারিয়ে যাওয়ার আগেই এর নাম নির্ধারণ করুন
Compose ভলিউমের নাম দেয় <project>_<volume> হিসেবে, এবং প্রজেক্টের নাম ডিফল্টভাবে ডিরেক্টরির নাম থেকে নেওয়া হয়। তাই ভলিউমের পরিচয় ডিরেক্টরির নামের ওপর নির্ভর করে, যা মানুষ প্রায়ই না ভেবেই পরিবর্তন করে ফেলে।
আপনি যদি /srv/app-কে /srv/app-old-এ সরিয়ে নেন, অথবা compose ফাইলে pgdata কি (key) রিনেম করেন, তবে পরবর্তী docker compose up -d কমান্ডটি একটি নতুন খালি ভলিউম তৈরি করবে। Postgres এতে একটি নতুন ক্লাস্টার ইনিশিয়ালাইজ করবে। কন্টেইনারটি হেলদি দেখাবে, অ্যাপ্লিকেশন চালু হবে, কিন্তু সব টেবিল মুছে যাবে। ভালো খবর হলো, পুরনো ভলিউমটি আগের নামেই ডিস্কে রয়ে গেছে।
docker volume ls
docker volume inspect app_pgdataএই সমস্যা এড়াতে ভলিউমের নাম নির্দিষ্ট করে দিন। প্রজেক্টের নাম এবং ভলিউমের নাম স্পষ্টভাবে সেট করুন:
name: myapp
services:
db:
image: postgres:17
volumes:
- pgdata:/var/lib/postgresql/data
volumes:
pgdata:
name: myapp_pgdataযদি কোনো অনাথ (stray) ভলিউমে আপনার ডেটা থেকে থাকে, তবে ডেটাবেস বন্ধ করে সেটি কপি করে নিন:
docker compose stop db
docker run --rm -v app_pgdata:/from -v myapp_pgdata:/to alpine sh -c 'cp -a /from/. /to/'
docker compose start dbডেটাবেস চালু থাকা অবস্থায় কপি করলে ফাইলগুলো অসম্পূর্ণ (torn) অবস্থায় কপি হতে পারে, কারণ তখন সেগুলোতে রাইট অপারেশন চলছিল। তাই আগে ডেটাবেস বন্ধ করুন।
ডেটা ডিরেক্টরির মালিক কে
অফিসিয়াল Postgres, MySQL এবং MongoDB ইমেজগুলো তাদের ডিফল্ট ট্যাগে 999 (999) এবং Postgres -alpine ট্যাগে 70 (70) নামক একটি আনপ্রিভিলেজড নিউমেরিক ইউজার আইডি ব্যবহার করে সার্ভার চালায়। কন্টেইনার যখন root হিসেবে শুরু হয়, তখন এন্ট্রি পয়েন্ট ডেটা ডিরেক্টরির মালিকানা সেই ইউজারের কাছে হস্তান্তর করে এবং তারপর প্রিভিলেজ ত্যাগ করে। এই কারণেই একটি খালি bind mount সাধারণত প্রথমবারই কাজ করে।
আপনি যখন compose ফাইলে user: সেট করেন, তখনই এটি কাজ করা বন্ধ করে দেয়, কারণ তখন এন্ট্রি পয়েন্টের কাছে কোনো কিছু ঠিক করার মতো আর কোনো প্রিভিলেজ থাকে না। Postgres সরাসরি এটিই বলে:
initdb: error: could not change permissions of directory "/var/lib/postgresql/data": Operation not permittedভুল মোডে থাকা একটি ডেটা ডিরেক্টরি ভিন্ন একটি বার্তা দেয়, এবং এই বার্তাটি চিনে রাখা জরুরি কারণ এর সমাধান হলো chmod, chown নয়:
FATAL: data directory "/var/lib/postgresql/data" has invalid permissions
DETAIL: Permissions should be u=rwx (0700) or u=rwx,g=rx (0750).MongoDB এন্ট্রি পয়েন্ট একইভাবে মালিকানা ঠিক করে, তাই এই lock file এররটির অর্থ হলো এটি তা করতে পারেনি: সাধারণত user: সেট করা থাকে, অথবা মাউন্টটি root থেকে আসা chown কমান্ড প্রত্যাখ্যান করে।
Unable to create/open the lock file: /data/db/mongod.lock (Permission denied). Ensure the user executing mongod is the owner of the lock file and has the appropriate permissions.এর সমাধান হলো হোস্ট ডিরেক্টরিটিকে কোনো নামের পরিবর্তে নিউমেরিক আইডিতে chown করা:
sudo chown -R 999:999 /srv/appname/pg
sudo chmod 700 /srv/appname/pg
ls -ldn /srv/appname/pgls -ldn নামের পরিবর্তে নম্বর প্রিন্ট করে এবং এটি 999 999 দেখানো উচিত। একটি Postgres -alpine ইমেজের জন্য, পরিবর্তে 70:70 ব্যবহার করুন এবং 70 70 আশা করুন। আপনার হোস্টের postgres নামের অ্যাকাউন্ট এবং ইমেজের ভেতরের postgres নামের অ্যাকাউন্ট একে অপরের সাথে সম্পর্কিত নয়: কার্নেল নম্বরগুলো তুলনা করে এবং নামগুলো উভয় পাশে আলাদাভাবে দেখা হয়। কিভাবে PUID এবং PGID হোস্ট ইউজারদের কন্টেইনারের ভেতর ম্যাপ করে বিষয়টি সঠিকভাবে ব্যাখ্যা করে। rootless Docker বা user namespace remapping-এর ক্ষেত্রে নম্বরগুলো আবার পরিবর্তিত হয়, তাই 999 (999) ধরে না নিয়ে চলমান কন্টেইনার থেকে আইডিগুলো দেখে নিন।
Named volume ব্যবহার করলে প্রথমবার চালানোর সময় এই পুরো বিষয়টি আর থাকে না, কারণ Docker একটি খালি ডিরেক্টরি তৈরি করে এবং এন্ট্রি পয়েন্ট সেটির মালিকানা গ্রহণ করে।
আপগ্রেড: ইমেজ ট্যাগ পরিবর্তনের বিপরীতে প্যাকেজ আপগ্রেড
হোস্টে, apt upgrade আপনাকে একটি মাইনর ভার্সন থেকে অন্যটিতে নিয়ে যায়। আপনার ডিস্ট্রিবিউশন নিজে থেকে ডাটাবেসের মেজর ভার্সন পরিবর্তন করবে না, এবং যখন আপনি তা পরিবর্তন করতে চাইবেন, তখন উভয় সেট বাইনারি একসাথে ইনস্টল করা সম্ভব, যা pg_upgrade-এর জন্য প্রয়োজন।
কন্টেইনারের ক্ষেত্রে ট্যাগই হলো ভার্সন, তাই একটি আপগ্রেড মানে হলো একটি লাইন এডিট করা। এটি মাইনর আপগ্রেডকে সহজ করে এবং মেজর আপগ্রেডকে একটি প্রক্রিয়ায় পরিণত করে।
postgres:16-কে postgres:17-এ পরিবর্তন করুন, docker compose up -d চালান, এবং কন্টেইনারটি সাথে সাথে বন্ধ হয়ে যাবে:
PostgreSQL Database directory appears to contain a database; Skipping initialization
FATAL: database files are incompatible with server
DETAIL: The data directory was initialized by PostgreSQL version 16, which is not compatible with this version 17.কোনো কিছু ক্ষতিগ্রস্ত হয় না। নতুন বাইনারিগুলো পুরনো অন-ডিস্ক ক্যাটালগ লেআউট পড়তে অস্বীকার করে, যা মেজর ভার্সনগুলোর মধ্যে পরিবর্তিত হয়। ট্যাগটিকে পুনরায় postgres:16-এ ফিরিয়ে আনুন এবং এটি আবার চালু হবে। এই রোলব্যাকটিই হলো কন্টেইনার ব্যবহারের একমাত্র প্রকৃত আপগ্রেড সুবিধা।
সমর্থিত পদ্ধতি হলো ডাম্প এবং রিস্টোর। PostgreSQL নতুন ক্লায়েন্টের মাধ্যমে ডাম্প নেওয়া পছন্দ করে, তাই কম্পোজ নেটওয়ার্কে এখনো চলমান পুরনো সার্ভারের বিপরীতে নতুন ইমেজ থেকে এটি চালান:
docker run --rm --network myapp_default -e PGPASSWORD="$POSTGRES_PASSWORD" \
postgres:17 pg_dumpall -h db -U postgres > /srv/backups/all.sql
ls -lh /srv/backups/all.sql
tail -n 2 /srv/backups/all.sqlফাইলটি অন্তত কয়েক দশ কিলোবাইট হওয়া উচিত এবং এর শেষ লাইনে PostgreSQL database cluster dump complete লেখা থাকা উচিত। কয়েকশ বাইটের একটি ফাইলের অর্থ হলো ডাম্পটি ব্যর্থ হয়েছে এবং আপনি অকারণে একটি ভলিউম মুছে ফেলার ঝুঁকিতে আছেন। শুধুমাত্র সেই চেকটি করার পরেই:
docker compose down
docker volume rm myapp_pgdata
# edit the compose file: image: postgres:17
docker compose up -d db
docker compose exec -T db psql -U postgres -f /dev/stdin < /srv/backups/all.sqlpostgres:18-এ আরও একটি পরিবর্তনের পরিকল্পনা করুন। 18 থেকে, অফিসিয়াল ইমেজ তার ডাটা /var/lib/postgresql-এর অধীনে একটি ভার্সনযুক্ত ডিরেক্টরিতে রাখে (18-এর জন্য, /var/lib/postgresql/18/docker) এবং /var/lib/postgresql-এ তার ভলিউম ঘোষণা করে। /var/lib/postgresql/data-এ মাউন্ট করা একটি ভলিউম কন্টেইনারটিকে এমন একটি এরর দিয়ে বন্ধ করে দেয় যা Error: in 18+, these Docker images are configured to store database data দিয়ে শুরু হয়। আপনি যখন 18 বা তার পরবর্তী ভার্সনে যাবেন, তখন মাউন্টটি pgdata:/var/lib/postgresql-এ পরিবর্তন করুন। এই পোস্টের /var/lib/postgresql/data পাথগুলো 17 এবং তার আগের ভার্সনের জন্য।
অন্যান্য ইঞ্জিনগুলো ভিন্ন:
- MySQL 8 স্টার্টআপের সময় তার নিজস্ব ডাটা ডিকশনারি আপগ্রেড করে, তাই একটি মাইনর ট্যাগ পরিবর্তন সাধারণত কেবল একটি রিস্টার্ট। রিলিজ সিরিজের মধ্যে পরিবর্তনের আগে রিলিজ নোটগুলো পড়ুন এবং যেকোনো ক্ষেত্রেই প্রথমে একটি ডাম্প নিন।
- MariaDB আশা করে যে নতুন ভার্সনে সার্ভার চালু হওয়ার পর
mariadb-upgradeচালানো হবে। - MongoDB অবশ্যই একবারে একটি মেজর ভার্সন আপগ্রেড করতে হবে, এবং প্রতিটি ধাপের পর পরবর্তী ধাপে যাওয়ার আগে আপনাকে ফিচার কম্প্যাটিবিলিটি ভার্সন সেট করতে হবে। একটি ভার্সন বাদ দিলে
mongodচালু হতে অস্বীকার করবে এবংfeatureCompatibilityVersionউল্লেখ করে একটিUPGRADE PROBLEMলাইন লগ করবে। MongoDB 7.0 থেকে পরবর্তী ভার্সনগুলোতে কমান্ডটির জন্য একটি স্পষ্ট কনফার্মেশন ফ্ল্যাগ প্রয়োজন:db.adminCommand({ setFeatureCompatibilityVersion: "8.0", confirm: true })। - Redis পুরনো স্ন্যাপশট ফাইলগুলো অনায়াসেই লোড করে কিন্তু নতুনগুলো করে না, তাই একটি আপগ্রেড হলো একটি রিস্টার্ট এবং ডাউনগ্রেড করার সময় ডাটা লোড হতে ব্যর্থ হতে পারে।
সাধারণ নিয়ম: কন্টেইনার ডাউনগ্রেডকে সহজ করে কিন্তু আপগ্রেডকে সহজ করে না।
আমার ডাটাবেস কন্টেইনার কেন কোড 137 নিয়ে বন্ধ হয়ে যায়?
কারণ কার্নেলের আউট অফ মেমোরি (OOM) কিলার এটিকে বন্ধ করে দিয়েছে। 137 হলো 128 যোগ সিগন্যাল 9।
docker compose ps --all
docker inspect myapp-db-1 | grep -i oomkilled
journalctl -k | tail -n 20docker compose ps --all দেখাচ্ছে Exited (137)। --all ছাড়া, Compose শুধুমাত্র চলমান কন্টেইনারগুলোর তালিকা দেখায়, তাই মৃত ডাটাবেসটি আউটপুট থেকে বাদ পড়ে যায়। ইন্সপেক্ট লাইনে লেখা থাকে "OOMKilled": true, এবং কার্নেল লগে একটি মিল থাকা এন্ট্রি থাকে:
Memory cgroup out of memory: Killed process 4711 (postgres) total-vm:2170416kBOOMKilled শুধুমাত্র আপনাকে জানায় যে একটি OOM কিলার কন্টেইনারের একটি প্রসেস বন্ধ করেছে। Memory cgroup out of memory প্রিফিক্সটি নির্দেশ করে যে এটি কন্টেইনারের নিজস্ব লিমিট ছিল। হোস্ট-ব্যাপী মেমোরি সংকটের ক্ষেত্রে Out of memory: Killed process লগ হয়, এবং সেক্ষেত্রে সমাধানটি কন্টেইনারে নয়, হোস্টে করতে হয়।
এর কার্যপদ্ধতিটি এমন, যা অনেককে অবাক করে। কন্টেইনারের ভেতরে, free এবং /proc/meminfo এখনও হোস্টের মোট মেমোরি রিপোর্ট করে এবং cgroup লিমিট সেই সংখ্যা পরিবর্তন করে না। PostgreSQL এটি থেকে কোনো কিছুর আকার নির্ধারণ করে না: shared_buffers ডিফল্টভাবে 128MB থাকে এবং এর চেয়ে বড় যেকোনো মান আপনি অথবা কোনো টিউনিং গাইড থেকে বেছে নিয়েছেন। MySQL-এর innodb_buffer_pool_size-ও ডিফল্টভাবে 128M থাকে। সমস্যাটি শুরু হয় যখন সেটিংসগুলো বক্সের রিপোর্ট করা মেমোরি অনুযায়ী নির্ধারণ করা হয়। PostgreSQL-এর নিজস্ব নির্দেশনায় প্রাথমিক shared_buffers হিসেবে সিস্টেম মেমোরির 25% ব্যবহারের পরামর্শ দেওয়া হয়, তাই 16 GB হোস্ট এবং 2 GB লিমিটের ক্ষেত্রে, সেই নিয়ম অনুযায়ী 4 GB বরাদ্দ হয় এবং হোস্টের ওপর কোনো চাপ পড়ার অনেক আগেই cgroup ডাটাবেসটিকে বন্ধ করে দেয়। কিছু ইঞ্জিন এখন ডিফল্টের জন্য লিমিটটি পড়ে: MySQL 9.3 এবং পরবর্তী সংস্করণ এটি করে, এবং MongoDB যখন শনাক্ত করতে পারে তখন এটি তার WiredTiger ক্যাশের জন্য ব্যবহার করে। কোনোটিই সবকিছু এর ওপর ভিত্তি করে নির্ধারণ করে না, এবং MongoDB-এর নিজস্ব ডকুমেন্টেশন বলে যে শনাক্তকরণ ব্যর্থ হতে পারে। তাই শুধুমাত্র একটি মেমোরি লিমিট যথেষ্ট নয়। আপনাকে ডাটাবেসকেও জানাতে হবে তার কাছে কী পরিমাণ মেমোরি আছে:
- PostgreSQL:
shared_buffersসেট করুন এবংwork_mem-এর দিকে খেয়াল রাখুন।work_memপ্রতিটি সর্ট বা হ্যাশ অপারেশনের ক্ষেত্রে প্রযোজ্য এবং প্রতিটি কানেকশন একসাথে কয়েকটি চালাতে পারে, তাই পঞ্চাশটি কানেকশনের জন্য একটি বড় মান সাধারণত এমন কন্টেইনারের কারণ হয় যা স্টার্টআপের চেয়ে লোডের সময় বন্ধ হয়ে যায়। - MySQL এবং MariaDB:
innodb_buffer_pool_sizeসেট করুন, যা ডিফল্টভাবে 128M থাকে। 9.3-এর আগের MySQL-এ, কন্টেইনারের ভেতরেinnodb_dedicated_serverবন্ধ রাখুন, কারণ এটি মেশিনের মেমোরি থেকে বাফার পুলের আকার নির্ধারণ করে, যার অর্থ এখানে হোস্টের মেমোরি। 9.3 থেকে, MySQL কন্টেইনারের লিমিট পড়তে পারে এবংinnodb_dedicated_serverতা থেকে আকার নির্ধারণ করে, তবে একটি নির্দিষ্ট বাফার পুল সাইজ নির্ধারণ করা এখনও নির্ভরযোগ্য পছন্দ। - MongoDB: WiredTiger ক্যাশ সাইজ স্পষ্টভাবে সেট করুন। MongoDB যখন শনাক্ত করতে পারে তখন কন্টেইনারের লিমিট ব্যবহার করে (
hostInfoএটিকেmemLimitMBহিসেবে রিপোর্ট করে), কিন্তু এর নিজস্ব ডকুমেন্টেশন সতর্ক করে যে কিছু ক্ষেত্রে এটি কাজ নাও করতে পারে এবং আপনাকে কন্টেইনারের মেমোরির নিচে--wiredTigerCacheSizeGBঅথবা--wiredTigerCacheSizePctসেট করতে বলে। - Redis:
maxmemoryডিফল্টভাবে আনলিমিটেড থাকে, তাই cgroup এটিকে থামিয়ে না দেওয়া পর্যন্ত Redis বাড়তে থাকে।maxmemoryকন্টেইনার লিমিটের নিচে সুবিধাজনকভাবে সেট করুন এবং একটিmaxmemory-policyবেছে নিন।
Postgres তার নিজের দিক থেকেও ঘটনাটি রিপোর্ট করে, এবং লগে আপনি এই দুটি লাইন খুঁজে পাবেন:
LOG: server process (PID 123) was terminated by signal 9: Killed
LOG: terminating any other active sessions due to crash of another server processএকটি ব্যাকএন্ড বন্ধ হয়ে গেলে অন্য সব ব্যাকএন্ড রিস্টার্ট করতে বাধ্য হয়, কারণ শেয়ারড মেমোরি এখন অসামঞ্জস্যপূর্ণ হতে পারে। এটি আপনার অ্যাপ্লিকেশনের জন্য একটি কানেকশন স্টর্ম, কোনো সাধারণ ঘটনা নয়। Docker Compose-এ মেমোরি লিমিট সেট করা বিষয়টি সিনট্যাক্স এবং mem_limit ও deploy.resources ফরমের মধ্যে পার্থক্য ব্যাখ্যা করে।
এর কোনোটিই হোস্ট থেকে অদৃশ্য হয় না। এটি স্থানান্তরিত হয়। cgroup ছাড়া ডাটাবেসটি বক্সের অন্য সবকিছুর সাথে প্রতিযোগিতা করে, এবং হোস্ট OOM কিলার স্কোর অনুযায়ী একটি ভিকটিম বেছে নেয়, যা sshd-ও হতে পারে। একটি লিমিট যা ডাটাবেসকে অনুমানযোগ্যভাবে বন্ধ করে দেয়, তা হোস্ট OOM-এর চেয়ে পরিচালনা করা সহজ, যা আপনাকে লক আউট করে দিতে পারে।
ব্যাকআপ: ভেতরে ডাম্প করুন, বাইরে ব্যাকআপ রাখুন
চলমান কোনো ডাটাবেসের ডাটা ডিরেক্টরি সরাসরি কপি করে ব্যাকআপ নেবেন না। সার্ভার যখন ডাটা লিখছে, সেই সময়ে ফাইল-লেভেল কপি নিলে তা অসম্পূর্ণ (torn copy) হয়ে যায়, যা আপনি কেবল রিস্টোর করার সময় বুঝতে পারবেন।
দুটি সঠিক পদ্ধতি আছে: ডাটাবেস চলাকালীন তার নিজস্ব টুল দিয়ে ডাম্প তৈরি করে সেই ডাম্পের ব্যাকআপ নিন, অথবা কন্টেইনার বন্ধ করে ভলিউমটি কোল্ড কপি করুন।
docker compose exec -T db pg_dump -U postgres -Fc appdb > /srv/backups/appdb.dump
docker compose exec -T db mysqldump -u root -p"$MYSQL_ROOT_PASSWORD" --single-transaction --all-databases > /srv/backups/mysql.sql
docker compose exec -T db mongodump --archive --gzip --db appdb > /srv/backups/appdb.archive.gz
docker compose exec -T redis redis-cli BGSAVE-T গুরুত্বপূর্ণ। এটি ছাড়া, docker compose exec কমান্ডের সাথে টার্মিনাল যুক্ত করতে পারে এবং টার্মিনাল লেয়ার আউটপুট স্ট্রিমে ক্যারেজ রিটার্ন যোগ করে দেয়। ফলে টেক্সট ডাম্প রিস্টোর করার সময় অদ্ভুত ত্রুটি দেখা দেয় এবং বাইনারি ডাম্প পুরোপুরি নষ্ট হয়ে যায়। এটি ব্যাকআপের সময় নীরবে ব্যর্থ হয় এবং এক মাস পর বড় ধরনের সমস্যা তৈরি করে।
--single-transaction পুরো সার্ভার লক না করেই mysqldump-কে InnoDB টেবিলের একটি সামঞ্জস্যপূর্ণ স্ন্যাপশট দেয়।
এই কমান্ডগুলো প্রতিটি একটি করে ফাইল লেখে। এগুলো কোনো ব্যাকআপ সিস্টেম নয়: এতে কোনো রিটেনশন, অফ-বক্স কপি বা ভেরিফিকেশন নেই। ডাম্প ডিরেক্টরিটিকে এমন একটি টুলের কাছে হস্তান্তর করুন যা এই তিনটি কাজই করে, যেমনটি restic backups from a VPS-এর ক্ষেত্রে করা হয়। /var/lib/docker/volumes-এর ব্যাকআপ না নিয়ে /srv/backups-এর ব্যাকআপ নিন।
এরপর রিস্টোর প্রক্রিয়াটি চালিয়ে দেখুন, কারণ যে ব্যাকআপ আপনি কখনো রিস্টোর করেননি, তা আসলে কোনো ব্যাকআপই নয়:
docker compose exec -T db createdb -U postgres restore_test
docker compose exec -T db pg_restore -U postgres -d restore_test < /srv/backups/appdb.dump
docker compose exec -T db psql -U postgres -d restore_test -c '\dt'\dt কমান্ডটি আপনার অ্যাপ্লিকেশনের টেবিলগুলোর তালিকা দেখাবে। ফলাফল খালি থাকলে বা Did not find any relations. দেখালে বুঝবেন ডাম্পটি আপনার প্রত্যাশা অনুযায়ী হয়নি। কাজ শেষ হলে restore_test ড্রপ করে দিন।
সবকিছু মুছে ফেলার কমান্ড
docker compose down -v।
সাধারণ down কমান্ডটি কন্টেইনার এবং নেটওয়ার্ক মুছে ফেলে। -v কমান্ডটি সেই compose ফাইলে ঘোষিত প্রতিটি named volume এবং সেই কন্টেইনারগুলোর সাথে যুক্ত প্রতিটি anonymous volume মুছে ফেলে। এটি কোনো নিশ্চিতকরণ বার্তা (prompt) দেখায় না এবং এটি পূর্বাবস্থায় ফেরানোর কোনো উপায় নেই। এটি self-hosted ডাটাবেস মুছে ফেলার সবচেয়ে সাধারণ উপায়, এবং সাধারণত কোনো অপ্রাসঙ্গিক সমস্যার সমাধানের সময় এটি ঘটে, কারণ কোনো ফোরামের উত্তরে এটি চালানোর পরামর্শ দেওয়া হয়েছিল।
চারটি বিষয় ক্ষতির সম্ভাবনা কমায়:
- ডাটাবেস ভলিউমকে
external: trueহিসেবে ঘোষণা করুন। Compose এমন কোনো ভলিউম মুছে ফেলে না যার মালিকানা তার নেই, তাই-vসেটিকে স্পর্শ করতে পারে না। আপনিdocker volume create myapp_pgdataব্যবহার করে এটি একবার তৈরি করে নিন। - নিয়মিত রিস্টার্টের জন্য
docker compose stopএবংdocker compose startব্যবহার করুন। Compose-এ down বনাম stop প্রতিটি কমান্ড কী কী মুছে ফেলে তা বিস্তারিত ব্যাখ্যা করে। - Compose দ্বারা পরিচালিত ভলিউমের বাইরে হোস্টের কোনো পাথে ডাটাবেসের ডাম্প (dump) রাখুন।
- আপনার গুরুত্বপূর্ণ ডাটা আছে এমন কোনো স্ট্যাকে ট্রাবলশুটিং উত্তরের
-vকমান্ডটি কখনোই কপি-পেস্ট করবেন না।
ডেটাবেস পোর্ট পাবলিক করবেন না
এই লাইনটি আপনার ডেটাবেসকে পাবলিক ইন্টারনেটে উন্মুক্ত করে দেয়:
ports:
- "5432:5432"এটি প্রতিটি ইন্টারফেসের সাথে বাইন্ড (bind) হয়। Docker আপনার ফায়ারওয়ালের ইনপুট রুলস কার্যকর হওয়ার আগেই প্যাকেটের গন্তব্য পরিবর্তন করে পোর্ট পাবলিশ করে। যেহেতু ufw-এর রুলস ইনপুট চেইনে থাকে, তাই ufw deny 5432 কোনো কাজই করে না। কেন Docker পাবলিশ করা পোর্ট ufw-কে বাইপাস করে লিঙ্কে চেইন ট্রাভার্সাল দেখানো হয়েছে।
একই compose প্রজেক্টের একটি অ্যাপ্লিকেশন compose নেটওয়ার্কে সার্ভিস নেম ব্যবহার করে ডেটাবেসে পৌঁছাতে পারে, তাই এর জন্য কোনো পাবলিশ করা পোর্টের প্রয়োজন নেই। এই ব্লকটি মুছে ফেলুন। যদি হোস্ট থেকে কোনো ক্লায়েন্ট ব্যবহার করতে চান, তবে শুধুমাত্র লুপব্যাক (loopback) ইন্টারফেসে বাইন্ড করুন:
ports:
- "127.0.0.1:5432:5432"বর্তমানে কী লিসেন (listen) করছে তা যাচাই করুন:
sudo ss -ltnp | grep 5432127.0.0.1:5432 হলো আপনার কাঙ্ক্ষিত অবস্থা। 0.0.0.0:5432 মানে হলো যে কেউ আপনার পাসওয়ার্ড দিয়ে প্রবেশের চেষ্টা করতে পারবে।
কোথায় কী চালাবেন
একটি VPS-এ একটি অ্যাপ্লিকেশন। কন্টেইনার ব্যবহার করুন। একটি নির্দিষ্ট নামের ভলিউম ব্যবহার করুন, কোনো পোর্ট সরাসরি উন্মুক্ত করবেন না, ডেটাবেসের সেটিংসের সাথে সামঞ্জস্য রেখে মেমোরি লিমিট সেট করুন এবং প্রতি রাতে একটি ডাম্প ফাইল হোস্টের পাথে রাখুন যা restic সংগ্রহ করবে। একটি VPS-এ ক্লিন Docker ইনস্টলেশন থেকে শুরু করুন এবং পুরো স্ট্যাকটি একটি compose ফাইলে রাখুন যা আপনি গিট-এ কমিট করবেন। এর সুবিধা স্পষ্ট: ডেটাবেস ভার্সনটি গিট-এ একটি রিভিউযোগ্য লাইন হিসেবে থাকে।
একটি হোস্টে একাধিক সার্ভিস চালানো। কন্টেইনার ব্যবহার করুন এবং প্রতিটি অ্যাপ্লিকেশনের জন্য আলাদা ডেটাবেস রাখুন, সবার জন্য একটি শেয়ারড সার্ভার ব্যবহার করবেন না। একটি শেয়ারড সার্ভার প্রতিটি অ্যাপ্লিকেশনকে একটি নির্দিষ্ট আপগ্রেড শিডিউলের সাথে আটকে ফেলে এবং একটি ত্রুটিপূর্ণ কুয়েরি সবার জন্য বিভ্রাট তৈরি করতে পারে। প্রতিটি কন্টেইনারকে নিজস্ব মেমোরি লিমিট দিন যাতে একটি খারাপ কুয়েরি শুধুমাত্র সেই অ্যাপের মধ্যেই সীমাবদ্ধ থাকে। একাধিক ছোট Postgres ইনস্ট্যান্সের ক্ষেত্রে ডিস্কের জায়গা সামান্য বেশি লাগলেও ব্যবস্থাপনার জটিলতা অনেক কমে যায়।
ডেটাবেসই যখন মূল পণ্য। এটি ভেন্ডরের প্যাকেজ রিপোজিটরি থেকে সরাসরি হোস্টে চালান অথবা ম্যানেজড সার্ভিস ব্যবহার করুন। pg_upgrade-এর জন্য একই সময়ে বাইনারিগুলোর দুটি মেজর ভার্সন ইনস্টল থাকা প্রয়োজন, যা প্যাকেজ ম্যানেজার দিয়ে সম্ভব কিন্তু সিঙ্গেল-ভার্সন ইমেজে সম্ভব নয়। যখন ডেটাবেসটি মেশিন এবং এর ডিস্কের পূর্ণ নিয়ন্ত্রণ পায়, তখন রেপ্লিকেশন এবং WAL (write ahead log) আর্কাভিংয়ের মাধ্যমে পয়েন্ট-ইন-টাইম রিকভারি করা সহজ হয়। যে সিস্টেমটি আপনাকে রাত 3টায় অ্যালার্ট দেবে, সেটির জন্য সবসময় সহজ এবং পরীক্ষিত পথটি বেছে নিন।
অ্যাপ্লিকেশনটি ছোট হলে। কোনো সার্ভার-ভিত্তিক ডেটাবেস ব্যবহার না করার কথা বিবেচনা করুন। একটি VPS-এ সিঙ্গেল-রাইটার ওয়েব অ্যাপ্লিকেশনের জন্য প্রোডাকশনে SQLite ব্যবহার করা অনেক ক্ষেত্রে ভালো, যেখানে ব্যাকআপ নেওয়া মানে একটি মাত্র ফাইল কপি করা এবং আপগ্রেড করা মানে শুধুমাত্র একটি লাইব্রেরি ভার্সন আপডেট করা।
FAQ
Docker-এ প্রোডাকশন ডাটাবেস চালানো কি নিরাপদ?
হ্যাঁ, একটি সিঙ্গেল-সার্ভার অ্যাপ্লিকেশন স্ট্যাকের জন্য এটি নিরাপদ। একটি কন্টেইনার হলো লিনাক্স প্রসেস, যার চারপাশে নেমস্পেস এবং সিগ্রুপ (cgroups) থাকে। তাই একটি ভলিউম মাউন্ট করা থাকলে ডাটাবেসটি হোস্ট ফাইলসিস্টেমেই লেখে, যা আপনি প্যাকেজ থেকে ইন্সটল করলেও একই হতো। ঝুঁকিগুলো গতির চেয়ে বরং অপারেশনাল: ভলিউমের নাম পিন না করা, ভুল ইউজার আইডি-র মালিকানাধীন বাইন্ড মাউন্ট, এমন রিস্টোর যা আপনি কখনো পরীক্ষা করেননি এবং docker compose down -v। এই চারটি বিষয় ঠিক থাকলে কন্টেইনারটি নিরাপদ। যখন ডাটাবেসটি মূল কাজের চাপ হয়ে দাঁড়ায় এবং আপনার pg_upgrade, রেপ্লিকেশন বা পয়েন্ট-ইন-টাইম রিকভারি প্রয়োজন হয়, তখন হোস্ট ইন্সটলেশনে চলে যান।
ডাটাবেস ডাটার জন্য আমি কি বাইন্ড মাউন্ট নাকি নেমড ভলিউম ব্যবহার করব?
হোস্ট পাথ জানার সুনির্দিষ্ট কারণ না থাকলে নেমড ভলিউম ব্যবহার করুন। Docker ডিরেক্টরি তৈরি করে এবং ইমেজ এন্ট্রি পয়েন্ট প্রথমবার স্টার্ট হওয়ার সময় মালিকানা নির্ধারণ করে দেয়, ফলে পারমিশন সংক্রান্ত সমস্যা হয় না। একটি স্পষ্ট name: দিয়ে ভলিউমটি পিন করুন অথবা এটিকে external: true হিসেবে চিহ্নিত করুন, অন্যথায় প্রজেক্ট ডিরেক্টরির নাম পরিবর্তন করলে নীরবে একটি নতুন খালি ভলিউম এবং খালি ডাটাবেস তৈরি হয়ে যাবে। বাইন্ড মাউন্ট ব্যবহার করা ঠিক আছে যদি আপনি হোস্ট ডিরেক্টরিটিকে সেই নিউমেরিক ইউজার আইডিতে chown করেন যেটিতে ইমেজটি চলে; অফিসিয়াল Postgres, MySQL এবং MongoDB ইমেজের ডিফল্ট ট্যাগের জন্য এটি 999 এবং Postgres -alpine ট্যাগের জন্য 70। এটি ls -ldn দিয়ে যাচাই করুন, কারণ ls -l আপনার হোস্টের জন্য সেই নাম দেখাবে এবং কন্টেইনারের ভেতরে সেই নামের কোনো অর্থ নেই।
docker compose down -v কী কী মুছে ফেলে?
এটি সাধারণ down-এর মতোই কন্টেইনার এবং নেটওয়ার্ক মুছে ফেলে, এবং -v অতিরিক্তভাবে সেই কম্পোজ ফাইলে ঘোষিত প্রতিটি নেমড ভলিউম এবং সেই কন্টেইনারগুলোর সাথে যুক্ত প্রতিটি অ্যানোনিমাস ভলিউম মুছে ফেলে। এর মধ্যে ডাটাবেসও অন্তর্ভুক্ত। এখানে কোনো কনফার্মেশন প্রম্পট বা রিকভারির সুযোগ নেই। external: true হিসেবে চিহ্নিত ভলিউমগুলো মুছে ফেলা হয় না, আর ডাটাবেস ভলিউমকে এক্সটার্নাল হিসেবে চিহ্নিত করার এটিই প্রধান কারণ। নিয়মিত রিস্টার্টের জন্য docker compose stop এবং docker compose start ব্যবহার করুন।
Docker-এ PostgreSQL-এর নতুন মেজর ভার্সনে কীভাবে আপগ্রেড করব?
ডাম্প এবং রিস্টোর করুন। postgres:16 পরিবর্তন করে postgres:17 দিয়ে রিস্টার্ট দিলে FATAL: database files are incompatible with server পাওয়া যাবে, যেখানে একটি DETAIL লাইনে উভয় ভার্সনের নাম থাকবে, কারণ নতুন বাইনারিগুলো পুরনো ক্যাটালগ লেআউট পড়তে পারবে না। এতে কোনো ক্ষতি হয় না: পুরনো ট্যাগটি ফিরিয়ে আনলে এটি আবার চালু হবে। চলমান পুরনো কন্টেইনারের বিপরীতে নতুন ভার্সনের ক্লায়েন্ট ব্যবহার করে একটি pg_dumpall নিন, ফাইলটি PostgreSQL database cluster dump complete দিয়ে শেষ হয়েছে কি না নিশ্চিত করুন, তারপর খালি ভলিউমে নতুন ট্যাগটি চালু করে ডাম্পটি লোড করুন। postgres:18 থেকে, সেই ভলিউমটিকে /var/lib/postgresql/data-এর পরিবর্তে /var/lib/postgresql-এ মাউন্ট করুন। একটি মেজর ভার্সনের ভেতরে মাইনর আপগ্রেডের জন্য শুধু একটি পুল এবং রিস্টার্ট প্রয়োজন।
আমার ডাটাবেস কন্টেইনার কেন 137 কোড দিয়ে বন্ধ হয়ে যায়?
137 হলো 128 যোগ সিগন্যাল 9, যার অর্থ কোনো কিছু প্রসেসটিকে সরাসরি বন্ধ করে দিয়েছে। docker inspect <container> | grep -i oomkilled চালান; true মানের অর্থ হলো OOM কিলার কন্টেইনারের একটি প্রসেস বন্ধ করেছে, সাধারণত কারণ কন্টেইনারটি তার নিজস্ব সিগ্রুপ মেমোরি লিমিটে পৌঁছে গিয়েছিল। এর সাধারণ কারণ হলো কন্টেইনারের পরিবর্তে হোস্টের জন্য মেমোরি সেটিংস নির্ধারণ করা: কন্টেইনারের ভেতরের টুলগুলো এখনো হোস্টের মোট মেমোরি দেখায়, তাই 16 জিবি-র জন্য তৈরি বাফার 2 জিবি-র ভেতরে চলতে গিয়ে এই সমস্যা হয়। কন্টেইনারকে দেওয়া লিমিটের সাথে সামঞ্জস্য রেখে shared_buffers এবং work_mem, অথবা innodb_buffer_pool_size সেট করুন। কার্নেল কোন প্রসেসটি বেছে নিয়েছে এবং এটি কন্টেইনারের লিমিট ছিল কি না, নাকি হোস্ট-ব্যাপী Out of memory কিল ছিল, তা নিশ্চিত করতে journalctl -k-এ সংশ্লিষ্ট Memory cgroup out of memory লাইনটি পরীক্ষা করুন।