Database کو Docker میں چلائیں یا host پر؟
PostgreSQL، MySQL، MongoDB یا Redis کو production میں Docker پر چلانا درست ہے، مگر volumes، upgrades، backups اور memory limits کے یہ عملی خطرات سمجھیں۔
کیا database کو Docker میں چلانا چاہیے یا host پر؟
database کو Docker میں چلائیں۔ ایک VPS پر ایک application stack کے لیے containerised PostgreSQL، MySQL، MongoDB یا Redis کا استعمال production کا عام انتخاب ہے، اور اس موضوع پر ہونے والی بحث عموماً اصل مسئلے سے ہٹ جاتی ہے۔ Container ایک Linux process ہوتا ہے جس کے گرد namespaces اور cgroups موجود ہوتے ہیں؛ یہ virtual machine نہیں ہوتا۔ اس لیے database اور disk کے درمیان کوئی hypervisor نہیں ہوتا۔ bind mount یا local named volume کے ذریعے read اور write اسی host filesystem پر ہوتے ہیں جسے package installation بھی استعمال کرتی ہے۔
اصل لاگت operational ہوتی ہے۔ چار چیزیں طے کرتی ہیں کہ یہ setup مناسب رہے گا یا آہستہ آہستہ بڑا مسئلہ بن جائے گا: data کہاں محفوظ ہے، اس directory کا مالک کون ہے، major version upgrade کیسے کیا جائے گا، اور کیا آپ نے کبھی backup restore کیا ہے۔ اگر یہ چیزیں درست ہوں تو container صرف ایک جزوی تفصیل رہ جاتا ہے۔ اگر یہ غلط ہوں تو آپ مسئلے کا الزام container پر دیں گے۔
یہی فیصلہ ہر server database کے لیے ہوتا ہے۔ ذیل کی مثالوں میں PostgreSQL، MySQL، MongoDB اور Redis استعمال کیے گئے ہیں۔ جہاں product-specific فرق اہم ہو، وہاں اس کی وضاحت کی گئی ہے۔
کنٹینر دراصل کیا تبدیل کرتا ہے
جب تک آپ storage path mount کرتے ہیں، یہ storage path کو تبدیل نہیں کرتا۔ Kernel وہی رہتا ہے، page cache وہی رہتا ہے، اور filesystem بھی وہی رہتا ہے۔
ایک حقیقی performance trap اس وقت پیدا ہوتا ہے جب آپ کچھ بھی mount نہیں کرتے۔ volume کے بغیر data directory کنٹینر کی writable layer میں چلی جاتی ہے، جو image کے اوپر بنے ہوئے overlay filesystem پر مشتمل ہوتی ہے۔ وہاں writes سست ہوتی ہیں، اور کنٹینر remove ہونے پر پوری layer delete ہو جاتی ہے۔ اسی وجہ سے صبح یہ معلوم ہوتا ہے کہ database خالی ہے۔
جو چیزیں واقعی تبدیل ہوتی ہیں:
- Lifecycle۔
docker compose downکنٹینر destroy کر دیتا ہے۔ جو کچھ volume میں موجود نہ ہو، وہ بھی اس کے ساتھ ختم ہو جاتا ہے۔ - Version۔ image tag ہی version ہوتا ہے۔ database container کے اندر کوئی
apt upgradeموجود نہیں ہوتا جو اگلےdocker compose pullکے بعد بھی برقرار رہے۔ - Memory accounting۔ cgroup limit ایک سخت حد ہے جسے kernel نافذ کرتا ہے، اور database کے زیادہ تر defaults اس حد کے مطابق خود کو size نہیں کرتے۔ MySQL 9.3 یا بعد کے ورژن کچھ settings کے لیے یہ limit پڑھتے ہیں۔ MongoDB اپنے WiredTiger cache کے لیے ایسا کرنے کی کوشش کرتا ہے، لیکن اس کی documentation خبردار کرتی ہے کہ بعض صورتوں میں یہ نہیں ہوتا۔ PostgreSQL اور Redis ایسا نہیں کرتے۔
- User۔ process کنٹینر کے اندر numeric user id کے طور پر چلتا ہے، اور ممکن ہے کہ host پر اس user کی ملکیت میں کچھ بھی نہ ہو۔
ڈیٹا کہاں موجود ہے، اس سے سب کچھ طے ہوتا ہے
دو اچھے اختیارات ہیں اور ایک عام غلطی ہے۔
- نامزد volume:
pgdata:/var/lib/postgresql/data۔ Docker/var/lib/docker/volumes/<project>_pgdata/_dataپر directory بناتا ہے، اور image کا entrypoint پہلی بار چلنے پر ownership مقرر کرتا ہے۔ یہ default انتخاب ہے۔ - bind mount:
/srv/appname/pg:/var/lib/postgresql/data۔ path آپ منتخب کرتے ہیں، اس لیے permissions کا مسئلہ بھی آپ ہی کے ذمے ہے۔ - کوئی mount نہیں۔ اوپر دیکھیں۔ ڈیٹا container میں موجود ہے۔
اس کے مکمل فوائد اور نقصانات الگ موضوع ہیں، اور bind mounts اور named volumes کا موازنہ میں اس کا احاطہ کیا گیا ہے۔ Database کے لیے مختصر جواب یہ ہے: named volume استعمال کریں، جب تک آپ کے پاس host path معلوم رکھنے کی کوئی خاص وجہ نہ ہو۔ اگر bind mount استعمال کریں تو اسے /srv/appname/pg جیسی مستقل جگہ پر رکھیں، نہ کہ project directory کے اندر، جہاں git clean اس تک پہنچ سکتا ہے۔
Network storage کے ساتھ احتیاط کریں۔ Database data directory کو NFS (network file system) یا کسی ایسے network mount پر نہ رکھیں جس کے locking اور fsync رویے کی آپ نے جانچ نہ کی ہو۔ PostgreSQL، NFS کے لیے ایک واضح تقاضا بیان کرتا ہے: mount میں hard option استعمال کیا جائے۔ یہ NFS server پر sync export option استعمال کرنے کی بھی پُرزور سفارش کرتا ہے، کیونکہ اس کے بغیر client پر موجود fsync کے server کی disk تک پہنچنے کی ضمانت نہیں ہوتی۔ Databases فرض کرتے ہیں کہ کامیاب fsync کا مطلب ہے کہ bytes مستقل storage پر لکھے جا چکے ہیں۔ جب یہ مفروضہ غلط ہو، تو corruption کئی ہفتوں بعد ظاہر ہوتی ہے۔
Volume غائب ہونے سے پہلے اس کا نام مقرر کریں
Compose کسی volume کو <project>_<volume> نام دیتا ہے، اور project name بطور default directory name ہوتا ہے۔ اس لیے volume کی شناخت directory name پر منحصر ہوتی ہے، جسے لوگ اکثر سوچے بغیر تبدیل کر دیتے ہیں۔
/srv/app کو /srv/app-old میں منتقل کریں، یا compose file میں pgdata key کا نام تبدیل کریں، تو اگلا docker compose up -d ایک بالکل نیا خالی volume بناتا ہے۔ Postgres اس میں نیا cluster initialize کر دیتا ہے۔ container صحت مند ہوتا ہے، application شروع ہو جاتی ہے، لیکن تمام tables غائب ہوتی ہیں۔ پرانا volume اب بھی پرانے نام کے تحت disk پر موجود ہوتا ہے، اور یہی اچھی خبر ہے۔
docker volume ls
docker volume inspect app_pgdataنام واضح طور پر مقرر کریں تاکہ ایسا دوبارہ نہ ہو۔ project name اور volume name کو صراحت کے ساتھ set کریں:
name: myapp
services:
db:
image: postgres:17
volumes:
- pgdata:/var/lib/postgresql/data
volumes:
pgdata:
name: myapp_pgdataاگر کسی غیر متعلقہ نام والے volume میں پہلے سے آپ کا data موجود ہے تو database بند کر کے اسے copy کریں:
docker compose stop db
docker run --rm -v app_pgdata:/from -v myapp_pgdata:/to alpine sh -c 'cp -a /from/. /to/'
docker compose start dbdatabase چلتے ہوئے copy کرنے سے ان files کی نامکمل copy بن سکتی ہے جن میں اس وقت لکھا جا رہا تھا۔ پہلے database بند کریں۔
ڈیٹا ڈائریکٹری کا مالک کون ہے
سرکاری Postgres، MySQL اور MongoDB images اپنے server کو غیر مراعات یافتہ numeric user id کے تحت چلاتی ہیں: default tags میں 999، اور Postgres -alpine tags میں 70۔ جب container root کے طور پر شروع ہوتا ہے تو entrypoint ڈیٹا ڈائریکٹری کی ownership اس user کو منتقل کرتا ہے اور پھر مراعات ختم کر دیتا ہے۔ اسی وجہ سے خالی bind mount عموماً پہلی کوشش میں کام کر جاتا ہے۔
یہ اسی وقت ناکام ہو جاتا ہے جب آپ compose file میں user: set کرتے ہیں، کیونکہ اس کے بعد entrypoint کے پاس کسی چیز کو درست کرنے کے لیے مطلوبہ مراعات باقی نہیں رہتیں۔ Postgres اسے براہ راست بیان کرتا ہے:
initdb: error: could not change permissions of directory "/var/lib/postgresql/data": Operation not permittedغلط mode کے ساتھ موجود ڈیٹا ڈائریکٹری مختلف پیغام دیتی ہے۔ اسے پہچاننا ضروری ہے، کیونکہ اس کا حل chmod ہے، نہ کہ chown:
FATAL: data directory "/var/lib/postgresql/data" has invalid permissions
DETAIL: Permissions should be u=rwx (0700) or u=rwx,g=rx (0750).MongoDB entrypoint بھی اسی طرح ownership درست کرتا ہے۔ اس لیے lock file کا یہ error بتاتا ہے کہ وہ ایسا نہیں کر سکا۔ عام طور پر user: set ہوتا ہے، یا mount root کی طرف سے chown کی اجازت نہیں دیتا:
Unable to create/open the lock file: /data/db/mongod.lock (Permission denied). Ensure the user executing mongod is the owner of the lock file and has the appropriate permissions.حل یہ ہے کہ host directory کی ownership numeric id کو دیں، کسی نام کو نہیں:
sudo chown -R 999:999 /srv/appname/pg
sudo chmod 700 /srv/appname/pg
ls -ldn /srv/appname/pgls -ldn ناموں کے بجائے numbers دکھاتا ہے، اور اسے 999 999 دکھانا چاہیے۔ Postgres -alpine image کے لیے اس کے بجائے 70:70 استعمال کریں اور 70 70 کی توقع رکھیں۔ آپ کے host پر postgres نام والا account اور image کے اندر postgres نام والا account ایک دوسرے سے غیر متعلق ہیں: kernel numbers کا موازنہ کرتا ہے، جبکہ نام دونوں طرف الگ الگ resolve ہوتے ہیں۔ PUID اور PGID host users کو container میں کیسے map کرتے ہیں اس mapping کی مکمل وضاحت کرتا ہے۔ Rootless Docker یا user namespace remapping کے تحت numbers دوبارہ بدل جاتے ہیں، اس لیے 999 فرض کرنے کے بجائے running container سے ids پڑھیں۔
Named volumes پہلی بار چلنے پر اس پورے مسئلے کو ختم کر دیتے ہیں، کیونکہ Docker خالی directory بناتا ہے اور entrypoint اسے اپنا مالک بنا لیتا ہے۔
اپ گریڈز: image tag تبدیل کرنے کے مقابلے میں package upgrade
Host پر apt upgrade آپ کو minor version کے اندر آگے لے جاتا ہے۔ آپ کی distribution آپ کے علم کے بغیر database major version تبدیل نہیں کرے گی۔ جب آپ major version تبدیل کرنے کا فیصلہ کرتے ہیں تو binaries کے دونوں sets بیک وقت install کیے جا سکتے ہیں، اور یہی چیز pg_upgrade کو درکار ہے۔
Container میں tag ہی version ہوتا ہے، اس لیے upgrade کے لیے صرف ایک line تبدیل کرنی ہوتی ہے۔ اس سے minor upgrades آسان ہو جاتے ہیں، جبکہ major upgrades کے لیے باقاعدہ طریقۂ کار درکار ہوتا ہے۔
postgres:16 کو postgres:17 سے تبدیل کریں، docker compose up -d چلائیں، اور container فوراً exit ہو جائے گا:
PostgreSQL Database directory appears to contain a database; Skipping initialization
FATAL: database files are incompatible with server
DETAIL: The data directory was initialized by PostgreSQL version 16, which is not compatible with this version 17.کوئی چیز خراب نہیں ہوتی۔ نئی binaries پرانے on-disk catalog layout کو پڑھنے سے انکار کرتی ہیں، کیونکہ یہ layout major versions کے درمیان تبدیل ہوتا ہے۔ tag واپس postgres:16 پر کریں، اور یہ دوبارہ start ہو جائے گا۔ یہ rollback containers کا فراہم کردہ واحد حقیقی upgrade فائدہ ہے۔
درست supported طریقہ dump اور restore ہے۔ PostgreSQL ترجیح دیتا ہے کہ dump نئے client سے لیا جائے، اس لیے نئے image سے compose network پر اب بھی چلنے والے پرانے server کے خلاف یہ command چلائیں:
docker run --rm --network myapp_default -e PGPASSWORD="$POSTGRES_PASSWORD" \
postgres:17 pg_dumpall -h db -U postgres > /srv/backups/all.sql
ls -lh /srv/backups/all.sql
tail -n 2 /srv/backups/all.sqlفائل کم از کم دسیوں kilobytes کی ہونی چاہیے اور اس کے آخر میں PostgreSQL database cluster dump complete والی line ہونی چاہیے۔ چند سو bytes کی فائل کا مطلب ہے کہ dump ناکام ہو گیا ہے، اور آپ بلاوجہ volume حذف کرنے والے ہیں۔ صرف اس check کے بعد:
docker compose down
docker volume rm myapp_pgdata
# edit the compose file: image: postgres:17
docker compose up -d db
docker compose exec -T db psql -U postgres -f /dev/stdin < /srv/backups/all.sqlpostgres:18 پر ایک اور تبدیلی کی منصوبہ بندی کریں۔ 18 سے شروع ہو کر official image اپنا data /var/lib/postgresql کے اندر versioned directory میں رکھتا ہے؛ 18 کے لیے یہ /var/lib/postgresql/18/docker ہے، اور اپنا volume /var/lib/postgresql پر declare کرتا ہے۔ اگر volume اب بھی /var/lib/postgresql/data پر mount ہو تو container ایسی error کے ساتھ exit ہو جاتا ہے جو Error: in 18+, these Docker images are configured to store database data سے شروع ہوتی ہے۔ 18 یا اس کے بعد کے version پر منتقل ہوتے وقت mount کو pgdata:/var/lib/postgresql میں تبدیل کریں۔ اس post میں /var/lib/postgresql/data paths 17 اور اس سے پہلے کے versions کے لیے ہیں۔
دیگر engines مختلف طریقے سے کام کرتے ہیں:
- MySQL 8 startup کے وقت اپنا data dictionary upgrade کرتا ہے، اس لیے minor tag bump عموماً صرف restart ہوتا ہے۔ Release series کے درمیان major تبدیلی سے پہلے release notes پڑھیں، اور ہر صورت پہلے dump لیں۔
- MariaDB کا تقاضا ہے کہ server کے نئے version پر start ہونے کے بعد
mariadb-upgradeچلایا جائے۔ - MongoDB کو ایک وقت میں صرف ایک major version upgrade کرنا چاہیے۔ ہر step کے بعد اگلے step پر جانے سے پہلے feature compatibility version set کریں۔ کسی version کو skip کرنے سے
mongodstart ہونے سے انکار کرتا ہے اورUPGRADE PROBLEMline log کرتا ہے، جس میںfeatureCompatibilityVersionکا نام ہوتا ہے۔ MongoDB 7.0 سے آگے command کے لیے explicit confirmation flag درکار ہے:db.adminCommand({ setFeatureCompatibilityVersion: "8.0", confirm: true })۔ - Redis پرانی snapshot files کو آسانی سے load کرتا ہے، لیکن نئی files کو نہیں۔ اس لیے upgrade ایک restart ہے، جبکہ downgrade میں data load ہونے میں ناکامی ہو سکتی ہے۔
عمومی اصول یہ ہے: container downgrade کو آسان بناتا ہے، لیکن upgrade کو آسان نہیں بناتا۔
میرا database container code 137 کے ساتھ کیوں بند ہو جاتا ہے؟
کیونکہ kernel کے out of memory (OOM) killer نے اسے ختم کر دیا۔ 137، 128 اور signal 9 کا مجموعہ ہے۔
docker compose ps --all
docker inspect myapp-db-1 | grep -i oomkilled
journalctl -k | tail -n 20docker compose ps --all، Exited (137) دکھاتا ہے۔ --all کے بغیر Compose صرف running containers دکھاتا ہے، اس لیے بند database output میں موجود ہی نہیں ہوتا۔ inspect کی سطر "OOMKilled": true پڑھتی ہے، اور kernel log میں اس سے مطابقت رکھنے والی entry موجود ہوتی ہے:
Memory cgroup out of memory: Killed process 4711 (postgres) total-vm:2170416kBOOMKilled صرف یہ بتاتا ہے کہ OOM killer نے container کے اندر ایک process ختم کیا۔ Memory cgroup out of memory prefix بتاتا ہے کہ حد خود container کی تھی۔ پورے host میں memory کی کمی ہو تو log میں Out of memory: Killed process آتا ہے، اور پھر مسئلہ container میں نہیں بلکہ host میں حل کرنا ہوتا ہے۔
یہ طریقۂ کار یوں کام کرتا ہے، اور اس سے اکثر لوگ حیران ہوتے ہیں۔ Container کے اندر free اور /proc/meminfo اب بھی host کی کل memory رپورٹ کرتے ہیں، اور cgroup limit اس عدد کو تبدیل نہیں کرتی۔ PostgreSQL اس عدد کی بنیاد پر کوئی setting مقرر نہیں کرتا: shared_buffers کی default قدر 128MB ہے، اور اس سے بڑی کوئی بھی قدر آپ نے یا کسی tuning guide نے منتخب کی ہوتی ہے۔ MySQL کا innodb_buffer_pool_size بھی default طور پر 128M ہے۔ مسئلہ اس وقت شروع ہوتا ہے جب settings اس memory کے مطابق مقرر کی جائیں جو machine رپورٹ کرتی ہے۔ PostgreSQL کی اپنی guidance میں system memory کے 25% کو ابتدائی shared_buffers کے طور پر تجویز کیا گیا ہے۔ چنانچہ 16 GB host اور 2 GB limit کی صورت میں یہ اصول 4 GB مقرر کرتا ہے، اور cgroup host پر کسی دباؤ سے بہت پہلے database کو ختم کر دیتا ہے۔ کچھ engines اب بعض defaults کے لیے limit پڑھتے ہیں: MySQL 9.3 اور اس کے بعد کے versions ایسا کرتے ہیں، اور MongoDB بھی اپنی WiredTiger cache کے لیے limit استعمال کرتا ہے، اگر وہ اسے detect کر سکے۔ پھر بھی کوئی بھی engine ہر setting اسی limit سے مقرر نہیں کرتا، اور MongoDB کی اپنی documentation کے مطابق detection ناکام ہو سکتی ہے۔ اس لیے صرف memory limit کافی نہیں۔ آپ کو database کو یہ بھی بتانا ہوگا کہ اسے کتنی memory دستیاب ہے:
- PostgreSQL:
shared_buffersمقرر کریں اورwork_memپر توجہ دیں۔work_memہر sort یا hash operation پر الگ لاگو ہوتا ہے، اور ہر connection بیک وقت کئی operations چلا سکتا ہے۔ اس لیے پچاس connections سے ضرب دی گئی بڑی قدر عموماً اس container کی وجہ بنتی ہے جو startup کے بجائے load کے دوران بند ہوتا ہے۔ - MySQL اور MariaDB:
innodb_buffer_pool_sizeمقرر کریں، جس کی default قدر 128M ہے۔ MySQL 9.3 سے پہلے container میںinnodb_dedicated_serverکو بند رکھیں، کیونکہ یہ buffer pool کا سائز machine کی memory سے مقرر کرتا ہے، اور یہاں اس سے مراد host کی memory ہے۔ 9.3 سے MySQL container کی limits پڑھتا ہے اورinnodb_dedicated_serverانہی limits کی بنیاد پر سائز مقرر کرتا ہے، لیکن buffer pool کا explicit size اب بھی زیادہ قابل پیش گوئی انتخاب ہے۔ - MongoDB: WiredTiger cache کا size واضح طور پر مقرر کریں۔ MongoDB container کی limit اس وقت استعمال کرتا ہے جب وہ اسے detect کر سکے (
hostInfoاسےmemLimitMBکے طور پر رپورٹ کرتا ہے)، لیکن اس کی اپنی documentation خبردار کرتی ہے کہ بعض صورتوں میں detection ناکام ہو سکتی ہے، اور آپ کو--wiredTigerCacheSizeGBیا--wiredTigerCacheSizePctکو container کی memory سے کم مقرر کرنے کی ہدایت دیتی ہے۔ - Redis:
maxmemoryکی default قدر unlimited ہے، اس لیے Redis اس وقت تک بڑھتا رہتا ہے جب تک cgroup اسے روک نہ دے۔maxmemoryکو container limit سے مناسب حد تک کم مقرر کریں اورmaxmemory-policyمنتخب کریں۔
Postgres بھی اپنی طرف سے اس واقعے کی رپورٹ کرتا ہے، اور log میں آپ کو یہ دو سطریں ملیں گی:
LOG: server process (PID 123) was terminated by signal 9: Killed
LOG: terminating any other active sessions due to crash of another server processایک backend کے ختم ہونے سے ہر دوسرا backend دوبارہ start ہونے پر مجبور ہوتا ہے، کیونکہ shared memory اب inconsistent ہو سکتی ہے۔ آپ کی application کے لیے یہ connection storm ہے، کوئی خاموش واقعہ نہیں۔ Docker Compose میں memory limits مقرر کرنا میں syntax اور mem_limit اور deploy.resources form کے درمیان فرق بیان کیا گیا ہے۔
یہ سب host پر ختم نہیں ہوتا۔ صرف جگہ بدلتا ہے۔ cgroup کے بغیر database host کی دوسری تمام چیزوں کے ساتھ resources کے لیے مقابلہ کرتا ہے، اور host OOM killer score کی بنیاد پر کسی process کو victim منتخب کرتا ہے؛ وہ sshd بھی ہو سکتا ہے۔ ایسی limit جو database کو قابل پیش گوئی انداز میں ختم کرے، اس host OOM سے زیادہ آسانی سے manage کی جا سکتی ہے جو آپ کو system سے باہر کر دے۔
بیک اپس: اندرونی طور پر dump لیں، بیرونی طور پر بیک اپ کریں
چلتے ہوئے database کی data directory کو copy کر کے بیک اپ نہ بنائیں۔ server کے data لکھتے وقت لی گئی file-level copy نامکمل ہوتی ہے، اور اس کا پتا restore کے وقت چلتا ہے۔
دو قابلِ اعتماد طریقے ہیں: database کے اپنے tool سے اس کے چلتے ہوئے dump لیں اور dump کا بیک اپ بنائیں، یا container روک کر volume کو cold حالت میں copy کریں۔
docker compose exec -T db pg_dump -U postgres -Fc appdb > /srv/backups/appdb.dump
docker compose exec -T db mysqldump -u root -p"$MYSQL_ROOT_PASSWORD" --single-transaction --all-databases > /srv/backups/mysql.sql
docker compose exec -T db mongodump --archive --gzip --db appdb > /srv/backups/appdb.archive.gz
docker compose exec -T redis redis-cli BGSAVE-T اہم ہے۔ اس کے بغیر docker compose exec command کے ساتھ terminal attach کر سکتا ہے، اور terminal layer output stream میں carriage returns شامل کر دیتی ہے۔ پھر text dump restore کرتے وقت عجیب errors آتے ہیں، جبکہ binary dump مکمل طور پر corrupt ہو جاتا ہے۔ بیک اپ کے وقت یہ خاموشی سے fail ہوتا ہے اور ایک ماہ بعد واضح طور پر سامنے آتا ہے۔
--single-transaction پورے server کو lock کیے بغیر mysqldump کو InnoDB tables کا مستقل snapshot لینے دیتا ہے۔
یہ commands ہر ایک ایک file لکھتی ہیں۔ یہ بیک اپ system نہیں ہیں: ان میں retention، off-box copy یا verification شامل نہیں ہے۔ dump directory ایسے tool کے حوالے کریں جو یہ تینوں کام کرے۔ VPS سے restic بیک اپس اسی مقصد کے لیے ہے۔ /srv/backups کا بیک اپ بنائیں، /var/lib/docker/volumes کا نہیں۔
اس کے بعد restore چلائیں، کیونکہ جس بیک اپ کو آپ نے کبھی restore نہ کیا ہو وہ بیک اپ نہیں ہوتا:
docker compose exec -T db createdb -U postgres restore_test
docker compose exec -T db pg_restore -U postgres -d restore_test < /srv/backups/appdb.dump
docker compose exec -T db psql -U postgres -d restore_test -c '\dt'\dt کو آپ کی application کے tables کی فہرست دکھانی چاہیے۔ خالی result یا Did not find any relations. کا مطلب ہے کہ dump وہ نہیں ہے جو آپ سمجھ رہے ہیں۔ کام مکمل ہونے پر restore_test کو حذف کریں۔
ہر چیز حذف کرنے والی کمانڈ
docker compose down -v۔
سادہ down containers اور network کو حذف کر دیتا ہے۔ -v اس compose file میں declare کیے گئے ہر named volume کے علاوہ ان containers کے ساتھ منسلک ہر anonymous volume بھی حذف کر دیتا ہے۔ اس میں کوئی prompt نہیں آتا اور undo کا کوئی طریقہ نہیں ہوتا۔ Self-hosted database کے تباہ ہونے کی یہ سب سے عام وجہ ہے۔ عموماً یہ کسی غیر متعلقہ مسئلے کی troubleshooting کے دوران ہوتا ہے، کیونکہ کسی forum کے جواب میں اسے چلانے کا کہا گیا ہوتا ہے۔
چار اقدامات نقصان کا دائرہ کم کرتے ہیں:
- Database volume کو
external: trueکے طور پر declare کریں۔ Compose ایسا volume حذف نہیں کرے گا جس کا مالک وہ نہ ہو، اس لیے-vاس تک نہیں پہنچ سکتا۔ اسے ایک بارdocker volume create myapp_pgdataکے ذریعے بنائیں۔ - معمول کے restarts کے لیے
docker compose stopاورdocker compose startاستعمال کریں۔ Compose میں down اور stop کا فرق واضح کرتا ہے کہ ہر کمانڈ کیا حذف کرتی ہے۔ - Dumps کو ایسے host path پر رکھیں جو compose کے زیرِ انتظام ہر volume سے باہر ہو۔
- Troubleshooting کے کسی جواب سے
-vکو ایسے stack میں کبھی paste نہ کریں جس میں آپ کا اہم data موجود ہو۔
ڈیٹابیس port کو public نہ کریں
یہ line آپ کے database کو public internet پر expose کر دیتی ہے:
ports:
- "5432:5432"یہ ہر interface پر bind کرتی ہے۔ Docker، firewall کے input rules تک packet پہنچنے سے پہلے ہی اس کی destination تبدیل کرکے port publish کرتا ہے۔ ufw کے rules input chain میں ہوتے ہیں، اس لیے ufw deny 5432 بالکل کچھ نہیں کرتا۔ Docker کے published ports، ufw کو bypass کیوں کرتے ہیں میں chain traversal دکھایا گیا ہے۔
اسی compose project کی application، compose network پر service name کے ذریعے database تک پہنچتی ہے، اس لیے اسے published port کی ضرورت نہیں ہوتی۔ یہ block حذف کریں۔ اگر host پر موجود client کو رسائی دینی ہو تو صرف loopback پر bind کریں:
ports:
- "127.0.0.1:5432:5432"دیکھیں کہ حقیقت میں کون سا port listening کر رہا ہے:
sudo ss -ltnp | grep 5432127.0.0.1:5432 مطلوبہ نتیجہ ہے۔ 0.0.0.0:5432 کا مطلب ہے کہ کوئی بھی آپ کا password آزما سکتا ہے۔
کہاں کیا چلائیں
ایک VPS پر ایک application۔ Container استعمال کریں۔ متعین نام والا named volume بنائیں، کوئی published port نہ رکھیں، database settings کے مطابق memory limit مقرر کریں، اور ہر رات host path پر dump بنائیں جسے restic جمع کر لے۔ VPS پر صاف Docker installation سے آغاز کریں اور پورا stack ایک ہی compose file میں رکھیں، جسے آپ commit کرتے ہیں۔ فائدہ واضح ہے: database version git میں review کے قابل ایک لائن بن جاتا ہے۔
ایسا host جس پر کئی services چل رہی ہوں۔ Containers استعمال کریں، اور ہر application کے لیے ایک database رکھیں؛ سب کے لیے ایک shared server نہ رکھیں۔ Shared server ہر application کو ایک ہی upgrade schedule سے باندھ دیتا ہے، اور ایک بے قابو query سب کی outage کا سبب بن سکتی ہے۔ ہر container کے لیے الگ memory limit مقرر کریں تاکہ خراب query صرف اسے لکھنے والی app تک محدود رہے۔ کئی چھوٹے Postgres instances میں disk کچھ زیادہ لگتی ہے، لیکن coordination بہت کم ہو جاتی ہے۔
Database ہی product ہو۔ اسے vendor کے package repository سے host پر چلائیں، یا managed service کے لیے ادائیگی کریں۔ pg_upgrade کے لیے binaries کے دونوں major versions بیک وقت installed ہونے چاہییں۔ Packages یہ سہولت دیتے ہیں، جبکہ single-version image نہیں دیتی۔ WAL (write ahead log) archiving کے ساتھ replication اور point in time recovery دونوں اس وقت آسان ہوتے ہیں جب database خود machine اور اس کی disks کو manage کر رہا ہو۔ ایسے system کے لیے سادہ اور قابل اعتماد راستہ منتخب کریں جو 03:00 بجے آپ کو page کرے گا۔
Application چھوٹی ہو۔ غور کریں کہ server database بالکل نہ چلایا جائے۔ ایک VPS پر single-writer web application کے لیے اکثر VPS پر production میں SQLite زیادہ موزوں ہوتی ہے، کیونکہ backup ایک file ہوتا ہے اور upgrade path ایک library version ہوتا ہے۔
FAQ
کیا production database کو Docker میں چلانا محفوظ ہے؟
ہاں، single-server application stack کے لیے۔ Container ایک Linux process ہوتا ہے جس کے گرد namespaces اور cgroups موجود ہوتے ہیں۔ اس لیے volume mount ہونے کی صورت میں database اسی host filesystem میں لکھتا ہے جسے package کے ذریعے installation کرنے پر استعمال کرتا۔ خطرات رفتار سے متعلق نہیں بلکہ operational ہوتے ہیں: ایسا volume جس کا نام pinned نہ ہو، غلط user id کی ملکیت والا bind mount، ایسا restore جسے آپ نے کبھی test نہ کیا ہو، اور docker compose down -v۔ ان چاروں مسائل کو حل کر دیں تو container مناسب ہے۔ جب database بنیادی workload ہو اور آپ کو pg_upgrade، replication یا point in time recovery درکار ہو تو host install استعمال کریں۔
Database data کے لیے bind mount استعمال کرنا چاہیے یا named volume؟
جب تک host path جاننے کی مخصوص وجہ نہ ہو، named volume استعمال کریں۔ Docker directory بناتا ہے اور image entrypoint پہلی بار start ہونے پر ownership متعین کرتا ہے، اس لیے permission کا مسئلہ پیدا نہیں ہوتا۔ Volume کو واضح name: کے ساتھ pin کریں یا اسے external: true قرار دیں۔ بصورت دیگر project directory کا نام تبدیل کرنے سے خاموشی سے نیا خالی volume بن جاتا ہے اور database بھی خالی ہوتا ہے۔ Bind mount اس صورت میں درست ہے جب آپ host directory کو اس numeric user id کی ملکیت بنا دیں جس کے تحت image چلتی ہے۔ Official Postgres، MySQL اور MongoDB images کے default tags کے لیے یہ id 999 ہے، جبکہ Postgres -alpine tags کے لیے 70 ہے۔ اسے ls -ldn سے verify کریں، کیونکہ ls -l آپ کے host پر اس number کا نام دکھاتا ہے، اور وہ نام container کے اندر بے معنی ہوتا ہے۔
docker compose down -v کیا delete کرتا ہے؟
یہ plain down کی طرح containers اور network کو remove کرتا ہے۔ اس کے علاوہ -v اس compose file میں declared ہر named volume اور ان containers کے ساتھ attached ہر anonymous volume کو بھی remove کرتا ہے۔ اس میں database بھی شامل ہے۔ کوئی confirmation prompt نہیں آتا اور recovery ممکن نہیں ہوتی۔ external: true سے marked volumes remove نہیں کیے جاتے۔ یہی database volume کو external mark کرنے کی بنیادی وجہ ہے۔ معمول کے restart کے لیے docker compose stop اور docker compose start استعمال کریں۔
Docker میں PostgreSQL کو نئی major version پر کیسے upgrade کروں؟
Dump اور restore کریں۔ postgres:16 کو postgres:17 سے تبدیل کر کے restart کرنے سے FATAL: database files are incompatible with server ظاہر ہوتا ہے، جس میں دونوں versions کے نام والی DETAIL line ہوتی ہے، کیونکہ نئی binaries پرانا catalog layout نہیں پڑھ سکتیں۔ کوئی data damage نہیں ہوتا: پرانا tag واپس رکھیں اور یہ start ہو جائے گا۔ چلتے ہوئے پرانے container کے خلاف نئی version کے client سے pg_dumpall لیں اور تصدیق کریں کہ file کا اختتام PostgreSQL database cluster dump complete پر ہوتا ہے۔ پھر خالی volume پر نیا tag start کریں اور dump load کریں۔ postgres:18 سے volume کو /var/lib/postgresql پر mount کریں، /var/lib/postgresql/data پر نہیں۔ ایک ہی major version کے اندر minor upgrades کے لیے صرف pull اور restart کافی ہیں۔
میرا database container code 137 کے ساتھ exit کیوں ہوتا ہے؟
137، 128 اور signal 9 کا مجموعہ ہے، اس لیے کسی چیز نے process کو براہ راست ختم کیا ہے۔ docker inspect <container> | grep -i oomkilled چلائیں۔ true کی value کا مطلب ہے کہ OOM killer نے container میں ایک process ختم کیا، عموماً اس لیے کہ container اپنی cgroup memory limit تک پہنچ گیا تھا۔ عام وجہ یہ ہے کہ memory settings host کے لیے مقرر کی گئی ہوں، container کے لیے نہیں۔ Container کے اندر موجود tools اب بھی host کی total memory report کرتے ہیں، اس لیے 16 GB کے لیے مقرر کیا گیا buffer 2 GB کے اندر استعمال ہونے لگتا ہے۔ shared_buffers اور work_mem set کریں، یا innodb_buffer_pool_size set کریں، تاکہ وہ container کو دی گئی limit کے مطابق ہوں۔ متعلقہ Memory cgroup out of memory line کے لیے journalctl -k دیکھیں، تاکہ تصدیق ہو سکے کہ kernel نے کون سا process منتخب کیا اور یہ host-wide Out of memory kill کے بجائے container کی limit تھی۔