SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor

ক্লোন করা VPS-এ duplicate machine-id ঠিক করার উপায়

ক্লোন করা VPS-এ একই /etc/machine-id থাকলে DHCP lease নিয়ে সংঘাত হতে পারে। নিরাপদে regenerate করুন, golden image snapshot-এর আগে file-টি খালি রাখুন।

/etc/machine-id কী এবং ডুপ্লিকেট হলে কেন সমস্যা হয়

ক্লোন করা VPS যে সার্ভার থেকে ক্লোন করা হয়েছে, সেটির মতো একই /etc/machine-id নিয়ে boot হয়। এই মানটি ঠিক একটি installation-এর জন্য নির্দিষ্ট থাকার কথা। সমাধানের জন্য 4টি command চালাতে হবে: file-টি খালি করুন, D-Bus-এর copy-টি প্রকৃত file হলে মুছে দিন, নতুন মান তৈরি করুন, তারপর reboot করুন। অনেকে reboot ধাপটি বাদ দেন। কিন্তু পরিবর্তন কার্যকর হওয়ার জন্য এই ধাপটিই প্রয়োজন।

/etc/machine-id-এ newline দিয়ে শেষ হওয়া lowercase 32-character hexadecimal string থাকে। Decode করলে এটি 16-byte (128-bit) মান। machine-id(5) manual page-এ এটিকে confidential বলা হয়েছে এবং network-এ প্রকাশ না করতে বলা হয়েছে, কারণ এটি পড়তে পারে এমন যেকোনো কিছু পরে আবার আপনার machine শনাক্ত করতে পারে। সাধারণত installation বা প্রথম boot-এর সময় এটি তৈরি হয় এবং পরবর্তী boot-গুলোতেও অপরিবর্তিত থাকে।

এখানে 3টি identifier-কে প্রায়ই গুলিয়ে ফেলা হয়। তাই এগুলো আলাদা করে দেখা দরকার। Hostname হলো আপনার নির্ধারিত একটি label, যা যেকোনো সময় পরিবর্তন করা যায়। /sys/class/dmi/id/product_uuid-এর DMI (desktop management interface) product UUID hypervisor থেকে আসে এবং কেবল root পড়তে পারে। Machine ID হলো তৃতীয়টি: এটি operating system তৈরি করে এবং system-এর যেকোনো user এটি পড়তে পারে।

যে উপাদানটি আসলে machine ID পড়ে

DHCP client identifier। সমস্যার মূল এখানেই। একটি .network ফাইলের [DHCPv4] section-এ থাকা ClientIdentifier= মান networkd.conf(5)-এ নির্ধারিত মানে fallback করে, এবং সেটির default হলো duid: এটি IAID এবং DUID (DHCP unique identifier) দিয়ে তৈরি একটি RFC 4361 client ID। networkd.conf(5)-এ default DUID type হিসেবে vendor নথিভুক্ত আছে। এখানে DUID value তৈরি হয় vendor identifier হিসেবে 43793 (systemd) এবং machine ID-এর hash করা content ব্যবহার করে। DHCPv6 একই DUID ব্যবহার করে। একই machine ID থাকা দুটি clone একই default DUID-এ hash হবে। তাদের IAID-ও মিললে তারা byte-identical client identifier পাঠাবে। স্বয়ংক্রিয়ভাবে তৈরি IAID udev থেকে পাওয়া একটি persistent name hash করে। predictable name পাওয়া না গেলে এটি MAC address-এ fallback করে। শুধু বর্তমান interface name মিললেই IAID মিলে যাবে, এমন নিশ্চয়তা নেই। তাই machine ID এবং interface name অভিন্ন হলেও ভিন্ন MAC address ভিন্ন client identifier তৈরি করতে পারে। সম্পূর্ণ client identifier মিলে গেলে DHCP server দুটি server-এর পরিবর্তে একটিমাত্র client দেখতে পায় এবং উভয় machine-কে একই lease দেয়। এর লক্ষণ হলো address দুটি server-এর মধ্যে স্থানান্তরিত হওয়া, অথবা একটি server-এর address হারিয়ে যাওয়া যখন অন্যটি lease renew করে।

journald। Persistent journal file থাকে /var/log/journal/<machine-id>/-এ। Volatile journal থাকে /run/log/journal/-এর অধীনে। Directory-টির নাম সরাসরি ID থেকে নেওয়া হয়। machine ID অনুযায়ী journal group করা কোনো collector clone দুটির identity একত্র করে ফেলে। বিপরীতে, systemd-journal-remote source endpoint-এর hostname বা address অনুযায়ী output file আলাদা করে।

D-Bus। /var/lib/dbus/machine-id-এ এই file format-এর সূচনা হয়েছিল। এটি /etc/machine-id-এর একটি symbolic link হতে পারে, অথবা নিজস্ব copy থাকা আলাদা regular file হতে পারে। নিচের পদ্ধতিতে এই copy-টিই সমস্যার কারণ।

Per-host agent। Monitoring agent, licence check, inventory tool এবং backup client প্রায়ই default host identifier হিসেবে machine ID ব্যবহার করে। কারণ এটি স্থায়ী এবং কোনো configuration প্রয়োজন হয় না। দুটি server একটি identity report করলে একটি merged metrics series তৈরি হতে পারে, অথবা একটি licence seat দুইটি machine-এর জন্য গণনা হতে পারে। আপনার agent কীভাবে host ID নির্ধারণ করে তা যাচাই করুন। এটি hostname ব্যবহার করে ধরে নেবেন না।

ডুপ্লিকেট আছে কি না কীভাবে বুঝবেন

উভয় সার্ভারে এটি চালান এবং আউটপুট তুলনা করুন।

cat /etc/machine-id
ls -l /var/lib/dbus/machine-id
sudo cat /sys/class/dmi/id/product_uuid

দুটি চালু সার্ভারে একই machine ID থাকলে বুঝতে হবে, একটি সার্ভার অন্যটি থেকে clone করা হয়েছে। আপনি যদি একটি কমান্ডেই কাজটি করতে চান, তাহলে hostnamectl-এর Machine ID: লাইনে একই মান দেখা যাবে।

পরবর্তী ধাপ ls -l-এর ফলাফলের ওপর নির্ভর করে। একটি symlink দেখতে এমন হয়:

lrwxrwxrwx 1 root root 15 Aug 21 09:12 /var/lib/dbus/machine-id -> /etc/machine-id

-rw-r--r-- দিয়ে শুরু হওয়া লাইন নির্দেশ করে যে এটি একটি প্রকৃত file এবং এতে পুরোনো ID-এর নিজস্ব copy রয়েছে। এটি সরাতে হবে, কারণ systemd-machine-id-setup hypervisor UUID বা random generator দেখার আগে এই file-টি পড়ে।

product UUID-ও গুরুত্বপূর্ণ। systemd-machine-id-setup(1) random generation-এ fallback করার আগে KVM UUID ব্যবহার করে। তাই provider যদি উভয় clone-কে একই SMBIOS (system management BIOS) UUID দিয়ে থাকে, ওই source থেকে ID পুনরায় তৈরি করলে দুইবার একই machine ID পাওয়া যাবে। ভিন্ন product UUID থাকলে এই নির্দিষ্ট collision এড়ানো যায়। তবে আগের ID source-গুলোর priority এখনও বেশি।

ক্লোন করা VPS-এ machine ID পুনরায় তৈরি করুন

ক্রমটি গুরুত্বপূর্ণ। systemd-machine-id-setup(1) প্রথমে /run/machine-id পরীক্ষা করে, এরপর একটি বৈধ D-Bus machine ID এবং তারপর system.machine_id credential পরীক্ষা করে। এরপর configured VM বা container UUID ব্যবহার করার চেষ্টা করে এবং শেষে random generation-এ যায়। একটি আসল /var/lib/dbus/machine-id রেখে দিলে, এবং /run/machine-id অগ্রাধিকার না পেলে, যে নির্দিষ্ট মানটি সরাতে চেয়েছিলেন সেটিই আবার তৈরি হবে। Tool-টি যদি /run/machine-id বা কোনো credential পুনরায় ব্যবহার করে এবং ID অপরিবর্তিত থাকে, তাহলে image বন্ধ থাকা অবস্থায় তার machine ID মুছে দিন এবং unique identity source ব্যবহার করে boot করুন।

sudo truncate -s 0 /etc/machine-id
sudo rm -f /var/lib/dbus/machine-id       # only if ls -l showed a real file
sudo systemd-machine-id-setup
sudo ln -sf /etc/machine-id /var/lib/dbus/machine-id
cat /etc/machine-id

প্রথমে file truncate করা আবশ্যক। কারণ file অনুপস্থিত বা খালি থাকলেই tool-টি কাজ করে, কিন্তু ইতিমধ্যে বৈধ ID থাকা file-এ কোনো কাজ করে না। systemd-machine-id-setup standard error-এ এটি কী করেছে তা জানায়। systemd 258 বা পরবর্তী সংস্করণ চালানো KVM VPS-এ hypervisor UUID নির্বাচিত হলে আপনি দেখবেন:

Initializing machine ID from SMBIOS/DMI UUID.

systemd 255 একই ধাপকে Initializing machine ID from VM UUID. হিসেবে উল্লেখ করে। Initializing machine ID from random generator. হলো আগের কোনো ID source ব্যবহারযোগ্য না থাকলে প্রদর্শিত message। যেকোনো ফল গ্রহণযোগ্য, যতক্ষণ cat /etc/machine-id এখন অন্য server-এর তুলনায় ভিন্ন কিছু প্রদর্শন করে।

এই symlink D-Bus এবং systemd-কে একই মান ব্যবহার করায়। আলাদা একটি real file চাইলে symlink command-এর পরিবর্তে sudo dbus-uuidgen --ensure চালান। D-Bus file অনুপস্থিত থাকলে এটি /etc/machine-id থেকে বৈধ ID কপি করে। /var/lib/dbus অনুপস্থিত থাকলে ln, No such file or directory-সহ ব্যর্থ হয়; সে ক্ষেত্রে ওই দুটি line বাদ দিতে পারেন।

এরপর reboot করুন।

sudo reboot

রিবুট কেন ঐচ্ছিক নয়

পুরোনো মান ইতিমধ্যে পড়ে নেওয়া প্রতিটি process এখনও সেটিই ব্যবহার করছে। sd_id128_get_machine() প্রতি thread-এ ID cache করে: যে thread ইতিমধ্যে এটি পড়েছে, সেটি পুরোনো মান ফেরত দিতে থাকে; আর যে thread এখনও এটি চায়নি, কেবল সেটিই পরিবর্তিত file পড়ে। তাই একটি চলমান daemon তার বিদ্যমান thread-গুলোতে পুরোনো ID ধরে রাখতে পারে এবং পরে শুরু করা thread-গুলোতেই শুধু নতুন ID নিতে পারে। journald-এর কাছে /var/log/journal/<old-id>/system.journal ইতিমধ্যে খোলা আছে এবং এটি তাতেই নতুন entry যোগ করতে থাকে। systemd-networkd শুরু হওয়ার সময় তার DUID নির্ধারণ করেছে এবং প্রতিটি renewal-এ পুরোনো client identifier পাঠিয়ে যাচ্ছে। সাধারণত যে সমস্যাটি ঠিক করতে চেয়েছিলেন, এটিই সেই সমস্যা। D-Bus-ও startup-এর সময় তার ID পড়ে নিয়েছে। আপনি একে একে service restart করতে পারেন, কিন্তু কোনো একটি বাদ পড়বেই। PID 1-ও পুরোনো মান ধরে রেখেছে।

রিবুটের পরে উভয় দিক পরীক্ষা করুন:

cat /etc/machine-id
ls /var/log/journal/

Persistent logging চালু থাকলে, /var/log/journal/ এখন নতুন ID অনুযায়ী নামকরণ করা একটি দ্বিতীয় directory ধারণ করবে এবং নতুন entry সেখানে লেখা হবে। সাধারণ journalctl কেবল বর্তমান machine-এর directory পড়ে। তাই clone করার আগের history default view-তে আর দেখা যাবে না। তবে সেগুলো disk-এ আছে: journalctl --merge পুরোনো directory-সহ সব journal directory পড়ে। পুরোনো log আর প্রয়োজন নেই নিশ্চিত হওয়ার পরে directory-টি মুছে দিন।

এই কারণেই procedure অনুশীলনের জন্য container উপযুক্ত নয়। Container host kernel share করে। এটি নিজের PID 1 হিসেবে systemd চালাতে পারে, কিন্তু নিজস্ব kernel কখনও boot করে না। Container-এর ভিতরে, আগের ID source-গুলো ব্যর্থ হওয়ার পরেই systemd-machine-id-setup configured container UUID ব্যবহার করে; ব্যবহারযোগ্য source না থাকলে এটি একটি random ID তৈরি করে। Production-এ যেভাবে ঘটে, সেভাবেই পরীক্ষা করুন: একটি VM clone করুন, command-গুলো চালান, reboot করুন, তারপর source machine-এর সঙ্গে ID তুলনা করুন।

Snapshot নেওয়ার আগে truncate করুন, clone করার পরে নয়

একবারে একেকটি clone ঠিক করলেও কাজ হয়। Image ঠিক করা ভালো, কারণ খারাপ snapshot থেকে restore করা প্রতিটি server একই value পায়। Template shutdown করার ঠিক আগে এটিই শেষ কাজ হিসেবে করুন।

sudo truncate -s 0 /etc/machine-id
sudo rm -f /var/lib/dbus/machine-id
sudo ln -s /etc/machine-id /var/lib/dbus/machine-id
sudo shutdown -h now

File-টি খালি করুন। এটি delete করবেন না। একাধিক machine-এ ব্যবহৃত image-এর জন্য machine-id(5) একটি empty file ব্যবহারের পরামর্শ দেয়, কারণ file-টি জায়গায় থাকা অবস্থায় image read-only হিসেবে ব্যবহার করলে তার ওপর একটি temporary file bind-mount করা যায়। Read-only /etc-এ boot-এর সময় তৈরি হওয়া ID ওই temporary file-এ থাকে, এবং filesystem writable হলে systemd-machine-id-setup --commit সেটি স্থায়ীভাবে লিখে দেয়।

একটি পার্শ্বপ্রতিক্রিয়া নির্ভর করে আপনি file-টি কীভাবে রেখে যান তার ওপর। machine-id(5) স্পষ্টভাবে জানায়, /etc/machine-id উপস্থিত এবং empty হলে boot-কে first boot হিসেবে গণ্য করা হয় না। তাই উপরের empty file থাকলে ConditionFirstBoot=yes বহনকারী unit-গুলো চালু হয় না। File অনুপস্থিত থাকলে, অথবা file-এ uninitialized string থাকলে, পরবর্তী boot-কে first boot হিসেবে গণ্য করা হয়। ওই unit-গুলো চালু হয় এবং systemd unit-গুলোও preset করে। Template তৈরি করার আগে grep -rl ConditionFirstBoot /usr/lib/systemd/system/ দিয়ে আপনার image কী চালাবে তা দেখুন।

Template এবং snapshot আলাদা object। এই পার্থক্যই নির্ধারণ করে identity copy হবে কি না। Template হলো ইচ্ছাকৃতভাবে প্রস্তুত করা একটি build artifact। অন্যদিকে snapshot হলো কোনো running server-এর নির্দিষ্ট সময়ের point-in-time copy, এবং এটি server-এর data-এর সঙ্গে তার identity-ও বহন করে।

Cloud image কীভাবে এটি সঠিকভাবে করে, কিন্তু আপনার snapshot তা করে না

Distribution cloud image clone করার জন্য তৈরি করা হয়। তাই এগুলোতে machine ID আগে থেকে সেট করা থাকে না, এবং প্রথম boot-এর সময় এটি তৈরি হয়। cloud-init-এ এর জন্য নির্দিষ্ট documented ধাপ রয়েছে। cloud-init clean --machine-id systemd system-এ /etc/machine-id-কে আক্ষরিক string uninitialized হিসেবে সেট করে। cloud-init CLI reference-এ golden image clone করার সময় এটিকে best practice বলা হয়েছে। ফলে ওই image থেকে পরবর্তী boot-এর সময় একটি unique machine ID তৈরি হয়।

আপনি নিজে তৈরি করা snapshot-এর ক্ষেত্রে বিষয়টি আলাদা। snapshot নেওয়ার সময় file-এ machine ID আগে থেকেই লেখা ছিল। তাই restore করা প্রতিটি server একই value বহন করে, যদি restore process স্পষ্টভাবে সেটি মুছে না ফেলে বা নতুন value দিয়ে প্রতিস্থাপন না করে। এটি চলমান server-কে নতুন VPS-এ স্থানান্তর করার সমস্যার একই ধরনের উদাহরণ। Copy-টি সম্পূর্ণ নির্ভুল, কিন্তু যে identity-টি copy করতে চাননি, সেটিও এতে থেকে যায়।

ক্লোন আর যা যা ডুপ্লিকেট করে

  • SSH host key। /etc/ssh/ssh_host_*-ও কপি হয়, তাই উভয় সার্ভার ক্লায়েন্টের কাছে একই fingerprint উপস্থাপন করে। ওই ফাইলগুলো মুছে `sudo ssh-keygen -A চালান, অথবা Debian ও Ubuntu-তে sudo dpkg-reconfigure openssh-server` চালান। এরপর host key পরিবর্তিত হয়েছে বলে আপনার ক্লায়েন্টগুলো সতর্ক করবে। এটিই সঠিক আচরণ।
  • Hostname। `sudo hostnamectl set-hostname app02 দিয়ে এটি সেট করুন। এরপর /etc/hosts` নতুন নামটি resolve করছে কি না পরীক্ষা করুন।
  • Static network configuration। Static address-যুক্ত কোনো box-এর ক্লোন চালু হওয়ার সঙ্গে সঙ্গেই মূল সিস্টেমের সঙ্গে address conflict তৈরি করে। ক্লোনটি network-এ যুক্ত করার আগে `/etc/netplan/` পড়ুন।
  • Clock। Running memory-সহ snapshot restore করলে guest বা hypervisor সেটি ঠিক না করা পর্যন্ত guest clock পিছিয়ে থাকতে পারে। Restore করা VPS-এ clock-এর বড় পরিবর্তন TLS certificate validation ব্যাহত করে এবং time sync সম্পন্ন না হওয়া পর্যন্ত log-এর ক্রম এলোমেলো করে দেয়।

ক্লোনেও নতুন VPS-এর প্রথম দশ মিনিটের checklist অনুসরণ করুন। একটি cloned box source box-এর user account, SSH key, firewall rule এবং scheduled job উত্তরাধিকারসূত্রে পায়। ক্লোনটি যে কাজের জন্য ব্যবহার হতে চলেছে, তার জন্য এগুলোর কোনোটি পর্যালোচনা করা হয়নি।

FAQ

/etc/machine-id পরিবর্তন করার পরে কি আমাকে reboot করতেই হবে?

হ্যাঁ। যে software ইতিমধ্যে machine ID পড়েছে, সেটি cache করা copy-ই ব্যবহার করতে থাকে। তাই নতুন value চলমান system-এর গুরুত্বপূর্ণ অংশগুলোতে পৌঁছায় না। journald পুরোনো ID অনুযায়ী নামকরণ করা journal directory-তেই লিখতে থাকে, এবং DHCP client পুরোনো value থেকে তৈরি client identifier পাঠাতে থাকে। সাধারণত machine ID পরিবর্তনের কারণ এটিই। আলাদা আলাদা service restart করলে কিছু service ঠিক হয়, কিন্তু PID 1-ও পুরোনো value ধরে রাখে। Reboot করুন, তারপর cat /etc/machine-id দিয়ে এবং অন্য server-এর সঙ্গে তুলনা করে নিশ্চিত করুন।

/etc/machine-id কি hardware UUID-এর সমান?

না। /sys/class/dmi/id/product_uuid-এর DMI product UUID hypervisor থেকে আসে এবং কেবল root পড়তে পারে। Machine ID operating system তৈরি করে এবং এমন একটি সাধারণ file-এ রাখে যা যেকোনো user পড়তে পারে। দুটির সম্পর্ক একমুখী: KVM guest-এ, আগের কোনো ID source প্রযোজ্য না হলে systemd-machine-id-setup hypervisor UUID থেকে নতুন machine ID-এর seed তৈরি করে। দুটি clone একই product UUID share করলে এবং regeneration সেটি ব্যবহার করলে তারা একই machine ID তৈরি করবে। তাই result-এ ভরসা করার আগে ওই file-টিও তুলনা করুন।

/etc/machine-id কি মুছে ফেলব, নাকি খালি রাখব?

Image প্রস্তুত করার সময় এটি খালি রাখুন। machine-id(5) খালি file পছন্দ করে, কারণ read-only /etc নিয়ে image চলার সময় systemd তার ওপর একটি temporary file bind-mount করতে পারে। Writable system-এ file মুছে ফেললেও কাজ হয় এবং কিছু clone script এভাবেই করে। তবে খালি file নিরাপদ default। cloud-init file-এ পরিবর্তে uninitialized শব্দটি লেখে। Missing file-এর মতো এই value-ও পরবর্তী boot-কে first boot হিসেবে চিহ্নিত করে। ফলে ConditionFirstBoot=yes থাকা unit-গুলো সেই boot-এ চলে। খালি file তা করে না।

আমার দুটি cloned server একই DHCP address কেন পেল?

কারণ দুটিই একই client identifier পাঠিয়েছে। systemd-networkd DHCPv4-এর জন্য default হিসেবে ClientIdentifier=duid ব্যবহার করে। Default DUID /etc/machine-id-এর hash থেকে তৈরি হয়। তাই অভিন্ন machine ID থেকে অভিন্ন default DUID তৈরি হয়। IAID-ও অভিন্ন হলেই সম্পূর্ণ client identifier মেলে। systemd udev থেকে পাওয়া একটি persistent name ব্যবহার করে IAID তৈরি করে। Predictable name না পেলে এটি MAC address ব্যবহার করে। শুধু বর্তমান interface name মিলে গেলেই এটি নিশ্চিত হয় না। সম্পূর্ণ identifier মিলে গেলে DHCP server সেই identifier অনুযায়ী request মিলিয়ে দুটিকে একই client হিসেবে ধরে এবং একটি lease দেয়। প্রতিটি box-এ আলাদা machine ID দিন এবং দুটিই reboot করুন। Server এখনও পুরোনো address দিলে DHCP server-এই stale lease মুছে দিন।

এই লেখাটি কি কাজে লেগেছে?

#machine-id#systemd#cloning#snapshots#dhcp