Sửa machine-id bị trùng sau khi clone VPS
Hai VPS clone dùng chung /etc/machine-id có thể tranh DHCP lease. Làm rỗng file, xóa bản sao D-Bus, tạo ID mới và reboot trước khi snapshot golden image.
/etc/machine-id là gì và vì sao ID trùng lặp lại quan trọng
Một VPS clone khởi động với cùng /etc/machine-id như server mà nó được clone từ đó, trong khi giá trị này chỉ được phép thuộc về đúng một installation. Cách xử lý gồm 4 lệnh: làm rỗng file, xóa bản sao D-Bus nếu đó là file thực, tạo lại ID rồi reboot. Reboot là bước mọi người thường bỏ qua, đồng thời là bước khiến thay đổi có hiệu lực.
/etc/machine-id chứa một chuỗi hexadecimal viết thường, dài 32 ký tự và kết thúc bằng newline. Khi giải mã, đó là giá trị dài 16 byte (128-bit). Trang manual của machine-id(5) gọi giá trị này là confidential và nói rằng không được để lộ trên network, vì bất kỳ thứ gì đọc được nó đều có thể nhận dạng lại máy của bạn về sau. Giá trị này thường được tạo trong quá trình installation hoặc lần boot đầu tiên và giữ nguyên qua các lần boot tiếp theo.
Có 3 identifier thường bị nhầm lẫn ở đây, nên cần phân biệt rõ. Hostname là label do bạn chọn và có thể thay đổi bất kỳ lúc nào. Product UUID của DMI (desktop management interface) trong /sys/class/dmi/id/product_uuid do hypervisor cung cấp và chỉ root mới đọc được. Machine ID là loại thứ ba: operating system tạo ra nó và mọi user trên máy đều có thể đọc.
Những thành phần thực sự đọc machine ID
DHCP client identifier. Đây là phần gây ra vấn đề. ClientIdentifier= trong phần [DHCPv4] của file .network sẽ dùng giá trị trong networkd.conf(5) nếu không có cấu hình riêng, và giá trị mặc định đó là duid: một client ID theo RFC 4361 được tạo từ IAID và DUID (DHCP unique identifier). networkd.conf(5) ghi rõ loại DUID mặc định là vendor. Giá trị DUID được tạo bằng cách dùng 43793 làm vendor identifier (systemd) và hash nội dung của machine ID. DHCPv6 cũng dùng DUID tương tự. Hai clone có cùng machine ID sẽ tạo ra cùng hash và cùng DUID mặc định. Nếu IAID của chúng cũng giống nhau, chúng sẽ gửi client identifier giống hệt nhau theo từng byte. IAID được tự động tạo bằng cách hash một tên persistent lấy từ udev; nếu không có tên predictable thì dùng địa chỉ MAC. Chỉ trùng tên interface hiện tại không đảm bảo IAID cũng trùng nhau. Vì vậy, các địa chỉ MAC khác nhau vẫn có thể tạo ra client identifier khác nhau dù machine ID và tên interface giống hệt nhau. Khi toàn bộ client identifier giống nhau, DHCP server sẽ thấy một client thay vì hai client và cấp cùng một lease cho cả hai máy. Triệu chứng là địa chỉ IP chuyển qua lại giữa hai server, hoặc một server mất địa chỉ mỗi khi server kia gia hạn lease.
journald. Các file journal persistent nằm trong /var/log/journal/<machine-id>/; journal volatile nằm dưới /run/log/journal/. Tên thư mục chính là ID đó. Collector nhóm journal theo machine ID sẽ gộp identity của các clone; systemd-journal-remote thì tách các file output theo hostname hoặc địa chỉ của endpoint nguồn.
D-Bus. /var/lib/dbus/machine-id là nơi format file này bắt đầu được sử dụng. Nó có thể là symlink đến /etc/machine-id hoặc là một file thật riêng chứa bản sao của chính nó. Bản sao đó là phần dễ gây lỗi trong quy trình bên dưới.
Per-host agents. Monitoring agent, licence check, inventory tool và backup client thường dùng machine ID làm host identifier mặc định vì ID này ổn định và không cần cấu hình. Hai server báo cáo cùng một identity sẽ tạo thành một metrics series bị gộp, hoặc một licence seat sẽ bao phủ hai máy. Hãy kiểm tra cách agent của bạn tạo host ID, thay vì mặc định cho rằng nó dùng hostname.
Cách kiểm tra xem bạn có machine ID trùng hay không
Chạy lệnh này trên cả hai server rồi so sánh kết quả.
cat /etc/machine-id
ls -l /var/lib/dbus/machine-id
sudo cat /sys/class/dmi/id/product_uuidHai server đang hoạt động có machine ID giống nhau nghĩa là một server đã được clone từ server kia. hostnamectl in cùng giá trị trên dòng Machine ID: nếu bạn muốn dùng một lệnh duy nhất.
Kết quả của ls -l quyết định bước tiếp theo. Symlink có dạng như sau:
lrwxrwxrwx 1 root root 15 Aug 21 09:12 /var/lib/dbus/machine-id -> /etc/machine-idDòng bắt đầu bằng -rw-r--r-- nghĩa là đó là một file thực chứa bản sao riêng của ID cũ. Bạn phải xóa file này, vì systemd-machine-id-setup đọc nó trước khi đọc hypervisor UUID hoặc dùng random generator.
Product UUID cũng quan trọng. systemd-machine-id-setup(1) dùng UUID của KVM trước khi chuyển sang tạo ngẫu nhiên. Vì vậy, nếu provider cấp cùng một UUID SMBIOS (system management BIOS) cho cả hai clone, việc tạo lại từ nguồn đó sẽ tạo cùng một machine ID cho cả hai. Product UUID khác nhau sẽ tránh được xung đột cụ thể này, nhưng các nguồn ID đứng trước vẫn được ưu tiên.
Tạo lại machine ID trên VPS clone
Thứ tự rất quan trọng. systemd-machine-id-setup(1) kiểm tra /run/machine-id trước, sau đó kiểm tra machine ID D-Bus hợp lệ, rồi đến credential system.machine_id trước khi thử UUID của VM hoặc container đã cấu hình, và cuối cùng mới tạo ngẫu nhiên. Giữ nguyên /var/lib/dbus/machine-id thực và, trừ khi /run/machine-id được ưu tiên, bạn sẽ tạo lại đúng giá trị mà mình đang muốn loại bỏ. Nếu tool dùng lại /run/machine-id hoặc credential và ID không đổi, hãy xóa machine ID của image khi image đã tắt, rồi boot image với các nguồn identity duy nhất.
sudo truncate -s 0 /etc/machine-id
sudo rm -f /var/lib/dbus/machine-id # only if ls -l showed a real file
sudo systemd-machine-id-setup
sudo ln -sf /etc/machine-id /var/lib/dbus/machine-id
cat /etc/machine-idPhải truncate file trước, vì tool chỉ hoạt động khi file không tồn tại hoặc rỗng, và không làm gì với file đã chứa ID hợp lệ. systemd-machine-id-setup ghi lại thao tác đã thực hiện trên standard error. Trên VPS KVM chạy systemd 258 trở lên, khi tool chọn UUID của hypervisor, bạn sẽ thấy:
Initializing machine ID from SMBIOS/DMI UUID.systemd 255 diễn đạt cùng thao tác này là Initializing machine ID from VM UUID. Initializing machine ID from random generator. là thông báo khi không thể dùng nguồn ID nào trước đó. Cả hai kết quả đều được, miễn là cat /etc/machine-id hiện in ra giá trị khác với server còn lại.
Symlink giữ cho D-Bus và systemd dùng cùng một giá trị. Nếu muốn dùng một file thực riêng, hãy chạy sudo dbus-uuidgen --ensure thay cho lệnh tạo symlink: khi file D-Bus không tồn tại, lệnh này sao chép ID hợp lệ từ /etc/machine-id. Nếu /var/lib/dbus không tồn tại, ln sẽ fail với No such file or directory, và bạn có thể bỏ qua cả hai dòng đó.
Sau đó reboot.
sudo rebootVì sao reboot là bước bắt buộc
Mọi process đã đọc giá trị cũ vẫn tiếp tục sử dụng giá trị đó. sd_id128_get_machine() cache ID theo từng thread: thread đã đọc ID sẽ tiếp tục trả về giá trị cũ, còn chỉ thread chưa từng yêu cầu ID mới đọc giá trị trong file đã thay đổi. Vì vậy, một daemon đang chạy có thể giữ ID cũ trong các thread hiện có và chỉ nhận ID mới trong những thread được tạo sau đó. journald đã mở /var/log/journal/<old-id>/system.journal và tiếp tục ghi nối tiếp vào file này. systemd-networkd đã xác định DUID khi khởi động và tiếp tục gửi client identifier cũ trong mỗi lần gia hạn. Đây thường chính là lỗi bạn muốn xử lý. D-Bus cũng đã đọc ID khi khởi động. Bạn có thể restart từng service, nhưng sẽ bỏ sót một service nào đó, và PID 1 cũng đang giữ giá trị cũ.
Sau reboot, kiểm tra cả hai phần:
cat /etc/machine-id
ls /var/log/journal/Khi persistent logging được bật, /var/log/journal/ hiện chứa thêm một thư mục có tên theo ID mới, và các entry mới được ghi vào đó. journalctl thông thường chỉ đọc thư mục của máy hiện tại, nên lịch sử trước khi clone biến mất khỏi chế độ xem mặc định. Dữ liệu vẫn còn trên disk: journalctl --merge đọc mọi thư mục journal, bao gồm cả thư mục cũ. Xóa thư mục cũ khi bạn chắc chắn không còn cần các log đó.
Đây cũng là lý do container không phù hợp để diễn tập quy trình này. Container dùng chung kernel của host. Container có thể chạy systemd làm PID 1 riêng, nhưng không bao giờ boot kernel riêng. Bên trong container, systemd-machine-id-setup chỉ sử dụng UUID container đã cấu hình sau khi các nguồn ID trước đó đều không dùng được; nếu không có nguồn phù hợp, nó sẽ tạo một ID ngẫu nhiên. Hãy test đúng như môi trường production: clone một VM, chạy các lệnh, reboot, rồi so sánh ID với máy nguồn.
Xóa nội dung trước khi tạo snapshot, không phải sau khi clone
Sửa từng clone một vẫn được. Sửa image sẽ tốt hơn, vì mọi server được khôi phục từ snapshot lỗi đều kế thừa cùng một giá trị. Hãy thực hiện việc này ngay trước khi tắt template.
sudo truncate -s 0 /etc/machine-id
sudo rm -f /var/lib/dbus/machine-id
sudo ln -s /etc/machine-id /var/lib/dbus/machine-id
sudo shutdown -h nowXóa nội dung của file. Không xóa file. machine-id(5) khuyến nghị dùng file rỗng cho các image được sử dụng trên nhiều máy, vì file rỗng có sẵn cho phép bind-mount một file tạm đè lên file thật khi image được dùng ở chế độ chỉ đọc. Trên /etc chỉ đọc, ID được tạo khi boot nằm trong file tạm đó, và systemd-machine-id-setup --commit ghi ID này lại sau khi filesystem có thể ghi.
Một tác động phụ phụ thuộc vào cách bạn để lại file. machine-id(5) nêu rõ rằng nếu /etc/machine-id tồn tại và rỗng, lần boot đó không được xem là lần boot đầu tiên, vì vậy file rỗng ở trên không kích hoạt các unit có ConditionFirstBoot=yes. File bị thiếu hoặc chứa chuỗi uninitialized sẽ khiến lần boot tiếp theo được xem là lần boot đầu tiên: các unit đó chạy, đồng thời systemd cũng áp dụng preset cho các unit. Dùng grep -rl ConditionFirstBoot /usr/lib/systemd/system/ để xem image của bạn sẽ chạy những gì trước khi build template.
Template và snapshot là hai đối tượng khác nhau, và điểm khác biệt này quyết định identity có bị sao chép hay không. Template là một build artifact được bạn chủ động chuẩn bị, còn snapshot là bản sao tại một thời điểm của một server đang chạy và mang theo identity của server đó cùng với dữ liệu.
Vì sao cloud image xử lý đúng còn snapshot của bạn thì không
Cloud image của các bản distribution được tạo để có thể clone, nên chúng được phát hành với machine ID chưa được thiết lập và boot lần đầu sẽ điền giá trị này. cloud-init có một bước được tài liệu hóa dành đúng cho việc này. cloud-init clean --machine-id đặt /etc/machine-id thành chuỗi literal uninitialized trên các hệ thống dùng systemd, và tài liệu tham chiếu CLI của cloud-init mô tả đây là best practice khi clone golden image. Vì vậy, lần boot tiếp theo của image đó sẽ tạo một machine ID duy nhất.
Snapshot bạn tự tạo lại là chuyện khác. File đã có giá trị khi bạn bấm snapshot, nên mọi server được khôi phục từ snapshot đó đều giữ cùng một giá trị, trừ khi quy trình restore chủ động xóa hoặc thay thế giá trị này. Đây cùng loại vấn đề với di chuyển một server đang chạy sang VPS mới, trong đó bản sao giữ nguyên dữ liệu còn identity là phần bạn không muốn sao chép.
Những gì khác bị clone sao chép
- SSH host key.
/etc/ssh/ssh_host_*cũng được sao chép, nên cả hai server đều cung cấp cùng một fingerprint cho client. Xóa các file đó rồi chạysudo ssh-keygen -A, hoặcsudo dpkg-reconfigure openssh-servertrên Debian và Ubuntu. Sau đó, client sẽ cảnh báo host key đã thay đổi. Đây là hành vi đúng. - Hostname. Đặt hostname bằng
sudo hostnamectl set-hostname app02, rồi kiểm tra xem/etc/hostsvẫn phân giải được tên mới. - Cấu hình mạng tĩnh. Bản clone của một máy có địa chỉ tĩnh sẽ xung đột với máy gốc ngay khi khởi động. Đọc
/etc/netplan/trước khi bản clone kết nối vào mạng. - Đồng hồ hệ thống. Khôi phục snapshot có chứa memory đang chạy có thể khiến đồng hồ của guest bị chậm cho đến khi guest hoặc hypervisor hiệu chỉnh nó. Một bước nhảy thời gian lớn trên VPS được khôi phục làm hỏng việc xác thực chứng chỉ TLS và làm xáo trộn thứ tự log cho đến khi đồng bộ thời gian bắt kịp.
Hãy thực hiện checklist mười phút đầu tiên cho VPS mới trên bản clone. Một máy đã clone kế thừa user account, SSH key, rule của firewall và scheduled job từ máy nguồn, nhưng chưa mục nào trong số đó được xem xét cho tác vụ mà bản clone sắp thực hiện.
FAQ
Tôi có phải reboot sau khi thay đổi /etc/machine-id không?
Có. Phần mềm đã đọc machine ID sẽ giữ bản sao trong cache, nên giá trị mới không đến được các thành phần quan trọng của hệ thống đang chạy. journald tiếp tục ghi vào thư mục journal mang ID cũ, còn DHCP client tiếp tục gửi client identifier được tạo từ giá trị cũ; đây thường là lý do bạn thay đổi ID. Restart từng service chỉ sửa được một số thành phần, nhưng PID 1 cũng đang giữ giá trị cũ. Hãy reboot, sau đó xác nhận bằng cat /etc/machine-id và so sánh với server còn lại.
/etc/machine-id có giống hardware UUID không?
Không. DMI product UUID trong /sys/class/dmi/id/product_uuid do hypervisor cung cấp và chỉ root mới đọc được. machine ID do operating system tạo, nằm trong một plain file mà mọi user đều có thể đọc. Hai giá trị này liên kết theo một chiều: trên KVM guest, systemd-machine-id-setup dùng hypervisor UUID làm seed để tạo machine ID mới khi không có nguồn ID trước đó phù hợp. Nếu 2 clone dùng chung product UUID và quá trình tạo lại sử dụng UUID đó, chúng sẽ tạo ra cùng một machine ID. Vì vậy, hãy kiểm tra cả file này trước khi tin rằng kết quả là đúng.
Tôi nên xóa /etc/machine-id hay để file rỗng?
Hãy để file rỗng khi bạn chuẩn bị image. machine-id(5) ưu tiên file rỗng, vì systemd có thể bind-mount một file tạm thời lên đó khi image chạy với /etc chỉ đọc. Xóa file vẫn hoạt động trên hệ thống có thể ghi, và một số clone script thực hiện theo cách đó, nhưng file rỗng là mặc định an toàn hơn. cloud-init ghi từ uninitialized vào file. Giá trị đó, cũng như file bị thiếu, khiến lần boot tiếp theo được coi là lần boot đầu tiên, nên các unit có ConditionFirstBoot=yes sẽ chạy trong lần boot đó. File rỗng thì không.
Vì sao 2 server clone của tôi nhận cùng một địa chỉ DHCP?
Vì cả 2 gửi cùng một client identifier. systemd-networkd mặc định dùng ClientIdentifier=duid cho DHCPv4, còn DUID mặc định được tạo từ hash của /etc/machine-id. Vì vậy, machine ID giống nhau tạo ra DUID mặc định giống nhau. Complete client identifier chỉ giống nhau khi IAID cũng giống nhau: systemd tạo IAID từ tên persistent lấy từ udev, và dùng MAC address làm giá trị dự phòng khi không có tên predictable. Chỉ giống tên interface hiện tại không đảm bảo điều này. Khi complete identifier giống nhau, DHCP server đối chiếu theo identifier đó, coi cả 2 request là của cùng một client và cấp 1 lease. Hãy gán machine ID riêng cho mỗi máy và reboot cả 2 máy. Nếu server vẫn cung cấp địa chỉ cũ, hãy xóa stale lease ngay trên DHCP server.