VPSクローンのmachine-id重複を安全に直す方法
クローンしたVPSで同じ/etc/machine-idを使うと、DHCPリースが競合します。4つのコマンドで安全に再生成し、golden image作成前に空にする手順を解説します。
/etc/machine-id とは何か、重複が問題になる理由
クローンした VPS は、クローン元のサーバーと同じ /etc/machine-id で起動します。この値は、1 つのインストールにだけ割り当てられる必要があります。修正には 4 つのコマンドを使います。ファイルを空にし、D-Bus のコピーが実体ファイルなら削除し、再生成して、再起動します。再起動は省略されがちですが、変更を反映させるために必要な手順です。
/etc/machine-id には、改行で終わる小文字の 32 文字の 16 進文字列が格納されます。デコードすると、16 バイト(128 ビット)の値です。machine-id(5) のマニュアルページでは、この値を機密情報として扱い、ネットワーク上に公開してはならないと説明されています。この値を読み取れるものは、後から同じマシンを識別できるためです。通常はインストール時または初回起動時に生成され、その後の起動でも変わりません。
ここでは 3 つの識別子が混同されるため、分けて考える必要があります。ホスト名は自分で選ぶラベルで、いつでも変更できます。/sys/class/dmi/id/product_uuid の DMI(desktop management interface)product UUID はハイパーバイザーから提供され、root だけが読み取れます。machine ID は 3 つ目の識別子です。オペレーティングシステムが生成し、マシン上のすべてのユーザーが読み取れます。
実際に machine ID を読み取るもの
DHCP クライアント識別子。 ここが問題になります。ClientIdentifier= ファイルの [DHCPv4] セクションにある .network は、networkd.conf(5) に設定された値へフォールバックします。デフォルト値は duid です。これは IAID と DUID(DHCP unique identifier)から構成される RFC 4361 クライアント ID です。networkd.conf(5) には、デフォルトの DUID タイプが vendor と記載されています。DUID の値は、ベンダー識別子として 43793(systemd)を使用し、machine ID の内容をハッシュして生成されます。DHCPv6 でも同じ DUID が使用されます。同じ machine ID を持つ 2 台のクローンは同じ DUID を生成します。IAID も一致すると、バイト単位で同一のクライアント識別子を送信します。自動生成される IAID は、udev から取得した永続的な名前をハッシュして生成されます。予測可能な名前を利用できない場合は、MAC アドレスにフォールバックします。現在のインターフェース名だけを一致させても、IAID が一致するとは限りません。そのため、machine ID とインターフェース名が同じでも、MAC アドレスが異なるとクライアント識別子が異なる場合があります。完全なクライアント識別子が一致すると、DHCP サーバーは 2 台ではなく 1 台のクライアントとして認識し、両方のサーバーに同じリースを提示します。症状としては、アドレスが 2 台のサーバー間を移動する、または一方が更新するともう一方のサーバーがアドレスを失う、といった現象が発生します。
journald。 永続ジャーナルファイルは /var/log/journal/<machine-id>/ に保存されます。揮発性ジャーナルは /run/log/journal/ 以下に保存されます。このディレクトリ名には ID がそのまま使用されます。machine ID でジャーナルをグループ化するコレクターは、クローンの ID を統合します。一方、systemd-journal-remote は送信元エンドポイントのホスト名またはアドレスごとに出力ファイルを分けます。
D-Bus。 /var/lib/dbus/machine-id がこのファイル形式の起点です。これは /etc/machine-id へのシンボリックリンクの場合もあれば、独自のコピーを保持する別の実ファイルの場合もあります。後者のコピーが、以下の手順で問題になります。
ホスト単位のエージェント。 監視エージェント、ライセンス確認、インベントリーツール、バックアップクライアントは、machine ID をデフォルトのホスト識別子として使用することがよくあります。machine ID は安定しており、設定も不要だからです。2 台のサーバーが 1 つの ID を報告すると、メトリクス系列が 1 つに統合されたり、1 つのライセンスシートで 2 台のマシンをカバーしたりします。エージェントがホスト ID をどのように生成するかを確認してください。ホスト名を使用していると決めつけないでください。
重複しているかどうかを確認する方法
両方のサーバーで次のコマンドを実行し、出力を比較します。
cat /etc/machine-id
ls -l /var/lib/dbus/machine-id
sudo cat /sys/class/dmi/id/product_uuid稼働中の 2 台のサーバーで machine ID が同一なら、一方が他方からクローンされたことを意味します。1 つのコマンドで確認する場合は、hostnamectl の Machine ID: 行にも同じ値が表示されます。
ls -l の結果で次の手順が決まります。シンボリックリンクの場合は、次のように表示されます。
lrwxrwxrwx 1 root root 15 Aug 21 09:12 /var/lib/dbus/machine-id -> /etc/machine-id-rw-r--r-- で始まる行は、古い ID のコピーを自身に保持する実ファイルであることを示します。このファイルは削除する必要があります。systemd-machine-id-setup はハイパーバイザーの UUID や乱数生成器を参照する前に、このファイルを読み取るためです。
product UUID も重要です。systemd-machine-id-setup(1) はランダム生成にフォールバックする前に KVM UUID を使用します。そのため、プロバイダーが両方のクローンに同じ SMBIOS(system management BIOS)UUID を割り当てている場合、その UUID を基に再生成すると、同じ machine ID が 2 つ生成されます。product UUID が異なれば、この衝突は回避できます。ただし、先に参照される ID の情報源がある場合は、そちらが優先されます。
クローンした VPS で machine ID を再生成する
実行順序が重要です。systemd-machine-id-setup(1) は最初に /run/machine-id を確認し、次に有効な D-Bus machine ID、続いて system.machine_id の credential を確認してから、設定済みの VM またはコンテナ UUID を試し、最後にランダム生成します。実際の /var/lib/dbus/machine-id を残したままにすると、/run/machine-id が優先されない限り、削除したかった値とまったく同じ値を再生成します。ツールが /run/machine-id または credential を再利用して ID が変わらない場合は、シャットダウン中にイメージの machine ID を消去し、一意な identity source を使って起動してください。
sudo truncate -s 0 /etc/machine-id
sudo rm -f /var/lib/dbus/machine-id # only if ls -l showed a real file
sudo systemd-machine-id-setup
sudo ln -sf /etc/machine-id /var/lib/dbus/machine-id
cat /etc/machine-id最初に切り詰める必要があります。ツールはファイルが存在しないか空の場合にだけ動作し、有効な ID がすでに入っているファイルには何もしないためです。systemd-machine-id-setup は実行内容を標準エラー出力に報告します。systemd 258 以降を実行している KVM VPS で、hypervisor UUID が選択されると、次のように表示されます。
Initializing machine ID from SMBIOS/DMI UUID.systemd 255 では、同じ処理を Initializing machine ID from VM UUID. Initializing machine ID from random generator. と表現します。これは、先に確認した ID source がどれも使用できない場合に表示されるメッセージです。cat /etc/machine-id が他のサーバーとは異なる値を出力するようになっていれば、どちらの結果でも問題ありません。
この symlink により、D-Bus と systemd が同じ値を使用します。別の実ファイルを使う場合は、symlink コマンドの代わりに sudo dbus-uuidgen --ensure を実行してください。D-Bus ファイルが存在しない場合、/etc/machine-id から有効な ID をコピーします。/var/lib/dbus が存在しない場合、ln は No such file or directory で失敗するため、この 2 行はどちらも省略できます。
その後、reboot します。
sudo rebootなぜ再起動が必須なのか
古い値をすでに読み込んだすべてのプロセスは、その値を使い続けます。sd_id128_get_machine()はスレッドごとに ID をキャッシュするため、すでに読み込んだスレッドは古い値を返し続けます。まだ読み込んでいないスレッドだけが、変更後のファイルを読み取ります。そのため、実行中のデーモンは既存のスレッドで古い ID を保持し、後から起動したスレッドでのみ新しい ID を取得することがあります。journald はすでに /var/log/journal/<old-id>/system.journal を開いており、そこへの追記を続けます。systemd-networkd は起動時に DUID を決定するため、更新のたびに古いクライアント識別子を送信し続けます。これは通常、変更によって解決しようとしていた問題そのものです。D-Bus も起動時に ID を読み取っています。サービスを 1 つずつ再起動することはできますが、再起動漏れが発生します。PID 1 も古い値を保持しています。
再起動後は、次の 2 点を確認します。
cat /etc/machine-id
ls /var/log/journal/永続ログを有効にしている場合、/var/log/journal/には新しい ID にちなんだ 2 つ目のディレクトリが作成され、新しいエントリはそこに記録されます。通常の journalctlは現在のマシンのディレクトリだけを読み取るため、クローン前の履歴はデフォルトの表示から消えます。ログ自体はディスク上に残っています。journalctl --mergeを使うと、古いディレクトリを含むすべての journal ディレクトリを読み取れます。不要になったことを確認してから、古いディレクトリを削除してください。
このため、手順のリハーサルにコンテナを使うのは適切ではありません。コンテナはホストのカーネルを共有します。コンテナ自身の PID 1 として systemd を実行することはできますが、コンテナ独自のカーネルを起動することはありません。コンテナ内では、先行する ID の取得元がすべて失敗した場合に限り、systemd-machine-id-setupが設定済みのコンテナ UUID を使用します。利用可能な取得元がない場合は、ランダムな ID を生成します。本番環境と同じ方法でテストしてください。VM をクローンし、コマンドを実行して再起動した後、ID を元のマシンと比較します。
スナップショットを取得する前に切り詰める。クローン後ではない
クローンを 1 台ずつ修正する方法でも対応できます。よりよい方法はイメージを修正することです。不正なスナップショットから復元したすべてのサーバーが、同じ値を引き継ぐためです。テンプレートをシャットダウンする直前に、これを最後の作業として実行します。
sudo truncate -s 0 /etc/machine-id
sudo rm -f /var/lib/dbus/machine-id
sudo ln -s /etc/machine-id /var/lib/dbus/machine-id
sudo shutdown -h nowファイルを空にします。削除してはいけません。複数のマシンで使用するイメージには空のファイルを使用することを、machine-id(5) は推奨しています。ファイルを空のまま残しておくと、イメージを読み取り専用で使用するときに、一時ファイルを実際のファイルへ bind mount できるためです。読み取り専用の /etc では、ブート時に生成された ID がその一時ファイルに保存され、ファイルシステムが書き込み可能になると systemd-machine-id-setup --commit がそれを書き込みます。
このファイルをどの状態で残すかによって、影響が 1 つ変わります。machine-id(5) は、/etc/machine-id が存在して空の場合、そのブートを初回ブートとはみなさないと明記しています。そのため、上記の空ファイルによって ConditionFirstBoot=yes を持つ unit が起動することはありません。ファイルが存在しない場合、または uninitialized という文字列を含む場合は、次回のブートが初回ブートになります。該当する unit が起動し、systemd は unit のプリセットも適用します。テンプレートを作成する前に、grep -rl ConditionFirstBoot /usr/lib/systemd/system/ でイメージ上で実行される処理を確認してください。
テンプレートとスナップショットは別のオブジェクトです。この違いによって、ID がコピーされるかどうかが決まります。テンプレートは意図的に準備するビルド成果物です。一方、スナップショットは実行中の 1 台のサーバーを特定時点でコピーしたものであり、そのデータとともにサーバーの ID も保持します。
クラウドイメージでは正しく処理されるのに、独自に作成したスナップショットでは処理されない理由
ディストリビューションのクラウドイメージはクローンされることを前提に構築されています。そのため、machine ID は未設定の状態でリリースされ、初回起動時に設定されます。cloud-init には、この処理専用の手順が文書化されています。cloud-init clean --machine-id は systemd システム上で /etc/machine-id をリテラル文字列 uninitialized に設定します。cloud-init CLI のリファレンスでも、golden image をクローンする際のベストプラクティスとして説明されています。そのため、次回の起動時に、そのイメージから一意の machine ID が生成されます。
自分で作成したスナップショットの場合は事情が異なります。スナップショットを取得した時点で、ファイルにはすでに値が設定されていました。そのため、復元プロセスで明示的に消去または置換しない限り、そこから復元したすべてのサーバーが同じ値を引き継ぎます。これは、稼働中のサーバーを新しい VPS に移行する場合と同じ種類の問題です。コピー自体は忠実に作成されますが、コピーしたくなかったのは identity です。
クローンが複製するその他の要素
- SSH host keys。
/etc/ssh/ssh_host_*もコピーされるため、両方のサーバーがクライアントに同じフィンガープリントを提示します。これらのファイルを削除してsudo ssh-keygen -Aを実行するか、Debian と Ubuntu ではsudo dpkg-reconfigure openssh-serverを実行します。その後、クライアントは host key の変更を警告します。これは正しい動作です。 - ホスト名。
sudo hostnamectl set-hostname app02で設定し、/etc/hostsが新しい名前を引き続き解決できることを確認します。 - 静的ネットワーク設定。 静的アドレスを持つサーバーのクローンは、起動した瞬間に元のサーバーとアドレスが競合します。クローンをネットワークに接続する前に
/etc/netplan/を確認してください。 - 時刻。 実行中のメモリを含む snapshot を復元すると、guest または hypervisor が補正するまで guest の時計が遅れることがあります。復元した VPS で時刻が大きくずれる場合、時刻同期が追いつくまで TLS 証明書の検証に失敗し、ログの順序も乱れます。
クローンでも 新しい VPS 用の最初の 10 分間チェックリストを実施してください。クローンしたサーバーには、元のサーバーのユーザーアカウント、SSH keys、ファイアウォールルール、スケジュール済みジョブが引き継がれます。しかし、それらがクローンの用途に適しているかは確認されていません。
FAQ
/etc/machine-id を変更した後、再起動する必要がありますか?
はい。マシン ID をすでに読み込んだソフトウェアは、キャッシュした値を保持します。そのため、実行中のシステムで重要な部分に新しい値が反映されません。journald は古い ID にちなんだ journal ディレクトリへの書き込みを続けます。DHCP クライアントも古い値から生成したクライアント識別子を送信し続けます。通常、これが変更を行った理由です。個別のサービスを再起動すれば一部は修正できますが、PID 1 も古い値を保持しています。再起動し、cat /etc/machine-idで確認したうえで、もう一方のサーバーと比較してください。
/etc/machine-id はハードウェア UUID と同じですか?
いいえ。/sys/class/dmi/id/product_uuidにある DMI product UUID はハイパーバイザーから取得され、root だけが読み取れます。マシン ID はオペレーティングシステムが生成し、すべてのユーザーが読み取れる通常のファイルに保存されます。両者は一方向に関係します。KVM guest では、先行する ID の取得元が適用されない場合、systemd-machine-id-setupがハイパーバイザー UUID を初期値として新しいマシン ID を生成します。2 つのクローンが同じ product UUID を共有し、再生成でその UUID が使われると、同じマシン ID が再生成されます。そのため、結果を信頼する前にこのファイルも比較してください。
/etc/machine-id は削除すべきですか、それとも空にして残すべきですか?
イメージを準備する場合は、空にして残してください。machine-id(5)は空のファイルを優先します。イメージが読み取り専用の /etcで実行される場合、systemd はそのファイルを一時ファイルで bind mount できるためです。書き込み可能なシステムではファイルを削除しても動作します。一部のクローンスクリプトもその方法を使いますが、空のファイルを残すほうが安全なデフォルトです。cloud-init は代わりに uninitializedという文字列をファイルに書き込みます。この値はファイルが存在しない場合と同様に、次回の起動を初回起動として扱わせます。そのため、ConditionFirstBoot=yesを持つ unit が実行されます。空のファイルでは実行されません。
クローンした 2 台のサーバーに同じ DHCP アドレスが割り当てられたのはなぜですか?
同じクライアント識別子を送信したためです。systemd-networkd は DHCPv4 に対してデフォルトで ClientIdentifier=duidを使用します。デフォルトの DUID は /etc/machine-idのハッシュから生成されるため、同じマシン ID からは同じデフォルト DUID が生成されます。完全なクライアント識別子が一致するのは、IAID も一致する場合だけです。systemd は udev から取得した永続的な名前を基に IAID を生成し、予測可能な名前を取得できない場合は MAC アドレスにフォールバックします。現在のインターフェース名だけが一致していても、IAID まで一致するとは限りません。完全な識別子が一致すると、DHCP サーバーはその識別子で照合し、両方の要求を 1 つのクライアントとして扱って、1 つの lease を割り当てます。各マシンに固有のマシン ID を設定し、両方を再起動してください。サーバーが古いアドレスを引き続き提示する場合は、DHCP サーバー自体で古い lease を削除してください。