LVM のボリュームグループからディスクを安全に外す
VPS でディスクを入れ替えるときの手順です。pvs で対象の PV を調べ、pvmove でエクステントを退避し、vgreduce と pvremove で切り離します。vgreduce が拒否する理由と、XFS の縮小にある制約も説明します。
LVM のボリュームグループからディスクを外す手順
LVM のボリュームグループからディスクを外すときは、順番が決まっています。pvmove で対象ディスク上のエクステントを他のディスクへ退避し、vgreduce でボリュームグループから切り離し、pvremove で LVM のラベルを消します。コントロールパネルでディスクをデタッチするのは、そのあとです。
プラン変更や 2 本目の仮想ディスク追加のあとで、多くの人が 2 番目でつまずきます。vgreduce は、まだエクステントが残っているディスクを受け付けません。断られたときのメッセージは「まだ使われている」という趣旨で、どの論理ボリュームが使っているかまでは教えてくれません。だから最初にやることはコマンドを打つことではなく、対象のディスクに何が乗っているかを自分の環境で確認することです。
この記事のコマンドは読者の環境で実行してもらう前提で書いています。出力の値はサーバーごとに違うので、ここでは値を書かず、自分の出力をどう読むかを説明します。
物理ボリューム、ボリュームグループ、論理ボリュームの関係
LVM は 3 つの層でできています。この 3 語を混ぜて考えている間は、エラーの意味も分かりません。
- 物理ボリューム (PV: physical volume) は、LVM 用に初期化した実体です。
/dev/sdbのようなディスク全体のこともあれば、/dev/sdb1のようなパーティションのこともあります。 - ボリュームグループ (VG: volume group) は、PV を集めて 1 つの容量プールにしたものです。プール名は
vg0やubuntu-vgのように付いています。 - 論理ボリューム (LV: logical volume) は、そのプールから切り出した、ファイルシステムを載せる対象です。
/dev/vg0/dataのようなパスで見えます。
プールの中身は、物理エクステント (PE: physical extent) という固定サイズの区画です。既定では 1 個 4 MiB です。LV は「この PV のこの範囲の PE」という割り当ての集まりでしかありません。だから LV は複数の PV にまたがることができますし、1 つの PV を抜くという作業は、その PV 上の PE を全部よそへ引っ越す作業と同じ意味になります。
この構造は、ディスクの見かけの容量とも関係します。パネルに書かれた数字と lsblk の数字が合わないと感じたら、それは LVM の問題ではないことが多いので、500GB のディスクが 465GB と表示される理由を先に確認してください。単位の読み替えの話で、エクステントの計算とは別の話です。
作業を始める前に:スナップショットと lvm2 の確認
pvmove は、稼働中の LV のメタデータと実データを書き換えます。壊れにくい設計ではありますが、ストレージ障害や強制再起動と重なったときの逃げ道は用意しておくべきです。VPS のパネルでスナップショットを取ってから始めてください。スナップショットが有料または時間がかかる環境なら、少なくとも重要なデータのバックアップを先に取ります。
メタデータ自体のバックアップも 1 秒で取れます。
sudo vgcfgbackup vg0これは /etc/lvm/backup/ に VG の構成を書き出します。実データは含みません。
ミニマルイメージには lvm2 が入っていないことがあります。pvs が見つからないと言われたら、パッケージが無いだけです。
# Ubuntu / Debian
sudo apt update && sudo apt install -y lvm2
# Rocky / Alma / Fedora
sudo dnf install -y lvm2どの LV が対象のディスクを使っているか調べる
まず全体を見ます。
lsblk
sudo pvs -o+pv_used
sudo vgs
sudo lvs -a -o+devicespvs -o+pv_used は 1 行が 1 つの PV です。左からデバイス名、所属する VG 名、フォーマット、属性、PV 全体のサイズ、空き容量、そして追加した使用量の列が並びます。外したいデバイスの行を探して、使用量の列を見てください。ここが 0 なら、その PV には LV が 1 つも乗っていません。pvmove は不要で、そのまま vgreduce に進めます。0 でないなら、その分を引っ越す必要があります。
lvs -a -o+devices は、LV ごとに、実体がどのデバイス上にあるかを最後の列に出します。外したいデバイス名が出てくる行が、引っ越しの対象になる LV です。-a を付けているのは、内部的な LV も隠さず出すためです。pvmove の最中にはここに作業用の一時的な LV が現れます。
もっと細かく見たいときは、PV 側から見ます。
sudo pvdisplay -m /dev/sdb1物理セグメントの一覧が出ます。1 つのセグメントは「エクステント番号のこの範囲が、この LV のこの範囲に割り当てられている」という対応です。割り当てのない範囲は空きとして表示されます。自分のディスクで、割り当て済みのセグメントが 1 つも無ければ、作業は vgreduce から始められます。
対象のデバイス名を取り違えると、生きているディスクのデータを消しかねません。lsblk のサイズとシリアル番号を突き合わせて確認してください。NVMe の場合の確認方法は Linux で NVMe ディスクを正しく識別する手順にまとめてあります。
引っ越し先の空きが足りるか先に計算する
pvmove は魔法ではありません。外す PV の使用量を、VG に残る他の PV の空き容量の合計が受け止められなければ、開始時点で断られます。
sudo vgs -o+vg_free
sudo pvs -o+pv_used残る PV の空き容量の合計が、外す PV の使用量以上であることを確認します。ぎりぎりではなく、エクステント単位の端数を考えて少し余裕を見てください。足りないなら、選択肢は 2 つです。先に大きいディスクを VG に追加するか、LV とファイルシステムを縮小して使用量を減らすかです。縮小には後述する制約があります。
新しいディスクをこれから足すなら、パーティションを切るかどうかで悩むところです。ディスク全体をそのまま PV にする方法なら GPT と MBR のパーティションテーブルの違いを気にする必要はありませんが、後からブートパーティションを同居させたくなる可能性があるなら、GPT を切ってから PV にする方が後悔が少ないです。
pvmove でエクステントを退避する
基本形は、外したい PV を指定するだけです。
sudo pvmove -i 10 /dev/sdb1-i 10 は 10 秒ごとに進捗を表示する指定です。引っ越し先を指定しなければ、LVM が VG 内の空きから自動で選びます。行き先を決めたいときは 2 番目の引数に書きます。
sudo pvmove -i 10 /dev/sdb1 /dev/sdc1特定の LV だけ先に動かしたいときは -n を使います。全体を一度に動かすと長時間かかる場合に、分割して進められます。
sudo pvmove -i 10 -n data_lv /dev/sdb1 /dev/sdc1pvmove は内部で一時的なミラーを作り、エクステントを 1 区画ずつコピーしてから参照先を切り替えます。だから LV はマウントしたままで構いません。サービスを止める必要はありません。ただし裏でディスクを読み書きし続けるので、その間は I/O が重くなります。業務時間を避けるのが無難です。
所要時間は容量とディスクの種類で大きく変わります。ローカル NVMe 同士なら速く、ネットワーク越しのブロックストレージが絡むと桁が変わることがあります。この差がどこから来るかは VPS のローカル NVMe とネットワークストレージの性能差で説明しています。数百 GB を動かすなら、SSH が切れても止まらないように tmux の中で実行するか、-b を付けてバックグラウンドで走らせてください。
途中で止まってしまった場合、データが半端な状態で失われることはありません。引き継ぐか、取り消すかを選べます。
# 中断した移動を再開する
sudo pvmove
# 移動をやめる(--atomic なしで始めた場合、移動済みの分は移動先に残る)
sudo pvmove --abort進行状況は sudo lvs -a -o+devices でも確認できます。作業用の一時 LV が一覧から消えていれば、移動は終わっています。
vgreduce が拒否するのはなぜか
移動が終わったら、PV を VG から切り離します。
sudo vgreduce vg0 /dev/sdb1ここで断られる場合、理由はほぼ 1 つです。その PV にまだ割り当て済みのエクステントが残っています。vgreduce は割り当てが残った PV を絶対に外しません。外せてしまったら、その LV のデータの一部が消えるからです。
残っているかどうかは、推測せずに確認します。
sudo pvs -o+pv_used
sudo pvdisplay -m /dev/sdb1使用量が 0 になっていないなら、pvmove が最後まで終わっていないか、-n で一部の LV しか動かしていないか、動かせない種類の LV が残っています。lvs -a -o+devices でどの LV が残っているかを特定して、その LV を対象に pvmove をやり直してください。
動かす先が無くて詰まったときは、その LV が本当に必要かを考えます。不要な LV なら、引っ越しではなく削除の方が速くて確実です。削除にはアンマウントが必要です。
マウント中やアクティブな LV をどう扱うか
pvmove はオンラインで動きますが、LV を消す作業と縮める作業はオンラインではできません。どちらもファイルシステムを止める必要があります。
# 何がその LV を使っているか
findmnt /dev/vg0/data
sudo fuser -vm /mnt/data
sudo umount /mnt/data
sudo lvchange -an vg0/dataumount が「使用中」と断られたら、まだプロセスがそのディレクトリを開いています。fuser -vm が出したプロセスを止めてから、もう一度アンマウントしてください。コンテナやデータベースがそのパスを掴んでいることがよくあります。
lvchange -an は LV を非アクティブにします。デバイスマッパーの参照が外れるので、lvremove はここまでやってから実行します。
sudo lvremove vg0/dataアンマウントしたパスが /etc/fstab に書いてあるなら、その行も消してください。消し忘れたまま再起動すると、存在しないデバイスを待つ間、起動が止まったり緊急モードに落ちたりします。この状態は、ディスクの空き容量が読めなくなって df と du の数字が食い違って見えるのとは原因が違うので、混同しないでください。
空きが足りないとき:ext4 は縮められる、XFS は縮められない
引っ越し先の空きを作るためにファイルシステムを縮めたくなったら、先にファイルシステムの種類を確認します。
findmnt -no FSTYPE /mnt/dataXFS は、ディスクを外せるほどには縮小できません。現在の xfsprogs では、xfs_growfs -D に今より小さいサイズを渡すとオンラインで縮小できます。ただし man ページのとおり、実装されているのは最後のアロケーショングループ(AG)を取り除かずに縮めることだけです。それより前の領域や使用中の領域は取り戻せません。XFS を大幅に小さくする確実な方法は、別の場所にデータを退避し、小さい LV を作り直し、mkfs.xfs してから書き戻すことです。lvm2 2.03.17 以降の lvreduce は、XFS が使っている領域を切り落とす縮小をエラーで止めます。それより古い lvm2 や、--fs ignore を付けた場合は、ファイルシステムの末尾ごと切り落として破壊します。lvm2 の版は sudo lvm version で確認できます。
ext4 なら縮小できます。ただしアンマウントが必須で、順番を間違えるとデータが壊れます。ファイルシステムを先に小さくし、そのあとで LV を小さくします。
sudo umount /mnt/data
sudo e2fsck -f /dev/vg0/data
sudo resize2fs /dev/vg0/data 200G
sudo lvreduce -L 200G /dev/vg0/data
sudo mount /mnt/datae2fsck -f は resize2fs が要求するので省略できません。順番を守る自信が無いなら、LVM にまとめてやらせる方が安全です。
sudo umount /mnt/data
sudo lvreduce -r -L 200G /dev/vg0/data-r はファイルシステムのリサイズも一緒に行う指定です。内部で resize2fs を呼ぶので、順番の間違いが起きません。それでも、縮小前のバックアップは取ってください。
ルートファイルシステムが対象の場合は、稼働中のシステムからアンマウントできません。プロバイダのレスキューモードや ISO から起動して作業します。
pvremove してからパネルでデタッチする
vgreduce が通ったら、LVM のラベルを消します。
sudo pvremove /dev/sdb1
sudo pvspvs の一覧からそのデバイスが消えていれば、LVM 側の後始末は完了です。さらにパーティションやファイルシステムの署名も消しておくと、そのディスクを別用途で再利用したときに古い署名が誤検出されません。
sudo wipefs -a /dev/sdb1ここで一度再起動して、システムが正常に上がることと、/etc/fstab に取り残しが無いことを確認してください。再起動を確認してからパネルでデタッチする方が安全です。まだ OS が参照しているディスクを先に引き抜くと、次の起動で LVM が PV の欠落を報告し、VG がアクティブにならないことがあります。
よくある失敗
- パネルでのデタッチを先にやってしまう。PV が行方不明になり、VG 全体がアクティブにならなくなります。順番は必ず pvmove から。
- 外すディスクのデバイス名を取り違える。
/dev/sdbと/dev/sdcは再起動で入れ替わることがあります。サイズとシリアルで照合してください。 - pvmove を SSH のフォアグラウンドで実行して、接続断と一緒に中断する。
tmuxか-bを使ってください。中断した場合はsudo pvmoveで再開できます。 - XFS を縮められると思い込んで
lvreduceを先に打つ。lvm2 2.03.17 より古い版や--fs ignore付きでは、復旧できない壊し方です。
故障して認識されなくなったディスクを外す場合は、pvmove ができません。その PV 上のデータは戻らない前提で、欠落した PV を VG から外します。
sudo vgreduce --removemissing vg0欠落した PV に載っていた LV が残っていると、これも断られます。その LV を諦める場合のみ --force を追加します。--force は該当する LV を削除するので、実行前に何が消えるかを lvs -a -o+devices で確認してください。こうなる前に手を打ちたいなら、VPS でディスクの健康状態を監視する方法を設定しておくのが確実です。
FAQ
vgreduce が「まだ使用中」と言ってディスクを外せません
その PV に割り当て済みのエクステントが残っています。sudo pvs -o+pv_used で使用量の列を見てください。0 でなければ vgreduce は絶対に通りません。sudo lvs -a -o+devices でどの LV がそのデバイスを使っているかを特定し、sudo pvmove -i 10 /dev/sdb1 で退避してから、もう一度 vgreduce を実行します。一部の LV だけ -n で動かした場合は、残りの LV が取り残されていないか確認してください。
pvmove を途中で止めてしまっても大丈夫ですか
pvmove はエクステントを 1 区画ずつコピーし、コピーが完了してから参照先を切り替えます。途中で止まっても、LV はその時点で有効な配置を指したままです。作業を続けるなら引数なしで sudo pvmove を実行すると再開します。やめるなら sudo pvmove --abort を実行します。ただし --atomic を付けずに始めた移動では、移動済みのセグメントは移動先の PV に残り、未移動のセグメントだけが元の PV に残ります。すべてを元の PV に戻せるのは、--atomic 付きで始めた場合だけです。状態は sudo lvs -a -o+devices で確認できます。
XFS のファイルシステムを縮小して空きを作れますか
実質的にはできません。xfs_growfs -D で縮められるのは、最後のアロケーショングループの空き領域だけです。それより大きく小さくしたい場合は、データを別の場所に退避し、小さい LV を作って mkfs.xfs し直し、書き戻します。lvm2 2.03.17 より古い版や --fs ignore 付きで、ファイルシステムを縮めずに lvreduce を実行すると、XFS の領域を切り落として壊します。ext4 であれば sudo lvreduce -r -L 200G /dev/vg0/data で、アンマウントした上で縮小できます。
外す前にスナップショットは本当に必要ですか
pvmove は稼働中の LV のメタデータと実データを書き換えます。設計上は中断に強いですが、書き換えの最中にストレージ障害や強制再起動が重なった場合の保険は別に必要です。プロバイダのスナップショットを取ってから始めてください。加えて sudo vgcfgbackup vg0 で VG の構成を /etc/lvm/backup/ に書き出しておくと、構成の取り違えからは復旧しやすくなります。これは実データのバックアップではありません。
pvremove のあと、すぐパネルでディスクをデタッチして良いですか
先に一度再起動して、システムが正常に起動することと /etc/fstab に取り残しが無いことを確認してください。sudo pvs の一覧から消えていることも確認します。OS がまだ参照している状態でデタッチすると、次の起動時に LVM が PV の欠落を報告し、VG がアクティブにならないことがあります。