RAID 10 是什麼?VPS 為何選用 NVMe 儲存
了解 RAID 1、5、6、10 可承受的故障數、重建成本與 NVMe VPS 選用 RAID 10 的原因,並學會查看 /proc/mdstat,以及為何 RAID 不是備份。
RAID 10 的原理,以及 VPS 主機商採用它的原因
RAID 10 是多數 VPS 主機商在虛擬化 NVMe(non-volatile memory express)磁碟上採用的儲存配置。在傳統的雙副本配置中,RAID 10 會將每個磁碟鏡像到配對磁碟,再將資料分散寫入這些鏡像組。單一磁碟故障時,陣列仍可繼續運作。修復時只需從仍可運作的配對磁碟直接複製資料,不必重新計算,也不必讀取陣列中的其他所有磁碟。
RAID 是 redundant array of independent disks 的縮寫。它只有一個用途:在磁碟故障或更換期間,讓機器繼續提供服務。這個用途是可用性,而可用性不等於安全性。
RAID 會複製寫入的資料。rm -rf /srv 是一次寫入。鏡像的兩個部分會在同一毫秒內刪除該目錄,而陣列之後仍會回報自身狀態正常。
記住這句話。本頁其餘內容會說明各個層級可以承受哪些故障,以及每次寫入會付出什麼代價。最後幾節會介紹如何在自己管理的機器上使用命令查看陣列狀態,以及 RAID 從未涵蓋的故障。
實際上託管服務買家會遇到的等級:1、5、6 和 10
方案頁面通常只列出一個數字。這個數字回答兩個問題:可以容許幾個磁碟故障,以及每次寫入需要付出多少代價。
RAID 1 是鏡像。兩個磁碟保存相同的區塊。每次寫入都會送往兩個磁碟。任一磁碟都能處理讀取。一個磁碟故障時不會遺失資料,但只有一半的原始容量可用。因為不需要計算同位檢查,因此寫入路徑較短。
RAID 5 是在每個 stripe 中加入一個同位檢查區塊的條帶化配置。使用 n 個磁碟時,可取得其中 n-1 個磁碟的容量,且整個陣列可承受恰好一次故障。同位檢查不會固定放在某個專用磁碟上,而是輪替分布於所有磁碟,因此每個磁碟都會同時承載資料與同位檢查。
RAID 6 會在每個 stripe 中加入第二個獨立的同位檢查區塊,通常標示為 P 和 Q。即使同時故障兩個磁碟,也能維持運作。這項能力比表面上更重要,因為第二次故障最常發生在第一次故障的修復期間。
RAID 10 是由鏡像組成的條帶。磁碟會兩兩鏡像,資料則分布在各組鏡像之間。可用容量是原始總容量的一半,與 RAID 1 相同;此外還具備條帶化帶來的平行處理能力。
你也會看到 RAID 1+0 這種寫法,這是較準確的描述:先建立鏡像,再跨鏡像進行條帶化。RAID 0+1 則是相反順序,先建立條帶,再鏡像這兩組條帶。這種配置較差,因為一個磁碟故障就會使整個條帶停止提供服務,而修復時必須複製另一側的完整內容。
Linux 是值得了解的特殊情況。核心的 raid10 是單一 personality,而不是堆疊的兩個層,因此可使用奇數個磁碟運作,也提供巢狀配置無法表達的配置(near、far、offset)。這就是為什麼 Linux 主機的狀態列會顯示 2 near-copies,而不是列出兩個陣列。
此圖表背後的資料
[
{
"label": "RAID 1 (eight copies)",
"usable_tb": 1,
"worst_case_drives_lost": 7,
"best_case_drives_lost": 7
},
{
"label": "RAID 5",
"usable_tb": 7,
"worst_case_drives_lost": 1,
"best_case_drives_lost": 1
},
{
"label": "RAID 6",
"usable_tb": 6,
"worst_case_drives_lost": 2,
"best_case_drives_lost": 2
},
{
"label": "RAID 10",
"usable_tb": 4,
"worst_case_drives_lost": 1,
"best_case_drives_lost": 4
}
]8 個 1 TB 磁碟在 RAID 5 下可提供 7 TB 的可用空間,在 RAID 10 下則提供 4 TB。這個差距會直接反映在成本上,也是同位檢查配置一再被提出的原因。RAID 6 可在任何故障組合下承受 2 次故障。RAID 10 只能保證 1 次,因為最危險的第二次故障,是發生在已故障磁碟的鏡像夥伴上。當沒有兩次故障發生在同一組鏡像時,它最多可承受 4 次故障,但這是運氣,而不是設計保證。
每次寫入在各種 RAID 層級的成本
寫入鏡像會變成 2 次寫入,同時發送至兩個成員。寫入同位元檢查條帶的工作量更大,因為該條帶的同位元檢查區塊已經不正確,必須重新計算。
對於讀取-修改-寫入,控制器會先讀取舊資料與舊同位元檢查資料。因此,RAID 5 上未快取的單一區塊覆寫會變成讀取、讀取、寫入、寫入。RAID 6 維護 2 個同位元檢查區塊,因此讀取-修改-寫入會變成讀取、讀取、讀取、寫入、寫入、寫入。Linux 也會使用重建-寫入,讀取未變更的資料以計算同位元檢查資料。在 3 顆磁碟的 RAID 5 上,這類覆寫可能需要 1 次資料讀取與 2 次寫入;在 4 顆磁碟的 RAID 6 上,則需要 1 次資料讀取與 3 次寫入。4 與 6 是讀取-修改-寫入的作業次數,不是每次小型隨機寫入的固定成本。
此圖表背後的資料
[
{
"label": "RAID 1 (2 drives)",
"write_ops_per_host_write": 2,
"drives_read_to_rebuild": 1
},
{
"label": "RAID 5 (8 drives)",
"write_ops_per_host_write": 4,
"drives_read_to_rebuild": 7
},
{
"label": "RAID 6 (8 drives)",
"write_ops_per_host_write": 6,
"drives_read_to_rebuild": 7
},
{
"label": "RAID 10 (8 drives, fixed mirror pairs)",
"write_ops_per_host_write": 2,
"drives_read_to_rebuild": 1
}
]未快取的單一區塊讀取-修改-寫入,在 RAID 6 上會產生 6 次裝置作業;相同覆寫在雙副本 RAID 10 上則為 2 次。這些次數仍低估了延遲差異。兩次鏡像寫入會並行發送,因此 guest 會等待較慢的那一次。讀取-修改-寫入路徑包含一次必須先完成的讀取,之後才能計算新的同位元檢查資料,因此 guest 會先等待讀取,再等待寫入,兩者依序進行。在繁忙的主機上,這次讀取還會排在其他所有 I/O 之後。
有一個重要例外。若寫入大小足以填滿整個條帶,就不需要舊資料,因為條帶中的每個區塊都會被取代。同位元檢查資料會根據記憶體中已有的內容計算;此時 RAID 5 的額外負擔降為每個條帶 1 次同位元檢查寫入,RAID 6 則為 2 次,且不需要預先讀取。這就是 RAID 5 在循序基準測試中表現良好,卻在多個 tenant 產生小型寫入的混合負載下表現不佳的原因。請測試實際執行的模式:正確進行 VPS 磁碟基準測試代表使用符合實際情況的佇列深度進行隨機 I/O,而不是單一大型 dd。
重建是危險所在的原因
完整的 RAID 5 重建必須根據其餘所有磁碟重建遺失的磁碟,因此在八磁碟範例中,會從第一個區塊讀到最後一個區塊,讀取 7 個仍在運作的磁碟。採用固定雙副本鏡像組時,RAID 10 重建只會讀取 1 個來源:故障磁碟的鏡像夥伴,除此之外不會讀取其他磁碟。其他 Linux RAID10 版面會以不同方式分散副本:重建 three-device near layout 的成員時,會讀取另外兩個仍在運作的成員。
這會帶來兩項成本。第一是時間,因為重建速度受仍在運作的磁碟、重建工作量及復原速度目標限制。第二是負載。Parity 重建會將 I/O 分散到仍在運作的磁碟。固定鏡像組的 RAID 10 重建則會將這些 I/O 集中到一組磁碟;共用的 controller 與主機資源仍會影響其他鏡像組。
同一段期間也存在資料正確性風險。RAID 5 有一顆故障磁碟時,陣列已沒有備援,因此仍在運作的磁碟上任何無法讀取的 sector 都無法復原。重建是唯一會讀取每個 sector 的操作,包括一年來沒有人存取過的 sector。公開的 datasheet 數據顯示,消費級硬碟每讀取 10^14 個 bit,約有一次無法復原的讀取錯誤;enterprise NVMe 磁碟則是每 10^17 個 bit 一次,或更佳。這些數據是廠商規格,不是實際測量值,但兩者的比例說明了:過去「RAID 5 重建會失敗」的警告,針對的是大型旋轉式磁碟;對 NVMe 而言,這項警告的適用性低得多。負載方面的問題則適用於任何媒體。
請先透過 scrub 找出潛在錯誤,不要等到重建時才發現。Debian 與 Ubuntu 都會針對 md 陣列提供定期 scrub,但不同 release 使用的機制不同,因此請先確認目前使用的機制,再手動觸發一次掃描。
systemctl list-timers --all | grep -i mdcheck
ls -l /etc/cron.d/mdadm
echo check | sudo tee /sys/block/md0/md/sync_action
cat /sys/block/md0/md/mismatch_cntsync_action 會在掃描完成時回到 idle,而 mismatch_cnt 應顯示為 0。鏡像上的數值若大於零,表示兩個部分不一致;由於兩個副本都沒有 checksum,kernel 無法判斷哪一個才是正確內容。有些不一致沒有危害,swap partition 是常見來源:kernel 可能寫入一個 page,而該 page 在此過程中發生變更。資料陣列的計數持續增加時,應進行調查;但僅憑這個計數,無法判斷需要更換哪一顆磁碟。
為什麼 VPS 供應商在 NVMe 上普遍採用 RAID 10
hypervisor 節點不只執行一種工作負載。它會執行數十個彼此無關的 guest,而這些 guest 的 I/O 會交錯形成小型寫入串流,彼此之間沒有 locality。這正是 parity read-modify-write 循環成本最高的模式,也是 shared node 全天候面對的情況。
再考量 rebuild 行為,選擇就很明顯。parity node 上的 drive 故障會在存活的 drive 之間增加重建工作。RAID 10 node 採用固定的 mirror pair;其中一個 drive 故障時,只會在單一 pair 上增加 rebuild I/O,而且 Linux MD 在有其他活動時會降低 recovery 速度。供應商銷售的是不會出現延遲尖峰的服務,因此會以容量換取這項特性:一半的原始 NVMe 容量用於 mirror。
Drive 容量增加也會導向相同的選擇。Drive 越大,rebuild window 越長;而在 RAID 5 中,這段期間不僅重建會增加負載,也不再具備 redundancy。RAID 6 則能抵禦多一次 drive 故障。這也是虛擬化用的 ZFS 部署會採用由 mirrored vdev 組成的 pool,而不是寬幅 raidz 的原因:mirror resilver 只會複製實際使用中的 blocks,而且只涉及一個 pair。
這些原因不代表 RAID 10 在所有情況下都正確。backup target 通常以長段連續資料寫入,且很少讀取,因此 RAID 6 在這種情況下更划算。它可承受兩次故障,並保留大部分容量。決定因素是工作負載,而不是數字。對於今天要選擇的方案,儲存媒體通常比其上的 layout 更重要,而 從 SATA SSD 升級到 NVMe 所帶來的差異,大於任一種 RAID 配置之間的差異。
如何讀取 /proc/mdstat
請在您擁有該陣列的機器上執行這些操作,例如專用伺服器、家中的主機,或是您自行組建、附加兩個磁碟區的 VPS。請閱讀您自己的輸出。以下區塊是範例,特別完整列出,方便您比對實際輸出的格式。
cat /proc/mdstat
sudo mdadm --detail /dev/md0
lsblk -o NAME,SIZE,TYPE,MOUNTPOINTS健康的四磁碟 RAID 10 會輸出接近以下內容。
Personalities : [raid1] [raid10]
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2] nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
bitmap: 0/30 pages [0KB], 65536KB chunk
unused devices: <none>其中每個部分都包含資訊。
Personalities列出執行中 kernel 已載入的 md modules。raid10出現在其中,僅表示程式碼可用,不代表其他事項。md0 : active raid10是陣列裝置、陣列狀態及 RAID level。- 後面的名稱是成員。方括號中的數字是裝置在陣列 metadata 中的索引,不是該裝置在這一行中的位置,也不一定是其 slot。
- 更換 drive 後,新成員通常會保留比所填補 slot 更高的索引,因此
nvme4n1p3[4]可能位於 slot 2。mdadm --detail會在其RaidDevice欄位中列出實際 slot,因此在兩者不同時,請以該欄位為準。 - 成員後面的
(F)表示 faulty。(S)表示 spare:裝置存在但閒置,等待其他裝置故障。 3906764800 blocks super 1.2是以 1 KiB blocks 表示的可用大小,後面接著 metadata format。512K chunks 2 near-copies是 stripe chunk size 及 RAID 10 layout;此處的 layout 會讓每個 block 保留兩份相鄰副本。[4/4]先列出陣列預期的成員數量,再列出目前已同步的成員數量。[UUUU]每個 slot 對應一個字元,順序依 slot 排列。U表示該 slot 已啟用且已同步。_表示該 slot 沒有正常運作的裝置。bitmap:是 write intent bitmap。它記錄正在寫入的區域,因此中斷後重新加入的成員只需重新同步這些區域,而不必同步整個 drive。
發生問題時,[4/3] 和 [UU_U] 的含義
降級的陣列如下所示。
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2](F) nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]請同時讀取兩組方括號。[4/3] 表示四個 slot 中有一個未提供資料。[UU_U] 表示是哪一個,因為底線是第三個字元,而 slot 從零開始編號,所以 slot 2 已停止運作。(F) flag 只會在故障 drive 仍連接時標示該裝置。將它從機器拔除後,該名稱會從這一行消失,但底線仍會保留。
陣列會在上述狀況下繼續提供服務。RAID 10 通常仍能以接近完整的速度提供服務,因此使用者不一定能察覺。您必須透過監控得知狀態。
grep -i mailaddr /etc/mdadm/mdadm.conf
sudo mdadm --monitor --scan --oneshot --test
systemctl list-units --all | grep -i mdmdadm package 會安裝一個 monitor daemon,從 /etc/mdadm/mdadm.conf 讀取 MAILADDR。unit name 在不同 releases 之間可能變更,因此請使用最後一個 command 找出它,不要自行猜測。執行 --test 會立即為每個陣列傳送一則訊息。執行後如果 inbox 為空,表示 mail path 已故障;您真正需要的訊息也會以相同方式遺失。
替換 drive 正在重建時,陣列下方會出現進度列。
md0 : active raid10 nvme4n1p3[4] nvme3n1p3[3] nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]
[==>..................] recovery = 12.4% (242012928/1953382400) finish=63.1min speed=452000K/secrecovery 表示正在將資料重建至替換 drive。resync 表示 consistency pass,包括初始 pass 以及從未正常關機狀態復原。check 表示您在上方觸發的 scrub。括號中的數值是以 1 KiB blocks 表示的進度,分母是每個 device 的總量;finish 是 kernel 依目前速度估算的剩餘時間。Linux MD 使用 /proc/sys/dev/raid/speed_limit_min 和 speed_limit_max 作為 recovery speed targets,並可在 sync_speed_min 和 sync_speed_max 中設定每個陣列的覆寫值。預設的 maximum target 是每個 device 200,000 KiB/s;這些 target 讓 recovery 將優先權讓給 production I/O,不是硬性的速度上限。
重建期間的完整 mdadm --detail
/dev/md0:
Version : 1.2
Creation Time : Tue Mar 10 09:14:22 2026
Raid Level : raid10
Array Size : 3906764800 (3.64 TiB 4.00 TB)
Used Dev Size : 1953382400 (1.82 TiB 2.00 TB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed Aug 5 11:02:41 2026
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : near=2
Chunk Size : 512K
Rebuild Status : 12% complete
Name : storage:0
Events : 4184
Number Major Minor RaidDevice State
0 259 3 0 active sync set-A /dev/nvme0n1p3
1 259 7 1 active sync set-B /dev/nvme1n1p3
4 259 11 2 spare rebuilding /dev/nvme4n1p3
3 259 15 3 active sync set-B /dev/nvme3n1p3Number 欄位是 metadata index,會顯示在 /proc/mdstat 方括號中的數值。RaidDevice 欄位是 slot,也就是 [UU_U] 字串中的位置。此處兩者不同,是因為 device 4 取代了原本持有 slot 2 的 drive。set-A 和 set-B 標示每個 mirror 的兩個部分,因此同一組中分別屬於 set-A 和 set-B、且保存相同資料的成員,就是不可同時遺失的兩個成員。
在您擁有的陣列上更換 drive 需要執行四個 commands,最後一個 command 用來檢查結果。
sudo mdadm --manage /dev/md0 --fail /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --remove /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --add /dev/nvme4n1p3
cat /proc/mdstatrecovery line 應在一、兩秒內出現。替換 partition 必須至少與 mdadm --detail 中的 Used Dev Size 一樣大;即使只小一點,也會遭拒,並顯示類似 not large enough to join array 的訊息。新增 drive 前,請先將其 partition 設定為與舊 drive 相符。
從 VPS 內部能看見與不能看見的內容
大多數 guest 無法看見主機的 RAID,這是設計如此。hypervisor 會提供一個虛擬磁碟給你。該磁碟是由 NVMe 磁碟組成的 RAID 10 儲存池切分而來,還是位於單一磁碟上,屬於主機的配置,不會顯示在 guest 內部。
systemd-detect-virt
lsblk -d -o NAME,SIZE,ROTA,MODEL
cat /proc/mdstatsystemd-detect-virt 在 KVM guest 上會顯示 kvm,在容器上會顯示類似 lxc 的容器類型,在 bare metal 上則會顯示 none。在 KVM guest 上,通常只能在 lsblk 看到單一的 vda 或 sda,而 /proc/mdstat 中不會有陣列,因為 guest 內部沒有這些陣列。
在以容器為基礎的 VPS 上,這項讀值不可靠。容器共用主機 kernel,而 /proc 的部分內容未納入 namespace,因此其中的資訊可能描述的是主機,而不是分配給你的儲存空間。不要把其中任何資訊視為自身儲存配置的事實。請向供應商確認配置;如果這對你很重要,請要求對方以書面提供答案。
你可以從內部檢查的是所提供磁碟的行為。檢查 VPS 磁碟是否確實為 NVMe 說明可回報實際資訊的指令;SSD VPS 實際包含哪些內容 則說明方案頁面上的標籤所宣稱的內容。
是否應在 VPS 內執行 RAID?
通常不應該,原因在於故障網域。如果您將兩個 volume 連接至同一個 VPS,並使用 mdadm 將其做 mirror,兩個 volume 可能位於同一個實體陣列、同一個 node,並共用同一個電源供應器。這會讓每次寫入的成本加倍,但您原本已具備相同的備援能力;而且只要發生那個真正重要的單一故障,兩份資料仍會同時遺失。
如果服務供應商明確說明這些 volume 位於不同的故障網域,或您使用的是可自行配置磁碟的 dedicated server,這樣做才值得。否則,應將這些精力用於建立離開該機器的資料副本。
RAID 無法防護的情況
RAID 只涵蓋一種事件:磁碟機無法正常運作。以下所有操作都是有效寫入,因此陣列會將其套用至每個副本,並回報自身狀態正常。
- 刪除。 在錯誤的目錄中執行
rm -rf,或部署指令碼在路徑中使用未設定的變數。陣列會將其視為合法寫入,並執行兩次。 - 勒索軟體。 加密本身就是寫入操作。正常運作的陣列會將加密後的版本儲存至鏡像的兩端。
- 損壞的應用程式。 將垃圾資料寫入資料庫的程式錯誤,也會將相同的垃圾資料寫入備援磁碟機。
- 整個節點。 主機故障,或帳號遭誤停權。陣列可能完全正常,卻同時無法存取。
- 一週後的自己。 你週一刪除的檔案,週一就會從每個磁碟機消失。只有在此之前建立的副本才能將其還原。
儲存在同一個儲存空間上的快照也不是解決方案。快照可協助處理刪除問題,但會與其所在的陣列一同失效。備份之所以是備份,關鍵在於它位於其他位置。使用 restic 建立加密的伺服器外備份 是本頁的另一個重點:陣列讓你能在磁碟機故障時持續提供服務,而當損害來自陣列欣然接受的寫入操作時,restic 能取回你的資料。
FAQ
RAID 10 是否代表我不需要備份?
不需要。RAID 10 可防護磁碟停止運作的情況。每次有效寫入都會同步套用到鏡像的兩個副本,因此刪除操作或勒索軟體執行結果,也會在同一時間寫入備援磁碟。陣列之後仍會回報狀態正常,因為就陣列的觀點而言,沒有任何元件故障。你仍需要將副本儲存在伺服器以外的位置,也仍應定期還原副本,以確認副本確實可用。
為什麼 VPS 供應商選擇 RAID 10,而不是 RAID 5 或 RAID 6?
有兩個原因,且都與小型隨機寫入有關。未經快取的單區塊讀取-修改-寫入,必須先讀取舊資料與同位元,才能計算新的同位元;在 RAID 5 上需要 4 次作業,在 RAID 6 上需要 6 次,而雙副本鏡像只需要 2 次。重建寫入會改用未變更的資料,而完整條帶寫入不需要預先讀取舊資料或舊同位元。完整 RAID 5 重建必須從頭到尾讀取每個仍存活的磁碟;傳統 RAID 10 搭配固定鏡像配對時,則會從仍存活的配對磁碟複製,其他 Linux RAID10 配置則會使用多個來源成員。其他活動進行時,Linux MD 會降低復原速度。供應商必須以容量承擔這項成本:可用原始 NVMe 容量只有一半。
/proc/mdstat 中的 [U_] 或 [UU_U] 代表什麼?
每個字元依陣列中的槽位順序代表一個槽位,每個槽位對應一個字元。U 表示該槽位包含一個已啟動且已同步的成員。_ 表示該槽位目前沒有正常運作的成員。對雙磁碟鏡像而言,[U_] 表示第二個槽位已離線,且不再具備備援能力。請搭配前方的配對數字一起解讀;其中 [4/3] 表示陣列預期有 4 個成員,目前有 3 個。槽位順序對應 mdadm --detail 的 RaidDevice 欄,而不是該行中裝置名稱出現的順序。
RAID 10 陣列可以遺失多少個磁碟?
對採用固定鏡像配對的傳統雙副本 RAID 10 而言,無論故障發生在哪裡,都能承受 1 個磁碟遺失。超過 1 個後,則取決於故障落在哪些磁碟上。每個鏡像配對都能遺失其中 1 個成員,因此 8 磁碟陣列在沒有 2 個故障位於同一配對時,最多可承受 4 個故障;但若 2 個故障都發生在同一配對,則陣列會失效。請以保證可承受的數量,也就是 1 個,作為規劃依據;超過這個數量只能視為運氣,不能視為防護能力。
我應該使用 mdadm 在 VPS 內鏡像 2 個磁碟區嗎?
通常不應該。連接到同一個 VPS 的 2 個磁碟區,通常位於同一台主機上的同一個實體陣列,因此鏡像會使每次寫入的成本加倍,卻無法防護主機本身的 RAID 已經涵蓋的任何故障。只有在供應商明確說明這些磁碟區位於不同故障網域時,這樣做才有價值。否則,應將這些資源投入能離開該伺服器的備份。