VPS 磁碟健康監控:SMART 看不到時怎麼辦
多數 VPS 的磁碟是虛擬裝置,SMART 無法傳到 guest。了解可監控的 4 種訊號,以及如何在 I/O 失敗前設定警示。
VPS 上的磁碟健康監控實際能看見什麼
VPS 上的磁碟健康監控,必須先了解多數指南避而不談的事實:磁碟不屬於你。你的 guest 看到的是虛擬區塊裝置。實體磁碟及其儲存的所有計數器都屬於 host。smartctl /dev/vda 失敗不是因為你輸入的 command 錯誤,而是因為該裝置背後沒有任何元件能回答這個問題。
SMART(自我監控、分析與報告技術)是儲存在磁碟本身的計數器表格,包含重新配置的磁區、待處理磁區、通電時數與媒體錯誤。讀取這份表格需要讓 ATA 或 NVMe(非揮發性記憶體 express)command 連線到實體硬體。半虛擬磁碟不提供這條路徑,因此 guest 取得的是已移除遙測資料的儲存裝置。
租戶監控的是影響,而不是硬體。在 guest 內部可以看見 4 種訊號:kernel log 中的 I/O(輸入/輸出)錯誤、重新掛載為唯讀的 filesystem、逐漸上升的延遲,以及耗盡的空間。這 4 種訊號今天都能設定警示,而且都會在使用者提出抱怨前出現。請先設定這些監控。責任分界會在最後說明,因為它會改變你應該投入心力的地方。
確認自己的伺服器實際暴露的內容
不要假設自己屬於哪種情況。先查看結果,再閱讀相符的段落。
sudo apt update && sudo apt install -y smartmontools nvme-cli
lsblk -o NAME,TYPE,SIZE,MODEL,TRAN
sudo smartctl -a /dev/vdavirtio-blk,一般的 KVM (kernel-based virtual machine) 磁碟。 裝置是 /dev/vda,而 smartctl 在送出任何內容前就停止:
/dev/vda: Unable to detect device type
Please specify device type with the -d option.virtio-blk 是半虛擬化傳輸,後方沒有 ATA 或 SCSI 命令集,因此沒有可傳送 SMART 請求的通道。-d sat 和 -d scsi 也會以相同方式失敗,因為問題出在傳輸方式,而不是旗標。
模擬的 SATA 或 SCSI 磁碟。 裝置是 /dev/sda,而 smartctl 已能執行到識別裝置的階段。模型列顯示 QEMU HARDDISK。這段字串本身就能回答問題:你讀取的是模擬器建立的裝置,而且該裝置回報沒有可用的 SMART 功能。
NVMe namespace。 sudo nvme smart-log /dev/nvme0n1 會回傳完整日誌,這正是容易誤判的地方。先使用 sudo nvme id-ctrl /dev/nvme0 | grep -E '^(mn|sn)' 檢查控制器識別資訊。如果模型編號顯示的是網路儲存產品,表示控制器是軟體實作,因此 percentage_used 和 media_errors 描述的是該模擬層,而不是儲存資料的 flash。若要確認實際使用的儲存裝置,請改為在 Linux 上驗證 NVMe 磁碟,不要只相信方案說明。
容器,例如 LXC (Linux containers) 或 OpenVZ。 你沒有自己的區塊裝置。lsblk 會顯示主機的裝置,或完全不顯示任何內容;smartctl 會被拒絕,因為容器不具備 CAP_SYS_RAWIO:
Smartctl open device: /dev/sda failed: Permission denied另外提醒一種 smartctl 確實能運作的情況。如果 VPS 上的 smartctl 回傳完整的屬性表,請先查看序號,再採取行動。有些主機會暴露直通裝置節點,而其中的計數器屬於該機器上所有租戶共用的硬體。那裡的 Reallocated_Sector_Ct 上升時,應建立支援請求。這不代表你的資料有問題。
核心訊號 1:核心日誌中的 I/O 錯誤
這是租戶能取得的最高價值訊號,而且不需要安裝 agent。
sudo journalctl -k -p err -b
sudo journalctl -k --since "7 days ago" | grep -iE 'i/o error|remount|ext4-fs error|buffer i/o'在 5.16 及更新版本的核心中,包括 Ubuntu 24.04 和 Debian 12,虛擬磁碟的失敗請求會顯示如下:
I/O error, dev vda, sector 2101248 op 0x1:(WRITE) flags 0x800 phys_seg 1 prio class 0較舊的核心,例如 Ubuntu 22.04 隨附的 5.15 核心,會在相同訊息前加上 blk_update_request: 前綴。上述 grep 會比對這兩種格式。
區塊層向主機提出寫入要求,但主機回傳失敗。在 VPS 上,這很少是快閃記憶體儲存格故障。通常是主機的儲存層,或通往網路附加儲存設備的網路路徑發生問題,因此屬於供應商端事件。請將時間戳記、裝置名稱與磁區記錄在支援請求中,因為儲存團隊可以用這些資訊比對自己的日誌。
最重要的 ext4 訊息序列是以下這一對:
EXT4-fs error (device vda1): ext4_journal_check_start:83: comm cron: Detected aborted journal
EXT4-fs (vda1): Remounting filesystem read-only第二行才是造成實際影響的訊息,因為機器仍會持續運作。它仍能回應 ping,也能回應 SSH,但每次寫入都會失敗。一般的 HTTP 檢查仍會通過,但應用程式會在每個請求中回傳錯誤。
XFS 則會直接關閉檔案系統:
XFS (vda1): metadata I/O error in "xfs_trans_read_buf_map+0x1c0/0x2e0" at daddr 0x2 len 1 error 5
XFS (vda1): I/O Error Detected. Shutting down filesystemjournalctl -k 只會讀取目前的開機紀錄,除非日誌儲存在磁碟上;許多映像檔預設使用儲存在 RAM 中的暫存日誌。請啟用持久化,否則你在疑難排解期間執行重新開機時,證據會剛好消失。
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-boots下次重新開機後,journalctl --list-boots 應列出多個開機紀錄。即使已啟用持久化,已切換為唯讀的檔案系統也無法記錄後續發生的事情。這正是應將日誌傳送到主機外部的充分理由。
偵測訊號 2:捕捉唯讀重新掛載
先讓故障明確暴露,再嘗試偵測它。
findmnt -no SOURCE,FSTYPE,OPTIONS /查看選項中是否有 errors=remount-ro。Ubuntu 和 Debian 雲端映像檔會在 /etc/fstab 中設定它,因此發生中繼資料錯誤時,檔案系統會切換為唯讀,而不是繼續寫入受損區域。若缺少此選項,請將它加入 /etc/fstab 的根目錄項目,或使用 sudo tune2fs -e remount-ro /dev/vda1 將它寫入 superblock。明確停止總比悄悄造成損毀好。
掛載旗標不能當作證明。請嘗試寫入來進行探測:
touch /var/tmp/.disk-probe在唯讀根檔案系統上,這會精確輸出:
touch: cannot touch '/var/tmp/.disk-probe': Read-only file system請使用 /var/tmp,不要使用 /tmp。在大多數映像檔中,/tmp 是存放於記憶體中的 tmpfs,因此在那裡成功寫入,無法證明磁碟正常。
將寫入測試與可用空間檢查一起執行,只有所有檢查都通過時才傳送 heartbeat:
sudo tee /usr/local/sbin/disk-probe >/dev/null <<'EOF'
#!/bin/sh
set -eu
probe=/var/tmp/.disk-probe
echo ok > "$probe"
test "$(cat "$probe")" = ok
rm -f "$probe"
used=$(df --output=pcent / | tail -n1 | tr -dc '0-9')
test "$used" -lt 90
inodes=$(df --output=ipcent / | tail -n1 | tr -dc '0-9')
test "$inodes" -lt 90
curl -fsS --max-time 10 "https://status.example.com/api/push/REPLACE_TOKEN?status=up&msg=OK" >/dev/null
EOF
sudo chmod 755 /usr/local/sbin/disk-probe
sudo /usr/local/sbin/disk-probe && echo probe-ok最後一行的 probe-ok 表示整個鏈結成功。set -eu 會讓任何失敗的檢查在執行 curl 行之前以非零狀態結束,因此不會傳送 heartbeat。這個反轉設計正是重點:因為沒有收到任何訊號,監控才會變成紅色;無法寫入的伺服器,無法可信地描述自己的問題。唯讀檔案系統仍可讀取,因此腳本本身仍能啟動。
請透過 systemd timer 執行它。
# /etc/systemd/system/disk-probe.service
[Unit]
Description=Disk writability and space probe
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/disk-probe# /etc/systemd/system/disk-probe.timer
[Unit]
Description=Run the disk probe every five minutes
[Timer]
OnBootSec=2min
OnUnitActiveSec=5min
[Install]
WantedBy=timers.targetsudo systemctl daemon-reload
sudo systemctl enable --now disk-probe.timer
systemctl list-timers disk-probe.timer
journalctl -u disk-probe.service -n 20 --no-pagersystemctl list-timers 應顯示該單元,且 NEXT 時間應在 5 分鐘內。失敗的執行會出現在 journalctl -u disk-probe.service,並包含 shell 自身的錯誤文字,因此不必登入伺服器,就能分辨檔案系統是唯讀還是已滿。
該 push URL 是 Uptime Kuma 的 push monitor。建立 Push 類型的 monitor,將其 token 複製到腳本中,並將 monitor 的 heartbeat interval 設定得比 timer interval 稍長,避免某次執行較慢而在 03:00 觸發告警。若目前還沒有 status page,自行架設的 Uptime Kuma 實例 是放置這項檢查最省成本的地方。
有 2 項限制需要如實說明。此探測只能確認寫入已被接受,不能確認位元組已到達持久儲存,因為讀回內容可能由 page cache 提供。其次,探測會在被監看的機器上執行,因此伺服器完全卡死時,只會停止傳送訊號,不會回報診斷結果。
根檔案系統已經是唯讀時的處理方式
- 確認狀態。
findmnt -no OPTIONS /會以ro開頭。 - 先將證據擷取到 RAM:
journalctl -k -b > /dev/shm/kernel.log,再使用筆記型電腦透過scp user@server:/dev/shm/kernel.log .將資料取離伺服器。 - 不要只執行
mount -o remount,rw /就繼續操作。若 ext4 已中止 journal,重新掛載會立即再次失敗;即使重新掛載成功,也可能是在沒有人檢查受損狀況前繼續寫入。 - 重新開機進入供應商的 rescue mode,並在檔案系統未掛載時進行檢查:ext4 使用
e2fsck -fy /dev/vda1,XFS 使用xfs_repair /dev/vda1。 - 將包含時間戳記與 sector 的
I/O error, dev vda行提供給供應商。 - 從備份還原並進行比對,因為需要修復的檔案系統可能已遺失最近寫入內容的尾端。
延遲與吞吐量趨勢
sudo apt install -y sysstat
iostat -xdz 5 3先查看 r_await 和 w_await。這兩項是讀取或寫入所需的平均毫秒數,包含在佇列中等待的時間。接著查看 aqu-sz,即目前處理中的平均請求數。在虛擬磁碟上,請忽略 %util:它只表示佇列不是空的;能平行處理許多請求的裝置,即使遠未達到上限,也可能接近 100%。await 才是反映使用者體感的數值。
絕對值的重要性低於自身的基準值,因此請記錄一段安靜時段的數據並保留。若要自行收集計數器,/proc/diskstats 是原始資料來源。
若要進行刻意測量:
sudo apt install -y fio
fio --name=readlat --filename=/var/tmp/fio.probe --size=512M --rw=randread --bs=4k --iodepth=1 --direct=1 --runtime=30 --time_based --group_reporting
rm -f /var/tmp/fio.probe查看 clat percentiles 區塊,尤其是第 99 百分位數。--direct=1 會略過頁面快取,但不會略過主機的快取,因此結果反映從程序到平台儲存設備的完整路徑。請在伺服器閒置時執行,因為這項測量會與自身的工作負載競爭。
若核心日誌沒有錯誤,但 await 持續上升,通常不是磁碟故障,而是主機上的資源競爭。這是儲存層面對應於 吵雜鄰居造成的 CPU steal time 的情況。如果它每天都在相同時段恢復,而你的 ticket 檢查結果正常,答案通常是改用 I/O 不以相同方式共用的方案;當工作負載受磁碟限制時,儲存 VPS 相較於一般 VPS 就屬於這種情況。
可在掛載狀態下執行的檔案系統檢查
ext4 會在 superblock 中保存錯誤計數器。即使日誌已遺失,計數器仍會跨越重新開機保留。
sudo dumpe2fs -h /dev/vda1 2>/dev/null | grep -iE 'filesystem state|error count|first error|last error'狀態正常的檔案系統只會輸出 Filesystem state: clean,不會有其他內容。這是因為 dumpe2fs 只有在記錄到錯誤時,才會輸出 FS Error count 行,以及第一筆和最後一筆錯誤行。clean with errors 或任何 FS Error count 行都表示 kernel 曾發生 metadata 錯誤,即使當時無人察覺,且日誌也已輪替移除。這個指令應納入每週檢查。
你無法對已掛載的 root filesystem 執行 fsck,而 e2fsck -n 在執行中的 filesystem 上會回報因資料持續變更而產生的問題。若要強制執行完整檢查,請在 provider 的主控台中,將 fsck.mode=force fsck.repair=yes 加入 kernel command line,並以此設定開機一次。接著 systemd-fsck 會在 root 以 read-write 模式掛載前執行檢查。
XFS 的離線檢查工具 xfs_repair -n /dev/vda1 不會對已掛載的 filesystem 執行,因此應在 rescue mode 中使用。若 kernel 建置時啟用了 online scrub 支援,xfsprogs 提供的 xfs_scrub 可以檢查已掛載的 XFS filesystem,但其 man page 仍將此工具稱為尚不成熟。XFS 會以更積極的方式處理問題:發生 metadata 錯誤時,它會關閉 filesystem,而不是繼續執行。
Btrfs 內建計數器,而且會持久保存。
sudo btrfs device stats /
sudo btrfs scrub start -B /write_io_errs 或 corruption_errs 大於 0 都代表確實發生過事件。除非重設計數器,否則這些數值會跨越重新開機保留。scrub 會重新讀取每個 block 並驗證其 checksum。這是在虛擬磁碟上最接近媒體測試的方法。此操作會產生大量 I/O,因此請安排在系統負載較低的時段執行。
訊號5:可用空間,包括 df 隱藏的部分
磁碟空間耗盡對伺服器造成的影響,與磁碟故障相同,而且發生頻率高得多。
df -h /
df -i /
sudo du -xh --max-depth=1 / | sort -h | tail -n 20No space left on device,而 df -h 顯示可用空間時,表示耗盡的是 inode,而不是位元組;df -i 則顯示 IUse% 已達100%。快取目錄或郵件佇列中有數百萬個小檔案時,就會發生這種情況。刪除大型檔案無法解決問題。
刪除檔案後空間沒有釋放,通常是因為執行中的程序仍開啟該檔案。sudo lsof +L1 會列出連結計數已降為0的檔案。重新啟動持有該檔案的程序即可釋放空間。
journal 是常見且不易察覺的空間消耗來源。journalctl --disk-usage 會回報其佔用空間。先在 /etc/systemd/journald.conf 中使用 SystemMaxUse=200M 設定上限,再執行 sudo systemctl restart systemd-journald;若要立即回收空間,請使用 sudo journalctl --vacuum-size=200M。
有一種情況看似錯誤,但其實不是。在精簡配置的主機儲存空間上,主機的儲存池可能已滿,但你的 df 仍顯示有數 GB 的可用空間。此時寫入會失敗,核心日誌中會出現 I/O 錯誤,但 guest 內部不會顯示任何空間不足警告。檔案系統未滿卻發生錯誤時,應在同一小時內提報支援案件。
將訊號接入 metrics agent
push probe 只能回答是或否。要觀察趨勢,必須使用 metrics agent;Prometheus node_exporter 已經匯出上述所有資訊,無須額外設定。可使用下列 metric 名稱建立規則:
node_filesystem_readonly在掛載點變成唯讀時會設為 1,可用來觸發重新掛載警報。node_filesystem_avail_bytes和node_filesystem_files_free分別涵蓋 bytes 與 inodes。node_disk_io_time_seconds_total和node_disk_read_time_seconds_total提供 busy time 與 latency 計數器,可繪製圖表。
以下 2 個規則可捕捉真正需要觸發分頁通知的情況:
- alert: FilesystemReadOnly
expr: node_filesystem_readonly{fstype!~"tmpfs|overlay"} == 1
for: 2m
- alert: FilesystemFillingUp
expr: predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*24*3600) < 0
for: 30m當前趨勢在 4 天內降至 0 時,第 2 個規則會觸發。如此可提前數天收到警告,不必等到使用率達到 95% 時才處理;屆時可能只剩幾分鐘。
誰負責什麼
您的供應商負責實體磁碟。他們讀取 SMART、管理磁碟陣列,並在磁碟的重新配置磁區持續增加時更換磁碟,通常不會通知您,因為陣列會吸收這項故障。這就是 VPS 下方的 RAID 10 的用途:磁碟故障時進行重建,而不是造成服務中斷。您無法查看這些作業,而租用虛擬伺服器的主要價值之一,就是付費取得這層抽象化管理。
您負責自己的資料,而磁碟遙測本來也無法保護資料。真正會摧毀租戶資料的事件包括錯誤的 rm、有問題的部署、持有您 SSH key 的入侵者,以及連同磁碟陣列一起受影響的平台事故。SMART 屬性無法預測其中任何一項。
因此,租戶真正的防護措施,是將備份存放在伺服器之外,並由您親自執行過還原。供應商快照很方便,而且與受保護的對象位於同一平台;這就是為什麼 快照與備份是不同的防護措施。請在行事曆中安排演練:每季一次,將最新備份還原到新的 VPS,啟動應用程式,並記錄所需時間。這個數字才是您的實際復原時間。第一次演練所需時間一定比任何人預期的更久。
SMART 適用於你的情況
教導 smartctl 的指南本身沒有錯;只要硬體確實由你管理,就適用於以下情況:
- 專用伺服器或 bare metal 伺服器,其中
sudo smartctl -a /dev/sda會回傳完整的屬性表,而smartd能在屬性變更時寄送郵件通知。 - 將實體磁碟直接傳遞給 guest 的儲存方案。供應商會明確說明這一點,因為這是銷售賣點。
- 你擁有的硬體,不論位於家中或租用的機架空間。
- 位於 RAID 控制器後方、可透過
sudo smartctl -a -d megaraid,0 /dev/sda存取的磁碟,或搭配-d sat的 USB 外接盒。
在實體 NVMe 上,sudo smartctl -a -d nvme /dev/nvme0 和 sudo nvme smart-log /dev/nvme0n1 會從磁碟本身回報 critical_warning 與 percentage_used。在實體 SATA 上,能預測故障的屬性是 Reallocated_Sector_Ct (5)、Current_Pending_Sector (197)、Offline_Uncorrectable (198) 和 Reported_Uncorrect (187)。其中任何一項從零開始增加,都表示應規劃更換磁碟。大規模磁碟研究持續得到相同的精簡清單,而大多數其他屬性都只是雜訊。
請執行 daemon,而不要手動檢查。
sudo systemctl enable --now smartd
sudo smartctl -t short /dev/sda
sudo smartctl -l selftest /dev/sda自我測試日誌應顯示你剛啟動之測試的 Completed without error。Ubuntu 和 Debian 隨附的 /etc/smartd.conf 含有 DEVICESCAN 行,截至 October 2026 仍是目前設定,因此 daemon 會偵測所有可見磁碟,並在屬性變更時寄信給 root。虛擬磁碟無法使用這些功能,因此本指南的其餘內容才有必要。
FAQ
為什麼 smartctl 在我的 VPS 上無法運作?
因為磁碟是虛擬磁碟。在使用 virtio-blk 的 KVM guest 上,smartctl -a /dev/vda 會輸出 /dev/vda: Unable to detect device type,因為半虛擬化磁碟沒有可傳遞 SMART 請求的 ATA 或 SCSI 命令通道。在模擬磁碟上,您連線到的裝置型號會顯示為 QEMU HARDDISK,但背後沒有可用的 SMART 資料。在容器內,smartctl 會因缺少 CAP_SYS_RAWIO 而直接遭拒。這些都不是設定錯誤,也沒有任何 -d 旗標能解決問題。
如何知道 VPS 磁碟是否故障?
請觀察影響,而不是硬體狀態。檢查 sudo journalctl -k -p err -b 中的 I/O error, dev vda 行;在 5.16 以前的核心上,這些行會以 blk_update_request: 開頭,並同時檢查 Remounting filesystem read-only。執行 sudo dumpe2fs -h /dev/vda1 | grep -i 'error count',找出日誌已遺失的錯誤。沒有輸出表示尚未記錄任何錯誤。追蹤 r_await(來源為 iostat -xdz 5),並與系統正常時記錄的基準值比較。在 VPS 上,I/O 錯誤通常表示主機儲存系統有問題,而不是磁碟即將故障。因此,請在支援請求中附上時間戳記與磁區資訊。
VPS 磁碟健康狀態應該針對哪些項目設定告警?
設定 4 類告警即可。檔案系統以唯讀方式掛載,無論是由 node_filesystem_readonly == 1 觸發,或是寫入探測失敗。可用空間與可用 inode 持續接近 0。上一個區間內出現任何核心 I/O error。伺服器的心跳,讓伺服器停止回應時能觸發告警。請略過任何衍生自 SMART 的項目,因為在虛擬磁碟上,這些值不是不存在,就是描述 hypervisor 的模擬結果。
為什麼我的檔案系統重新掛載為唯讀?
ext4 以 errors=remount-ro 掛載時,遇到中繼資料錯誤會刻意這樣處理:停止寫入,而不是繼續在損壞的區域上操作。觸發原因位於重新掛載訊息上方不遠處的核心日誌中,通常是 EXT4-fs error,表示底層裝置回傳 I/O 錯誤後,日誌已中止。未檢查檔案系統就重新掛載為可讀寫,只會掩蓋症狀並保留根因。請先擷取日誌,再從 rescue mode 卸載檔案系統後使用 e2fsck -fy /dev/vda1 進行檢查。
我是否有可能在虛擬伺服器上讀取 SMART 資料?
在特定情況下可以。Dedicated server 與 bare metal server 會提供真實的硬體屬性。將實體磁碟直接傳遞給 guest 的儲存方案,以及由您自行管理的主機,也可以提供這些資料。有些平台會將 NVMe 控制器呈現給 guest,而 nvme smart-log 會回傳日誌,因此請先執行 sudo nvme id-ctrl /dev/nvme0:如果型號名稱指向網路儲存服務,表示這些計數器來自軟體控制器。即使 passthrough node 在共用機器上揭露真實計數器,這些計數器描述的也是與其他租戶共用的硬體,因此唯一有用的處理方式是提交支援請求。