SSD Nodes Learn Hosting plans →
指南 Matt Connor作者: Matt Connor · 更新于 2026-10-21

VPS磁盘健康监控:SMART不可用时监控什么

多数VPS中的磁盘是虚拟块设备,smartctl /dev/vda会报“Unable to detect device type”。本文说明SMART为何不可见,以及如何监控I/O错误、只读挂载、延迟和磁盘空间,在写入失败前告警。

VPS 磁盘健康监控的实际可见范围

VPS 的磁盘健康监控始于一个大多数指南都会回避的事实:磁盘并不属于你。你的客户机看到的只是一个虚拟块设备。物理驱动器及其上存储的每一个计数器都属于宿主机。smartctl /dev/vda 命令失败并非因为你输入错误,而是因为该设备背后的底层硬件无法响应查询。

SMART(自监测、分析及报告技术)是驱动器自身维护的一张计数器表,包含重分配扇区、待处理扇区、通电时间及介质错误等信息。读取该表需要一条能够将 ATA 或 NVMe (non-volatile memory express) 指令传达至真实硬件的路径。半虚拟化磁盘不提供此路径,因此客户机获取的存储设备已剥离了遥测数据。

租户监控的是影响而非硬件。从客户机内部可以看到四个信号:内核日志中的 I/O (input/output) 错误、文件系统被重新挂载为只读模式、延迟逐渐升高以及磁盘空间耗尽。这四项指标均可设置告警,且都会在用户察觉异常前显现。请优先配置这些监控。责任划分应在最后考虑,因为它决定了你应当将精力投入何处。

验证服务器实际暴露的设备

不要预设你所处的情况。请先观察,再阅读对应章节。

sudo apt update && sudo apt install -y smartmontools nvme-cli
lsblk -o NAME,TYPE,SIZE,MODEL,TRAN
sudo smartctl -a /dev/vda

virtio-blk,常见的 KVM(基于内核的虚拟机)磁盘。 设备为 /dev/vda,smartctl 在发送任何指令前就会停止:

/dev/vda: Unable to detect device type
Please specify device type with the -d option.

virtio-blk 是一种半虚拟化传输方式,其后端没有 ATA 或 SCSI 指令集,因此没有通道可以承载 SMART 请求。-d sat 和 -d scsi 会以同样的方式失败,因为问题在于传输层,而非标志位。

模拟的 SATA 或 SCSI 磁盘。 设备为 /dev/sda,smartctl 可以运行到识别阶段。型号行显示为 QEMU HARDDISK。该字符串本身就回答了问题:你正在读取一个由模拟器生成的设备,它不报告任何可用的 SMART 能力。

NVMe 命名空间。 sudo nvme smart-log /dev/nvme0n1 会返回完整的日志,这往往会误导用户。请先使用 sudo nvme id-ctrl /dev/nvme0 | grep -E '^(mn|sn)' 检查控制器标识。如果型号名称中包含网络存储产品,说明该控制器是软件模拟的,因此 percentage_used 和 media_errors 描述的是该模拟层,而非你数据底层的闪存。如果你想了解存储设备的真实情况,请 在 Linux 上验证 NVMe 磁盘,而不要盲目信任方案描述。

容器,例如 LXC(Linux 容器)或 OpenVZ。 你没有自己的块设备。lsblk 会显示宿主机的设备或什么都不显示,且 smartctl 会被拒绝,因为容器不持有 CAP_SYS_RAWIO:

Smartctl open device: /dev/sda failed: Permission denied

关于它能正常工作的情况,有一点需要警告。如果 VPS 上的 smartctl 返回了完整的属性表,请在采取行动前先查看序列号。部分主机商会暴露直通设备节点,这些计数器属于该物理机上所有租户共享的硬件。如果其中的 Reallocated_Sector_Ct 数值上升,请提交工单。这并不代表你的数据存在问题。

内核日志中的信号 1:I/O 错误

这是租户拥有的最高价值信号,而且不需要安装 agent。

sudo journalctl -k -p err -b
sudo journalctl -k --since "7 days ago" | grep -iE 'i/o error|remount|ext4-fs error|buffer i/o'

在 5.16 及更高版本的内核中,包括 Ubuntu 24.04 和 Debian 12,虚拟磁盘请求失败时会显示如下内容:

I/O error, dev vda, sector 2101248 op 0x1:(WRITE) flags 0x800 phys_seg 1 prio class 0

较旧的内核(例如 Ubuntu 22.04 随附的 5.15 内核)会在相同日志行前添加 blk_update_request: 前缀。上面的 grep 命令可以匹配两种格式。

块层向主机请求写入,但主机返回了失败结果。在 VPS 上,这很少是闪存单元损坏。通常是主机存储层或连接网络附加存储的网络路径出现问题,因此属于服务商侧事件。将时间戳、设备名称和扇区写入工单,因为存储团队可以用这些信息与其自身的日志进行匹配。

最重要的 ext4 日志序列是以下两行:

EXT4-fs error (device vda1): ext4_journal_check_start:83: comm cron: Detected aborted journal
EXT4-fs (vda1): Remounting filesystem read-only

第二行更严重,因为机器仍在运行。它可以响应 ping,也可以响应 SSH,但每次写入都会失败。普通的 HTTP 检查仍会通过,而应用程序会在每个请求中报错。

XFS 则会关闭文件系统:

XFS (vda1): metadata I/O error in "xfs_trans_read_buf_map+0x1c0/0x2e0" at daddr 0x2 len 1 error 5
XFS (vda1): I/O Error Detected. Shutting down filesystem

journalctl -k 只会读取当前启动会话的日志,除非 journal 已存储在磁盘上;许多镜像默认使用存放在 RAM 中的易失性 journal。启用持久化,否则你在排查问题时执行重启后,证据会恰好消失。

sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-boots

下次重启后,journalctl --list-boots 应列出多个启动会话。即使已启用持久化,已经变为只读的文件系统也无法记录之后发生的情况,这正是应将日志发送到本机之外的充分理由。

捕获只读重新挂载

在尝试检测之前,先让故障明确暴露出来。

findmnt -no SOURCE,FSTYPE,OPTIONS /

在选项中查找 errors=remount-ro。Ubuntu 和 Debian 云镜像会在 /etc/fstab 中设置它,因此发生元数据错误时,文件系统会切换为只读,而不是继续在损坏状态下运行。如果缺少该选项,请将其添加到 /etc/fstab 中的根文件系统条目,或使用 sudo tune2fs -e remount-ro /dev/vda1 将其写入超级块。明确停止优于静默损坏。

挂载标志不能作为证据。通过写入进行探测:

touch /var/tmp/.disk-probe

在只读根文件系统上,该命令会准确输出:

touch: cannot touch '/var/tmp/.disk-probe': Read-only file system

使用 /var/tmp,不要使用 /tmp。在大多数镜像中,/tmp 是驻留在内存中的 tmpfs,因此在那里成功写入不能证明磁盘可写。

将写入测试与空间检查放在一起,并且仅在所有检查都通过时发送心跳:

sudo tee /usr/local/sbin/disk-probe >/dev/null <<'EOF'
#!/bin/sh
set -eu
probe=/var/tmp/.disk-probe
echo ok > "$probe"
test "$(cat "$probe")" = ok
rm -f "$probe"
used=$(df --output=pcent / | tail -n1 | tr -dc '0-9')
test "$used" -lt 90
inodes=$(df --output=ipcent / | tail -n1 | tr -dc '0-9')
test "$inodes" -lt 90
curl -fsS --max-time 10 "https://status.example.com/api/push/REPLACE_TOKEN?status=up&msg=OK" >/dev/null
EOF
sudo chmod 755 /usr/local/sbin/disk-probe
sudo /usr/local/sbin/disk-probe && echo probe-ok

最后一行中的 probe-ok 表示整个命令链都成功。set -eu 会使任意失败的检查以非零状态退出,因此不会执行 curl 行,也不会发送心跳。关键就在于这种反转:因为没有收到任何内容,监控器会变为红色;无法写入的服务器不能依赖其报告自身问题。只读文件系统仍支持读取,因此脚本本身仍能启动。

通过 systemd timer 运行它。

# /etc/systemd/system/disk-probe.service
[Unit]
Description=Disk writability and space probe

[Service]
Type=oneshot
ExecStart=/usr/local/sbin/disk-probe
# /etc/systemd/system/disk-probe.timer
[Unit]
Description=Run the disk probe every five minutes

[Timer]
OnBootSec=2min
OnUnitActiveSec=5min

[Install]
WantedBy=timers.target
sudo systemctl daemon-reload
sudo systemctl enable --now disk-probe.timer
systemctl list-timers disk-probe.timer
journalctl -u disk-probe.service -n 20 --no-pager

systemctl list-timers 应显示该单元,并显示一个距离当前时间不足 5 分钟的 NEXT 时间。失败的运行会出现在 journalctl -u disk-probe.service 中,并包含 shell 自身的错误文本,因此无需登录服务器即可区分只读文件系统和磁盘已满。

该推送 URL 是 Uptime Kuma 的推送监控地址。创建一个类型为 Push 的监控,将其令牌复制到脚本中,并将监控的心跳间隔设置得略长于 timer 间隔,避免某次运行较慢而在 03:00 触发页面通知。如果还没有状态页,自托管的 Uptime Kuma 实例 是部署此检查最经济的选择。

需要明确两个限制。该探测只能确认写入请求已被接受,不能确认字节已持久化到存储介质,因为读取结果可能来自页缓存。它还运行在被监控的机器上,因此完全失去响应的服务器会保持静默,而不会报告诊断信息。

根文件系统已经变为只读时的处理方法
  1. 确认状态。findmnt -no OPTIONS / 会以 ro 开头。
  2. 先将证据保存到内存中:journalctl -k -b > /dev/shm/kernel.log,然后使用笔记本电脑通过 scp user@server:/dev/shm/kernel.log . 将其取回。
  3. 不要简单运行 mount -o remount,rw / 后继续操作。如果 ext4 已中止日志,重新挂载会立即再次失败;即使重新挂载成功,也是在尚未检查损坏情况时继续写入。
  4. 重启到服务提供商的救援模式,并在文件系统未挂载时进行检查:ext4 使用 e2fsck -fy /dev/vda1,XFS 使用 xfs_repair /dev/vda1。
  5. 将带有时间戳和扇区信息的 I/O error, dev vda 行发送给服务提供商。
  6. 从备份恢复并进行比较,因为需要修复的文件系统可能已经丢失近期写入的末尾部分。

信号 3:延迟与吞吐量趋势

sudo apt install -y sysstat
iostat -xdz 5 3

首先阅读 r_await 和 w_await。它们表示读或写操作的平均耗时(以毫秒为单位),包含在队列中的等待时间。接着查看 aqu-sz,即正在处理的平均请求数。对于虚拟磁盘,请忽略 %util:它仅表示队列非空;对于能够并行处理多个请求的设备,即使负载接近 100%,也远未达到其性能极限。await 才是衡量用户实际体验的指标。

绝对数值的重要性不及您自身的基准线,因此请记录并保留系统空闲时的基准数据。如果您倾向于自行收集计数器,/proc/diskstats 是原始数据源。

进行主动测量:

sudo apt install -y fio
fio --name=readlat --filename=/var/tmp/fio.probe --size=512M --rw=randread --bs=4k --iodepth=1 --direct=1 --runtime=30 --time_based --group_reporting
rm -f /var/tmp/fio.probe

阅读 clat percentiles 数据块,重点关注第 99 百分位数值。--direct=1 会跳过您的页面缓存。它不会跳过宿主机的缓存,因此结果反映了从您的进程到平台存储的完整路径。请在服务器空闲时运行此测试,因为它会与您的实际工作负载竞争资源。

如果 await 数值上升且内核日志中没有错误,通常不是驱动器故障。这是宿主机上的资源争用,即存储层面的 来自邻居干扰的 CPU 窃取时间。如果这种情况每天在同一时间出现,且工单反馈系统正常,解决方案是采用 I/O 不会被共享的方案,例如在工作负载受限于磁盘时,选择 存储型 VPS 而非普通 VPS。

Signal 4:挂载状态下可以执行的文件系统检查

ext4 会在超级块中保存错误计数器。即使日志已丢失,计数器也会在重启后保留。

sudo dumpe2fs -h /dev/vda1 2>/dev/null | grep -iE 'filesystem state|error count|first error|last error'

健康的文件系统只会输出 Filesystem state: clean,不会输出其他内容。这是因为只有记录过错误时,dumpe2fs 才会输出 FS Error count 行,以及第一条和最后一条错误记录。出现 clean with errors,或出现任何 FS Error count 行,都表示内核曾经遇到过元数据错误,即使当时无人发现,日志也已经轮转或丢失。应将这条命令纳入每周检查。

不能对已挂载的根文件系统运行 fsck。在运行中的文件系统上执行 e2fsck -n,报告的问题可能只是底层数据正在变化。要强制执行真正的检查,请通过服务商的控制台,在一次启动时将 fsck.mode=force fsck.repair=yes 添加到内核命令行。随后,systemd-fsck 会在根文件系统以读写方式挂载前执行检查。

XFS 的离线检查工具 xfs_repair -n /dev/vda1 不会对已挂载的文件系统运行,因此应在救援模式下使用。xfsprogs 中的 xfs_scrub 可以检查已挂载的 XFS 文件系统,但前提是内核在构建时启用了在线清理支持。不过,该工具自己的手册页仍将其称为不成熟的工具。XFS 会通过更积极地报告问题来弥补这一点:发生元数据错误时,它会关闭文件系统,而不是继续运行。

Btrfs 内置了持久化的错误计数器。

sudo btrfs device stats /
sudo btrfs scrub start -B /

write_io_errs 或 corruption_errs 大于零都表示发生过真实事件。除非手动重置,否则这些计数器会在重启后保留原值。scrub 会重新读取每个块并验证其校验和,这是虚拟磁盘上最接近介质测试的检查方式。该操作会产生大量 I/O,因此应安排在业务较少的时段执行。

信号 5:磁盘空间,包括 df 隐藏的部分

磁盘空间耗尽导致服务器故障的方式与磁盘损坏相同,且发生频率更高。

df -h /
df -i /
sudo du -xh --max-depth=1 / | sort -h | tail -n 20

如果 No space left on device 显示有剩余空间,但 df -h 显示已满,说明是 inode 耗尽而非字节耗尽,此时 df -i 会显示 IUse% 已达到 100%。缓存目录或邮件池中存在数百万个小文件会导致此问题,删除大文件无法解决。

删除文件后空间未释放,通常是因为该文件仍被运行中的进程占用。sudo lsof +L1 可以列出链接计数已降为 0 的文件。重启占用文件的进程即可释放空间。

systemd journal 是常见的隐形空间占用者。journalctl --disk-usage 可以查看其占用的空间大小。在 /etc/systemd/journald.conf 中使用 SystemMaxUse=200M 限制其大小,随后执行 sudo systemctl restart systemd-journald,并使用 sudo journalctl --vacuum-size=200M 立即回收空间。

有一种情况看似故障,实则不然。在精简置备(thin provisioned)的宿主机存储上,宿主机的存储池可能已满,而您的 df 仍显示有剩余空间。此时写入操作会失败,内核日志中会出现 I/O 错误,但客户机内部没有任何空间不足的警告。如果文件系统未满却出现错误,应立即提交工单处理。

将信号接入指标代理

推送式探针只能回答“是”或“否”。趋势分析需要指标代理,Prometheus node_exporter 无需额外配置即可导出上述所有数据。可基于以下指标名称进行构建:

  • node_filesystem_readonly 在挂载点变为只读时变为 1,这是您的重新挂载告警指标。
  • node_filesystem_avail_bytes 和 node_filesystem_files_free 分别涵盖字节数和 inode 使用情况。
  • node_disk_io_time_seconds_total 和 node_disk_read_time_seconds_total 提供忙碌时间和延迟,作为可绘图的计数器。

以下两条规则可捕获实际触发分页告警的情况:

- alert: FilesystemReadOnly
  expr: node_filesystem_readonly{fstype!~"tmpfs|overlay"} == 1
  for: 2m
- alert: FilesystemFillingUp
  expr: predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*24*3600) < 0
  for: 30m

第二条规则在当前趋势显示四天内即将耗尽空间时触发,因此您可以在空间占用达到 95%(此时往往只剩几分钟处理时间)之前,提前数天收到预警。

责任划分

服务提供商负责物理硬盘。他们监控 SMART 数据、维护磁盘阵列,并在重分配扇区(reallocated sectors)增加时更换硬盘。通常他们不会通知你,因为阵列会自动处理故障。这就是 VPS 上的 RAID 10 的作用:硬盘损坏会触发重建,而不是导致服务中断。你无法感知这些底层操作,而支付虚拟服务器租金的主要目的之一,就是为了获得这种抽象化管理。

你负责自己的数据,且硬盘遥测数据无法保护数据安全。真正导致租户数据丢失的事件包括:误执行 rm 命令、部署失败、SSH 密钥被入侵者窃取,以及导致整个阵列损坏的平台级事故。SMART 属性无法预测这些风险。

因此,租户真正的保护手段是存放在服务器之外的备份,以及你亲自执行过的恢复操作。服务提供商的快照虽然方便,但它们与受保护对象处于同一平台,这就是 快照与备份是不同保护机制 的原因。请在日历中设定演练计划:每季度将最新备份恢复到一台全新的 VPS 中,启动应用,并记录耗时。这个数字才是你真实的恢复时间。首次演练的耗时通常都比预想的要长。

SMART 适用于你的场景

讲解 smartctl 的指南是正确的。只要硬件确实归你所有,它们就适用:

  • 专用服务器或裸机服务器。在这类服务器上,sudo smartctl -a /dev/sda 会返回完整属性表,smartd 会在属性发生变化时向你发送邮件。
  • 将物理磁盘直通给来宾系统的存储方案。提供商会明确说明这一点,因为这是其卖点。
  • 你在家中拥有的硬件,或你租用的机架空间中的硬件。
  • 位于 RAID 控制器之后、可通过 sudo smartctl -a -d megaraid,0 /dev/sda 访问的磁盘,或使用 -d sat 连接的 USB 硬盘盒。

对于真实的 NVMe 设备,sudo smartctl -a -d nvme /dev/nvme0 和 sudo nvme smart-log /dev/nvme0n1 会从磁盘本身读取 critical_warning 和 percentage_used。对于真实的 SATA 设备,最能预测故障的属性是 Reallocated_Sector_Ct (5)、Current_Pending_Sector (197)、Offline_Uncorrectable (198) 和 Reported_Uncorrect (187)。其中任何一项从零开始变化,都意味着应计划更换磁盘。大规模磁盘研究不断得出相同的短名单,大多数其他属性都属于噪声。

应运行守护进程,而不是手动检查。

sudo systemctl enable --now smartd
sudo smartctl -t short /dev/sda
sudo smartctl -l selftest /dev/sda

自检日志应显示你刚刚启动的任务的 Completed without error。Ubuntu 和 Debian 随附的 /etc/smartd.conf 包含一行 DEVICESCAN,截至 October 2026 仍是当前配置,因此守护进程会接管它能看到的每个磁盘,并在发生变化时向 root 发送邮件。虚拟磁盘无法使用这些功能,这正是本指南其余内容存在的原因。

FAQ

为什么 smartctl 在我的 VPS 上无法工作?

因为磁盘是虚拟磁盘。在使用 virtio-blk 的 KVM guest 中,smartctl -a /dev/vda 会输出 /dev/vda: Unable to detect device type,因为半虚拟化磁盘没有 ATA 或 SCSI 命令通道,SMART 请求无法通过该通道传递到底层。在模拟磁盘上,你访问到的设备型号显示为 QEMU HARDDISK,其背后没有可用的 SMART 数据。在容器中,由于缺少 CAP_SYS_RAWIO,smartctl 会直接被拒绝。这些都不是配置错误,也没有任何 -d 标志可以解决。

如何判断我的 VPS 磁盘是否正在故障?

观察故障影响,而不是硬件状态。检查 sudo journalctl -k -p err -b 中的 I/O error, dev vda 行;在 5.16 之前的内核中,这些行带有 blk_update_request: 前缀;同时检查 Remounting filesystem read-only。运行 sudo dumpe2fs -h /dev/vda1 | grep -i 'error count',查找日志已经丢失的错误。没有输出表示尚未记录错误。将 r_await 中的值与系统正常时记录的 iostat -xdz 5 基线进行比较。在 VPS 上,I/O 错误通常表示宿主机存储问题,而不是磁盘本身即将故障。因此,应将其连同时间戳和扇区信息提交到支持工单中。

VPS 磁盘健康状况应设置哪些告警?

设置以下 4 类告警即可。文件系统以只读方式挂载,包括由 node_filesystem_readonly == 1 导致的情况,或写入探测失败。可用空间和可用 inode 数量持续接近 0。最近一个时间间隔内出现任何内核 I/O error。服务器心跳,以便服务器停止响应时触发分页通知。不要使用任何基于 SMART 的指标,因为在虚拟磁盘上,这些值要么不存在,要么反映的是 hypervisor 的模拟设备。

文件系统为什么会重新挂载为只读?

ext4 使用 errors=remount-ro 挂载时,如果遇到元数据错误,会有意执行此操作:它会停止写入,而不是继续写入已损坏的数据。触发原因位于内核日志中,通常就在重新挂载行的上方,常见的是一条 EXT4-fs error,说明底层设备返回 I/O 错误后日志已中止。未经检查文件系统就重新挂载为读写会掩盖症状,并保留根本原因。先保存日志,然后从 rescue mode 中卸载文件系统,并使用 e2fsck -fy /dev/vda1 检查。

在虚拟服务器上是否有可能读取 SMART 数据?

在特定情况下可以。Dedicated 和 bare metal 服务器提供真实的属性值。将物理磁盘直通给 guest 的存储计划,以及由您自行拥有的宿主机,也可以提供真实属性值。一些平台会向 guest 提供 NVMe 控制器,nvme smart-log 可以返回日志,因此应先运行 sudo nvme id-ctrl /dev/nvme0:如果型号名称指向网络存储服务,说明这些计数器来自软件控制器。此外,在共享机器上,即使直通设备节点确实提供真实计数器,这些计数器描述的也是与其他租户共享的硬件,因此唯一有效的操作是提交支持工单。

这篇文章对您有帮助吗?