VPSలో డిస్క్ ఆరోగ్యాన్ని ఎలా పర్యవేక్షించాలి
చాలా VPS ప్లాన్లలో డిస్క్ virtual కావడంతో SMART guestకు చేరదు. పర్యవేక్షించగల I/O errors, filesystem, latency, space signalsతో writes విఫలమయ్యే ముందు alert చేయండి.
VPSలో డిస్క్ ఆరోగ్య పర్యవేక్షణ వాస్తవంగా ఏమి చూడగలదు
VPSలో డిస్క్ ఆరోగ్య పర్యవేక్షణ ఒక ముఖ్యమైన వాస్తవంతో ప్రారంభమవుతుంది: ఆ డిస్క్ మీది కాదు. మీ guestకు కనిపించేది ఒక virtual block device మాత్రమే. భౌతిక drive మరియు దానిలో నిల్వైన ప్రతి counter hostకు చెందుతాయి. smartctl /dev/vda విఫలమవడం మీరు commandను తప్పుగా టైప్ చేసినందువల్ల కాదు. ఆ device వెనుక ఉన్నదేదీ ఆ ప్రశ్నకు సమాధానం ఇవ్వలేకపోవడం వల్ల అది విఫలమవుతుంది.
SMART (self-monitoring, analysis and reporting technology) అనేది driveలోనే నిల్వ ఉండే counters పట్టిక. ఇందులో reallocated sectors, pending sectors, power-on hours, media errors ఉంటాయి. ఆ పట్టికను చదవాలంటే ATA లేదా NVMe (non-volatile memory express) commands నిజమైన hardwareకు చేరే మార్గం ఉండాలి. Paravirtual disk అలాంటి మార్గాన్ని అందించదు. అందువల్ల guestకు telemetry తొలగించబడిన storage మాత్రమే లభిస్తుంది.
Tenant hardwareను కాకుండా దాని ప్రభావాలను పర్యవేక్షిస్తాడు. Guestలో నుంచి నాలుగు signals కనిపిస్తాయి: kernel logలో I/O (input/output) errors, read-onlyగా remount అయ్యే filesystem, క్రమంగా పెరుగుతున్న latency, మరియు అయిపోతున్న space. ఈ నాలుగింటికీ ఈరోజే alerts ఏర్పాటు చేయవచ్చు. వినియోగదారు ఫిర్యాదు చేయకముందే ఈ నాలుగూ కనిపిస్తాయి. ముందుగా వీటినే ఏర్పాటు చేయండి. బాధ్యతల విభజనను చివరలో చర్చిస్తాం, ఎందుకంటే మీ కృషిని ఎక్కడ పెట్టాలో అది నిర్ణయిస్తుంది.
మీ స్వంత server ఏమి బయటపెడుతుందో నిర్ధారించండి
మీరు ఏ పరిస్థితిలో ఉన్నారో ఊహించవద్దు. ముందుగా పరిశీలించండి. తరువాత సరిపోలే విభాగాన్ని చదవండి.
sudo apt update && sudo apt install -y smartmontools nvme-cli
lsblk -o NAME,TYPE,SIZE,MODEL,TRAN
sudo smartctl -a /dev/vdavirtio-blk, సాధారణ KVM (kernel-based virtual machine) disk. device /dev/vda గా ఉంటుంది. smartctl ఏదైనా పంపకముందే ఆగిపోతుంది:
/dev/vda: Unable to detect device type
Please specify device type with the -d option.virtio-blk అనేది వెనుక ATA లేదా SCSI command set లేని paravirtual transport. అందువల్ల SMART అభ్యర్థనను మోసుకెళ్లే channel ఉండదు. -d sat మరియు -d scsi కూడా ఇదే విధంగా విఫలమవుతాయి. కారణం flag కాదు, transport సమస్య.
Emulated SATA లేదా SCSI disk. device /dev/sda గా ఉంటుంది. smartctl దానిని గుర్తించేంత వరకు ముందుకు వెళ్తుంది. model line ఇలా ఉంటుంది: QEMU HARDDISK. ఆ string తోనే సమాధానం తెలుస్తుంది: మీరు emulator సృష్టించిన device ను చదువుతున్నారు. అది ఉపయోగించగల SMART సామర్థ్యం లేదని నివేదిస్తుంది.
NVMe namespace. sudo nvme smart-log /dev/nvme0n1 పూర్తి log ను చూపిస్తుంది. ఇక్కడే చాలామంది తప్పుదారి పడతారు. ముందుగా sudo nvme id-ctrl /dev/nvme0 | grep -E '^(mn|sn)' తో controller identity ను పరిశీలించండి. Network storage product పేరును సూచించే model number ఉంటే controller software ఆధారితమని అర్థం. అందువల్ల percentage_used మరియు media_errors మీ data ఉన్న flash గురించి కాకుండా ఆ emulation గురించి వివరిస్తాయి. మీ storage వాస్తవంగా ఏమిటో తెలుసుకోవాలంటే plan description ను నమ్మకుండా Linuxలో NVMe diskను నిర్ధారించండి.
LXC (Linux containers) లేదా OpenVZ వంటి container. మీకు స్వంత block device ఉండదు. lsblk host devices ను చూపిస్తుంది లేదా ఏదీ చూపించదు. Container వద్ద CAP_SYS_RAWIO లేకపోవడంతో smartctl అభ్యర్థన తిరస్కరించబడుతుంది:
Smartctl open device: /dev/sda failed: Permission deniedఇది పనిచేసే పరిస్థితి గురించి ఒక హెచ్చరిక. VPSలో smartctl పూర్తి attribute table ను చూపిస్తే, దాని ఆధారంగా చర్య తీసుకునే ముందు serial number ను చదవండి. కొన్ని hosts passthrough device node ను బయటపెడతాయి. అలాంటి counters ఆ machineలోని ప్రతి tenant పంచుకునే hardwareకు చెందినవి. అక్కడ పెరుగుతున్న Reallocated_Sector_Ct support ticket కు కారణం. అది మీ data గురించి చేసిన నిర్ధారణ కాదు.
కెర్నల్ log లో I/O errors కనిపించడం
ఇది tenant వద్ద ఉండే అత్యంత విలువైన సంకేతం. దీనికి agent అవసరం లేదు.
sudo journalctl -k -p err -b
sudo journalctl -k --since "7 days ago" | grep -iE 'i/o error|remount|ext4-fs error|buffer i/o'5.16 మరియు తరువాతి kernel సంస్కరణల్లో, ఇందులో Ubuntu 24.04 మరియు Debian 12 ఉన్నాయి, virtual disk నుంచి విఫలమైన request ఇలా కనిపిస్తుంది:
I/O error, dev vda, sector 2101248 op 0x1:(WRITE) flags 0x800 phys_seg 1 prio class 0Ubuntu 22.04 తో విడుదలైన 5.15 kernel వంటి పాత kernel సంస్కరణలు అదే line ను blk_update_request: prefix తో చూపిస్తాయి. పై grep రెండింటినీ match చేస్తుంది.
block layer host ను write చేయమని అడిగింది. host failure ను తిరిగి ఇచ్చింది. VPS లో ఇది సాధారణంగా చనిపోతున్న flash cell వల్ల జరగదు. సాధారణంగా host storage layer లేదా network attached storage కు వెళ్లే network path కారణంగా జరుగుతుంది. కాబట్టి ఇది provider side event. timestamp, device name, sector వివరాలను మీ ticket లో చేర్చండి. Storage team తమ logs లో వీటితో సరిపోల్చగలదు.
అత్యంత ముఖ్యమైన ext4 sequence ఈ జత:
EXT4-fs error (device vda1): ext4_journal_check_start:83: comm cron: Detected aborted journal
EXT4-fs (vda1): Remounting filesystem read-onlyరెండవ line వల్లే ఎక్కువ ప్రభావం ఉంటుంది, ఎందుకంటే machine నడుస్తూనే ఉంటుంది. అది ping కు సమాధానం ఇస్తుంది, SSH కు సమాధానం ఇస్తుంది, కానీ ప్రతి write విఫలమవుతుంది. మీ application ప్రతి request పై error చూపుతున్నప్పటికీ plain HTTP check విజయవంతంగానే కొనసాగుతుంది.
XFS బదులుగా filesystem ను shutdown చేస్తుంది:
XFS (vda1): metadata I/O error in "xfs_trans_read_buf_map+0x1c0/0x2e0" at daddr 0x2 len 1 error 5
XFS (vda1): I/O Error Detected. Shutting down filesystemjournal disk లో నిల్వ చేయబడకపోతే journalctl -k ప్రస్తుత boot కు సంబంధించిన entries మాత్రమే చదువుతుంది. చాలా images RAM లో ఉండే volatile journal తో విడుదలవుతాయి. persistence ను enable చేయండి. లేకపోతే troubleshooting సమయంలో మీరు చేసే reboot వద్దే evidence తొలగిపోతుంది.
sudo mkdir -p /var/log/journal
sudo systemd-tmpfiles --create --prefix /var/log/journal
sudo systemctl restart systemd-journald
journalctl --list-bootsతదుపరి reboot తర్వాత journalctl --list-boots ఒకటి కంటే ఎక్కువ boot లను list చేయాలి. persistence enable చేసినా, read-only గా మారిన filesystem ఆ తరువాత జరిగిన విషయాలను record చేయలదు. అందుకే logs ను ఆ machine వెలుపలికి పంపడం సరైన పద్ధతి.
సిగ్నల్ 2: read-only remount ను గుర్తించడం
దాన్ని గుర్తించే ప్రయత్నానికి ముందు వైఫల్యం స్పష్టంగా కనిపించేలా చేయండి.
findmnt -no SOURCE,FSTYPE,OPTIONS /ఆప్షన్లలో errors=remount-ro ఉందో చూడండి. Ubuntu మరియు Debian cloud images దీన్ని /etc/fstab లో సెట్ చేస్తాయి. అందువల్ల metadata లోపం వచ్చినప్పుడు filesystem దెబ్బతిన్న స్థితిలో కొనసాగకుండా read-only గా మారుతుంది. అది లేకపోతే /etc/fstab లోని root entry కి జోడించండి, లేదా sudo tune2fs -e remount-ro /dev/vda1 తో superblock లో సెట్ చేయండి. నిశ్శబ్దంగా corruption కొనసాగడం కంటే స్పష్టమైన నిలిపివేత మంచిది.
Mount flag ఒక్కటే ఆధారం కాదు. రాయడం ద్వారా పరీక్షించండి:
touch /var/tmp/.disk-probeRead-only root పై ఇది ఖచ్చితంగా ఇలా ముద్రిస్తుంది:
touch: cannot touch '/var/tmp/.disk-probe': Read-only file system/tmp కాకుండా /var/tmp ఉపయోగించండి. చాలా images లో /tmp memory లో ఉంచిన tmpfs అవుతుంది. అందులో write విజయవంతమైందంటే మీ disk గురించి ఏమీ నిరూపించదు.
Write test ను space check తో కలిపి అమలు చేయండి. ప్రతి check విజయవంతమైనప్పుడు మాత్రమే heartbeat పంపండి:
sudo tee /usr/local/sbin/disk-probe >/dev/null <<'EOF'
#!/bin/sh
set -eu
probe=/var/tmp/.disk-probe
echo ok > "$probe"
test "$(cat "$probe")" = ok
rm -f "$probe"
used=$(df --output=pcent / | tail -n1 | tr -dc '0-9')
test "$used" -lt 90
inodes=$(df --output=ipcent / | tail -n1 | tr -dc '0-9')
test "$inodes" -lt 90
curl -fsS --max-time 10 "https://status.example.com/api/push/REPLACE_TOKEN?status=up&msg=OK" >/dev/null
EOF
sudo chmod 755 /usr/local/sbin/disk-probe
sudo /usr/local/sbin/disk-probe && echo probe-okచివరి పంక్తిలోని probe-ok అంటే మొత్తం chain విజయవంతంగా పనిచేస్తోందని అర్థం. ఏదైనా check విఫలమైతే set -eu non-zero తో బయటకు వస్తుంది. అందువల్ల curl పంక్తి అమలు కాకముందే ఆపబడుతుంది, heartbeat పంపబడదు. ఇదే ఉద్దేశ్యం: ఏదీ చేరకపోవడంతో monitor ఎరుపు రంగులోకి మారుతుంది. రాయలేని server తన సమస్యను తానే వివరించగలదని నమ్మలేం. Read-only filesystem లో reads ఇంకా పనిచేస్తాయి. అందువల్ల script స్వయంగా ప్రారంభమవుతుంది.
దీన్ని systemd timer నుంచి అమలు చేయండి.
# /etc/systemd/system/disk-probe.service
[Unit]
Description=Disk writability and space probe
[Service]
Type=oneshot
ExecStart=/usr/local/sbin/disk-probe# /etc/systemd/system/disk-probe.timer
[Unit]
Description=Run the disk probe every five minutes
[Timer]
OnBootSec=2min
OnUnitActiveSec=5min
[Install]
WantedBy=timers.targetsudo systemctl daemon-reload
sudo systemctl enable --now disk-probe.timer
systemctl list-timers disk-probe.timer
journalctl -u disk-probe.service -n 20 --no-pagersystemctl list-timers unit ను చూపించాలి. అందులో NEXT time ఐదు నిమిషాల కంటే తక్కువ దూరంలో ఉండాలి. అమలు విఫలమైతే shell యొక్క స్వంత error text తో journalctl -u disk-probe.service లో కనిపిస్తుంది. అందువల్ల login చేయకుండానే read-only filesystem మరియు full filesystem మధ్య తేడా తెలుసుకోవచ్చు.
ఆ push URL ఒక Uptime Kuma push monitor కు చెందినది. Push రకంలో monitor సృష్టించి, దాని token ను script లో copy చేయండి. Timer interval కంటే heartbeat interval ను కొద్దిగా ఎక్కువగా సెట్ చేయండి. అప్పుడు ఒక slow run కారణంగా 03:00 కు page అందదు. మీ వద్ద ఇంకా status page లేకపోతే, self-hosted Uptime Kuma instance ఈ check ను ఉంచడానికి తక్కువ ఖర్చుతో కూడిన స్థలం.
ఇక్కడ రెండు పరిమితులను గుర్తుంచుకోవాలి. ఈ probe write అంగీకరించబడిందని నిర్ధారిస్తుంది. కానీ bytes durable storage కు చేరాయని నిర్ధారించదు. Read back ను page cache నుంచి అందించవచ్చు. అలాగే ఇది గమనిస్తున్న machine పైనే నడుస్తుంది. అందువల్ల పూర్తిగా పనిచేయకుండా నిలిచిపోయిన server diagnosis పంపకుండా నిశ్శబ్దంగా ఉంటుంది.
root filesystem ఇప్పటికే read-only గా ఉన్నప్పుడు చేయాల్సింది
- దాన్ని నిర్ధారించండి.
findmnt -no OPTIONS /,roతో ప్రారంభమవుతుంది. - ముందుగా evidence ను RAM లో సేకరించండి:
journalctl -k -b > /dev/shm/kernel.log. తరువాత మీ laptop నుంచిscp user@server:/dev/shm/kernel.log .తో దాన్ని server నుంచి తీసుకురండి. - కేవలం
mount -o remount,rw /అమలు చేసి కొనసాగవద్దు. ext4 journal ను abort చేసి ఉంటే remount వెంటనే మళ్లీ విఫలమవుతుంది. అది విజయవంతమైనా, ఎవరూ పరిశీలించని damage పై మీరు రాస్తున్నట్టే అవుతుంది. - మీ provider యొక్క rescue mode లో reboot చేసి, filesystem unmounted గా ఉన్నప్పుడే దాన్ని పరిశీలించండి: ext4 కోసం
e2fsck -fy /dev/vda1, XFS కోసంxfs_repair /dev/vda1. - Timestamp మరియు sector తో కూడిన
I/O error, dev vdaపంక్తిని provider కు పంపండి. - Backup నుంచి restore చేసి పోల్చండి. Repair అవసరమైన filesystem లో ఇటీవలి writes యొక్క చివరి భాగం కోల్పోయి ఉండవచ్చు.
లేటెన్సీ మరియు throughput ధోరణులు
sudo apt install -y sysstat
iostat -xdz 5 3ముందుగా r_await మరియు w_await ను చూడండి. ఇవి read లేదా write పూర్తవడానికి పట్టిన సగటు milliseconds. Queueలో వేచి ఉన్న సమయం కూడా ఇందులో ఉంటుంది. తరువాత aqu-sz ను చూడండి. ఇది in-flight requests యొక్క సగటు సంఖ్య. Virtual disk పై %util ను పట్టించుకోండి: దీని అర్థం queue ఖాళీగా లేదని మాత్రమే. అనేక requests ను parallelగా నిర్వహించే device, తన పరిమితికి చాలా దూరంగా ఉన్నప్పటికీ, 100 percentకు సమీపంలో ఉండవచ్చు. వినియోగదారులకు అనిపించే పనితీరును కొలిచే సంఖ్య await.
మీ స్వంత baselineతో పోలిస్తే absolute valuesకు తక్కువ ప్రాధాన్యత ఉంటుంది. అందువల్ల ప్రశాంతంగా ఉన్న ఒక గంటలో విలువలను నమోదు చేసి, దాన్ని baselineగా ఉంచండి. Countersను మీరే సేకరించాలనుకుంటే /proc/diskstats అనేది raw source.
కొలతను ఉద్దేశపూర్వకంగా తీసుకోవడానికి:
sudo apt install -y fio
fio --name=readlat --filename=/var/tmp/fio.probe --size=512M --rw=randread --bs=4k --iodepth=1 --direct=1 --runtime=30 --time_based --group_reporting
rm -f /var/tmp/fio.probeclat percentiles blockను చదవండి. ముఖ్యంగా 99th percentileను పరిశీలించండి. --direct=1 మీ page cacheను దాటిస్తుంది. అయితే host cacheను దాటించదు. అందువల్ల మీ process నుంచి platform storage వరకు ఉన్న మొత్తం pathను ఈ ఫలితం వివరిస్తుంది. Server idleగా ఉన్నప్పుడు దీన్ని నడపండి, ఎందుకంటే ఇది మీ workloadతో resources కోసం పోటీపడుతుంది.
Kernel logలో errors లేకుండా await పెరుగుతుంటే, సాధారణంగా drive విఫలమవుతోందని అర్థం కాదు. ఇది hostపై contention. Storage సందర్భంలో ఇది పక్కనున్న అధిక లోడ్ tenant వల్ల ఏర్పడే CPU steal time కు సమానం. ప్రతిరోజూ అదే గంటలో ఈ సమస్య తిరిగి కనిపించి, మీ ticketకు ఎటువంటి సమస్య లేదనే సమాధానం వస్తే, I/Oను అదే విధంగా share చేయని planను ఎంచుకోవాలి. Workload disk boundగా ఉన్నప్పుడు సాధారణ VPSకు బదులుగా storage VPS ఇందుకు ఉదాహరణ.
మౌంట్లో ఉన్నప్పుడు అమలు చేయగల filesystem తనిఖీలు
ext4 superblock లో error counter ను నిల్వ చేస్తుంది. మీ logs లేకపోయినా ఈ counter reboot తర్వాత కూడా అలాగే ఉంటుంది.
sudo dumpe2fs -h /dev/vda1 2>/dev/null | grep -iE 'filesystem state|error count|first error|last error'ఆరోగ్యంగా ఉన్న filesystem Filesystem state: clean ను మాత్రమే చూపిస్తుంది. ఎందుకంటే error నమోదైనప్పుడు మాత్రమే dumpe2fs FS Error count line ను, మొదటి మరియు చివరి error lines ను చూపిస్తుంది. clean with errors కనిపించడం లేదా ఏదైనా FS Error count line కనిపించడం అంటే ఏదో సమయంలో kernel metadata error ను ఎదుర్కొందని అర్థం. ఎవరూ గమనించకపోయినా, log తొలగించబడినా ఇది నిజమే. ఈ command ను వారానికి ఒకసారి చేసే తనిఖీలో చేర్చాలి.
మౌంట్లో ఉన్న root filesystem పై fsck అమలు చేయలేరు. అలాగే live filesystem పై e2fsck -n అమలు చేస్తే, దాని కింద data మారుతున్నందువల్ల మాత్రమే కనిపించే సమస్యలను నివేదిస్తుంది. నిజమైన తనిఖీని బలవంతంగా చేయడానికి provider console ద్వారా ఒక boot కోసం kernel command line కు fsck.mode=force fsck.repair=yes జోడించాలి. తరువాత systemd-fsck root ను read-write గా మౌంట్ చేయడానికి ముందు తనిఖీని అమలు చేస్తుంది.
XFS యొక్క offline checker అయిన xfs_repair -n /dev/vda1, మౌంట్లో ఉన్న filesystem పై అమలు కావడానికి నిరాకరిస్తుంది. అందువల్ల దీన్ని rescue mode లో ఉపయోగించాలి. kernel ను online scrub support తో build చేసి ఉంటే, xfsprogs లోని xfs_scrub మౌంట్లో ఉన్న XFS filesystem ను తనిఖీ చేయగలదు. అయితే దాని స్వంత man page ఇప్పటికీ దీన్ని పరిపక్వం చెందని utility గా పేర్కొంటుంది. దీనికి బదులుగా XFS స్పష్టమైన రక్షణ చర్య తీసుకుంటుంది: metadata error వచ్చినప్పుడు కొనసాగకుండా filesystem ను shutdown చేస్తుంది.
Btrfs లో counters అంతర్గతంగా ఉంటాయి. అవి persistent గా కూడా ఉంటాయి.
sudo btrfs device stats /
sudo btrfs scrub start -B /పైన ఉన్న write_io_errs లేదా corruption_errs zero కంటే ఎక్కువగా ఉంటే అది నిజంగా జరిగిన event. మీరు వాటిని reset చేసే వరకు reboot ల తర్వాత కూడా counters తమ విలువలను నిలుపుకుంటాయి. scrub ప్రతి block ను మళ్లీ చదివి దాని checksum ను verify చేస్తుంది. Virtual disk పై అందుబాటులో ఉన్న media test లలో దీనికి అత్యంత సమీపమైనది ఇదే. దీనికి I/O ఎక్కువగా అవసరం కాబట్టి, తక్కువ వినియోగం ఉన్న సమయంలో schedule చేయాలి.
సంకేతం 5: df చూపని భాగాలతో సహా ఖాళీ స్థలం
ఖాళీ స్థలం పూర్తిగా అయిపోతే, చెడ్డ డిస్క్ వల్ల కలిగే విధంగానే సర్వర్ పనిచేయడం ఆగిపోతుంది. ఇది డిస్క్ సమస్యకన్నా చాలా తరచుగా జరుగుతుంది.
df -h /
df -i /
sudo du -xh --max-depth=1 / | sort -h | tail -n 20No space left on device సమయంలో df -h ఖాళీ స్థలం ఉందని చూపిస్తే, bytes కాకుండా inodes అయిపోయాయని అర్థం. అలాగే df -i లో IUse% 100 శాతంగా చూపిస్తుంది. cache directory లేదా mail spool లో లక్షలాది చిన్న files ఉండటం దీనికి కారణం కావచ్చు. పెద్ద files తొలగించినా సమస్య పరిష్కారం కాదు.
File తొలగించిన తర్వాత కూడా స్థలం తిరిగి అందుబాటులోకి రాకపోతే, సాధారణంగా running process ఆ file ను ఇంకా open గా ఉంచుతుంది. sudo lsof +L1 లో link count సున్నాకు చేరిన files జాబితా కనిపిస్తుంది. ఆ file ను పట్టుకుని ఉన్న process ను restart చేస్తే స్థలం విడుదల అవుతుంది.
journal సాధారణంగా నిశ్శబ్దంగా స్థలాన్ని వినియోగించే అంశం. దాని వినియోగాన్ని journalctl --disk-usage చూపిస్తుంది. /etc/systemd/journald.conf లో SystemMaxUse=200M ను అమలు చేసిన తరువాత sudo systemctl restart systemd-journald తో పరిమితి విధించండి. ప్రస్తుతం స్థలాన్ని తిరిగి పొందడానికి sudo journalctl --vacuum-size=200M అమలు చేయండి.
ఒక సందర్భం bug లాగా కనిపిస్తుంది, కానీ అది bug కాదు. thin provisioned host storage పై, మీ df ఇంకా gigabytes ఖాళీగా ఉన్నట్లు చూపుతున్నప్పటికీ host యొక్క storage pool పూర్తిగా నిండిపోవచ్చు. అప్పుడు మీ writes విఫలమై, kernel log లో I/O errors కనిపిస్తాయి. guest లో ఎక్కడా space warning కనిపించకపోవచ్చు. పూర్తి filesystem లేకపోయినా errors కనిపిస్తే, అదే గంటలో ticket నమోదు చేయాల్సిన ముఖ్యమైన పరిస్థితి.
సంకేతాలను metrics agent కు అనుసంధానించడం
Push probe అవును లేదా కాదు అనే సమాధానం ఇస్తుంది. Trends కోసం metrics agent అవసరం. Prometheus node_exporter అదనపు configuration లేకుండానే పై అంశాలన్నింటినీ ఇప్పటికే export చేస్తుంది. ఆధారంగా ఉపయోగించాల్సిన metric names:
node_filesystem_readonlymount read-only అయినప్పుడు 1 అవుతుంది. ఇదే remount alarm.node_filesystem_avail_bytesమరియుnode_filesystem_files_freebytes, inodes ను విడిగా చూపిస్తాయి.node_disk_io_time_seconds_totalమరియుnode_disk_read_time_seconds_totalbusy time, latency ను graph చేయగల counters గా అందిస్తాయి.
వాస్తవంగా page చేసే పరిస్థితులను రెండు rules గుర్తిస్తాయి:
- alert: FilesystemReadOnly
expr: node_filesystem_readonly{fstype!~"tmpfs|overlay"} == 1
for: 2m
- alert: FilesystemFillingUp
expr: predict_linear(node_filesystem_avail_bytes{mountpoint="/"}[6h], 4*24*3600) < 0
for: 30mప్రస్తుత trend నాలుగు రోజుల్లో సున్నాకు చేరుకున్నప్పుడు రెండో rule trigger అవుతుంది. అందువల్ల filesystem 95 percent నిండినప్పుడు, మీకు ఇంకా కొన్ని నిమిషాలే మిగిలి ఉన్న సమయంలో కాకుండా, కొన్ని రోజుల ముందుగానే హెచ్చరిక అందుతుంది.
ఏ బాధ్యత ఎవరిది
మీ provider physical drives కు బాధ్యత వహిస్తారు. వారు SMART ను చదువుతారు, array ను నిర్వహిస్తారు, reallocated sectors పెరుగుతున్న drive ను భర్తీ చేస్తారు. సాధారణంగా దీనిని మీకు తెలియజేయరు, ఎందుకంటే array ఆ failure ను తట్టుకుంటుంది. మీ VPS కింద ఉన్న RAID 10 ఉపయోగం ఇదే: dead drive వల్ల outage కాకుండా rebuild జరుగుతుంది. వీటిలో ఏదీ మీకు కనిపించదు. Virtual server ను అద్దెకు తీసుకోవడంలో ఈ abstraction కోసం చెల్లించడం ప్రధాన కారణాల్లో ఒకటి.
మీ data కు మీరు బాధ్యత వహిస్తారు. Drive telemetry మీ data ను రక్షించదు. Tenant data ను వాస్తవంగా నాశనం చేసే సంఘటనలు తప్పుగా చేసిన rm, తప్పు deploy, మీ SSH key కలిగిన intruder, అలాగే array ను కూడా ప్రభావితం చేసే platform incident. SMART attributes వీటిలో ఏదీ ముందుగా గుర్తించలేవు.
అందువల్ల tenant కు వాస్తవ రక్షణ server వెలుపల ఉండే backup మరియు మీరు స్వయంగా నిర్వహించిన restore. Provider snapshots సౌకర్యవంతంగా ఉంటాయి. అయితే అవి రక్షించే వస్తువు ఉన్న అదే platform పై ఉంటాయి. అందుకే snapshots మరియు backups వేర్వేరు రక్షణలు. Calendar లో ఒక drill ను నమోదు చేయండి: ప్రతి quarter కు ఒకసారి తాజా backup ను కొత్త VPS లో restore చేసి, application ను ప్రారంభించి, దానికి పట్టిన సమయాన్ని రాసుకోండి. ఆ సంఖ్యే మీ వాస్తవ recovery time. మొదటి drill ఎల్లప్పుడూ ఎవరైనా ఊహించిన దానికంటే ఎక్కువ సమయం పడుతుంది.
SMART మీకు వర్తించే సందర్భాలు
smartctl ను వివరించే guides సరైనవే. Hardware నిజంగా మీ సొంతమైన క్షణం నుంచే అవి వర్తిస్తాయి:
- Dedicated లేదా bare metal server, ఇందులో
sudo smartctl -a /dev/sdaపూర్తి attribute table ను చూపుతుంది మరియు ఏదైనా attribute మారినప్పుడుsmartdమీకు mail పంపగలదు. - Guest కు physical disk ను నేరుగా pass through చేసే storage plans. Providers దీన్ని స్పష్టంగా document చేస్తారు, ఎందుకంటే ఇది వారి selling point.
- ఇంట్లో లేదా మీరు అద్దెకు తీసుకున్న rack space లో ఉన్న మీ సొంత hardware.
sudo smartctl -a -d megaraid,0 /dev/sdaద్వారా చేరుకోగల RAID controller వెనుక ఉన్న disk, లేదా-d satఉన్న USB enclosure.
నిజమైన NVMe లో, drive నుంచే sudo smartctl -a -d nvme /dev/nvme0 మరియు sudo nvme smart-log /dev/nvme0n1 వరుసగా critical_warning మరియు percentage_used ను report చేస్తాయి. నిజమైన SATA లో, failure ను ముందుగా సూచించే attributes Reallocated_Sector_Ct (5), Current_Pending_Sector (197), Offline_Uncorrectable (198) మరియు Reported_Uncorrect (187). వీటిలో ఏదైనా zero నుంచి మారితే replacement కోసం ప్రణాళిక వేయండి. Large scale drive studies ఇదే చిన్న జాబితాను పదేపదే నిర్ధారిస్తున్నాయి. మిగిలిన చాలా attributes ఉపయోగకరమైన సమాచారాన్ని ఇవ్వవు.
చేతితో తనిఖీ చేయడం కంటే daemon ను నడపండి.
sudo systemctl enable --now smartd
sudo smartctl -t short /dev/sda
sudo smartctl -l selftest /dev/sdaమీరు ఇప్పుడే ప్రారంభించిన run కోసం self-test log లో Completed without error కనిపించాలి. Ubuntu మరియు Debian, October 2026 నాటికి ప్రస్తుతమైన DEVICESCAN line తో /etc/smartd.conf ను ship చేస్తాయి. అందువల్ల daemon కనిపించే ప్రతి disk ను పర్యవేక్షించి, మార్పు వచ్చినప్పుడు root కు mail పంపుతుంది. Virtual disk పై ఇవేవీ పనిచేయవు. అందుకే ఈ guide లో మిగిలిన భాగం అవసరం.
FAQ
smartctl నా VPSలో ఎందుకు పనిచేయదు?
డిస్క్ virtual అయినందున ఇది జరుగుతుంది. virtio-blk ఉపయోగించే KVM guestలో, smartctl -a /dev/vda అమలు చేస్తే /dev/vda: Unable to detect device type చూపిస్తుంది. ఎందుకంటే paravirtual diskలో SMART request పంపేందుకు ATA లేదా SCSI command channel ఉండదు. Emulated diskలో device model QEMU HARDDISKగా కనిపిస్తుంది. దాని వెనుక ఉపయోగించగల SMART data ఉండదు. Containerలో CAP_SYS_RAWIO అందుబాటులో లేకపోవడంతో smartctl పూర్తిగా నిరాకరించబడుతుంది. వీటిలో ఏదీ misconfiguration కాదు. ఏ -d flag కూడా వీటిని పరిష్కరించదు.
నా VPS disk విఫలమవుతోందని ఎలా తెలుసుకోవాలి?
Hardwareను కాకుండా దాని ప్రభావాలను గమనించండి. sudo journalctl -k -p err -bలో I/O error, dev vda lines కోసం చూడండి. 5.16 కంటే పాత kernelsలో వీటి ముందు blk_update_request: ఉంటుంది. అలాగే Remounting filesystem read-only కోసం కూడా చూడండి. Logs ఇప్పటికే కోల్పోయిన errorsను కనుగొనడానికి sudo dumpe2fs -h /dev/vda1 | grep -i 'error count' అమలు చేయండి. Output లేకపోవడం అంటే ఎలాంటి error నమోదు కాలేదని అర్థం. వ్యవస్థ సక్రమంగా ఉన్నప్పుడు నమోదు చేసిన baselineతో పోల్చి, iostat -xdz 5 నుంచి వచ్చే r_awaitను track చేయండి. VPSలో I/O error సాధారణంగా drive పాడవడం కంటే host storage సమస్యను సూచిస్తుంది. అందువల్ల timestamp మరియు sector వివరాలతో support ticket నమోదు చేయాలి.
VPS disk ఆరోగ్యం కోసం నేను దేనిపై alert ఏర్పాటు చేయాలి?
నాలుగు alerts సరిపోతాయి. node_filesystem_readonly == 1 వల్ల ఏర్పడిన read-only mount లేదా విఫలమైన write probe. సున్నాకు చేరువవుతున్న free space మరియు free inodes. గత intervalలో వచ్చిన ఏదైనా kernel I/O error. Server నుంచి heartbeat, తద్వారా box స్పందించడం ఆపినప్పుడు silenceపై page అందుతుంది. SMART నుంచి తీసుకున్న ఏదైనా విలువను మినహాయించండి. Virtual diskలో అవి లేకపోవచ్చు లేదా hypervisor emulationను మాత్రమే వివరించవచ్చు.
నా filesystem read-onlyగా ఎందుకు remount అయింది?
Metadata error ఎదురైనప్పుడు ext4, errors=remount-roతో mount చేసి ఉంటే, ఉద్దేశపూర్వకంగా ఇలా చేస్తుంది. Damageపై writing కొనసాగించకుండా ఆపుతుంది. Remount lineకు కొద్దిగా ముందు kernel logలో trigger ఉంటుంది. సాధారణంగా underlying device I/O error తిరిగి ఇచ్చిన తర్వాత aborted journal గురించి EXT4-fs error కనిపిస్తుంది. Filesystemను తనిఖీ చేయకుండా read-writeగా remount చేస్తే symptom మాత్రమే దాచబడుతుంది. Cause అలాగే మిగులుతుంది. ముందుగా logను capture చేయండి. తరువాత rescue modeలో filesystemను unmountedగా ఉంచి e2fsck -fy /dev/vda1తో తనిఖీ చేయండి.
Virtual serverలో SMART dataను ఎప్పుడైనా చదవగలనా?
కొన్ని నిర్దిష్ట సందర్భాల్లో అవును. Dedicated మరియు bare metal servers నిజమైన attributesను అందిస్తాయి. Physical diskను guestకు pass through చేసే storage plans కూడా అలాగే పనిచేస్తాయి. మీరు స్వయంగా నిర్వహించే host కూడా ఇదే విధంగా ఉంటుంది. కొన్ని platforms guestకు NVMe controllerను అందిస్తాయి. అప్పుడు nvme smart-log ఒక logను తిరిగి ఇవ్వవచ్చు. కాబట్టి ముందుగా sudo nvme id-ctrl /dev/nvme0 అమలు చేయండి. Network storage service పేరును సూచించే model number కనిపిస్తే, ఆ counters software controller నుంచి వచ్చాయని అర్థం. Shared machineలో passthrough node నిజమైన countersను చూపించినా, అవి ఇతర tenantsతో పంచుకున్న hardwareను వివరిస్తాయి. అందువల్ల ఉపయోగకరమైన చర్య support ticket నమోదు చేయడమే.