RAID 10 چیست؟ راهنمای کامل برای ذخیرهسازی VPS
در این مقاله بررسی میکنیم چرا RAID 10 برای درایوهای NVMe انتخاب میشود. تفاوت سطوح RAID، نحوه خواندن وضعیت در /proc/mdstat و چرا RAID هرگز جایگزین بکاپ نیست.
RAID 10 چیست و چرا میزبانهای VPS از آن استفاده میکنند
RAID 10 ساختار ذخیرهسازی است که اکثر میزبانهای VPS تحت درایوهای مجازیسازیشده NVMe (حافظه غیرفرار سریع) از آن استفاده میکنند. در چیدمان استاندارد دو نسخهای آن، هر درایو روی یک درایو همتا کپی (Mirror) میشود و سپس دادهها در این جفتهای آینهای توزیع (Stripe) میشوند. در این حالت، یک درایو میتواند بدون توقف آرایه از کار بیفتد و عملیات بازیابی، صرفاً یک کپی ساده از درایو همتای سالم است، نه یک محاسبه مجدد که نیاز به خواندن تمام درایوهای دیگر مجموعه داشته باشد.
RAID مخفف آرایه افزونه دیسکهای مستقل است. این فناوری تنها یک وظیفه دارد: حفظ سرویسدهی ماشین در زمانی که یک دیسک از کار افتاده یا در حال تعویض است. این وظیفه «در دسترس بودن» (Availability) است و در دسترس بودن به معنای «امنیت» (Safety) نیست.
RAID عملیات نوشتن شما را تکثیر میکند. rm -rf /srv یک عملیات نوشتن است. هر دو نیمه آینه، دایرکتوری را در همان میلیثانیه حذف میکنند و آرایه پس از آن همچنان وضعیت خود را سالم گزارش میدهد.
این جمله را به خاطر بسپارید. باقی این صفحه به بررسی این میپردازد که هر سطح RAID در برابر چه خطاهایی مقاوم است و در هر عملیات نوشتن چه هزینهای برای شما دارد. بخشهای پایانی شامل دستوراتی برای خواندن وضعیت آرایه روی ماشینی است که مالکیت آن را دارید، و همچنین به خرابیهایی میپردازد که RAID هرگز آنها را پوشش نمیدهد.
سطوحی که خریدار فضای میزبانی واقعاً با آنها مواجه میشود: 1، 5، 6 و 10
صفحهٔ پلنها تنها یک عدد را ذکر میکند و از آن فراتر نمیرود. این عدد به دو پرسش پاسخ میدهد: چند درایو میتوانند از کار بیفتند و هزینهٔ هر عملیات نوشتن چقدر است.
RAID 1 یک آینه است. دو درایو بلوکهای یکسانی را نگه میدارند. هر عملیات نوشتن به هر دو درایو ارسال میشود. هر یک از درایوها میتواند پاسخگوی عملیات خواندن باشد. یک درایو میتواند بدون از دست رفتن دادهها از کار بیفتد و نیمی از ظرفیت خام قابل استفاده است. هیچ پریتی (parity) برای محاسبه وجود ندارد، بنابراین مسیر نوشتن کوتاه است.
RAID 5 استرایپینگ (striping) با یک بلوک پریتی در هر استرایپ است. با n درایو، شما ظرفیت n-1 درایو را دریافت میکنید و آرایه دقیقاً یک خرابی را تاب میآورد. پریتی روی یک درایو اختصاصی قرار نمیگیرد. این بلوک در میان همه درایوها میچرخد، بنابراین هر درایو هم داده و هم پریتی را حمل میکند.
RAID 6 یک بلوک پریتی دوم و مستقل به هر استرایپ اضافه میکند که معمولاً P و Q نامیده میشوند. این پیکربندی خرابی همزمان هر دو درایو را تاب میآورد. این موضوع از آنچه به نظر میرسد اهمیت بیشتری دارد، زیرا خرابی دوم معمولاً در حین تعمیر خرابی اول رخ میدهد.
RAID 10 یک استرایپ از آینههاست. درایوها به صورت جفت آینه میشوند و دادهها در میان این جفتها پخش میشوند. ظرفیت قابل استفاده نیمی از کل ظرفیت خام است، مشابه RAID 1، با این تفاوت که موازیسازی استرایپینگ نیز به آن افزوده شده است.
شما همچنین ممکن است آن را به صورت RAID 1+0 ببینید که توصیف دقیقتری است: ابتدا آینه، سپس استرایپ کردن روی آینهها. RAID 0+1 ترتیب دیگر است؛ ابتدا استرایپ و سپس آینه کردن دو استرایپ. این روش بدتر است، زیرا خرابی یک درایو باعث از دسترس خارج شدن کل یک استرایپ میشود و عملیات تعمیر باید کل سمت دیگر را کپی کند.
لینوکس یک مورد خاص است که ارزش دانستن دارد. raid10 هسته، به جای دو لایه روی هم، یک شخصیت واحد است، بنابراین روی تعداد فردی از درایوها اجرا میشود و چیدمانهایی (near، far، offset) دارد که یک تنظیم تو در تو نمیتواند بیانگر آن باشد. به همین دلیل است که خط وضعیت در یک سیستم لینوکسی به جای نام بردن از دو آرایه، 2 near-copies را نشان میدهد.
دادههای پشت این نمودار
[
{
"label": "RAID 1 (eight copies)",
"usable_tb": 1,
"worst_case_drives_lost": 7,
"best_case_drives_lost": 7
},
{
"label": "RAID 5",
"usable_tb": 7,
"worst_case_drives_lost": 1,
"best_case_drives_lost": 1
},
{
"label": "RAID 6",
"usable_tb": 6,
"worst_case_drives_lost": 2,
"best_case_drives_lost": 2
},
{
"label": "RAID 10",
"usable_tb": 4,
"worst_case_drives_lost": 1,
"best_case_drives_lost": 4
}
]هشت درایو 1 TB تحت RAID 5 مقدار 7 ترابایت فضای قابل استفاده و تحت RAID 10 مقدار 4 ترابایت فضا ارائه میدهند. این اختلاف، هزینهٔ واقعی است و به همین دلیل است که استفاده از پریتی همچنان پیشنهاد میشود. RAID 6 در هر الگویی، 2 خرابی را تاب میآورد. RAID 10 تنها 1 خرابی را تضمین میکند، زیرا خرابی دومِ خطرناک، همان خرابی است که روی جفتِ درایوی که قبلاً از کار افتاده رخ میدهد. این پیکربندی تا 4 خرابی را تاب میآورد، مشروط بر اینکه هیچ دو خرابیای در یک جفت مشترک نباشند، که این موضوع بیش از آنکه ویژگی طراحی باشد، به شانس بستگی دارد.
هزینه هر سطح در هر عملیات نوشتن
نوشتن روی یک mirror شامل دو عملیات نوشتن است که همزمان به هر دو عضو ارسال میشود. نوشتن روی یک parity stripe کار بیشتری میطلبد، زیرا بلوک parity برای آن stripe اکنون نامعتبر است و باید دوباره محاسبه شود.
در روش read-modify-write، کنترلر ابتدا دادههای قدیمی و parity قدیمی را میخواند. یک بازنویسی (overwrite) تکبلوکی بدون کش در RAID 5 به ترتیب شامل خواندن، خواندن، نوشتن و نوشتن میشود. RAID 6 دو بلوک parity را نگهداری میکند، بنابراین عملیات read-modify-write به خواندن، خواندن، خواندن، نوشتن، نوشتن و نوشتن تبدیل میشود. لینوکس همچنین از روش reconstruct-write استفاده میکند که در آن دادههای تغییرنیافته را برای محاسبه parity میخواند. در یک RAID 5 سه درایوی، آن بازنویسی میتواند شامل یک خواندن داده و دو نوشتن باشد؛ در یک RAID 6 چهار درایوی، شامل یک خواندن داده و سه نوشتن است. اعداد چهار و شش، تعداد عملیات در read-modify-write هستند و نه هزینههای ثابت برای هر نوشتن تصادفی کوچک.
دادههای پشت این نمودار
[
{
"label": "RAID 1 (2 drives)",
"write_ops_per_host_write": 2,
"drives_read_to_rebuild": 1
},
{
"label": "RAID 5 (8 drives)",
"write_ops_per_host_write": 4,
"drives_read_to_rebuild": 7
},
{
"label": "RAID 6 (8 drives)",
"write_ops_per_host_write": 6,
"drives_read_to_rebuild": 7
},
{
"label": "RAID 10 (8 drives, fixed mirror pairs)",
"write_ops_per_host_write": 2,
"drives_read_to_rebuild": 1
}
]یک عملیات read-modify-write تکبلوکی بدون کش، 6 عملیات دستگاه در RAID 6 هزینه دارد، در حالی که همین بازنویسی در RAID 10 با دو کپی، 2 هزینه دارد. این اعداد تفاوت در latency را بهطور کامل نشان نمیدهند. دو عملیات نوشتن در mirror بهصورت موازی انجام میشوند، بنابراین سیستم مهمان منتظر کندترینِ آن دو میماند. مسیر read-modify-write شامل یک عملیات خواندن است که باید پیش از محاسبه parity جدید به پایان برسد، بنابراین سیستم مهمان منتظر یک خواندن و سپس یک نوشتن، یکی پس از دیگری، میماند. در یک میزبان شلوغ، آن عملیات خواندن در صف انتظار پشت I/O سایر پردازشها قرار میگیرد.
یک استثنای مهم وجود دارد. نوشتنی که بهاندازه کافی بزرگ باشد تا یک stripe کامل را پر کند، نیازی به دادههای قدیمی ندارد، زیرا تمام بلوکهای آن stripe در حال جایگزینی هستند. Parity از دادههایی که هماکنون در حافظه هستند محاسبه میشود و سربار به یک نوشتن parity برای هر stripe در RAID 5 یا دو نوشتن در RAID 6 کاهش مییابد، بدون آنکه نیازی به پیشخوانی (preread) باشد. به همین دلیل است که RAID 5 در بنچمارکهای ترتیبی (sequential) خوب به نظر میرسد اما تحت بار ترکیبی از نوشتنهای کوچک توسط چندین کاربر، عملکرد ضعیفی دارد. الگویی را تست کنید که واقعاً اجرا میکنید: بنچمارک صحیح دیسک VPS به معنای I/O تصادفی با عمق صف واقعبینانه است، نه یک dd بزرگ.
چرا بازسازی (rebuild) بخش خطرناک است
یک بازسازی کامل RAID 5 باید درایو مفقود را از روی تمام درایوهای دیگر بازسازی کند، بنابراین در مثال هشتدرایوی، 7 درایو باقیمانده را از اولین بلاک تا آخرین بلاک میخواند. در جفتهای آینهای ثابت، بازسازی RAID 10 تعداد 1 درایو را میخواند: فقط شریک آینهای درایو خراب و نه هیچ درایو دیگری. سایر چیدمانهای RAID10 در لینوکس، کپیها را به شکل متفاوتی توزیع میکنند: بازسازی یکی از اعضای چیدمان near سهدستگاهی، هر دو عضو باقیمانده را میخواند.
دو هزینه از این موضوع ناشی میشود. اولی زمان است، زیرا بازسازی توسط درایوهای باقیمانده، حجم کار بازسازی و اهداف سرعت بازیابی محدود میشود. دومی بار کاری است. بازسازی parity، عملیات I/O را بین درایوهای باقیمانده پخش میکند. در جفتهای آینهای ثابت، بازسازی RAID 10 این I/O را روی یک جفت متمرکز میکند؛ با این حال منابع مشترک کنترلر و میزبان همچنان بر سایر جفتها تأثیر میگذارند.
در همین بازه زمانی، یک ریسک صحت داده نیز وجود دارد. یک آرایه RAID 5 با یک درایو خراب، دیگر هیچ افزونگی (redundancy) ندارد، بنابراین یک سکتور غیرقابلخواندن در هر جای درایوهای باقیمانده، اکنون غیرقابلبازیابی است. بازسازی تنها عملیاتی است که تمام سکتورها، از جمله آنهایی که در یک سال اخیر کسی به آنها دست نزده است را میخواند. ارقام منتشرشده در دیتاشیتها، نرخ خطای غیرقابلبازیابی در درایوهای سخت مصرفی را نزدیک به یک خطا در هر 10^14 بیت خواندهشده و در درایوهای NVMe سازمانی یک خطا در هر 10^17 بیت یا بهتر اعلام میکنند. اینها مشخصات سازنده هستند تا اندازهگیریهای واقعی، اما این نسبت توضیح میدهد که چرا هشدار قدیمی مبنی بر شکست بازسازی RAID 5 درباره دیسکهای چرخان بزرگ نوشته شده بود و چرا این هشدار در مورد NVMe بسیار ضعیفتر است. استدلال مربوط به بار کاری روی هر رسانهای صادق است.
خطاهای نهفته را پیش از آنکه بازسازی آنها را پیدا کند، با استفاده از scrubbing شناسایی کنید. Debian و Ubuntu یک اسکراب دورهای برای آرایههای md ارائه میدهند و مکانیزم آن بین نسخهها متفاوت است، بنابراین بررسی کنید کدام نسخه را دارید و سپس یک دور اسکراب را بهصورت دستی اجرا کنید.
systemctl list-timers --all | grep -i mdcheck
ls -l /etc/cron.d/mdadm
echo check | sudo tee /sys/block/md0/md/sync_action
cat /sys/block/md0/md/mismatch_cntsync_action پس از پایان عملیات به idle بازمیگردد و mismatch_cnt باید 0 را نشان دهد. عددی بزرگتر از صفر در یک آینه به این معنی است که دو نیمه با هم اختلاف دارند و هسته نمیتواند بگوید کدامیک درست است، زیرا هیچکدام از کپیها checksum ندارند. برخی از عدمتطابقها بیخطر هستند و پارتیشنهای swap منبع معمول آن هستند: هسته ممکن است صفحهای را بنویسد که در زیر آن تغییر میکند. افزایش تعداد خطاها در یک آرایه داده نیازمند بررسی است؛ این عدد بهتنهایی درایوی که باید تعویض شود را مشخص نمیکند.
چرا ارائهدهندگان VPS از RAID 10 برای NVMe استفاده میکنند
یک گره hypervisor فقط یک workload را اجرا نمیکند. این گره دهها guest نامرتبط را اجرا میکند و I/O آنها بهصورت جریانی از نوشتنهای کوچک و درهمتنیده (interleaved) بدون هیچ محلیتی (locality) بین آنها میرسد. این دقیقاً همان الگویی است که چرخه read-modify-write در parity بیشترین هزینه را دارد و این الگویی است که یک گره اشتراکی در تمام طول روز با آن مواجه است.
رفتار بازسازی (rebuild) را هم اضافه کنید تا انتخاب مشخص شود. خرابی یک درایو در یک گره مبتنی بر parity، کار بازسازی را به تمام درایوهای باقیمانده تحمیل میکند. با استفاده از جفتهای آینهای ثابت، خرابی یک درایو در یک گره RAID 10، فقط I/O بازسازی را به یک جفت اضافه میکند و Linux MD هنگام وجود فعالیتهای دیگر، سرعت بازیابی را کاهش میدهد. ارائهدهندگان، تأخیر (latency) بدون جهش (spike) میفروشند، بنابراین آن را با ظرفیت میخرند: نیمی از NVMe خام به آینه اختصاص مییابد.
اندازه درایوها نیز همین فشار را وارد میکند. با بزرگتر شدن درایوها، پنجره بازسازی طولانیتر میشود و در RAID 5، این همان پنجرهای است که بازسازی بار اضافه ایجاد میکند و هیچ افزونگی (redundancy) باقی نمیماند؛ RAID 6 در برابر خرابی یک درایو دیگر همچنان محافظت میکند. به همین دلیل است که پیادهسازیهای ZFS برای مجازیسازی، بهجای raidzهای گسترده، از poolهایی از vdevهای آینهای استفاده میکنند: یک resilver آینهای فقط بلوکهای در حال استفاده را روی یک جفت کپی میکند.
هیچکدام از اینها به این معنی نیست که RAID 10 در همه جا بهترین گزینه است. یک هدف پشتیبانگیری (backup target) با جریانهای طولانی متوالی نوشته میشود و بهندرت خوانده میشود، بنابراین RAID 6 در آنجا گزینه بهتری است. این پیکربندی در برابر دو خرابی مقاوم است و بیشترین ظرفیت را بازمیگرداند. workload تصمیمگیرنده است، نه عدد. برای برنامهای که امروز انتخاب میکنید، رسانه معمولاً اهمیت بیشتری نسبت به layout روی آن دارد و جهش از SATA SSD به NVMe بزرگتر از هر تفاوت RAID در هر دو مورد است.
نحوه خواندن /proc/mdstat
این دستورات را روی ماشینی اجرا کنید که مالک آرایه هستید: یک سرور اختصاصی، یک سیستم خانگی، یا یک VPS با دو volume متصل که خودتان آن را اسمبل کردهاید. خروجی خود را بخوانید. بلوکهای زیر نمونههایی هستند که به شکلی نوشته شدهاند تا بتوانید با خروجی خود مطابقت دهید.
cat /proc/mdstat
sudo mdadm --detail /dev/md0
lsblk -o NAME,SIZE,TYPE,MOUNTPOINTSیک RAID 10 چهار درایوی سالم، خروجی مشابه این چاپ میکند.
Personalities : [raid1] [raid10]
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2] nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
bitmap: 0/30 pages [0KB], 65536KB chunk
unused devices: <none>هر بخش از آن حاوی اطلاعات است.
Personalitiesماژولهای md که هسته در حال اجرا بارگذاری کرده است را فهرست میکند. ظاهر شدنraid10در آنجا به این معنی است که کد در دسترس است و نه چیزی بیشتر.md0 : active raid10دستگاه آرایه، وضعیت آن و سطح (level) آن است.- نامهای بعد از آن، اعضای آرایه هستند. عدد داخل کروشه، ایندکس دستگاه در متادیتای آرایه است، نه موقعیت آن در خط و نه لزوماً اسلات آن.
- پس از تعویض درایو، عضو جدید معمولاً ایندکسی بالاتر از اسلاتی که پر میکند نگه میدارد، بنابراین
nvme4n1p3[4]میتواند در اسلات 2 قرار بگیرد.mdadm --detailاسلات واقعی را در ستونRaidDeviceچاپ میکند، پس وقتی تفاوت اهمیت دارد از آن استفاده کنید. (F)بعد از یک عضو به معنی معیوب بودن است.(S)به معنی spare است: حاضر، بیکار، در انتظار خرابی چیزی.3906764800 blocks super 1.2اندازه قابل استفاده بر حسب بلوکهای 1 KiB و سپس فرمت متادیتا است.512K chunks 2 near-copiesاندازه chunk استرایپ و طرح RAID 10 است که در اینجا دو کپی از هر بلوک را در کنار یکدیگر نگه میدارد.[4/4]تعداد اعضایی است که آرایه انتظار دارد، و سپس تعداد اعضایی که در حال حاضر همگام (sync) هستند.[UUUU]یک کاراکتر برای هر اسلات به ترتیب اسلات است.Uاسلاتی است که بالا و همگام است._اسلاتی است که هیچ چیز در آن کار نمیکند.bitmap:بیتمپ قصد نوشتن (write intent bitmap) است. این بخش ثبت میکند که کدام نواحی در حال نوشته شدن بودهاند، بنابراین عضوی که خارج شده و دوباره برمیگردد، به جای کل درایو، فقط همان نواحی را بازسازی (resync) میکند.
معنی [4/3] و [UU_U] هنگام بروز مشکل
یک آرایه تخریبشده (degraded) به این شکل دیده میشود.
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2](F) nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]دو کروشه را با هم بخوانید. [4/3] میگوید یکی از چهار اسلات مشارکت نمیکند. [UU_U] میگوید کدام یک، زیرا آندرلاین سومین کاراکتر است و اسلاتها از صفر شمارهگذاری میشوند، بنابراین اسلات 2 از دسترس خارج شده است. فلگ (F) فقط تا زمانی که درایو خراب متصل است، نام دستگاه را نشان میدهد. آن را از ماشین بیرون بکشید تا نام از خط محو شود، در حالی که آندرلاین باقی میماند.
آرایه در تمام این مدت به سرویسدهی ادامه میدهد و در RAID 10 اغلب با سرعتی نزدیک به سرعت کامل کار میکند، به همین دلیل کسی متوجه آن نمیشود. چیزی باید به شما اطلاع دهد.
grep -i mailaddr /etc/mdadm/mdadm.conf
sudo mdadm --monitor --scan --oneshot --test
systemctl list-units --all | grep -i mdپکیج mdadm یک دیمون مانیتورینگ نصب میکند که MAILADDR را از /etc/mdadm/mdadm.conf میخواند. نام یونیت بین نسخهها تغییر کرده است، بنابراین به جای حدس زدن، آن را با دستور آخر پیدا کنید. اجرای --test بلافاصله یک پیام برای هر آرایه ارسال میکند. خالی بودن اینباکس پس از آن به این معنی است که مسیر ایمیل خراب است، بنابراین پیامی که واقعاً برایتان مهم است نیز به همان شکل از دست میرفت.
هنگامی که یک جایگزین در حال بازسازی (rebuild) است، یک خط پیشرفت زیر آرایه ظاهر میشود.
md0 : active raid10 nvme4n1p3[4] nvme3n1p3[3] nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]
[==>..................] recovery = 12.4% (242012928/1953382400) finish=63.1min speed=452000K/secrecovery یک بازسازی روی درایو جایگزین است. resync یک بررسی سازگاری (consistency pass) است، شامل بررسی اولیه و بازیابی پس از خاموش شدن غیرعادی. check همان scrub است که در بالا اجرا کردید. جفت داخل پرانتز، پیشرفت بر حسب بلوکهای 1 KiB نسبت به مجموع کل درایو است و finish تخمین هسته در سرعت فعلی است. لینوکس MD از /proc/sys/dev/raid/speed_limit_min و speed_limit_max به عنوان اهداف سرعت بازیابی استفاده میکند، با overrideهای هر آرایه در sync_speed_min و sync_speed_max. حداکثر هدف پیشفرض 200,000 KiB/s برای هر دستگاه است؛ این اهداف به بازیابی اجازه میدهند تا به I/O تولیدی اولویت دهد و محدودیت سرعت سختگیرانه نیستند.
یک mdadm --detail کامل در حین بازسازی
/dev/md0:
Version : 1.2
Creation Time : Tue Mar 10 09:14:22 2026
Raid Level : raid10
Array Size : 3906764800 (3.64 TiB 4.00 TB)
Used Dev Size : 1953382400 (1.82 TiB 2.00 TB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed Aug 5 11:02:41 2026
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : near=2
Chunk Size : 512K
Rebuild Status : 12% complete
Name : storage:0
Events : 4184
Number Major Minor RaidDevice State
0 259 3 0 active sync set-A /dev/nvme0n1p3
1 259 7 1 active sync set-B /dev/nvme1n1p3
4 259 11 2 spare rebuilding /dev/nvme4n1p3
3 259 15 3 active sync set-B /dev/nvme3n1p3ستون Number ایندکس متادیتا است که در کروشههای /proc/mdstat چاپ شده است. ستون RaidDevice اسلات است که موقعیت در رشته [UU_U] میباشد. آنها در اینجا متفاوت هستند زیرا دستگاه 4 جایگزین درایوی شده که اسلات 2 را نگه میداشت. set-A و set-B دو نیمه هر آینه (mirror) را نامگذاری میکنند، بنابراین یک عضو از مجموعه A و یک عضو از مجموعه B در همان جفت که دادههای یکسان را نگه میدارند، چیزی است که نباید با هم از دست بدهید.
تعویض درایو در آرایهای که مالک آن هستید، چهار دستور دارد و آخرین دستور، بررسی است.
sudo mdadm --manage /dev/md0 --fail /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --remove /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --add /dev/nvme4n1p3
cat /proc/mdstatخط بازیابی باید ظرف یک یا دو ثانیه ظاهر شود. پارتیشن جایگزین باید حداقل به اندازه Used Dev Size از mdadm --detail باشد و پارتیشن حتی کمی کوچکتر با پیامی به فرم not large enough to join array رد میشود. قبل از اضافه کردن درایو جدید، آن را طوری پارتیشنبندی کنید که با درایو قدیمی مطابقت داشته باشد.
آنچه میتوانید و نمیتوانید از داخل یک VPS مشاهده کنید
بیشتر سیستمعاملهای مهمان نمیتوانند RAID میزبان را ببینند و این موضوع طبق طراحی است. هایپروایزر به شما یک دیسک مجازی ارائه میدهد. اینکه آن دیسک از یک pool از نوع RAID 10 متشکل از درایوهای NVMe ایجاد شده باشد یا روی یک درایو واحد قرار داشته باشد، از ویژگیهای میزبان است و در داخل سیستمعامل مهمان شما نمایش داده نمیشود.
systemd-detect-virt
lsblk -d -o NAME,SIZE,ROTA,MODEL
cat /proc/mdstatدستور systemd-detect-virt در یک مهمان KVM خروجی kvm، در یک کانتینر نوع کانتینری مانند lxc و روی سختافزار فیزیکی (bare metal) خروجی none را چاپ میکند. در یک مهمان KVM، شما معمولاً یک vda یا sda واحد را در lsblk میبینید و هیچ آرایهای در /proc/mdstat وجود ندارد، زیرا هیچ آرایهای در داخل مهمان تعریف نشده است.
در یک VPS مبتنی بر کانتینر، خواندن اطلاعات قابل اعتماد نیست. کانتینرها از هسته میزبان استفاده میکنند و بخشهایی از /proc دارای فضای نام (namespaced) نیستند؛ بنابراین آنچه در آنجا میخوانید ممکن است توصیفکننده میزبان باشد تا بخشی که به شما اختصاص یافته است. هیچکدام از این اطلاعات را به عنوان واقعیتی درباره فضای ذخیرهسازی خود در نظر نگیرید. از ارائهدهنده سرویس درباره ساختار آن بپرسید و اگر این موضوع برایتان اهمیت دارد، پاسخ را بهصورت کتبی دریافت کنید.
آنچه میتوانید از داخل بررسی کنید، رفتار دیسکی است که به شما داده شده است. بررسی اینکه آیا دیسک VPS شما واقعاً NVMe است دستوراتی را پوشش میدهد که اطلاعات واقعی را گزارش میکنند و یک VPS با SSD واقعاً شامل چه چیزی است آنچه را که در برچسب صفحه پلنها ادعا شده است، بررسی میکند.
آیا باید از RAID داخل VPS استفاده کرد؟
معمولاً خیر، و دلیل آن حوزههای خرابی (failure domains) است. اگر دو volume را به یک VPS متصل کنید و آنها را با mdadm آینهسازی (mirror) کنید، ممکن است هر دو volume روی یک آرایه فیزیکی واحد، در یک گره (node) یکسان و پشت یک منبع تغذیه مشابه قرار داشته باشند. در این حالت، شما هزینه هر عملیات نوشتن را دو برابر میکنید تا افزونگیای را ایجاد کنید که از قبل داشتهاید، و همچنان هر دو نسخه را در صورت بروز یک خرابی اساسی از دست خواهید داد.
این کار زمانی ارزشمند است که ارائهدهنده سرویس مستند کرده باشد که volumeها در حوزههای خرابی مجزا قرار دارند، یا زمانی که از یک سرور اختصاصی با درایوهایی استفاده میکنید که خودتان به آنها دسترسی مستقیم دارید. در غیر این صورت، تلاش شما برای ایجاد نسخههای پشتیبان خارج از آن ماشین، نتیجهبخشتر خواهد بود.
مواردی که RAID از آنها محافظت نمیکند
RAID تنها یک رویداد را پوشش میدهد: خرابی فیزیکی یک درایو. تمام موارد زیر عملیات نوشتن معتبر محسوب میشوند، بنابراین آرایه آنها را روی تمام نسخهها اعمال کرده و وضعیت خود را سالم گزارش میکند.
- حذف دادهها. اجرای دستور
rm -rfدر دایرکتوری اشتباه، یا یک اسکریپت استقرار (deploy script) که متغیری در مسیر آن مقداردهی نشده است. آرایه این عملیات را یک نوشتن قانونی تلقی کرده و آن را روی همه نسخهها تکرار میکند. - باجافزار. رمزنگاری، نوعی عملیات نوشتن است. یک آرایه سالم، نسخه رمزنگاریشده را روی هر دو نیمه mirror ذخیره میکند.
- برنامه معیوب. باگی که دادههای نامعتبر (garbage) را در دیتابیس شما مینویسد، همان دادهها را روی درایو پشتیبان نیز کپی میکند.
- کل گره (Node). خرابی میزبان یا مسدود شدن اشتباه حساب کاربری. یک آرایه میتواند کاملاً سالم باشد اما در عین حال غیرقابل دسترس بماند.
- خود شما، یک هفته بعد. فایلی که دوشنبه حذف کردهاید، از همان دوشنبه روی تمام درایوها از بین رفته است. تنها نسخهای که پیش از آن زمان تهیه شده باشد، میتواند داده را بازیابی کند.
اسنپشاتها روی همان فضای ذخیرهسازی نیز راهحل نیستند. آنها در برابر حذف دادهها کمک میکنند، اما با از بین رفتن آرایهای که روی آن قرار دارند، آنها نیز نابود میشوند. ویژگی اصلی که یک نسخه پشتیبان را به نسخه پشتیبان تبدیل میکند، این است که در جای دیگری نگهداری شود. نسخههای پشتیبان رمزنگاریشده خارج از سرور با restic نیمه دیگر این صفحه است: آرایه به شما کمک میکند تا با وجود خرابی یک درایو، سرویسدهی را ادامه دهید و restic دادههای شما را زمانی که آسیب ناشی از یک عملیات نوشتنِ مورد تأیید آرایه بوده است، بازیابی میکند.
FAQ
آیا RAID 10 به این معنی است که نیازی به بکآپ ندارم؟
خیر. RAID 10 از شما در برابر خرابی فیزیکی یک درایو محافظت میکند. این سیستم هر عملیات نوشتن معتبر را روی هر دو نیمهٔ آینه (mirror) اعمال میکند؛ بنابراین، یک دستور حذف فایل یا فعالیت باجافزار در همان لحظه روی درایو پشتیبان نیز اجرا میشود. پس از آن، آرایه وضعیت خود را سالم گزارش میدهد، زیرا از دیدگاه آن، هیچ خرابی سختافزاری رخ نداده است. شما همچنان به نسخههای پشتیبانی نیاز دارید که خارج از آن ماشین نگهداری شوند و باید گهگاه یکی از آنها را بازیابی کنید تا از صحت عملکردشان مطمئن شوید.
چرا ارائهدهندگان VPS از RAID 10 به جای RAID 5 یا RAID 6 استفاده میکنند؟
دو دلیل وجود دارد که هر دو به عملیات نوشتن تصادفی (random writes) کوچک مربوط میشوند. در یک عملیات read-modify-write تکبلوکی بدون کش، سیستم ابتدا دادههای قدیمی و parity را میخواند تا parity جدید را محاسبه کند؛ این کار در RAID 5 هزینه 4 عملیات و در RAID 6 هزینه 6 عملیات را تحمیل میکند، در حالی که در یک آینه دو-نسخهای تنها 2 عملیات نیاز است. روش reconstruct-write از دادههای تغییرنیافته استفاده میکند و نوشتن full-stripe نیازی به خواندن پیشفرض دادهها یا parity قدیمی ندارد. بازسازی (rebuild) کامل در RAID 5 مستلزم خواندن تمام درایوهای باقیمانده از ابتدا تا انتها است، در حالی که RAID 10 معمولی با جفتهای آینه ثابت، دادهها را از عضو سالمِ همان جفت کپی میکند؛ سایر چیدمانهای Linux RAID10 از چندین عضو منبع استفاده میکنند. Linux MD هنگام وجود فعالیتهای دیگر، سرعت بازیابی را محدود میکند. ارائهدهندگان این مزایا را با از دست دادن ظرفیت (نیمی از NVMe خام) به دست میآورند.
عبارتهای [U_] یا [UU_U] در فایل /proc/mdstat به چه معنا هستند؟
هر کاراکتر نشاندهنده یک اسلات در آرایه است که به ترتیب اسلاتها قرار گرفتهاند. U به این معنی است که آن اسلات دارای عضوی است که فعال و همگامسازی شده است. _ یعنی آن اسلات هیچ عضو فعالی ندارد. [U_] در یک آینه دو-درایوی به این معنی است که اسلات دوم از کار افتاده و هیچ افزونگی (redundancy) باقی نمانده است. این وضعیت را همراه با جفتِ قبل از آن بخوانید؛ مثلاً [4/3] میگوید آرایه انتظار چهار عضو را دارد اما تنها سه عضو در دسترس است. ترتیب اسلاتها با ستون RaidDevice در mdadm --detail مطابقت دارد، نه با ترتیبی که نام دستگاهها در آن خط ظاهر میشوند.
یک آرایه RAID 10 حداکثر چند درایو را میتواند از دست بدهد؟
در RAID 10 معمولی با دو نسخه و جفتهای آینه ثابت، یک درایو در هر الگویی قابل تحمل است. فراتر از آن، بستگی به این دارد که خرابیها در کجا رخ دهند. هر جفت آینه میتواند یکی از دو عضو خود را از دست بدهد؛ بنابراین یک آرایه هشتدرایوی میتواند تا چهار خرابی را تحمل کند، مشروط بر اینکه هیچ دو خرابی در یک جفت مشترک نباشند. اگر دو خرابی در یک جفت رخ دهد، آرایه از کار میافتد. برنامهریزی خود را بر اساس عدد تضمینشده، یعنی یک درایو، تنظیم کنید و هر چیزی فراتر از آن را به جای محافظت، شانس در نظر بگیرید.
آیا باید دو Volume را داخل VPS خود با mdadm آینه (mirror) کنم؟
معمولاً خیر. دو Volume که به یک VPS متصل هستند، اغلب روی یک آرایه فیزیکی واحد در همان میزبان (host) قرار دارند. بنابراین آینه کردن آنها فقط هزینه هر عملیات نوشتن را دوبرابر میکند و از هیچ چیزی که RAID خودِ میزبان پوشش نداده است، محافظت نمیکند. این کار تنها زمانی ارزشمند است که ارائهدهنده مستند کرده باشد که Volumeها در دامنههای خرابی (failure domains) مجزا قرار دارند. در غیر این صورت، آن تلاش را صرف بکآپهایی کنید که از ماشین خارج میشوند.