RAID 10 w serwerach VPS: jak działa i czy jest bezpieczny
Analiza działania RAID 10 w środowiskach NVMe. Wyjaśnienie różnic między poziomami 1, 5, 6 i 10, interpretacja pliku /proc/mdstat oraz dlaczego RAID nie zastępuje kopii zapasowej.
Czym jest RAID 10 i dlaczego dostawcy VPS go używają
RAID 10 to układ pamięci masowej stosowany przez większość dostawców VPS na zwirtualizowanych dyskach NVMe (non-volatile memory express). W tradycyjnym układzie z dwiema kopiami każdy dysk jest dublowany na dysku partnerskim, a następnie dane są rozkładane między te lustrzane pary. Jeden dysk może ulec awarii bez zatrzymania macierzy. Odtworzenie polega wtedy na zwykłym skopiowaniu danych z działającego dysku partnerskiego, a nie na ponownym obliczaniu danych wymagającym odczytu z każdego pozostałego dysku w zestawie.
RAID oznacza nadmiarową macierz niezależnych dysków. Ma jedno zadanie: utrzymać działanie maszyny, gdy dysk jest uszkodzony lub wymieniany. Tym zadaniem jest dostępność. Dostępność nie oznacza bezpieczeństwa.
RAID replikuje zapisy. rm -rf /srv jest zapisem. Obie kopie lustrzane usuwają katalog w tej samej milisekundzie, a macierz nadal zgłasza później stan prawidłowy.
Zachowaj to zdanie. W pozostałej części tej strony opisano, jakie awarie obsługuje każdy poziom oraz jaki koszt ponoszony jest przy każdym zapisie. W ostatnich sekcjach przedstawiono polecenia służące do odczytu stanu macierzy na posiadanej maszynie oraz awarię, przed którą RAID nigdy nie chronił.
Poziomy, z którymi nabywca hostingu faktycznie się spotyka: 1, 5, 6 i 10
Strona planu podaje jedną liczbę i na tym kończy. Ta liczba odpowiada na dwa pytania: ile dysków może ulec awarii oraz jaki jest koszt każdego zapisu.
RAID 1 to mirror. Dwa dyski przechowują identyczne bloki. Każdy zapis trafia na oba dyski. Odczyt może obsłużyć dowolny z nich. Awaria jednego dysku nie powoduje utraty danych, a do dyspozycji pozostaje połowa surowej pojemności. Nie trzeba obliczać parzystości, więc ścieżka zapisu jest krótka.
RAID 5 to striping z jednym blokiem parzystości w każdym stripe. Przy n dyskach uzyskuje się pojemność n-1 dysków, a macierz może przetrwać dokładnie jedną awarię. Parzystość nie jest zapisywana na jednym dedykowanym dysku. Jest rozkładana rotacyjnie między wszystkimi dyskami, dlatego każdy dysk przechowuje zarówno dane, jak i parzystość.
RAID 6 dodaje drugi, niezależny blok parzystości do każdego stripe, zwykle oznaczany jako P i Q. Macierz może przetrwać jednoczesną awarię dowolnych dwóch dysków. Ma to większe znaczenie, niż mogłoby się wydawać, ponieważ druga awaria najczęściej występuje podczas odtwarzania po pierwszej.
RAID 10 to stripe z mirrorów. Dyski są łączone w pary mirrorów, a dane są rozkładane między tymi parami. Użyteczna pojemność wynosi połowę surowej pojemności, tak samo jak w RAID 1, ale dodatkowo dostępny jest parallelism zapewniany przez striping.
Spotyka się również zapis RAID 1+0. Jest to precyzyjny opis: najpierw tworzony jest mirror, a następnie wykonywany jest striping między mirrorami. RAID 0+1 działa w odwrotnej kolejności: najpierw tworzony jest stripe, a następnie mirrorowane są oba stripe. Jest to rozwiązanie gorsze, ponieważ awaria jednego dysku wyłącza cały stripe, a odtwarzanie wymaga skopiowania całej drugiej strony.
Linux jest szczególnym przypadkiem, który warto znać. raid10 w jądrze jest pojedynczym personality, a nie dwiema warstwami ułożonymi jedna na drugiej, dlatego działa z nieparzystą liczbą dysków i obsługuje układy (near, far, offset), których nie można wyrazić w konfiguracji zagnieżdżonej. Z tego powodu wiersz stanu na serwerze Linux zawiera 2 near-copies zamiast nazw dwóch macierzy.
Dane, na których opiera się ten wykres
[
{
"label": "RAID 1 (eight copies)",
"usable_tb": 1,
"worst_case_drives_lost": 7,
"best_case_drives_lost": 7
},
{
"label": "RAID 5",
"usable_tb": 7,
"worst_case_drives_lost": 1,
"best_case_drives_lost": 1
},
{
"label": "RAID 6",
"usable_tb": 6,
"worst_case_drives_lost": 2,
"best_case_drives_lost": 2
},
{
"label": "RAID 10",
"usable_tb": 4,
"worst_case_drives_lost": 1,
"best_case_drives_lost": 4
}
]Osiem dysków 1 TB zapewnia 7 TB użytecznej przestrzeni w RAID 5 oraz 4 TB w RAID 10. Ta różnica oznacza rzeczywisty koszt, dlatego często proponuje się parzystość. RAID 6 może przetrwać 2 awarii w dowolnej konfiguracji. RAID 10 gwarantuje tylko 1, ponieważ niebezpieczna druga awaria dotyczy dysku sparowanego z dyskiem, który już uległ awarii. Może przetrwać do 4 awarii, jeśli żadna para nie zostanie dotknięta dwiema awariami, ale jest to kwestia szczęścia, a nie właściwość projektu.
Koszt każdej operacji zapisu na poszczególnym poziomie
Zapis do kopii lustrzanej oznacza dwa zapisy wykonywane jednocześnie na obu członach. Zapis do paska z parzystością wymaga większej liczby operacji, ponieważ blok parzystości dla tego paska staje się nieaktualny i musi zostać ponownie obliczony.
W przypadku read-modify-write kontroler najpierw odczytuje stare dane i starą parzystość. Niesbuforowane nadpisanie pojedynczego bloku w RAID 5 obejmuje wtedy odczyt, odczyt, zapis i zapis. RAID 6 utrzymuje dwa bloki parzystości, dlatego read-modify-write obejmuje odczyt, odczyt, odczyt, zapis, zapis i zapis. Linux używa również reconstruct-write, odczytując niezmienione dane w celu obliczenia parzystości. W RAID 5 z trzema dyskami takie nadpisanie może wymagać jednego odczytu danych i dwóch zapisów, a w RAID 6 z czterema dyskami — jednego odczytu danych i trzech zapisów. Wartości cztery i sześć oznaczają liczbę operacji read-modify-write, a nie stały koszt każdego małego losowego zapisu.
Dane, na których opiera się ten wykres
[
{
"label": "RAID 1 (2 drives)",
"write_ops_per_host_write": 2,
"drives_read_to_rebuild": 1
},
{
"label": "RAID 5 (8 drives)",
"write_ops_per_host_write": 4,
"drives_read_to_rebuild": 7
},
{
"label": "RAID 6 (8 drives)",
"write_ops_per_host_write": 6,
"drives_read_to_rebuild": 7
},
{
"label": "RAID 10 (8 drives, fixed mirror pairs)",
"write_ops_per_host_write": 2,
"drives_read_to_rebuild": 1
}
]Niesbuforowane nadpisanie pojedynczego bloku metodą read-modify-write wymaga 6 operacji na urządzeniach w RAID 6, w porównaniu z 2 w przypadku tego samego nadpisania na RAID 10 z dwiema kopiami. Te wartości zaniżają różnicę w opóźnieniu. Dwa zapisy do kopii lustrzanych są wykonywane równolegle, więc system gościa czeka na wolniejszą z tych dwóch operacji. Ścieżka read-modify-write zawiera odczyt, który musi zakończyć się przed obliczeniem nowej parzystości. System gościa czeka więc najpierw na odczyt, a następnie na zapis. Na obciążonym hoście ten odczyt trafia do kolejki za operacjami wejścia-wyjścia innych użytkowników.
Istnieje ważny wyjątek. Zapis wystarczająco duży, aby wypełnić cały pasek, nie wymaga odczytu starych danych, ponieważ każdy blok paska jest zastępowany. Parzystość jest obliczana na podstawie danych znajdujących się już w pamięci. Narzut spada wtedy do jednego zapisu parzystości na pasek w RAID 5 albo dwóch zapisów w RAID 6, bez wcześniejszych odczytów. Dlatego RAID 5 wypada dobrze w benchmarku sekwencyjnym, ale działa słabo przy mieszanym obciążeniu obejmującym małe zapisy od wielu dzierżawców. Należy testować rzeczywisty wzorzec obciążenia: prawidłowe testowanie dysku VPS oznacza losowe operacje wejścia-wyjścia przy realistycznej głębokości kolejki, a nie jeden duży dd.
Dlaczego odbudowa jest niebezpiecznym etapem
Pełna odbudowa RAID 5 musi odtworzyć brakujący dysk na podstawie wszystkich pozostałych, dlatego w przykładzie z ośmioma dyskami odczytuje 7 działających dysków, od pierwszego bloku do ostatniego. W przypadku stałych par lustrzanych odbudowa RAID 10 odczytuje 1: partnera lustrzanego uszkodzonego dysku i nic więcej. Inne układy Linux RAID10 rozmieszczają kopie inaczej: odbudowa elementu układu near z trzema urządzeniami odczytuje oba działające elementy.
Wynikają z tego dwa koszty. Pierwszym jest czas, ponieważ czas odbudowy zależy od działających dysków, pracy potrzebnej do rekonstrukcji oraz założonej szybkości odzyskiwania. Drugim jest obciążenie. Odbudowa z wykorzystaniem parzystości rozkłada operacje wejścia-wyjścia na działające dyski. W przypadku stałych par lustrzanych odbudowa RAID 10 koncentruje te operacje na jednej parze, ale współdzielone zasoby kontrolera i hosta nadal wpływają na pozostałe pary.
W tym samym oknie występuje również ryzyko utraty spójności danych. Macierz RAID 5 z jednym uszkodzonym dyskiem nie ma już nadmiarowości, dlatego nieczytelny sektor na dowolnym działającym dysku staje się niemożliwy do odzyskania. Odbudowa jest jedyną operacją, która odczytuje każdy sektor, w tym te, do których nikt nie uzyskał dostępu przez rok. Opublikowane dane techniczne wskazują, że konsumencki dysk twardy może mieć około jednego niekorygowalnego błędu odczytu na 10^14 odczytanych bitów, a korporacyjny dysk NVMe — jeden na 10^17 bitów lub lepiej. Są to specyfikacje producentów, a nie wyniki pomiarów, ale podana proporcja wyjaśnia, dlaczego dawne ostrzeżenie o nieudanej odbudowie RAID 5 dotyczyło dużych dysków talerzowych i dlaczego jest znacznie mniej trafne w przypadku NVMe. Argument dotyczący obciążenia pozostaje aktualny dla każdego nośnika.
Wykrywanie ukrytych błędów należy przeprowadzić przed odbudową, uruchamiając scrub. Debian i Ubuntu dostarczają okresowy scrub dla macierzy md, ale mechanizm różni się między wydaniami, dlatego należy sprawdzić, który mechanizm jest dostępny, a następnie ręcznie uruchomić przebieg.
systemctl list-timers --all | grep -i mdcheck
ls -l /etc/cron.d/mdadm
echo check | sudo tee /sys/block/md0/md/sync_action
cat /sys/block/md0/md/mismatch_cntsync_action wraca do idle po zakończeniu przebiegu, a mismatch_cnt powinno wskazywać 0. Wartość większa od zera w przypadku mirror oznacza, że obie połowy są niezgodne, a kernel nie może stwierdzić, która z nich jest prawidłowa, ponieważ żadna kopia nie zawiera sumy kontrolnej. Niektóre niezgodności są nieszkodliwe. Najczęstszym źródłem są partycje swap: kernel może zapisać stronę, która w międzyczasie zmieni się pod jego kontrolą. Rosnąca liczba niezgodności w macierzy danych wymaga zbadania, ale sama liczba nie wskazuje dysku, który należy wymienić.
Dlaczego dostawcy VPS standaryzują RAID 10 dla NVMe
Węzeł hypervisora nie obsługuje jednego obciążenia. Uruchamia dziesiątki niezależnych maszyn gościnnych, a ich operacje wejścia-wyjścia docierają przeplatanym strumieniem małych zapisów, bez lokalności między nimi. Jest to dokładnie ten wzorzec, w którym cykl odczyt–modyfikacja–zapis dla parzystości powoduje największy koszt. Na współdzielonym węźle występuje on przez cały dzień.
Uwzględnienie sposobu odbudowy dodatkowo przesądza o wyborze. Awaria dysku w węźle z parzystością powoduje konieczność rekonstrukcji danych na wszystkich sprawnych dyskach. W przypadku stałych par lustrzanych awaria dysku w węźle RAID 10 dodaje operacje wejścia-wyjścia odbudowy tylko do jednej pary, a Linux MD spowalnia odzyskiwanie, gdy jednocześnie występuje inne obciążenie. Dostawcy sprzedają opóźnienia, które nie skokowo rosną, dlatego płacą za nie pojemnością: połowa surowej pojemności NVMe jest przeznaczana na lustro.
Rozmiary dysków działają w tym samym kierunku. Wraz ze wzrostem pojemności dysków wydłuża się okno odbudowy, a w RAID 5 jest to okres, w którym rekonstrukcja zwiększa obciążenie i nie pozostaje żadna nadmiarowość. RAID 6 zachowuje ochronę przed awarią jeszcze jednego dysku. Z tego samego powodu wdrożenia ZFS na potrzeby wirtualizacji używają pul złożonych z lustrzanych vdev zamiast szerokich raidz: resilvering lustra kopiuje tylko faktycznie używane bloki, i to w obrębie jednej pary.
Nie oznacza to, że RAID 10 jest właściwym wyborem w każdym przypadku. Cel kopii zapasowych jest zapisywany długimi sekwencyjnymi przebiegami i rzadko odczytywany, dlatego RAID 6 zapewnia tam lepszy kompromis. Przetrwa awarię dwóch dysków i zwraca większość pojemności. Decyduje obciążenie, a nie liczba. W przypadku planu wybieranego obecnie nośnik zwykle ma większe znaczenie niż układ warstwy znajdującej się nad nim, a przejście z SATA SSD na NVMe daje większą różnicę niż jakakolwiek różnica między poziomami RAID w obu przypadkach.
Jak odczytywać /proc/mdstat
Wykonuj te polecenia na maszynie, na której samodzielnie zarządzasz macierzą: na serwerze dedykowanym, komputerze domowym albo VPS z dwoma dołączonymi woluminami, które zostały utworzone przez Ciebie. Odczytuj własne wyniki. Poniższe bloki to przykłady zapisane w całości, aby można było porównać z nimi strukturę własnego wyniku.
cat /proc/mdstat
sudo mdadm --detail /dev/md0
lsblk -o NAME,SIZE,TYPE,MOUNTPOINTSSprawna macierz RAID 10 z czterema dyskami wyświetla wynik zbliżony do poniższego.
Personalities : [raid1] [raid10]
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2] nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
bitmap: 0/30 pages [0KB], 65536KB chunk
unused devices: <none>Każda część tego wyniku zawiera informacje.
Personalitieswyświetla moduły md załadowane przez działające jądro. Obecnośćraid10oznacza, że kod jest dostępny, i nic więcej.md0 : active raid10to urządzenie macierzy, jej stan oraz poziom RAID.- Nazwy znajdujące się dalej oznaczają urządzenia członkowskie. Liczba w nawiasach kwadratowych jest indeksem urządzenia w metadanych macierzy, a nie jego pozycją w wierszu i nie zawsze odpowiada jego gnieździe.
- Po wymianie dysku nowy członek zwykle zachowuje indeks wyższy niż gniazdo, które zajmuje, dlatego
nvme4n1p3[4]może znajdować się w gnieździe 2.mdadm --detailwyświetla rzeczywiste gniazdo w kolumnieRaidDevice, więc w razie rozbieżności należy użyć tej wartości. (F)za nazwą członka oznacza uszkodzenie.(S)oznacza urządzenie zapasowe: obecne, bezczynne i oczekujące na awarię innego urządzenia.3906764800 blocks super 1.2oznacza użyteczny rozmiar w blokach 1 KiB, a następnie format metadanych.512K chunks 2 near-copiesoznacza rozmiar fragmentu stripe oraz układ RAID 10, który w tym przypadku przechowuje dwie kopie każdego bloku obok siebie.[4/4]oznacza liczbę członków oczekiwaną przez macierz, a następnie liczbę członków aktualnie zsynchronizowanych.[UUUU]zawiera po jednym znaku dla każdego gniazda, w kolejności gniazd.Uoznacza gniazdo działające i zsynchronizowane._oznacza gniazdo, w którym nie działa żadne urządzenie.bitmap:to bitmapa zamiaru zapisu. Rejestruje obszary, w których trwał zapis, dzięki czemu urządzenie, które wypadło z macierzy i wróciło, synchronizuje te obszary zamiast całego dysku.
Co oznaczają [4/3] i [UU_U], gdy wystąpi problem
Macierz w stanie zdegradowanym wygląda następująco.
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2](F) nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]Oba nawiasy należy odczytywać łącznie. [4/3] informuje, że jeden z czterech slotów nie dostarcza danych. [UU_U] wskazuje który, ponieważ znak podkreślenia jest trzecim znakiem, a sloty są numerowane od zera, więc slot 2 jest niedostępny. Flaga (F) oznacza urządzenie tylko wtedy, gdy uszkodzony dysk pozostaje podłączony. Po wyjęciu go z maszyny nazwa znika z wiersza, ale znak podkreślenia pozostaje.
Macierz nadal obsługuje operacje mimo tego stanu, a w RAID 10 często działa z prędkością zbliżoną do pełnej. Z tego powodu użytkownik zwykle nie zauważa problemu podczas pracy. Potrzebny jest mechanizm, który go zgłosi.
grep -i mailaddr /etc/mdadm/mdadm.conf
sudo mdadm --monitor --scan --oneshot --test
systemctl list-units --all | grep -i mdPakiet mdadm instaluje demona monitorującego, który odczytuje MAILADDR z /etc/mdadm/mdadm.conf. Nazwa jednostki zmieniała się między wydaniami, dlatego należy znaleźć ją za pomocą ostatniego polecenia, zamiast ją zgadywać. Polecenie --test natychmiast wysyła jedną wiadomość dla każdej macierzy. Pusta skrzynka odbiorcza po jego wykonaniu oznacza problem ze ścieżką dostarczania poczty. Wiadomość, na której naprawdę zależy, zostałaby utracona w taki sam sposób.
Podczas odbudowy po wymianie dysku pod macierzą pojawia się wiersz postępu.
md0 : active raid10 nvme4n1p3[4] nvme3n1p3[3] nvme1n1p3[1] nvme0n1p3[0]
3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]
[==>..................] recovery = 12.4% (242012928/1953382400) finish=63.1min speed=452000K/secrecovery oznacza odbudowę na nowym dysku. resync oznacza sprawdzanie spójności, w tym sprawdzanie początkowe oraz odzyskiwanie po nieczystym zamknięciu systemu. check oznacza czyszczenie uruchomione powyżej. Para w nawiasach przedstawia postęp w blokach 1 KiB względem całkowitego rozmiaru urządzenia, a finish to oszacowanie jądra przy bieżącej prędkości. Linux MD używa /proc/sys/dev/raid/speed_limit_min i speed_limit_max jako docelowych prędkości odzyskiwania, z możliwością ustawienia wartości dla poszczególnych macierzy w sync_speed_min i sync_speed_max. Domyślny maksymalny cel wynosi 200,000 KiB/s na urządzenie. Cele te pozwalają ograniczyć priorytet odzyskiwania na rzecz produkcyjnych operacji wejścia-wyjścia i nie są sztywnymi limitami prędkości.
Pełny mdadm --detail podczas odbudowy
/dev/md0:
Version : 1.2
Creation Time : Tue Mar 10 09:14:22 2026
Raid Level : raid10
Array Size : 3906764800 (3.64 TiB 4.00 TB)
Used Dev Size : 1953382400 (1.82 TiB 2.00 TB)
Raid Devices : 4
Total Devices : 4
Persistence : Superblock is persistent
Update Time : Wed Aug 5 11:02:41 2026
State : clean, degraded, recovering
Active Devices : 3
Working Devices : 4
Failed Devices : 0
Spare Devices : 1
Layout : near=2
Chunk Size : 512K
Rebuild Status : 12% complete
Name : storage:0
Events : 4184
Number Major Minor RaidDevice State
0 259 3 0 active sync set-A /dev/nvme0n1p3
1 259 7 1 active sync set-B /dev/nvme1n1p3
4 259 11 2 spare rebuilding /dev/nvme4n1p3
3 259 15 3 active sync set-B /dev/nvme3n1p3Kolumna Number zawiera indeks metadanych wyświetlany w nawiasach w /proc/mdstat. Kolumna RaidDevice zawiera slot, czyli pozycję w ciągu [UU_U]. W tym przypadku wartości się różnią, ponieważ urządzenie 4 zastąpiło dysk zajmujący slot 2. set-A i set-B określają dwie połowy każdego mirroru. Oznacza to, że członek set-A i członek set-B tej samej pary, przechowujące te same dane, nie mogą zostać utracone jednocześnie.
Wymiana dysku w macierzy, którą samodzielnie zarządzasz, wymaga czterech poleceń. Ostatnie z nich służy do sprawdzenia wyniku.
sudo mdadm --manage /dev/md0 --fail /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --remove /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --add /dev/nvme4n1p3
cat /proc/mdstatWiersz odzyskiwania powinien pojawić się w ciągu jednej lub dwóch sekund. Partycja zastępcza musi mieć rozmiar co najmniej taki jak Used Dev Size z mdadm --detail. Partycja nawet nieznacznie mniejsza zostanie odrzucona z komunikatem w rodzaju not large enough to join array. Przed dodaniem nowego dysku należy utworzyć na nim partycje odpowiadające partycjom starego dysku.
Co można, a czego nie można zobaczyć z wnętrza VPS
Większość systemów gości nie widzi macierzy RAID hosta i jest to zamierzone działanie. Hypervisor udostępnia jeden wirtualny dysk. To, czy dysk ten został wydzielony z puli RAID 10 dysków NVMe, czy znajduje się na pojedynczym nośniku, jest właściwością hosta i nie jest widoczne z wnętrza systemu gościa.
systemd-detect-virt
lsblk -d -o NAME,SIZE,ROTA,MODEL
cat /proc/mdstatsystemd-detect-virt wyświetla kvm na gościu KVM, typ kontenera, taki jak lxc, w przypadku kontenera oraz none na serwerze dedykowanym. Na gościu KVM zazwyczaj widoczny jest pojedynczy vda lub sda w lsblk oraz brak macierzy w /proc/mdstat, ponieważ wewnątrz gościa one nie istnieją.
W przypadku VPS opartego na kontenerach odczyt nie jest wiarygodny. Kontenery współdzielą jądro hosta, a części /proc nie są objęte przestrzeniami nazw (namespaced), więc odczytane tam informacje mogą opisywać hosta, a nie przydzielony fragment zasobów. Nie należy traktować tych danych jako faktów dotyczących własnej pamięci masowej. Należy zapytać dostawcę o architekturę i uzyskać odpowiedź na piśmie, jeśli ma to znaczenie.
Z wnętrza systemu można sprawdzić zachowanie przydzielonego dysku. Sprawdzenie, czy dysk VPS faktycznie jest typu NVMe obejmuje polecenia zwracające rzeczywiste dane, a co faktycznie zawiera VPS z dyskiem SSD opisuje, co w rzeczywistości oznacza etykieta na stronie oferty.
Czy należy stosować RAID wewnątrz VPS?
Zazwyczaj nie, a powodem są domeny awarii. Jeśli podłączysz dwa wolumeny do jednego VPS i utworzysz z nich lustro za pomocą mdadm, oba wolumeny mogą znajdować się w tej samej macierzy fizycznej, na tym samym węźle i być zasilane z tego samego zasilacza. Podwoisz koszt każdego zapisu w zamian za redundancję, którą już posiadasz, a mimo to stracisz obie kopie w przypadku wystąpienia kluczowej awarii.
Stosowanie RAID ma sens, gdy dostawca dokumentuje, że wolumeny znajdują się w oddzielnych domenach awarii lub gdy korzystasz z serwera dedykowanego z dyskami, którymi możesz zarządzać. W przeciwnym razie nakład pracy lepiej przeznaczyć na tworzenie kopii zapasowych, które opuszczają daną maszynę.
Przed czym RAID nie chroni
RAID zabezpiecza przed jednym zdarzeniem: awarią dysku. Każda operacja zapisu jest uznawana za poprawną, więc macierz wykonuje ją na wszystkich kopiach i zgłasza stan gotowości.
- Usunięcie danych.
rm -rfw niewłaściwym katalogu lub skrypt wdrażający z niezdefiniowaną zmienną w ścieżce. Macierz traktuje to jako poprawne polecenie zapisu i wykonuje je dwukrotnie. - Ransomware. Szyfrowanie to operacja zapisu. Sprawna macierz zapisuje zaszyfrowaną wersję na obu połowach lustra.
- Błędne działanie aplikacji. Błąd, który zapisuje nieprawidłowe dane w bazie, powiela te same uszkodzenia na dysku nadmiarowym.
- Awaria całego węzła. Awaria hosta lub omyłkowe zawieszenie konta. Macierz może być w pełni sprawna, pozostając jednocześnie niedostępną.
- Błąd użytkownika. Plik usunięty w poniedziałek znika ze wszystkich dysków w tym samym momencie. Jedynie kopia wykonana wcześniej pozwala na jego odzyskanie.
Migawki (snapshots) na tym samym nośniku również nie stanowią rozwiązania. Pomagają w przypadku usunięcia plików, ale giną wraz z macierzą, na której się znajdują. Cechą definiującą kopię zapasową jest jej przechowywanie w innej lokalizacji. Szyfrowane kopie zapasowe poza serwerem z użyciem restic stanowią drugą część tego zagadnienia: macierz zapewnia ciągłość pracy w przypadku awarii dysku, a restic pozwala odzyskać dane, gdy uszkodzenie wynikało z operacji zapisu, którą macierz wykonała zgodnie z instrukcją.
FAQ
Czy RAID 10 oznacza, że kopie zapasowe nie są potrzebne?
Nie. RAID 10 chroni przed awarią dysku. Każda poprawna operacja zapisu jest wykonywana w obu połowach mirroru, dlatego usunięcie danych lub działanie ransomware trafia w tej samej chwili również na redundantny dysk. Po takim zdarzeniu macierz nadal zgłasza prawidłowy stan, ponieważ z jej punktu widzenia nie wystąpiła awaria. Nadal potrzebne są kopie przechowywane poza maszyną. Należy również od czasu do czasu odtworzyć jedną z nich, aby potwierdzić, że można jej użyć.
Dlaczego dostawcy VPS wybierają RAID 10 zamiast RAID 5 lub RAID 6?
Są dwa powody. Oba dotyczą małych losowych operacji zapisu. Niesbuforowana operacja read-modify-write dla pojedynczego bloku odczytuje stare dane i parzystość przed obliczeniem nowej parzystości. Wymaga to 4 operacji w RAID 5 oraz 6 operacji w RAID 6, podczas gdy mirror z dwiema kopiami wymaga 2 operacji. Operacja reconstruct-write wykorzystuje zamiast tego niezmienione dane, a zapis pełnego stripe nie wymaga wcześniejszego odczytu starych danych ani starej parzystości. Pełna odbudowa RAID 5 odczytuje następnie każdy sprawny dysk od początku do końca. Konwencjonalny RAID 10 ze stałymi parami mirrorów kopiuje dane ze sprawnego partnera. Inne układy Linux RAID10 korzystają z wielu członków źródłowych. Linux MD ogranicza szybkość odzyskiwania, gdy wykonywana jest inna aktywność. Dostawcy płacą za tę wydajność pojemnością: połową surowej pojemności NVMe.
Co oznacza [U_] lub [UU_U] w /proc/mdstat?
Każdy znak oznacza jedno miejsce w macierzy. Znaki są uporządkowane według miejsc, po jednym znaku na miejsce. U oznacza, że w danym miejscu znajduje się działający i zsynchronizowany członek macierzy. _ oznacza, że w danym miejscu nie działa żaden członek. [U_] w mirrorze złożonym z dwóch dysków oznacza, że drugi członek jest niedostępny i nie ma już redundancji. Należy odczytywać ten zapis razem z parą znajdującą się przed nim. [4/3] oznacza, że macierz oczekuje czterech członków, a ma trzech. Kolejność miejsc odpowiada kolumnie RaidDevice w mdadm --detail, a nie kolejności, w której nazwy urządzeń pojawiają się w wierszu.
Ile dysków może utracić macierz RAID 10?
W konwencjonalnym RAID 10 z dwiema kopiami i stałymi parami mirrorów: jeden dysk, niezależnie od układu awarii. Później zależy to od miejsca wystąpienia awarii. Każda para mirrorów może utracić jednego z dwóch członków. Macierz z ośmioma dyskami przetrwa więc do czterech awarii, jeśli żadne dwie nie wystąpią w tej samej parze. Przestanie działać po dwóch awariach, jeśli obie wystąpią w tej samej parze. Należy planować przy założeniu gwarantowanej liczby, czyli jednej awarii, a wszystko powyżej tej wartości traktować jako szczęśliwy zbieg okoliczności, a nie ochronę.
Czy należy tworzyć mirror dwóch wolumenów wewnątrz VPS za pomocą mdadm?
Zwykle nie. Dwa wolumeny dołączone do jednego VPS często znajdują się na tej samej fizycznej macierzy na tym samym hoście. Tworzenie mirroru podwaja wtedy koszt każdej operacji zapisu i nie chroni przed niczym, przed czym nie chroni już RAID hosta. Warto to robić tylko wtedy, gdy dostawca potwierdza, że wolumeny znajdują się w oddzielnych domenach awarii. W przeciwnym razie lepiej przeznaczyć ten wysiłek na kopie zapasowe opuszczające maszynę.