Что такое RAID 10 и зачем он нужен для VPS

Что такое RAID 10 и почему его используют хостинг-провайдеры VPS

RAID 10 — это схема хранения, которую большинство хостинг-провайдеров VPS используют под виртуализированными дисками NVMe (non-volatile memory express). В стандартной схеме с двумя копиями каждый диск зеркалируется на парный диск, а затем данные распределяются между этими зеркальными парами. Один диск может выйти из строя, не остановив массив. Восстановление выполняется обычным копированием с исправного диска, а не пересчётом, для которого требуется чтение всех остальных дисков в массиве.

RAID означает redundant array of independent disks. Его задача — сохранить работу машины, пока диск неисправен или заменяется. Это обеспечивает доступность, но не безопасность данных.

RAID реплицирует записи. rm -rf /srv — это запись. Обе половины зеркала удаляют каталог в одну и ту же миллисекунду, а массив после этого по-прежнему сообщает, что он исправен.

Запомните это предложение. В остальной части страницы описано, какие сбои переживает каждый уровень RAID и во что каждый из них обходится при каждой записи. В последних разделах приведены команды для проверки состояния массива на принадлежащей вам машине и описан сбой, от которого RAID никогда не защищал.

Уровни RAID, с которыми реально сталкивается покупатель хостинга: 1, 5, 6 и 10

На странице тарифа обычно указано только число. Оно отвечает на два вопроса: сколько дисков могут выйти из строя и чего стоит каждая операция записи.

RAID 1 — это зеркалирование. Два диска содержат одинаковые блоки. Каждая запись выполняется на оба диска. Читать данные можно с любого диска. Один диск может выйти из строя без потери данных, а доступна половина исходной ёмкости. Вычислять контрольные данные не нужно, поэтому путь записи короткий.

RAID 5 — это чередование блоков с одним блоком чётности в каждой полосе. При n дисках доступна ёмкость n-1 дисков, а массив переживает отказ ровно одного диска. Данные чётности не хранятся на одном выделенном диске. Они распределяются по всем дискам, поэтому каждый диск содержит и данные, и данные чётности.

RAID 6 добавляет в каждую полосу второй независимый блок чётности, обычно обозначаемый P и Q. Такой массив переживает одновременный отказ любых двух дисков. Это важнее, чем может показаться, потому что второй отказ чаще всего происходит во время восстановления после первого.

RAID 10 — это чередование зеркальных пар. Диски объединяются в зеркальные пары, а данные распределяются между парами. Доступная ёмкость составляет половину общей исходной ёмкости, как в RAID 1, но дополнительно используется параллелизм чередования.

Также используется обозначение RAID 1+0. Оно точно описывает порядок: сначала создаются зеркала, затем данные распределяются между ними. RAID 0+1 использует обратный порядок: сначала создаётся чередование, затем две полосы зеркалируются. Этот вариант хуже, потому что отказ одного диска выводит из работы целую полосу, а восстановление требует копировать всю вторую сторону.

Linux — отдельный случай, который стоит знать. Ядро использует raid10 как единую схему, а не как два наложенных уровня, поэтому такая конфигурация работает с нечётным числом дисков и поддерживает схемы (near, far, offset), которые нельзя выразить во вложенной конфигурации. Поэтому в строке состояния Linux-сервера указано 2 near-copies, а не названия двух массивов.

[
  {
    "label": "RAID 1 (eight copies)",
    "usable_tb": 1,
    "worst_case_drives_lost": 7,
    "best_case_drives_lost": 7
  },
  {
    "label": "RAID 5",
    "usable_tb": 7,
    "worst_case_drives_lost": 1,
    "best_case_drives_lost": 1
  },
  {
    "label": "RAID 6",
    "usable_tb": 6,
    "worst_case_drives_lost": 2,
    "best_case_drives_lost": 2
  },
  {
    "label": "RAID 10",
    "usable_tb": 4,
    "worst_case_drives_lost": 1,
    "best_case_drives_lost": 4
  }
]

Восемь дисков по 1 TB дают 7 TB доступного пространства в RAID 5 и 4 TB в RAID 10. Эта разница выражается в реальных затратах, поэтому варианты с чётностью предлагают так часто. RAID 6 переживает 2 отказов при любой схеме отказа. RAID 10 гарантирует только 1, потому что опасен второй отказ диска, который образует пару с уже вышедшим из строя диском. Массив переживает до 4 отказов, если отказы не затрагивают одну пару, но это везение, а не свойство конструкции.

Стоимость каждой записи для разных уровней

Запись в mirror — это две операции записи, которые одновременно выполняются на обоих дисках. Запись в stripe с parity требует больше операций, потому что блок parity для этого stripe становится некорректным, и его нужно пересчитать.

При использовании read-modify-write контроллер сначала считывает старые данные и старый parity. Поэтому некэшированная перезапись одного блока в RAID 5 превращается в последовательность read, read, write, write. RAID 6 поддерживает два блока parity, поэтому read-modify-write превращается в read, read, read, write, write, write. Linux также использует reconstruct-write и считывает неизменённые данные для вычисления parity. В RAID 5 с тремя дисками такая перезапись может потребовать одной операции чтения данных и двух операций записи; в RAID 6 с четырьмя дисками — одной операции чтения данных и трёх операций записи. Значения four и six — это количество операций read-modify-write, а не фиксированная стоимость каждой небольшой операции произвольной записи.

[
  {
    "label": "RAID 1 (2 drives)",
    "write_ops_per_host_write": 2,
    "drives_read_to_rebuild": 1
  },
  {
    "label": "RAID 5 (8 drives)",
    "write_ops_per_host_write": 4,
    "drives_read_to_rebuild": 7
  },
  {
    "label": "RAID 6 (8 drives)",
    "write_ops_per_host_write": 6,
    "drives_read_to_rebuild": 7
  },
  {
    "label": "RAID 10 (8 drives, fixed mirror pairs)",
    "write_ops_per_host_write": 2,
    "drives_read_to_rebuild": 1
  }
]

Некэшированная операция read-modify-write для одного блока требует 6 операций с устройствами в RAID 6. Для такой же перезаписи в двухкопийном RAID 10 требуется 2 операций. Эти значения занижают различие в задержке. Две операции записи в mirror выполняются параллельно, поэтому гостевая система ждёт более медленный из двух дисков. При read-modify-write сначала должна завершиться операция чтения, чтобы можно было вычислить новый parity, а затем выполняется запись. Поэтому гостевая система ждёт чтения и последующей записи. На занятом хосте эта операция чтения встаёт в очередь за операциями ввода-вывода других клиентов.

Есть важное исключение. Запись, достаточно большая для заполнения всего stripe, не требует старых данных, поскольку заменяются все блоки stripe. Parity вычисляется из данных, уже находящихся в памяти, и накладные расходы снижаются до одной операции записи parity на stripe для RAID 5 или двух для RAID 6. Предварительное чтение не требуется. Поэтому RAID 5 хорошо показывает себя в последовательном тесте и плохо работает при смешанной нагрузке с небольшими операциями записи от множества клиентов. Тестируйте фактический рабочий профиль: как правильно тестировать диск VPS означает выполнение операций произвольного ввода-вывода при реалистичной глубине очереди, а не одной большой операции dd.

Почему восстановление является опасным этапом

При полном восстановлении RAID 5 отсутствующий диск нужно воссоздать по данным на остальных дисках. Поэтому в примере с восемью дисками массив считывает 7 исправных дисков от первого блока до последнего. При фиксированных парах зеркал восстановление RAID 10 считывает 1: диск-партнёр отказавшего диска и больше ничего. В других схемах Linux RAID10 копии распределяются иначе: восстановление участника трёхдисковой near-схемы считывает оба оставшихся участника.

Из этого следуют две проблемы. Первая — время, поскольку длительность восстановления ограничена скоростью оставшихся дисков, объёмом операций реконструкции и заданными целями скорости восстановления. Вторая — нагрузка. При восстановлении массива с чётностью операции ввода-вывода распределяются между исправными дисками. При фиксированных парах зеркал восстановление RAID 10 концентрирует эту нагрузку на одной паре, но общие ресурсы контроллера и хоста по-прежнему влияют на остальные пары.

В этом же окне существует риск нарушения целостности данных. Массив RAID 5 с одним отказавшим диском больше не имеет избыточности. Поэтому нечитаемый сектор на любом исправном диске уже невозможно восстановить. Восстановление — единственная операция, которая считывает каждый сектор, включая те, к которым никто не обращался в течение года. Согласно опубликованным данным из спецификаций, для потребительского жёсткого диска возможна примерно одна неисправимая ошибка чтения на 10^14 считанных битов, а для корпоративного NVMe-диска — одна на 10^17 или реже. Это спецификации производителей, а не результаты измерений. Однако такое соотношение объясняет, почему старое предупреждение о возможном отказе восстановления RAID 5 относилось к большим вращающимся дискам и почему для NVMe оно значительно менее актуально. Аргумент о нагрузке применим к любому носителю.

Обнаруживайте скрытые ошибки до восстановления с помощью scrub. Debian и Ubuntu поставляются с периодическим scrub для массивов md, но механизм различается между выпусками. Поэтому сначала проверьте, какой вариант используется в вашей системе, а затем вручную запустите проверку.

systemctl list-timers --all | grep -i mdcheck
ls -l /etc/cron.d/mdadm
echo check | sudo tee /sys/block/md0/md/sync_action
cat /sys/block/md0/md/mismatch_cnt

sync_action возвращается к idle после завершения проверки, а mismatch_cnt должно иметь значение 0. Значение больше нуля для зеркала означает, что две половины не совпадают и ядро не может определить, какая из них правильная, поскольку ни одна копия не содержит контрольной суммы. Некоторые расхождения безвредны. Обычно их источником являются swap-разделы: ядро может записывать страницу, содержимое которой изменилось в процессе операции. Растущее значение для массива с данными требует расследования. Само это значение не позволяет определить, какой диск нужно заменить.

Почему провайдеры VPS выбирают RAID 10 для NVMe

Гипервизорный узел не обслуживает одну рабочую нагрузку. На нём работают десятки независимых гостевых систем, а их операции ввода-вывода поступают вперемешку в виде потока небольших записей без локальности. Именно при таком шаблоне цикл чтения, изменения и записи для parity создаёт наибольшие накладные расходы. На общем узле такой шаблон сохраняется весь день.

Характер восстановления дополнительно определяет выбор. Отказ диска в узле с parity добавляет операции реконструкции на всех оставшихся дисках. При фиксированных зеркальных парах отказ диска на узле с RAID 10 добавляет операции восстановления только для одной пары, а Linux MD замедляет восстановление, когда одновременно выполняется другая нагрузка. Провайдеры продают стабильную задержку без резких скачков, поэтому платят за неё ёмкостью: половина исходной ёмкости NVMe используется под зеркало.

Размер дисков также влияет на выбор. Чем больше диски, тем дольше длится восстановление. В RAID 5 этот период сопровождается дополнительной нагрузкой из-за реконструкции, при этом избыточность отсутствует. RAID 6 сохраняет защиту ещё от одного отказа диска. По этой же причине в развёртываниях ZFS для виртуализации используют пулы из зеркальных vdev, а не широкие raidz: resilver для зеркала копирует только фактически используемые блоки и выполняется в одной паре.

Это не означает, что RAID 10 подходит для любой задачи. На целевой системе резервного копирования данные записываются длинными последовательными участками и редко читаются, поэтому RAID 6 выгоднее. Он переживает два отказа и возвращает большую часть доступной ёмкости. Выбор определяет рабочая нагрузка, а не количество дисков. Для конфигурации, которую вы выбираете сегодня, тип носителя обычно важнее расположенной поверх него схемы хранения, а переход с SATA SSD на NVMe даёт больший выигрыш, чем любая разница между схемами RAID на любом из этих носителей.

Как читать /proc/mdstat

Выполняйте эти команды на машине со своим массивом: на выделенном сервере, домашнем компьютере или VPS с двумя подключёнными томами, которые вы собрали самостоятельно. Анализируйте собственный вывод. Приведённые ниже блоки — примеры, записанные полностью, чтобы вы могли сопоставить с ними структуру своего вывода.

cat /proc/mdstat
sudo mdadm --detail /dev/md0
lsblk -o NAME,SIZE,TYPE,MOUNTPOINTS

Работоспособный RAID 10 из четырёх дисков выводит примерно такую информацию.

Personalities : [raid1] [raid10]
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2] nvme1n1p3[1] nvme0n1p3[0]
      3906764800 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Каждая её часть имеет значение.

• Personalities перечисляет модули md, загруженные работающим ядром. Наличие raid10 означает только то, что код доступен.
• md0 : active raid10 содержит имя устройства массива, его состояние и уровень.
• Имена после него обозначают устройства-участники. Число в квадратных скобках — это индекс устройства в метаданных массива, а не его положение в строке и не всегда его слот.
• После замены диска новый участник обычно получает индекс выше слота, который он занимает, поэтому nvme4n1p3[4] может находиться в слоте 2. mdadm --detail выводит настоящий слот в столбце RaidDevice, поэтому при необходимости ориентируйтесь на него.
• (F) после имени участника означает, что устройство неисправно. (S) означает spare: устройство присутствует, но бездействует и ожидает отказа другого устройства.
• 3906764800 blocks super 1.2 — доступный размер в блоках по 1 KiB, затем указан формат метаданных.
• 512K chunks 2 near-copies — размер stripe chunk и схема RAID 10. В данном случае она хранит две копии каждого блока рядом друг с другом.
• [4/4] — количество участников, которое ожидает массив, затем количество участников, находящихся в синхронизации.
• [UUUU] — по одному символу на слот в порядке слотов. U означает, что слот работает и синхронизирован. _ означает, что в слоте нет работающего устройства.
• bitmap: — write intent bitmap. Он записывает регионы, в которые выполнялась запись, поэтому после отключения и повторного подключения участника синхронизируются только эти регионы, а не весь диск.

Что означают [4/3] и [UU_U] при неисправности

Деградированный массив выглядит так.

md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2](F) nvme1n1p3[1] nvme0n1p3[0]
      3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]

Читайте эти две пары скобок вместе. [4/3] сообщает, что один из четырёх слотов не участвует в работе. [UU_U] указывает какой именно: символ подчёркивания стоит третьим, а нумерация слотов начинается с нуля, поэтому слот 2 отключён. Флаг (F) обозначает устройство только пока отказавший диск подключён. После извлечения диска из машины его имя исчезает из строки, а символ подчёркивания остаётся.

Массив продолжает обслуживать запросы. RAID 10 часто работает почти с полной скоростью, поэтому отказ не всегда заметен по производительности. Необходим механизм, который сообщит о проблеме.

grep -i mailaddr /etc/mdadm/mdadm.conf
sudo mdadm --monitor --scan --oneshot --test
systemctl list-units --all | grep -i md

Пакет mdadm устанавливает daemon мониторинга. Он считывает MAILADDR из /etc/mdadm/mdadm.conf. Имя unit менялось между релизами, поэтому найдите его с помощью последней команды, а не подбирайте наугад. Команда --test немедленно отправляет по одному сообщению для каждого массива. Если после неё сообщение не появилось во входящих, значит, неисправен путь доставки почты. В таком случае нужное вам сообщение потерялось бы по той же причине.

При восстановлении после замены под массивом появляется строка с прогрессом.

md0 : active raid10 nvme4n1p3[4] nvme3n1p3[3] nvme1n1p3[1] nvme0n1p3[0]
      3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]
      [==>..................]  recovery = 12.4% (242012928/1953382400) finish=63.1min speed=452000K/sec

recovery — восстановление массива на заменяющий диск. resync — проверка согласованности, включая первоначальную проверку и восстановление после некорректного завершения работы. check — проверка, которую вы запустили выше. Пара в скобках показывает прогресс в блоках по 1 KiB относительно общего количества блоков на устройстве, а finish — оценку ядра при текущей скорости. Linux MD использует /proc/sys/dev/raid/speed_limit_min и speed_limit_max как целевые значения скорости восстановления. Для каждого массива их можно переопределить через sync_speed_min и sync_speed_max. Максимальное значение по умолчанию — 200,000 KiB/s на устройство. Эти параметры позволяют снизить приоритет восстановления при наличии производственных операций ввода-вывода. Они не являются жёсткими ограничениями скорости.

/dev/md0:
           Version : 1.2
     Creation Time : Tue Mar 10 09:14:22 2026
        Raid Level : raid10
        Array Size : 3906764800 (3.64 TiB 4.00 TB)
     Used Dev Size : 1953382400 (1.82 TiB 2.00 TB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Wed Aug  5 11:02:41 2026
             State : clean, degraded, recovering
    Active Devices : 3
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 1

            Layout : near=2
        Chunk Size : 512K

    Rebuild Status : 12% complete

              Name : storage:0
            Events : 4184

    Number   Major   Minor   RaidDevice State
       0     259        3        0      active sync set-A   /dev/nvme0n1p3
       1     259        7        1      active sync set-B   /dev/nvme1n1p3
       4     259       11        2      spare rebuilding    /dev/nvme4n1p3
       3     259       15        3      active sync set-B   /dev/nvme3n1p3

Замена диска в принадлежащем вам массиве выполняется четырьмя командами. Последняя команда выполняет проверку.

sudo mdadm --manage /dev/md0 --fail /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --remove /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --add /dev/nvme4n1p3
cat /proc/mdstat

Строка восстановления должна появиться через одну-две секунды. Раздел на заменяющем диске должен быть не меньше значения Used Dev Size из mdadm --detail. Даже немного меньший раздел будет отклонён с сообщением вида not large enough to join array. Перед добавлением нового диска создайте на нём раздел такого же размера, как на старом.

Что можно и чего нельзя увидеть изнутри VPS

Большинство гостевых систем не видят RAID хоста, и это предусмотрено архитектурой. Гипервизор предоставляет вам один виртуальный диск. Является ли этот диск частью RAID 10 из NVMe-накопителей или расположен на одном физическом диске — это свойство хоста, которое не отображается внутри вашей гостевой системы.

systemd-detect-virt
lsblk -d -o NAME,SIZE,ROTA,MODEL
cat /proc/mdstat

systemd-detect-virt выводит kvm на KVM-госте, тип контейнера, например lxc, в контейнере и none на «железе» (bare metal). На KVM-госте вы обычно видите один vda или sda в lsblk, а массивы в /proc/mdstat отсутствуют, так как внутри гостевой системы их нет.

На VPS, работающем на базе контейнеров, показаниям нельзя доверять. Контейнеры используют общее ядро хоста, и части /proc не изолированы через пространства имён (namespaced), поэтому прочитанные данные могут описывать хост, а не ваш сегмент. Не считайте это фактом о вашем хранилище. Уточните конфигурацию у провайдера и, если это важно, получите ответ в письменном виде.

Изнутри можно проверить поведение предоставленного вам диска. В проверке того, является ли диск вашего VPS действительно NVMe описаны команды, которые показывают реальные данные, а в том, что на самом деле включает в себя SSD VPS разобрано, что именно подразумевается под описанием тарифного плана.

Стоит ли использовать RAID внутри VPS?

Обычно нет, и причина заключается в доменах отказа. Если вы подключаете два тома к одному VPS и объединяете их в зеркало с помощью mdadm, оба тома могут находиться на одном физическом массиве, на одном узле, за одним блоком питания. Вы удвоите стоимость каждой операции записи ради избыточности, которая у вас уже была, и при этом потеряете обе копии при возникновении единственного критического сбоя.

Это имеет смысл, когда провайдер документирует, что тома находятся в разных доменах отказа, или когда вы используете выделенный сервер с дисками, которыми можете управлять напрямую. В противном случае усилия лучше направить на создание копий, которые покидают пределы этой машины.

От чего RAID не защищает

RAID покрывает только один сценарий: выход диска из строя. Любая операция записи считается корректной, поэтому массив применяет её ко всем копиям и сообщает, что состояние системы в норме.

• Удаление. rm -rf в неверном каталоге или скрипт развертывания с не заданными переменными в пути. Массив воспринимает это как легитимную операцию записи и выполняет её дважды.
• Программы-вымогатели. Шифрование — это запись данных. Исправный массив сохранит зашифрованную версию на обеих сторонах зеркала.
• Ошибки в приложении. Ошибка, из-за которой в базу данных записывается «мусор», приведет к записи того же «мусора» на резервный диск.
• Отказ всего узла. Выход хоста из строя или ошибочная блокировка учетной записи. Массив может быть в идеальном состоянии, но при этом недоступен.
• Ваши собственные действия через неделю. Файл, удаленный в понедельник, исчезает со всех дисков в тот же понедельник. Вернуть его можно только из копии, сделанной ранее.

Снимки (snapshots) на том же хранилище также не являются решением. Они помогают при случайном удалении, но погибают вместе с массивом, на котором находятся. Свойство, которое делает резервную копию именно резервной копией — это её нахождение в другом месте. Зашифрованные резервные копии вне сервера с помощью restic — это вторая часть данной страницы: массив позволяет продолжать работу при выходе из строя диска, а restic восстанавливает данные, когда повреждение было вызвано операцией записи, которую массив выполнил без ошибок.

FAQ

Означает ли RAID 10, что резервные копии не нужны?

Нет. RAID 10 защищает от отказа диска. Каждая корректная операция записи применяется к обеим половинам зеркала, поэтому удаление данных или запуск ransomware одновременно достигает и резервного диска. После этого массив сообщает, что работает нормально, поскольку с его точки зрения отказа не произошло. Вам по-прежнему нужны копии, хранящиеся вне сервера, и их необходимо время от времени восстанавливать, чтобы проверять работоспособность.

Почему провайдеры VPS выбирают RAID 10, а не RAID 5 или RAID 6?

По двум причинам, связанным со случайными операциями записи небольшого объёма. Некэшированная операция read-modify-write для одного блока сначала считывает старые данные и чётность, а затем вычисляет новую чётность. Поэтому для RAID 5 требуется 4 операций, для RAID 6 — 6, а для зеркала с двумя копиями — 2. При операции reconstruct-write используются неизменённые данные. При записи полной stripe предварительно считывать старые данные или старую чётность не требуется. Полное восстановление RAID 5 затем считывает все сохранившиеся диски от начала до конца. Обычный RAID 10 с фиксированными парами зеркал копирует данные с сохранившегося диска-партнёра. В других схемах Linux RAID10 используются несколько исходных дисков. Linux MD снижает скорость восстановления, когда выполняются другие операции. Провайдеры платят за это ёмкостью: половиной исходного объёма NVMe.

Что означает [U_] или [UU_U] в /proc/mdstat?

Каждый символ обозначает один слот массива в порядке слотов. Для каждого слота используется один символ. U означает, что слот содержит работающий синхронизированный компонент массива. _ означает, что в слоте нет работающего компонента. [U_] в зеркале из двух дисков означает, что второй слот недоступен и избыточности больше нет. Интерпретируйте это значение вместе с парой символов перед ним: [4/3] означает, что массив ожидает четыре компонента, из которых доступны три. Порядок слотов соответствует столбцу RaidDevice в mdadm --detail, а не порядку появления имён устройств в строке.

Сколько дисков может потерять массив RAID 10?

Обычный RAID 10 с двумя копиями и фиксированными парами зеркал может потерять один диск при любом расположении отказа. После этого всё зависит от того, в какие пары приходятся отказы. Каждая пара зеркал может потерять один из двух компонентов. Поэтому массив из восьми дисков переживает до четырёх отказов, если отказы не приходятся на одну пару, и выходит из строя уже при двух отказах, если оба затрагивают одну пару. Планируйте систему исходя из гарантированного числа отказов — одного. Всё сверх этого следует считать удачным совпадением, а не защитой.

Следует ли зеркалировать два тома внутри VPS с помощью mdadm?

Обычно нет. Два тома, подключённые к одному VPS, часто находятся на одном физическом массиве одного хоста. В этом случае их зеркалирование удваивает стоимость каждой операции записи и не защищает от того, от чего уже не защищает собственный RAID хоста. Это имеет смысл только тогда, когда провайдер документально подтверждает размещение томов в разных доменах отказа. В противном случае лучше направить эти усилия на резервные копии, которые хранятся вне сервера.