Что такое RAID 10 и зачем он нужен для VPS

Что такое RAID 10 и почему хостинг-провайдеры VPS используют его

RAID 10 — это схема организации хранилища, которую большинство хостинг-провайдеров VPS используют для виртуализированных NVMe (non-volatile memory express) накопителей. Она зеркалирует каждый диск на парный, а затем чередует данные между этими зеркальными парами. Один диск может выйти из строя без остановки работы массива, а восстановление представляет собой простое копирование данных с уцелевшего партнера, а не перерасчет, требующий чтения всех остальных дисков в наборе.

RAID расшифровывается как избыточный массив независимых дисков. У него одна задача: поддерживать работу сервера, пока диск неисправен или находится в процессе замены. Эта задача — обеспечение доступности, а доступность не означает сохранность данных.

RAID реплицирует ваши операции записи. rm -rf /srv — это операция записи. Обе половины зеркала удаляют каталог в одну и ту же миллисекунду, и после этого массив по-прежнему сообщает, что он исправен.

Запомните это предложение. В остальной части этой страницы рассматривается, какие сбои выдерживает каждый уровень и во сколько он обходится при каждой операции записи. Последние разделы содержат команды для чтения состояния массива на вашем собственном оборудовании, а также описывают угрозы, от которых RAID никогда не защищал.

Уровни RAID, с которыми реально сталкивается покупатель хостинга: 1, 5, 6 и 10

На странице с тарифным планом обычно указывается только число. Это число отвечает на два вопроса: сколько дисков может выйти из строя и какова стоимость каждой операции записи.

RAID 1 — это зеркалирование. Два диска содержат идентичные блоки данных. Каждая запись дублируется на оба диска. Чтение может выполняться с любого из них. Выход из строя одного диска не приводит к потере данных, при этом доступна половина суммарной ёмкости. Вычисление контрольных сумм не требуется, поэтому путь записи короткий.

RAID 5 — это чередование с одним блоком чётности на страйп. При использовании n дисков вы получаете ёмкость n-1 дисков, а массив выдерживает отказ ровно одного накопителя. Данные чётности не хранятся на выделенном диске. Они распределяются по всем дискам, поэтому каждый накопитель содержит как данные, так и контрольные суммы.

RAID 6 добавляет второй независимый блок чётности к каждому страйпу, обычно обозначаемый как P и Q. Массив выдерживает одновременный выход из строя любых двух дисков. Это важнее, чем кажется, так как второй отказ чаще всего происходит именно во время восстановления после первого.

RAID 10 — это страйп из зеркал. Диски объединяются в зеркальные пары, а данные распределяются между этими парами. Полезная ёмкость составляет половину от общей, как и в RAID 1, но с преимуществом в виде параллелизма, обеспечиваемого страйпингом.

Вы также можете встретить обозначение RAID 1+0, которое является более точным описанием: сначала зеркалирование, затем страйпинг поверх зеркал. RAID 0+1 — это обратный порядок: сначала страйпинг, затем зеркалирование двух страйпов. Этот вариант хуже, так как выход из строя одного диска выводит из строя целый страйп, и при восстановлении приходится копировать содержимое всей второй стороны.

Linux представляет собой особый случай, о котором стоит знать. Реализация raid10 в ядре является единой сущностью, а не двумя наложенными слоями. Она работает с нечётным количеством дисков и поддерживает топологии (near, far, offset), которые невозможно реализовать вложенной схемой. Именно поэтому в строке состояния на сервере Linux отображается 2 near-copies, а не названия двух массивов.

[
  {
    "label": "RAID 1 (four mirrored pairs)",
    "usable_tb": 4,
    "worst_case_drives_lost": 1,
    "best_case_drives_lost": 4
  },
  {
    "label": "RAID 5",
    "usable_tb": 7,
    "worst_case_drives_lost": 1,
    "best_case_drives_lost": 1
  },
  {
    "label": "RAID 6",
    "usable_tb": 6,
    "worst_case_drives_lost": 2,
    "best_case_drives_lost": 2
  },
  {
    "label": "RAID 10",
    "usable_tb": 4,
    "worst_case_drives_lost": 1,
    "best_case_drives_lost": 4
  }
]

Восемь дисков по 1 TB дают 7 TB полезного пространства в RAID 5 и 4 TB в RAID 10. Эта разница — реальные деньги, поэтому RAID с контролем чётности продолжают предлагать. RAID 6 выдерживает 2 отказа при любой комбинации. RAID 10 гарантирует только 1, так как опасным является второй отказ, который приходится на «партнёра» уже вышедшего из строя диска. Он выдерживает до 4 отказов, если ни один из них не затрагивает одну и ту же пару, но это скорее удача, чем конструктивная особенность.

Стоимость операций записи для каждого уровня RAID

Запись в зеркало (mirror) состоит из двух операций записи, выполняемых одновременно для обоих участников. Запись в полосу с контролем четности (parity stripe) требует больше ресурсов, так как существующий блок четности для этой полосы становится неактуальным и его необходимо пересчитать.

Контроллер не может пересчитать контрольную сумму, имея только новый блок данных. Сначала ему требуются старый блок данных и старый блок четности. Таким образом, одна небольшая случайная запись в RAID 5 превращается в последовательность: чтение, чтение, запись, запись. В RAID 6 необходимо поддерживать второй синдром, поэтому та же операция записи превращается в чтение, чтение, чтение, запись, запись, запись.

[
  {
    "label": "RAID 1 (2 drives)",
    "write_ops_per_host_write": 2,
    "drives_read_to_rebuild": 1
  },
  {
    "label": "RAID 5 (8 drives)",
    "write_ops_per_host_write": 4,
    "drives_read_to_rebuild": 7
  },
  {
    "label": "RAID 6 (8 drives)",
    "write_ops_per_host_write": 6,
    "drives_read_to_rebuild": 7
  },
  {
    "label": "RAID 10 (8 drives)",
    "write_ops_per_host_write": 2,
    "drives_read_to_rebuild": 1
  }
]

Небольшая случайная запись требует 6 операций с устройством в RAID 6 и 2 в RAID 10. Эти значения не полностью отражают разницу в задержках. Две операции записи в зеркало выполняются параллельно, поэтому гостевая система ожидает завершения более медленной из них. Путь записи с контролем четности включает операцию чтения, которая должна завершиться до вычисления новой контрольной суммы, поэтому гостевая система ожидает завершения чтения, а затем записи, последовательно. На нагруженном хосте эта операция чтения встает в очередь после операций ввода-вывода других процессов.

Существует важное исключение. Запись, размер которой достаточен для заполнения всей полосы, не требует старых данных, так как каждый блок в полосе заменяется целиком. Контрольная сумма вычисляется на основе данных, уже находящихся в оперативной памяти, и стоимость операции снижается до одной дополнительной записи. Именно поэтому RAID 5 показывает хорошие результаты в тестах последовательного чтения/записи, но работает медленно при смешанной нагрузке с множеством мелких операций записи от разных арендаторов. Тестируйте тот шаблон нагрузки, который вы используете на самом деле: правильное тестирование диска VPS подразумевает случайный ввод-вывод с реалистичной глубиной очереди, а не одну большую операцию dd.

Почему пересборка — это опасный этап

При пересборке массива с контролем четности система восстанавливает данные отсутствующего диска на основе всех остальных, поэтому она считывает 7 оставшихся в строю дисков от первого блока до последнего. Пересборка RAID 10 считывает 1: только зеркальную пару вышедшего из строя диска, и больше ничего.

Из этого следуют два негативных фактора. Первый — время, так как скорость пересборки ограничена самым медленным из исправных дисков и дополнительными вычислениями контрольных сумм. Второй — нагрузка. Каждый диск в массиве с контролем четности занят в течение всего процесса, поэтому все гостевые системы на этом узле будут испытывать повышенные задержки до завершения операции. В RAID 10 занята только одна пара, а остальные продолжают работать в обычном режиме.

В этот же период возникает риск нарушения целостности данных. Массив RAID 5 с одним вышедшим из строя диском теряет избыточность, поэтому любой нечитаемый сектор на оставшихся дисках становится невосстановимым. Пересборка — это операция, которая считывает каждый сектор, включая те, к которым никто не обращался целый год. Согласно спецификациям производителей, потребительские жесткие диски допускают одну неисправимую ошибку чтения на 10^14 бит, а корпоративные NVMe-накопители — одну на 10^17 или лучше. Это скорее заявленные характеристики, чем результаты измерений, но соотношение объясняет, почему старое предупреждение о неизбежном сбое пересборки RAID 5 писалось применительно к большим HDD и почему оно гораздо менее актуально для NVMe. Аргумент о нагрузке остается верным для любого носителя.

Выявляйте скрытые ошибки до начала пересборки с помощью процедуры scrubbing. В Debian и Ubuntu предусмотрена периодическая проверка md-массивов, но механизм различается в зависимости от версии, поэтому проверьте текущую конфигурацию и при необходимости запустите проверку вручную.

systemctl list-timers --all | grep -i mdcheck
ls -l /etc/cron.d/mdadm
echo check | sudo tee /sys/block/md0/md/sync_action
cat /sys/block/md0/md/mismatch_cnt

sync_action возвращается к idle после завершения проверки, а mismatch_cnt должно содержать 0. Значение выше нуля для зеркала означает, что данные в двух половинах не совпадают, и ядро не может определить, какая из них верна, так как ни одна копия не содержит контрольной суммы. Некоторые несовпадения безвредны, и обычно их источником являются разделы подкачки: ядро может записать страницу, которая меняется в процессе. Растущее число ошибок на массиве с данными — это сигнал к замене диска.

Почему провайдеры VPS стандартизируют RAID 10 для NVMe

Узел гипервизора не выполняет одну рабочую нагрузку. Он запускает десятки несвязанных гостевых систем, и их операции ввода-вывода поступают вперемешку в виде потока мелких записей без какой-либо локальности между ними. Это именно тот шаблон, при котором цикл «чтение-модификация-запись» с использованием четности обходится дороже всего, и именно с таким шаблоном общий узел работает постоянно.

Добавьте к этому поведение при восстановлении, и выбор станет очевиден. Выход из строя диска на узле с четностью замедляет работу каждого гостя на сервере на несколько часов. Выход из строя диска в RAID 10 замедляет только одну пару, а копирование данных выполняется последовательно на скорости диска. Провайдеры продают низкую задержку без скачков, поэтому они покупают её ценой емкости: половина «сырого» объема NVMe уходит на зеркалирование.

Размеры дисков подталкивают к тому же решению. По мере увеличения объема дисков время восстановления возрастает, а при использовании четности это время является периодом, когда всё работает медленно и данные ничем не защищены. По этой же причине в развертываниях ZFS для виртуализации используются пулы из зеркалированных vdev вместо широких raidz: при «ресильверинге» зеркала копируются только фактически используемые блоки на одной паре дисков.

Всё это не делает RAID 10 универсально верным решением. На целевое хранилище для резервных копий данные записываются длинными последовательными потоками и читаются редко, поэтому RAID 6 там будет более выгодным вариантом. Он выдерживает два отказа и возвращает большую часть емкости. Решение определяет рабочая нагрузка, а не цифры. Для плана, который вы выбираете сегодня, тип носителя обычно важнее, чем схема размещения данных поверх него, и переход с SATA SSD на NVMe дает больший прирост, чем любая разница в конфигурациях RAID.

Как читать /proc/mdstat

Выполните эти команды на машине, где у вас есть доступ к массиву: на выделенном сервере, домашнем компьютере или VPS с двумя подключенными томами, которые вы собрали самостоятельно. Прочитайте вывод своей системы. Приведенные ниже блоки — это примеры, оформленные так, чтобы вы могли сопоставить их с тем, что видите у себя.

cat /proc/mdstat
sudo mdadm --detail /dev/md0
lsblk -o NAME,SIZE,TYPE,MOUNTPOINTS

Исправный RAID 10 из четырех дисков выводит что-то похожее на это.

Personalities : [raid1] [raid10]
md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2] nvme1n1p3[1] nvme0n1p3[0]
      3906764800 blocks super 1.2 512K chunks 2 near-copies [4/4] [UUUU]
      bitmap: 0/30 pages [0KB], 65536KB chunk

unused devices: <none>

Каждая часть этого вывода несет информацию.

• Personalities перечисляет md-модули, загруженные в текущем ядре. Появление raid10 означает лишь то, что код доступен.
• md0 : active raid10 — это устройство массива, его состояние и уровень RAID.
• Имена после этого — участники массива. Число в квадратных скобках — это индекс устройства в метаданных массива, а не его позиция в строке и не всегда его физический слот.
• После замены диска новый участник обычно получает индекс выше, чем слот, который он занимает, поэтому nvme4n1p3[4] может находиться в слоте 2. mdadm --detail выводит реальный слот в столбце RaidDevice, используйте его, когда разница имеет значение.
• (F) после участника означает неисправность. (S) означает резерв (spare): диск присутствует, простаивает и ждет сбоя другого устройства.
• 3906764800 blocks super 1.2 — полезный объем в блоках по 1 KiB, затем формат метаданных.
• 512K chunks 2 near-copies — размер чанка (stripe chunk) и раскладка RAID 10, которая в данном случае хранит две копии каждого блока рядом друг с другом.
• [4/4] — количество участников, ожидаемых массивом, и количество синхронизированных в данный момент.
• [UUUU] — по одному символу на слот, в порядке слотов. U — слот, который работает и синхронизирован. _ — слот, в котором ничего не работает.
• bitmap: — битовая карта намерений записи (write intent bitmap). Она записывает, какие области были изменены, чтобы при отключении и возвращении диска в массив синхронизировались только эти области, а не весь диск целиком.

Что означают [4/3] и [UU_U] при возникновении проблем

Деградировавший массив выглядит так.

md0 : active raid10 nvme3n1p3[3] nvme2n1p3[2](F) nvme1n1p3[1] nvme0n1p3[0]
      3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]

Читайте обе скобки вместе. [4/3] говорит, что один из четырех слотов не функционирует. [UU_U] указывает, какой именно: подчеркивание стоит на третьей позиции, а слоты нумеруются с нуля, значит, слот 2 неисправен. Флаг (F) называет устройство только пока неисправный диск физически подключен. Извлеките его из машины, и имя исчезнет из строки, а подчеркивание останется.

Массив продолжает работать во время всех этих событий, а в RAID 10 он часто работает почти на полной скорости, поэтому никто не замечает проблему по ощущениям. Что-то должно вас оповестить.

grep -i mailaddr /etc/mdadm/mdadm.conf
sudo mdadm --monitor --scan --oneshot --test
systemctl list-units --all | grep -i md

Пакет mdadm устанавливает демона мониторинга, который считывает MAILADDR из /etc/mdadm/mdadm.conf. Имя юнита менялось между релизами, поэтому найдите его с помощью последней команды, а не угадывайте. Запуск --test немедленно отправляет по одному сообщению на каждый массив. Пустой входящий ящик после этого означает, что почтовая система не настроена, поэтому сообщение, которое вам действительно важно, было бы потеряно таким же образом.

Когда идет восстановление после замены диска, под строкой массива появляется строка прогресса.

md0 : active raid10 nvme4n1p3[4] nvme3n1p3[3] nvme1n1p3[1] nvme0n1p3[0]
      3906764800 blocks super 1.2 512K chunks 2 near-copies [4/3] [UU_U]
      [==>..................]  recovery = 12.4% (242012928/1953382400) finish=63.1min speed=452000K/sec

recovery — это восстановление на замененный диск. resync — первый проход проверки целостности только что созданного массива. check — это scrub, который вы запустили выше. Пара в скобках — прогресс в блоках по 1 KiB относительно общего объема устройства, а finish — оценка времени завершения ядром при текущей скорости. Эта скорость ограничена параметрами /proc/sys/dev/raid/speed_limit_min и speed_limit_max; ограничения существуют для того, чтобы восстановление не забирало все ресурсы ввода-вывода у рабочих процессов.

/dev/md0:
           Version : 1.2
     Creation Time : Tue Mar 10 09:14:22 2026
        Raid Level : raid10
        Array Size : 3906764800 (3.64 TiB 4.00 TB)
     Used Dev Size : 1953382400 (1.82 TiB 2.00 TB)
      Raid Devices : 4
     Total Devices : 4
       Persistence : Superblock is persistent

       Update Time : Wed Aug  5 11:02:41 2026
             State : clean, degraded, recovering
    Active Devices : 3
   Working Devices : 4
    Failed Devices : 0
     Spare Devices : 1

            Layout : near=2
        Chunk Size : 512K

    Rebuild Status : 12% complete

              Name : storage:0
            Events : 4184

    Number   Major   Minor   RaidDevice State
       0     259        3        0      active sync set-A   /dev/nvme0n1p3
       1     259        7        1      active sync set-B   /dev/nvme1n1p3
       4     259       11        2      spare rebuilding    /dev/nvme4n1p3
       3     259       15        3      active sync set-B   /dev/nvme3n1p3

Замена диска в массиве, которым вы управляете, состоит из четырех команд, последняя из которых — проверка.

sudo mdadm --manage /dev/md0 --fail /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --remove /dev/nvme2n1p3
sudo mdadm --manage /dev/md0 --add /dev/nvme4n1p3
cat /proc/mdstat

Строка восстановления должна появиться в течение секунды или двух. Раздел для замены должен быть как минимум такого же размера, как Used Dev Size из mdadm --detail, а раздел, который хотя бы немного меньше, будет отклонен с сообщением вида not large enough to join array. Разметьте новый диск в соответствии со старым перед тем, как добавлять его.

Что можно и чего нельзя увидеть изнутри VPS

Большинство гостевых систем не видят RAID хоста, и это предусмотрено архитектурой. Гипервизор предоставляет вам один виртуальный диск. Является ли этот диск частью RAID 10 из NVMe-накопителей или расположен на одном физическом диске — это свойство хоста, которое не отображается внутри вашей гостевой системы.

systemd-detect-virt
lsblk -d -o NAME,SIZE,ROTA,MODEL
cat /proc/mdstat

systemd-detect-virt выводит kvm на KVM-госте, тип контейнера, например lxc, в контейнере и none на «железе» (bare metal). На KVM-госте вы обычно видите один vda или sda в lsblk, а массивы в /proc/mdstat отсутствуют, так как внутри гостевой системы их нет.

На VPS, работающем на базе контейнеров, показаниям нельзя доверять. Контейнеры используют общее ядро хоста, и части /proc не изолированы через пространства имён (namespaced), поэтому прочитанные данные могут описывать хост, а не ваш сегмент. Не считайте это фактом о вашем хранилище. Уточните конфигурацию у провайдера и, если это важно, получите ответ в письменном виде.

Изнутри можно проверить поведение предоставленного вам диска. В проверке того, является ли диск вашего VPS действительно NVMe описаны команды, которые показывают реальные данные, а в том, что на самом деле включает в себя SSD VPS разобрано, что именно подразумевается под описанием тарифного плана.

Стоит ли использовать RAID внутри VPS?

Как правило, нет, и причина кроется в доменах отказа. Если вы подключаете два тома к одному VPS и объединяете их в зеркало с помощью mdadm, оба тома могут находиться на одном физическом массиве, на одном узле и питаться от одного блока питания. Вы удвоите стоимость каждой операции записи ради избыточности, которая у вас уже есть, но при этом всё равно потеряете обе копии при первом же серьёзном сбое.

Это имеет смысл только в том случае, если провайдер гарантирует размещение томов в разных доменах отказа, либо если вы используете выделенный сервер с дисками, которыми можете управлять напрямую. В остальных случаях эффективнее инвестировать усилия в создание копий, которые хранятся за пределами этой машины.

От чего RAID не защищает

RAID покрывает только один сценарий: выход диска из строя. Любая операция записи считается корректной, поэтому массив применяет её ко всем копиям и сообщает, что состояние системы в норме.

• Удаление. rm -rf в неверном каталоге или скрипт развертывания с не заданными переменными в пути. Массив воспринимает это как легитимную операцию записи и выполняет её дважды.
• Программы-вымогатели. Шифрование — это запись данных. Исправный массив сохранит зашифрованную версию на обеих сторонах зеркала.
• Ошибки в приложении. Ошибка, из-за которой в базу данных записывается «мусор», приведет к записи того же «мусора» на резервный диск.
• Отказ всего узла. Выход хоста из строя или ошибочная блокировка учетной записи. Массив может быть в идеальном состоянии, но при этом недоступен.
• Ваши собственные действия через неделю. Файл, удаленный в понедельник, исчезает со всех дисков в тот же понедельник. Вернуть его можно только из копии, сделанной ранее.

Снимки (snapshots) на том же хранилище также не являются решением. Они помогают при случайном удалении, но погибают вместе с массивом, на котором находятся. Свойство, которое делает резервную копию именно резервной копией — это её нахождение в другом месте. Зашифрованные резервные копии вне сервера с помощью restic — это вторая часть данной страницы: массив позволяет продолжать работу при выходе из строя диска, а restic восстанавливает данные, когда повреждение было вызвано операцией записи, которую массив выполнил без ошибок.

FAQ

Означает ли RAID 10, что мне не нужны резервные копии?

Нет. RAID 10 защищает от выхода из строя одного диска. Он записывает все данные на обе половины зеркала, поэтому удаление файлов или работа программы-вымогателя мгновенно затрагивают и избыточный диск. После этого массив сообщает, что он исправен, так как с его точки зрения сбоя не произошло. Вам по-прежнему нужны копии, хранящиеся вне сервера, и периодически необходимо выполнять восстановление из них, чтобы убедиться в их работоспособности.

Почему провайдеры VPS выбирают RAID 10 вместо RAID 5 или RAID 6?

Есть две причины, обе связаны с небольшими операциями случайной записи. Для записи с контролем четности необходимо сначала считать старые данные и старую контрольную сумму, чтобы вычислить новую. Поэтому одна небольшая запись требует 4 операций в RAID 5 и 6 в RAID 6, против 2 при использовании зеркалирования. Восстановление массива с контролем четности требует чтения всех оставшихся дисков целиком, что замедляет работу всех виртуальных машин на узле на несколько часов. В RAID 10 восстановление копирует данные с одного диска на другой, не затрагивая остальные пары. Провайдеры платят за это емкостью: доступна только половина общего объема NVMe.

Что означают [U_] или [UU_U] в /proc/mdstat?

Каждый символ соответствует одному слоту в массиве в порядке их следования. U означает, что в слоте находится рабочий и синхронизированный диск. _ означает, что слот пуст или диск в нем не работает. [U_] в зеркале из двух дисков означает, что второй слот неисправен и избыточность отсутствует. Читайте это вместе с числом перед ним: например, [4/3] говорит о том, что массив ожидает четыре диска, а в наличии только три. Порядок слотов соответствует столбцу RaidDevice в выводе mdadm --detail, а не порядку имен устройств в строке.

Сколько дисков может выйти из строя в массиве RAID 10?

Один, при любом сценарии. Дальнейшая судьба зависит от того, какие именно диски откажут. Каждая зеркальная пара может потерять один из двух дисков, поэтому массив из восьми дисков выдержит до четырех отказов, если они не придутся на одну пару, но выйдет из строя при двух отказах, если они затронут одну и ту же пару. Планируйте работу исходя из гарантированного числа — одного диска, а всё, что сверх этого, считайте удачей, а не защитой.

Стоит ли зеркалировать два тома внутри VPS с помощью mdadm?

Обычно нет. Два тома, подключенные к одной VPS, часто находятся на одном физическом массиве одного хоста. Зеркалирование удваивает стоимость каждой операции записи и не защищает от того, что уже покрыто RAID-массивом самого хоста. Это имеет смысл только в том случае, если провайдер подтверждает, что тома находятся в разных доменах отказа. В противном случае лучше потратить эти ресурсы на резервное копирование за пределы сервера.