Nested virtualization на VPS: чи запуститься Proxmox?
Більшість VPS-провайдерів приховують прапорець vmx. Перевірте його командою kvm-ok за хвилину та дізнайтеся, чи запустяться KVM або Proxmox і які помилки з’являться.
Коротка відповідь
Nested virtualization — це гіпервізор, що працює всередині віртуальної машини: ваш VPS уже є гостьовою системою, а ви хочете розміщувати в ньому власні гостьові системи. Це працює лише тоді, коли гіпервізор вашого провайдера явно надає вашому інстансу розширення віртуалізації процесора. Перевірте /proc/cpuinfo на наявність прапорця vmx (Intel) або svm (AMD). Якщо не знайдено жодного з них, жодні налаштування всередині VPS не вирішать проблему.
Спочатку важливе уточнення: Docker не потребує нічого з цього. Контейнери використовують спільне ядро VPS і не звертаються до /dev/kvm. Якщо ваша справжня мета — «запустити кілька сервісів у контейнерах на своєму сервері», у вас уже є все необхідне. Nested virtualization потрібна, якщо ви хочете використовувати окреме ядро, лабораторне середовище Proxmox, гостьову систему Windows, мікровіртуальні машини Firecracker, емулятор Android, тестове середовище Kubernetes зі справжніх віртуальних машин або CI-runner'и, які завантажують образи віртуальних машин.
Що саме вкладається
Три рівні:
- L0 — гіпервізор провайдера на фізичному сервері. Ви не маєте до нього доступу.
- L1 — ваш VPS. Для L0 це лише гостьова система.
- L2 — VM, яку ви хочете запустити всередині свого VPS.
Апаратна віртуалізація — це VT-x (прапорець vmx) разом з EPT на Intel, а також AMD-V / SVM (svm) разом з RVI/NPT на AMD. Гіпервізор використовує ці інструкції, щоб переходити в режим гостя і дозволяти CPU одночасно обходити дві таблиці сторінок.
Жоден із цих механізмів не був розрахований на повторний вхід, тому вкладена віртуалізація емулюється: коли L1 виконує інструкцію VMX, наприклад VMLAUNCH або VMRESUME, вона передає керування L0. L0 від імені L1 підтримує тіньові структури для L2. На CPU з підтримкою VMCS shadowing запити L1 до VMREAD і VMWRITE можна обробляти без виходу з гостьового режиму. Це значно зменшує такий обмін, але не усуває його повністю. KVM добре це підтримує, однак додаткову роботу під час кожного виходу виконує саме L0. Тому провайдер має явно ввімкнути цю функцію.
Якщо L0 використовує KVM, для прискореної роботи L2 мають одночасно виконуватися дві умови:
- Модуль KVM у L0 завантажено з параметром
nested=1. - L0 надає вашому VPS модель CPU, яка містить цей прапорець:
<cpu mode='host-passthrough'/>у libvirt,cpu: hostу Proxmox,-cpu hostу raw QEMU. Загальна емульована модель (qemu64,kvm64) приховуєvmx, навіть якщо вкладену віртуалізацію глобально ввімкнено.
Інші гіпервізори мають власний перемикач. Наприклад, Hyper-V емулює розширення віртуалізації для вкладеного гіпервізора всередині своїх VM, але лише в тих VM, для яких вкладену віртуалізацію ввімкнено окремо.
Перевірте свій VPS за одну хвилину
# 1. Are you in a VM, and under what?
systemd-detect-virt # kvm, vmware, xen, microsoft, or "none" on metal
# 2. Does the CPU expose the extensions to you?
grep -o -E 'vmx|svm' /proc/cpuinfo | sort -u
lscpu | grep -i -E 'virtual|hypervisor'
# 3. The definitive check
sudo apt update && sudo apt install -y cpu-checker
kvm-ok
# 4. The device node the whole stack depends on
ls -l /dev/kvmПрацездатний інстанс виводить vmx або svm, kvm-ok повідомляє KVM acceleration can be used, а /dev/kvm існує з групою kvm. У Debian та Ubuntu це режим root:kvm 660, оскільки обидва дистрибутиви збирають systemd так, щоб перевизначити стандартне значення upstream 666; дистрибутив, який зберігає стандартне значення upstream, залишає /dev/kvm доступним для всіх користувачів. Якщо прапорець є, але device node відсутній, завантажте модуль вручну та перегляньте журнал ядра:
sudo modprobe kvm_intel # or kvm_amd
sudo dmesg | tail -n 20Один файл часто цитують і широко неправильно трактують:
cat /sys/module/kvm_intel/parameters/nested # Y or NУ вашому VPS це налаштування вашого KVM-модуля. Воно визначає, чи зможе гість L2 запустити вкладений третій рівень. Воно нічого не говорить про те, чи дозволив L0 вкладену віртуалізацію для вас. На це відповідають /proc/cpuinfo і kvm-ok. Параметр nested потрібно встановлювати на машині, якою ви володієте безпосередньо:
echo 'options kvm_intel nested=1' | sudo tee /etc/modprobe.d/kvm-nested.conf
sudo modprobe -r kvm_intel && sudo modprobe kvm_intelВидалення модуля неможливе, доки працює VM, тому спочатку вимкніть гостьові системи. Якщо ця машина є хостом Proxmox, увімкнення вкладеної віртуалізації у Proxmox VE 9 охоплює ту саму зміну в modprobe.d, а також налаштування cpu: host для кожної VM, завдяки якому прапорець стає видимим усередині гостя.
Чому більшість VPS-хостингів вимикає цю функцію
- Жива міграція. Надання вам
vmxозначає відкриття моделі CPU, яка підтримує цей прапорець. Гостьову систему, що залежить від цих функцій CPU, не можна безпечно перенести на машину, CPU якої їх не підтримує. Хост, який звільняє вузли шляхом міграції клієнтів, втрачає цю можливість одразу після ввімкнення nesting. - Поверхня атаки. Шляхи nested VMX/SVM належать до найскладніших ділянок коду в шарі віртуалізації ядра. Історія CVE для них також значна.
- L0 може бути не KVM. Якщо
systemd-detect-virtвиводитьvmware,xenабоmicrosoft, правила nesting визначає цей стек, а не KVM.
На вашому інстансі немає цього прапорця? Зверніться до служби підтримки — деякі провайдери вмикають його для окремих VM. Також можна вибрати план, у документації якого заявлено підтримку nesting, або перейти на виділену машину. Далі припускається, що ви маєте root на машині, яка показує цей прапорець.
Запуск L2-гостя за допомогою libvirt
sudo apt install -y qemu-system-x86 libvirt-daemon-system virtinst ovmf
sudo systemctl enable --now libvirtd
sudo usermod -aG libvirt,kvm "$USER" # log out and back in
virt-install \
--name guest1 \
--memory 2048 \
--vcpus 2 \
--cpu host-passthrough \
--disk path=/var/lib/libvirt/images/guest1.qcow2,size=20,format=qcow2,bus=virtio \
--network network=default,model=virtio \
--os-variant debian13 \
--location https://deb.debian.org/debian/dists/trixie/main/installer-amd64/ \
--graphics none \
--console pty,target_type=serial \
--extra-args 'console=ttyS0,115200n8'Графічний сеанс не потрібен. Інсталяція через послідовну консоль триває певний час, тому запустіть її в постійній shell-сесії: той самий робочий процес tmux, який зберігає сеанси Claude Code активними на VPS, утримує консоль virt-install підключеною після розриву SSH-з’єднання. Якщо --os-variant debian13 відхилено, ваша osinfo-db старіша за випуск Debian 13, виконайте osinfo-query os і виберіть наявне ім’я. --cpu host-passthrough передає vmx до L2; це потрібно лише тоді, коли L2 має додатково виконувати віртуалізацію. Забезпечте безпечне завантаження гостя за допомогою virsh autostart guest1.
virtio на диску та NIC — це не декоративний параметр: емуляція пристроїв IDE і e1000 спричиняє набагато більше переходів у гіпервізор, ніж черги virtio, а під час вкладеної віртуалізації вихід, який L0 не може обробити самостійно, передається до L1. Там його обробка може спричинити додаткові виходи самого L1.
Мережа: частина, яку часто пропускають у посібниках
Ваш VPS має одну публічну IP-адресу та працює в мережі, яка фільтрує невідомі MAC-адреси. З цього випливають два наслідки.
Підключення L2-гостей до публічної мережі через bridge зазвичай не працює. Додайте br0 до публічного NIC, призначте гостю власну MAC-адресу — і побачите, що ARP-запити виходять, але відповіді не надходять: комутатор провайдера відкидає кадри з MAC-адреси, яку вам не було виділено. Якщо спостерігається саме така симптоматика, припиніть налагоджувати bridge: причина полягає в механізмі фільтрації.
Використовуйте NAT-мережу. libvirt постачається з default: virbr0, 192.168.122.0/24, орендами dnsmasq і робочим вихідним трафіком одразу після налаштування. Для вхідних підключень завершуйте TLS на L1 і проксируйте запити до гостя. Шляхи до сертифікатів нижче наведено в отриманні сертифіката Let's Encrypt за допомогою Certbot на Nginx:
server {
listen 443 ssl;
server_name lab.example.com;
ssl_certificate /etc/letsencrypt/live/lab.example.com/fullchain.pem;
ssl_certificate_key /etc/letsencrypt/live/lab.example.com/privkey.pem;
location / {
proxy_pass http://192.168.122.50:8080;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_set_header X-Forwarded-Proto $scheme;
}
}Спочатку призначте гостю статичну оренду (virsh net-edit default), щоб адреса в цьому proxy_pass не змінювалася.
Інтерфейси керування не повинні бути доступними з інтернету: VNC на 5900 і веб-інтерфейс Proxmox на 8006 мають бути прив’язані до loopback. Підключайтеся до них через SSH-тунель (ssh -N -L 8006:127.0.0.1:8006 you@your-vps) або через self-hosted WireGuard VPN до VPS, який розміщує весь діапазон гостей 192.168.122.0/24 за одним приватним мережевим переходом. Обмежте правила firewall: sudo ufw allow 22,80,443/tcp, нічого іншого. Якщо гості втрачають вихідне підключення одразу після ввімкнення ufw, найчастіше причина полягає в DEFAULT_FORWARD_POLICY="DROP" у /etc/default/ufw. Встановіть для нього ACCEPT і перезавантажте ufw.
Proxmox на VPS
Proxmox VE 9 працює поверх Debian 13, тому встановлюється на Debian VPS додаванням репозиторію pve-no-subscription і пакета proxmox-ve. Рядки репозиторію та keyring потрібно взяти з актуальної офіційної документації Proxmox. URL, скопійований зі старого допису в блозі, може зірвати встановлення. Перш ніж витрачати вечір на описане нижче налаштування мережі, варто з’ясувати, чи доцільно взагалі розміщувати Proxmox на орендованому обладнанні. Порівняння вартості та можливостей Proxmox-сервера вдома й орендованого VPS уже містить розрахунки електроенергії та обладнання для цього питання.
Пакети — не найскладніша частина. Proxmox очікує, що vmbr0 буде підключено до фізичного NIC, через що ви одразу стикаєтеся з описаною вище проблемою фільтрації MAC-адрес. На VPS працює схема з NAT або маршрутизацією для vmbr0 без підключеного фізичного порту, гостьовими системами в приватному діапазоні та правилами DNAT або reverse proxy на хості для всього, що має бути доступним ззовні. Якщо публічні сервіси працюють у контейнерах, а не у VM, Traefik для кількох застосунків з одного Docker Compose-файлу виконує те саме завдання маршрутизації та автоматично отримує сертифікати. Спочатку створіть snapshot /etc/network/interfaces: неправильне визначення bridge може заблокувати доступ до машини, консоль якої може бути недоступна.
Продуктивність без прикрас
Nested virtualization повільніша за однорівневу, і причина конкретна, а не розмита: витрати припадають на виходи з гостьового режиму та трансляцію адрес, а не на звичайні інструкції. Якщо доступні EPT/NPT, L0 об’єднує таблиці сторінок L1 для L2 і власні таблиці в одну shadow table, тому влучання в TLB виконується зі швидкістю апаратного забезпечення. Промах у TLB коштує дорожче: апаратне забезпечення одночасно проходить таблицю сторінок гостьової системи та shadow table, а кожна зміна, яку L1 вносить у власні таблиці, спричиняє вихід, щоб L0 міг синхронізувати shadow table. Дорожчою стає кожна операція, яка виводить систему з гостьового режиму: I/O, переривання таймера, MMIO та міжпроцесорні переривання. Вихід із L2 обробляє L0, і він може передати його назад через L1. Обчислення, обмежені CPU та невеликим робочим набором, близькі до нативної продуктивності. Великі робочі набори в пам’яті сплачують ціну за промахи в TLB, а в операціях, де переважають системні виклики, пакети та дисковий I/O, вплив усіх рівнів помітний сильніше.
Отже: використовуйте virtio для всіх пристроїв. А ваш файл qcow2 зберігається на диску, який провайдер уже віртуалізував. У результаті утворюються два послідовні рівні thin provisioning, і cache=none на гостьовому диску запобігає одночасному зберіганню тих самих блоків у двох page cache. Тут немає результатів бенчмарків: вимірюйте власне робоче навантаження на власному інстансі.
Режими відмов і повідомлення, які ви побачите
INFO: /dev/kvm does not exist / KVM acceleration can NOT be used від kvm-ok. Або модуль не завантажений, або прапорець недоступний. Спочатку перевірте /proc/cpuinfo.
kvm: disabled by bios у dmesg. На bare metal увімкніть перемикач VT-x/SVM у firmware. У VPS це означає, що L0 не передає вам ці розширення, і жодна команда в гостьовій системі цього не змінить.
modprobe: ERROR: could not insert 'kvm_intel': Operation not supported. CPU, який бачить ваше ядро, не має vmx. Це також рішення на рівні L0.
Could not access KVM kernel module: Permission denied. Причина в правах доступу, а не в hardware. ls -l /dev/kvm має показувати групу kvm, а в Debian і Ubuntu — режим 660, який забороняє доступ усім користувачам поза цією групою. Додайте себе до неї та запустіть нову login shell, оскільки членство в групі не застосовується до вже запущеної сесії.
kvm: Device or resource busy під час запуску QEMU. Інший hypervisor module утримує CPU: виконайте lsmod, знайдіть vboxdrv або модулі VMware разом із kvm_intel і вивантажте непотрібний модуль.
/var/run/libvirt/libvirt-sock: No such file or directory від virsh. Daemon не запущений: sudo systemctl enable --now libvirtd.
Proxmox: KVM virtualisation configured, but not available. Для guest увімкнено KVM acceleration на host, який не може її надати. Виправте nesting або вимкніть цей параметр і погодьтеся на emulation.
Android emulator: x86_64 emulation currently requires hardware acceleration! Знову /dev/kvm, зазвичай проблема пов’язана з групою.
Взагалі немає помилки, але все працює надзвичайно повільно. QEMU без прапорця accelerator переходить на TCG — свій software emulator. Він працює правильно, але повільно: завантаження, яке вимірюється секундами, триватиме хвилини. Явно передайте -accel kvm, щоб QEMU завершувався з помилкою, а не непомітно переходив до emulation.
Guest зникає під час роботи. Перевірте dmesg на наявність Out of memory: Killed process ... qemu-system-x86_64. L2 guest є процесом на L1, і OOM killer обробляє його так само, як будь-який інший процес. RAM для L2 виділяється з фіксованого обсягу L1; запозичити її з host неможливо.
Експлуатація: резервні копії, оновлення, обмеження
Резервні копії. Копіювання qcow2 запущеної гостьової системи може створити неузгоджений образ, оскільки гостьова система продовжує записувати дані під час копіювання. Виконайте virsh shutdown guest1, дочекайтеся, поки virsh domstate guest1 повідомить shut off (команда завершення роботи може повернути керування, хоча гостьова система ще зупиняється), а потім скопіюйте файл; або створіть зовнішній snapshot (virsh snapshot-create-as guest1 snap1 --disk-only --atomic), щоб записи перенаправлялися в overlay, поки ви копіюєте статичний базовий образ, а потім об’єднайте зміни назад за допомогою virsh blockcommit guest1 vda --active --pivot. Переносьте копії за межі VPS: snapshot на тому самому диску не захищає від його відмови.
Оновлення. apt full-upgrade встановлює нові модулі kvm_intel/kvm_amd, але запущене ядро продовжує використовувати старі модулі, доки ви не перезавантажите систему. Зберігайте попереднє ядро та повторно виконуйте kvm-ok після кожної зміни ядра: якщо хост завантажиться без vmx, для відновлення роботи буде достатньо вибрати інший запис під час завантаження.
Де ця схема перестає масштабуватися. Одна публічна IP-адреса означає, що кожен сервіс L2 доступний із зовнішньої мережі через проксі або правило DNAT на L1. Live migration недоступна. За конкуренції за CPU саме вкладений exit path першим відчує навантаження. Гіпервізор із кількома гостьовими системами працює на машині, оперативну пам’ять якої вже розподілено; вкладені VM не можуть компенсувати фіксований обсяг пам’яті за рахунок overcommit. Коли лабораторне середовище переростає ці можливості, відповідь полягає не в побудові ще одного рівня вкладеності, а в окремому сервері, де ви працюєте на L0 і ці обмеження не застосовуються.
FAQ
Чи потрібна вкладена віртуалізація, щоб запускати Docker на VPS?
Ні. Контейнери використовують ядро вашого VPS і ніколи не відкривають /dev/kvm, тому звичайний інстанс без прапорця vmx або svm без проблем запускає Docker і Docker Compose. Вкладена віртуалізація потрібна лише тоді, коли необхідне окреме ядро: для лабораторії Proxmox, гостьової системи Windows, мікровіртуальних машин Firecracker, емулятора Android або CI runners, які завантажують образи віртуальних машин.
Як перевірити, чи підтримує мій VPS вкладену віртуалізацію?
Виконайте grep -o -E 'vmx|svm' /proc/cpuinfo | sort -u, а потім kvm-ok з пакета cpu-checker. Працездатний інстанс виводить vmx (Intel) або svm (AMD), kvm-ok повідомляє KVM acceleration can be used, а /dev/kvm існує з групою kvm (режим 660 у Debian та Ubuntu). Не зважайте на /sys/module/kvm_intel/parameters/nested у цьому випадку: цей файл описує ваш власний модуль KVM, а не можливості, які гіпервізор провайдера надав вашому інстансу.
Чому більшість VPS-провайдерів вимикає вкладену віртуалізацію?
Увімкнення vmx означає надання гостьовій системі моделі CPU з цим прапорцем. Гостьову систему, яка залежить від цих функцій CPU, не можна перемістити без зупинки на машину без відповідної підтримки CPU. Провайдер, який звільняє вузли, переміщуючи між ними клієнтів, втрачає таку можливість. Шляхи виконання коду для вкладених VMX/SVM також мають тривалу історію CVE. Деякі хости все ще вмикають цю функцію для окремих VM на запит, а інші описують вкладену віртуалізацію як можливість певного тарифного плану.
У моєї вкладеної VM немає мережі в публічному bridge. У чому проблема?
Комутатор провайдера відкидає кадри від MAC-адреси, яку він вам не видавав. Тому гостьова система L2, підключена bridge до публічного NIC, надсилає ARP-запити, але не отримує відповідей. Не витрачайте час на діагностику br0. Використовуйте NAT default від libvirt (virbr0, 192.168.122.0/24), призначте гостьовій системі статичну lease і публікуйте зовнішні сервіси через reverse proxy або правило DNAT безпосередньо на VPS.
Наскільки повільнішою є вкладена VM?
Накладні витрати виникають під час виходу з VM і трансляції адрес. Коли EPT/NPT активні, інструкції та влучання в TLB усередині L2 виконуються зі швидкістю апаратного забезпечення. Водночас промах TLB проходить через додаткові таблиці сторінок, а операції I/O, переривання таймера, MMIO та IPI обробляються L0 і можуть передаватися назад через L1. Обчислення, обмежені CPU, з невеликим робочим набором близькі до нативної швидкості. Великі робочі набори в пам’яті та навантаження з інтенсивними syscall, обробкою пакетів і дисковими операціями відчувають вплив кожного рівня. Використовуйте virtio-пристрої всюди та cache=none на гостьових дисках, а потім виміряйте продуктивність власного навантаження.