VPS không boot sau khi cập nhật kernel: cách khôi phục
Khôi phục VPS không boot sau khi nâng cấp kernel bằng console provider, chọn kernel cũ trong GRUB và xử lý lỗi initramfs, LVM trước khi sửa hệ thống.
Việc cần làm đầu tiên khi VPS không khởi động sau khi cập nhật kernel
VPS không khởi động được sau khi cập nhật kernel thường có thể khôi phục trong vài phút, vì bản cập nhật không xóa kernel đã hoạt động vào hôm qua. Ubuntu cài kernel mới cùng với kernel cũ và chỉ thay đổi entry mà GRUB khởi động mặc định. Vì vậy, việc đầu tiên không phải là sửa chữa. Hãy chọn kernel trước đó trong boot menu, đưa hệ thống trở lại màn hình đăng nhập, rồi chẩn đoán từ một hệ thống đang chạy.
Xử lý lỗi này trên server khác với trên laptop vì server không có keyboard và không có monitor để hiển thị lỗi panic. SSH cũng không phản hồi vì máy chưa chạy đến bước khởi động sshd. Toàn bộ thao tác dưới đây được thực hiện qua console của provider.
Hãy đọc console trước khi thay đổi bất kỳ thứ gì. Nội dung trên màn hình đó xác định loại lỗi bạn đang gặp, và hai server đều “không khởi động được” có thể cần các cách xử lý ngược nhau.
Làm thế nào để truy cập console khi SSH không hoạt động?
Mở control panel của nhà cung cấp và tìm console. Các tên thường gặp là VNC console, web console, noVNC và serial console. Nếu có cả hai, hãy ưu tiên serial console vì nó cung cấp văn bản thực để bạn cuộn và sao chép, trong khi VNC chỉ hiển thị hình ảnh của màn hình. Hãy tìm control này ngay khi máy vẫn đang hoạt động bình thường và xác nhận rằng bạn mở được nó. Nếu phải tìm trong lúc outage, bạn sẽ mất sự bình tĩnh cần thiết. Việc kiểm tra này thuộc 10 phút đầu tiên khi thiết lập một VPS mới, cùng với firewall rules và SSH keys.
Hầu hết panel cũng cung cấp rescue mode hoặc recovery image. Nó boot một hệ thống nhỏ từ network của nhà cung cấp và gắn disk của bạn như một device bổ sung, nên không có thành phần nào trên disk được chạy. Rescue mode là phương án dự phòng khi chính GRUB bị lỗi. Đây cũng là cách để sao chép dữ liệu khỏi một server mà bạn đã quyết định không khôi phục.
Thông thường, bạn sẽ cần hard reset từ panel để mở boot menu, vì bạn không thể chạy sudo reboot trên một máy mà mình không thể đăng nhập. Hard reset tương đương với việc ngắt nguồn điện. Filesystem sẽ bị shutdown không sạch, vì vậy hãy dự kiến hệ thống sẽ kiểm tra filesystem trong lần boot tiếp theo.
Cách chọn kernel cũ hơn trong menu GRUB
Theo dõi console ngay từ lúc bạn nhấn reset. Nhấn Esc liên tục trong những giây đầu tiên, hoặc giữ Shift trên máy khởi động ở chế độ legacy BIOS. Khoảng thời gian này rất ngắn, và trình xem console thường mất một giây để kết nối, nên hãy bắt đầu nhấn sớm và tiếp tục nhấn.
Khi menu xuất hiện, chọn "Advanced options for Ubuntu". Submenu này liệt kê mọi kernel đã cài, kernel mới nhất ở đầu danh sách, cùng một mục recovery mode cho từng kernel. Chọn mục bình thường thứ hai, tức kernel ngay dưới kernel mới nhất, rồi nhấn Enter. Recovery mode là chế độ khác: nó khởi động vào một hệ thống single-user tối giản và dành cho việc sửa chữa, không phải để đưa các service hoạt động trở lại.
Nếu kernel cũ khởi động được, bạn đã có lại một server đang chạy. Xác nhận bạn đang chạy kernel nào và ghi lại các số phiên bản.
uname -r
dpkg -l 'linux-image-*' | grep '^ii'Output của dpkg là danh sách các kernel đã cài. Nếu danh sách chỉ có một dòng, bạn hoàn toàn không có kernel dự phòng, và đó là việc đầu tiên cần khắc phục.
Menu GRUB không bao giờ xuất hiện. Phải làm gì?
Cloud image thường có sẵn cấu hình ẩn menu. Image Ubuntu thường đặt timeout thành 0 trong một file bên dưới /etc/default/grub.d/, vì vậy kernel mới nhất khởi động ngay và bạn không có thời gian để nhấn phím.
Cũng có trường hợp ngược lại: menu hiện trên màn hình và chờ, khiến bạn tưởng hệ thống bị treo. GRUB ghi nhận lần boot thất bại, rồi ở lần khởi động tiếp theo có thể giữ menu mở cho đến khi có người nhấn phím. Trên máy không có bàn phím, trạng thái chờ đó sẽ không bao giờ kết thúc. Nếu console của bạn hiển thị menu nhưng không có gì thay đổi, đó là nguyên nhân. Chọn một mục rồi tiếp tục.
Hãy sửa cả hai trường hợp khi máy vẫn đang hoạt động bình thường, và không đặt các thiết lập này trong /etc/default/grub trên cloud image. Khi update-grub chạy, GRUB của Ubuntu đọc /etc/default/grub trước, rồi đọc từng file .cfg trong /etc/default/grub.d/ theo thứ tự sắp xếp. File 50-cloudimg-settings.cfg của image được đọc sau thay đổi của bạn, đặt lại các giá trị riêng và ghi đè lên thiết lập của bạn. Hãy tạo một drop-in có tên được sắp xếp sau file đó, chẳng hạn /etc/default/grub.d/99-console-menu.cfg:
GRUB_TIMEOUT_STYLE=menu
GRUB_TIMEOUT=10
GRUB_RECORDFAIL_TIMEOUT=10
GRUB_TERMINAL="console serial"
GRUB_SERIAL_COMMAND="serial --unit=0 --speed=115200"
GRUB_CMDLINE_LINUX_DEFAULT="console=tty1 console=ttyS0,115200"File này thay thế toàn bộ GRUB_CMDLINE_LINUX_DEFAULT, vì vậy trước tiên hãy sao chép mọi argument mà image đã đặt trong 50-cloudimg-settings.cfg vào dòng của bạn, rồi thêm các argument console=. Áp dụng thay đổi và kiểm tra để bảo đảm file của bạn là file cuối cùng đặt từng giá trị, vì GRUB sử dụng phép gán cuối cùng.
sudo update-grub
grep -E 'TIMEOUT|TERMINAL' /etc/default/grub /etc/default/grub.d/*.cfgGRUB_TERMINAL="console serial" gửi menu đến graphical console và serial port, nên menu sẽ xuất hiện trong viewer mà panel của bạn cung cấp. Các kernel argument console= cũng làm như vậy với các boot message xuất hiện sau đó. Chờ 10 giây ở mỗi lần boot là cái giá hợp lý để có thể truy cập menu vào lúc 2 giờ sáng.
Tôi đang gặp nhóm lỗi nào?
Đọc 20 dòng cuối cùng trước khi console ngừng thay đổi. 4 mẫu lỗi bao quát phần lớn các sự cố xảy ra sau khi cập nhật kernel.
GRUB không tìm thấy các file của chính nó. Bạn thấy prompt grub rescue> hoặc lỗi về partition hay file không tồn tại, và không hề có thông báo nào của kernel. Kernel chưa được chạy. Lỗi này thường xảy ra sau khi thay đổi disk hoặc partition, hoặc khi bootloader được ghi vào sai device, chứ không phải do riêng kernel package.
Kernel khởi động nhưng không thể mount root. Các thông báo của kernel chạy trên màn hình, sau đó bạn rơi vào một shell busybox có prompt là (initramfs), hoặc quá trình boot kết thúc bằng panic vì không thể mount root filesystem. Kernel đã được load. initramfs, tức root tạm thời nhỏ dùng để tìm và mount root filesystem thật, không tìm thấy disk. Trên Ubuntu, shell này thường có một thông báo trước đó cho biết đã bỏ cuộc sau khi chờ root device, đồng thời nêu UUID mà hệ thống cần. Sao chép UUID đó và so sánh với output của blkid sau này.
Logical volume không xuất hiện. Đây là nhóm lỗi trước với một nguyên nhân cụ thể. Tại prompt (initramfs), chạy ls /dev/mapper. Nếu entry duy nhất là control, thì chưa có volume LVM (logical volume manager) nào được activate, nên root device chưa tồn tại. Tự đưa các volume group lên bằng tay:
lvm vgchange -ay
ls /dev/mapper
exitexit chuyển quyền điều khiển lại cho initramfs script, script này sẽ thử mount lại. Nếu hệ thống khởi động được sau đó, initramfs mới đang thiếu các thành phần LVM. Cách sửa là rebuild image đó thay vì can thiệp vào kernel.
Hoàn toàn không có gì từ Linux. Console hiển thị text của firmware, một UEFI (unified extensible firmware interface) shell, màn hình trống không có output của kernel hoặc vòng lặp reset. Lỗi xảy ra trước khi Linux chạy. Khi hệ thống hoạt động trở lại, hãy kiểm tra server thực sự đang dùng mode nào, vì nhiều VPS instance boot ở legacy BIOS mode và không bao giờ dùng đường dẫn EFI:
[ -d /sys/firmware/efi ] && echo UEFI || echo BIOS
mountpoint /boot/efi
sudo efibootmgr -v/boot/efi không được mount trong lúc upgrade là một nguyên nhân phổ biến trên máy UEFI, vì các package duy trì EFI system partition khi đó đã ghi vào một thư mục trống thông thường. Firmware tiếp tục khởi động boot entry cũ cho đến khi entry đó không còn khớp với nội dung trên disk.
Còn một mẫu khác thực ra không phải lỗi boot. Nếu bạn vào được root shell và shell cho biết hệ thống đang ở emergency mode, kernel đã boot nhưng userspace đã dừng. Nguyên nhân thường là một dòng sai trong /etc/fstab hoặc filesystem không vượt qua bước kiểm tra. Chạy journalctl -xb trong shell đó và đọc tên unit đã fail.
Gói kernel bị hỏng hay initramfs bị hỏng?
Hai trường hợp này trông giống hệt nhau trên console nhưng cần cách khắc phục khác nhau. Hãy boot vào kernel cũ, rồi so sánh các file.
ls -l /boot/vmlinuz-* /boot/initrd.img-*
df -h /bootMỗi version đã cài phải có một vmlinuz- và một initrd.img- tương ứng, với kích thước hợp lý. Nếu thiếu initrd hoặc file nhỏ hơn nhiều so với các version bên cạnh, quá trình tạo initramfs đã thất bại. Nguyên nhân thường gặp là /boot đã đầy. Bằng chứng nằm trong log của package:
sudo grep -iE 'no space|update-initramfs' /var/log/apt/term.log
sudo tail -n 40 /var/log/apt/history.loghistory.log cũng liệt kê chính xác các package được cài trong những lần chạy gần nhất và thời điểm cài, giúp xác định những gì đã thay đổi.
Nếu /boot đầy, trước tiên hãy giải phóng dung lượng. Sau đó tạo lại image cho version cần dùng và refresh menu. Lấy chuỗi version từ output ls của chính bạn, vì placeholder bên dưới không phải một release thực:
KVER=6.8.0-XX-generic
sudo update-initramfs -c -k "$KVER"
sudo update-grub
ls -l /boot/initrd.img-$KVERls cuối cùng là bước kiểm tra. File có kích thước bình thường nghĩa là image đã được tạo lại. Nếu chính kernel image bị hỏng, hoặc dpkg -l hiển thị package ở trạng thái khác ii, hãy cài lại package:
sudo apt install --reinstall linux-image-$KVER
sudo dpkg --configure -aSửa hệ thống từ rescue mode khi không kernel nào khởi động được
Nếu mọi mục trong menu đều thất bại, hãy khởi động rescue image của nhà cung cấp rồi sửa disk từ bên ngoài. Disk của bạn sẽ xuất hiện dưới dạng device chưa được mount, nên không có tiến trình nào trên đó đang chạy và không có tiến trình nào can thiệp vào thao tác sửa.
Trình tự sửa đầy đủ bằng chroot
Trước tiên, chạy lsblk -f và đọc tên device thực tế trên chính máy của bạn. /dev/vda thường gặp trên KVM, còn các bản cài Ubuntu server thường đặt root trên LVM dưới dạng /dev/ubuntu-vg/ubuntu-lv.
sudo lsblk -f
sudo vgchange -ay
sudo mount /dev/ubuntu-vg/ubuntu-lv /mnt
sudo mount /dev/vda2 /mnt/boot
sudo mount /dev/vda1 /mnt/boot/efiBỏ qua các dòng không áp dụng cho bạn. Nhiều image không có /boot riêng và cũng không có EFI partition. Sau đó bind các kernel interface vào rồi vào hệ thống:
for d in dev proc sys run; do sudo mount --rbind /$d /mnt/$d; done
sudo chroot /mnt /bin/bashTrong chroot, bạn đang thao tác trên hệ thống bị hỏng trong khi một kernel hoạt động bình thường chạy bên dưới. Thực hiện việc sửa tại đó:
df -h /boot
update-initramfs -u -k all
update-grub
grub-install /dev/vda
exitgrub-install sử dụng toàn bộ disk trên hệ thống BIOS, không phải một partition. Trên hệ thống UEFI, dùng grub-install --target=x86_64-efi --efi-directory=/boot/efi cho x86_64; với các architecture đó, thay x86_64-efi bằng i386-efi hoặc arm64-efi, đồng thời xác nhận directory đó đã được mount trước khi chạy lệnh. Thoát bằng exit, unmount mọi thứ bằng sudo umount -R /mnt, sau đó chuyển panel về chế độ boot bình thường và restart.
Kiểm thử kernel mới mà không đánh cược vào lần boot tiếp theo
GRUB có thể khởi động một entry đúng một lần rồi quay lại default bạn đã chọn. Đặt default trỏ đến kernel mà bạn tin cậy, sau đó khởi động kernel mới chỉ cho một lần boot. Nếu kernel mới lỗi, thao tác hard reset từ panel sẽ đưa bạn về kernel tốt mà không cần canh thời điểm trên console, với điều kiện GRUB có thể ghi vào environment block của nó trong quá trình boot.
Đặt GRUB_DEFAULT=saved trong /etc/default/grub.d/99-console-menu.cfg, chạy sudo update-grub, rồi liệt kê title của các entry để bạn có thể gọi chính xác một entry:
grep -E "(menuentry|submenu) " /boot/grub/grub.cfg | cut -d"'" -f2
sudo grub-set-default "Advanced options for Ubuntu>Ubuntu, with Linux 6.8.0-XX-generic"
sudo grub-editenv list
sudo grub-reboot 0
sudo rebootgrub-editenv list có thể sẽ in title bạn đã chọn dưới dạng saved_entry. Kết quả đó xác nhận default đã lưu, nhưng không chứng minh GRUB có thể ghi vào /boot/grub/grubenv trong quá trình boot. Nếu environment block nằm trên LVM hoặc MDRAID và GRUB không thể ghi vào đó, entry dùng một lần sẽ vẫn được chọn sau khi reboot thay vì quay lại default. Entry 0 là vị trí đầu tiên trong menu, tương ứng với kernel mới nhất. Dùng title an toàn hơn dùng số trong trường hợp này, vì các số sẽ thay đổi mỗi khi kernel được cài đặt hoặc gỡ bỏ.
Vì sao autoremove nguy hiểm trên máy chủ không có giao diện
APT bảo vệ các gói kernel khỏi bị tự động gỡ. Hãy đọc cấu hình của bạn:
apt-config dump | grep -E 'Protect-Kernels|NeverAutoRemove|VersionedKernelPackages'
dpkg -l 'linux-image-*' | grep -c '^ii'Mặc định hiện tại của APT là bảo vệ 2 kernel: kernel đang chạy và kernel mới nhất, hoặc kernel mới thứ hai khi kernel đang chạy đã là kernel mới nhất. Các bản cài đặt cũ hơn cũng dùng tệp /etc/apt/apt.conf.d/01autoremove-kernels được tạo tự động. Rủi ro nằm ở việc tin vào tập kernel được bảo vệ mà không kiểm tra các phiên bản trong đó. Trước khi chạy sudo apt autoremove --purge, hãy đọc danh sách gói dự kiến bị gỡ và xác nhận kernel bạn tin cậy vẫn sẽ được giữ lại.
Luôn giữ ít nhất 2 kernel, và giữ 3 kernel khi /boot còn đủ dung lượng. Sau khi kiểm tra uname -r, hãy gỡ các kernel cũ theo tên. Như vậy, bạn không thể gỡ kernel đang chạy:
uname -r
sudo apt purge linux-image-6.8.0-XX-generic
dpkg -l 'linux-image-*' | grep '^ii'Sau đó, chạy lại lệnh cuối cùng. Số lượng giảm từ 3 xuống 2 là thao tác dọn dẹp bình thường. Số lượng giảm xuống 1 là sự cố sắp xảy ra ở lần reboot tiếp theo.
Chụp snapshot trước khi upgrade
Snapshot được chụp trước apt upgrade là đường khôi phục duy nhất không phụ thuộc vào việc boot bất kỳ thứ gì. Khi restore snapshot, disk được đưa về trạng thái trong đó kernel cũ vẫn là kernel mặc định, và bạn có thể thử lại upgrade với console đã mở sẵn. Snapshot của một máy đang chạy có trạng thái nhất quán như sau sự cố (crash consistent), nghĩa là snapshot ghi lại disk như thể nguồn điện vừa bị ngắt. Vì vậy, hãy shutdown server trước nếu nhà cung cấp hỗ trợ chụp snapshot offline. Snapshot cũng không phải là backup, vì nó thường nằm trên cùng hạ tầng với volume được sao chép. Hiểu sự khác biệt giữa snapshot VPS và backup thực sẽ quyết định phương án nào có thể cứu bạn khi sự cố lớn hơn một kernel.
Điều này quan trọng nhất khi upgrade bản phát hành, vì kernel, các công cụ initramfs, bootloader và cấu hình GRUB đều thay đổi trong cùng một lần chạy. Hãy chụp snapshot ngay trước khi bắt đầu upgrade Ubuntu 24.04 lên 26.04, không phải từ đêm hôm trước, để điểm khôi phục khớp với trạng thái của máy ngay trước khi bạn thay đổi nó. Khi nâng cấp từ LTS lên LTS, hãy chờ point release đầu tiên, 26.04.1; Ubuntu thông báo rằng việc upgrade từ Ubuntu 24.04 LTS lên 26.04.1 LTS đã được bật vào ngày 29 tháng 9 năm 2026. Nếu server vẫn báo không có bản phát hành mới, hãy kiểm tra cấu hình của chính máy đó bằng các bước kiểm tra do-release-upgrade không có bản phát hành mới.
Cách unattended-upgrades xử lý các gói kernel
Ubuntu's unattended-upgrades cài đặt các bản cập nhật bảo mật mà không hỏi, và các gói kernel được cung cấp qua security pocket như mọi gói khác. Điều này dẫn đến 2 hệ quả.
Thứ nhất, kernel mới đã được cài nhưng chưa được chạy. Kernel chỉ có hiệu lực sau khi boot. File /var/run/reboot-required sẽ xuất hiện, còn /var/run/reboot-required.pkgs cho biết thành phần nào yêu cầu reboot, nhưng unattended-upgrades không reboot máy trừ khi setting Unattended-Upgrade::Automatic-Reboot sau khi áp dụng có giá trị true. Đặt các override cục bộ trong một APT configuration fragment riêng, được sắp xếp sau 50unattended-upgrades, chẳng hạn như /etc/apt/apt.conf.d/52unattended-upgrades-local.
cat /var/run/reboot-required.pkgs
apt-config dump | grep -E 'Automatic-Reboot|Blacklist'Thứ hai, khoảng thời gian này che khuất nguyên nhân. Một server có thể cài kernel vào tháng 3 rồi reboot vào tháng 6 vì một lý do hoàn toàn không liên quan, sau đó không khởi động được. Thay đổi gây lỗi boot đã tồn tại từ 3 tháng trước, nên không có việc gì bạn làm vào ngày đó giải thích được sự cố. /var/log/apt/history.log là nơi bạn tìm lần chạy đã cài kernel mà hiện tại máy đang lỗi khi khởi động bằng kernel đó.
Hãy chủ động reboot vào ngày bạn chọn, với cửa sổ console đã mở sẵn. Thói quen đơn giản này biến một outage khó xác định nguyên nhân thành thao tác chọn trong menu mất 2 phút. Nếu muốn có automation nhưng không muốn bị bất ngờ, hãy bật cài đặt tự động và tắt reboot tự động, rồi xem cách cấu hình unattended-upgrades trên Ubuntu để biết các setting chính xác. Dùng sudo apt-mark hold linux-image-generic để hold linux-image-generic sẽ ngăn metapackage đó được upgrade; thao tác này không hold mọi gói kernel hoặc mọi kernel flavour. Chặn cập nhật kernel cũng chặn các bản sửa lỗi bảo mật của kernel, vì vậy hãy xem đây là một đánh đổi bạn đã quyết định, không phải một biện pháp an toàn.
FAQ
Làm thế nào để khởi động kernel cũ hơn trên VPS không có bàn phím?
Mở console của nhà cung cấp (VNC hoặc serial) và trigger hard reset từ control panel, vì bạn không thể đăng nhập để reboot sạch. Khi máy bắt đầu khởi động lại, nhấn Esc liên tục hoặc giữ Shift khi boot bằng legacy BIOS để giữ menu GRUB hiển thị. Chọn "Advanced options for Ubuntu", rồi chọn entry ngay dưới kernel mới nhất. Sau khi thấy login prompt, chạy uname -r để xác nhận bạn đang dùng kernel nào và dpkg -l 'linux-image-*' để xem các kernel khác đã cài. Chỉ chẩn đoán sau khi hệ thống đã chạy lại.
Vì sao VPS của tôi hoàn toàn không hiển thị menu GRUB?
Các cloud image thường đặt thời gian chờ của GRUB thành 0 trong /etc/default/grub.d/50-cloudimg-settings.cfg, nên kernel mới nhất khởi động ngay và không có thời điểm để nhấn phím. Sửa /etc/default/grub không giải quyết được vấn đề này, vì GRUB của Ubuntu đọc các file trong /etc/default/grub.d/ sau file chính, và thiết lập của image sẽ được ưu tiên. Đặt GRUB_TIMEOUT=10, GRUB_TIMEOUT_STYLE=menu và GRUB_TERMINAL="console serial" trong một drop-in được sắp xếp ở vị trí đọc sau, chẳng hạn /etc/default/grub.d/99-console-menu.cfg, rồi chạy sudo update-grub. Kiểm tra bằng grep TIMEOUT /etc/default/grub /etc/default/grub.d/*.cfg. File cuối cùng được liệt kê và thiết lập giá trị sẽ là file GRUB sử dụng.
Có nên xóa kernel cũ để giải phóng dung lượng trong /boot không?
Xóa các kernel cũ nhất và giữ lại ít nhất 2 kernel. /boot đầy là một nguyên nhân gây lỗi riêng, vì khi đó quá trình tạo initramfs sẽ fail và bạn có thể chỉ còn kernel không có image hoạt động. Sau khi kiểm tra uname -r, hãy purge theo đúng tên package để kernel đang chạy không bao giờ trở thành ứng viên bị xóa. Trước khi chấp nhận sudo apt autoremove --purge trên máy không có console tương tác, hãy đối chiếu các package sắp bị xóa với kernel mà bạn tin cậy. APT hiện tại mặc định bảo vệ 2 kernel, nhưng điều đó không bảo đảm nó giữ đúng phiên bản kernel cũ mà bạn cần.
unattended-upgrades có thể làm hỏng quá trình boot không?
Có thể. Nó có thể cài một kernel không boot được sau đó, nhưng sẽ không restart máy trừ khi thiết lập Unattended-Upgrade::Automatic-Reboot sau cùng có giá trị true, bất kể thiết lập đó đến từ file cấu hình APT nào. Mẫu lỗi thường gặp là lỗi xảy ra trễ: kernel được cài trong một lần chạy tự động, /var/run/reboot-required xuất hiện, và vấn đề chỉ lộ ra khi bạn reboot lần tiếp theo sau vài tuần. Hãy reboot có chủ đích khi console đã được mở sẵn, rồi đọc /var/log/apt/history.log để biết lần chạy nào đã cài kernel mà bạn đang boot.