在 VPS 上部署无头浏览器:避坑指南与性能优化
在 VPS 运行 AI 代理的无头浏览器常遇 /dev/shm 不足、沙盒报错及字体缺失。本文提供 Playwright 生产环境配置方案,详解如何固定版本、管理系统依赖及限制资源占用,确保浏览器进程稳定运行。
运行内容
VPS 上的无头浏览器是 Chromium,但不显示窗口,由您的代码驱动,而不是由人员操作。在服务器上,它是一个长期运行的进程树,您的代理通过本地套接字与其通信。安装只需执行一条命令。真正的工作在安装之后:限制浏览器可以占用的系统资源,并确保其控制端点不暴露在公网。
本指南假定您已经确定了工具,现在需要对其进行运维。如果您仍在比较爬虫和提取器,请先阅读可自行托管的 Firecrawl 替代方案,然后再返回本指南。以下内容全部使用 Playwright 的 Chromium,因为 Playwright 自带浏览器构建版本和依赖安装程序。因此,相同的命令既可在裸机 Ubuntu VPS 上使用,也可在容器中使用。命令将 Playwright 固定为 1.62。
安装 Chromium,避免猜测依赖项
npm i -D playwright@1.62.0
npx playwright install --with-deps chromium--with-deps会为 Chromium 所需的共享库和字体运行 apt,执行到需要权限时会请求 root。浏览器本身会下载到执行该命令的用户的 ~/.cache/ms-playwright。这在服务器上很重要,因为服务用户通常不是您登录时使用的用户。使用 sudo npx playwright install-deps chromium 以管理员身份一次性安装系统软件包,然后在安装命令和服务单元中都设置 PLAYWRIGHT_BROWSERS_PATH=/opt/pw-browsers,以便共享同一份浏览器。服务如果无法访问浏览器,会在启动时失败,并显示其搜索过的路径。
固定 Playwright 版本。每个版本都对应一个浏览器构建版本,因此未固定的 npm update 可能会在运行中的服务下替换浏览器。截至 November 16, 2026,最新版本是 1.65.1,因此升级固定版本前请阅读发行说明。在 ARM64 服务器上请注意,1.63 重命名了浏览器目录,这会影响后文的 AppArmor 配置文件。
Chromium 有两个构建版本,二者不是同一个程序。在无头模式下,Playwright 默认使用无头 shell。这是一个更小的二进制文件,只能在无头模式下运行。普通安装会将它下载到完整浏览器旁边,而 npx playwright install --with-deps --only-shell 只安装该 shell。通过 chromium channel 获取的是完整浏览器,Playwright 浏览器文档称其为“真正的 Chrome 浏览器,因此更加真实、可靠,并提供更多功能”。批量抓取时使用 shell。网站行为异常且您需要查明原因时,使用完整浏览器。
容器中的无头浏览器为何会崩溃
Docker 为每个容器提供 64 MB 的 /dev/shm。Docker 文档明确说明:“如果完全省略大小,系统将使用 64m”。Chromium 通过这个共享内存区域在进程之间传递渲染内容,因此一个复杂页面就可能将其占满。随后渲染器进程退出,客户端报告目标已崩溃,而同一页面在笔记本电脑上却运行正常。更改任何配置前,先从容器内部确认该区域的大小。
df -h /dev/shm有两种真正的修复方法,二者是替代方案,不能同时使用。--ipc=host 会让容器使用宿主机的 IPC 命名空间,因此使用宿主机的 /dev/shm,其大小通常为 RAM 的一半。Playwright 的 Docker 指南推荐这种方式,因为不使用它时,“Chromium 可能耗尽内存并崩溃”。代价是容器与宿主机之间不再具有 IPC 隔离。--shm-size=1g 保留私有命名空间,只增大挂载区域。
docker run --rm -it --init --ipc=host --user pwuser mcr.microsoft.com/playwright:v1.62.0-noble /bin/bash--disable-dev-shm-usage 是大多数搜索结果中提供的答案,但它的作用不同:它会将这些文件从 /dev/shm 移到临时目录。如果 /tmp 位于磁盘上,那么你只是将崩溃换成了更慢的渲染和磁盘写入。如果 /tmp 是 tmpfs,数据仍会存放在 RAM 中,其上限仅由 tmpfs 大小限制决定;内核文档说明,该限制默认为物理 RAM 的一半,而且 tmpfs 页面可以被换出到 swap。这是浏览器耗尽小型 VPS 资源的一种方式。Playwright 1.62 默认传递 --disable-dev-shm-usage;如果要使用你设置大小的 /dev/shm,请在启动选项中使用 ignoreDefaultArgs: ['--disable-dev-shm-usage'] 移除该参数。
--no-sandbox 的实际代价
Chromium 使用基于 Linux user namespaces 构建的 sandbox 隔离每个 renderer。该 sandbox 是恶意网页与服务器之间的边界。Playwright 默认禁用 Chromium sandbox,因此请在启动选项中使用 chromiumSandbox: true 启用它。启用的 sandbox 无法启动时,Chromium 会拒绝运行,日志中会出现类似下面的一行:
Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno = Operation not permitted通常的建议是 --no-sandbox。Chromium 官方安全页面明确说明了代价:“我们不建议这样做,因为这会显著降低安全性,并且可能导致 Chromium 无法正常工作。” 遵循链接的 agent 按定义会浏览开放网络,而降低后的安全性正是在这种环境中接受检验。应找出真正原因。
以 root 身份运行和 user namespaces 被阻止,是需要检查的两个原因。以 root 身份运行时,Chromium sandbox 不可用,这也是 Playwright 的镜像提供名为 pwuser 的普通用户的原因。在 Docker 中,Playwright 还建议使用允许 clone、setns 和 unshare 的 seccomp 配置文件,以支持 sandbox 浏览。在 Ubuntu 24.04 及更高版本中,AppArmor 会限制非特权 user namespaces;如果 Chromium 二进制文件所在路径没有任何已提供的配置文件覆盖,访问就会被拒绝。Playwright 在 ~/.cache/ms-playwright 下的下载路径正是这种路径。检查以下两项:
id -u
sysctl kernel.apparmor_restrict_unprivileged_userns
sudo dmesg | grep -i userns_createsysctl 输出中的 1,以及包含 apparmor="DENIED" operation="userns_create" 的内核日志行,可以确认第二个原因。在 /etc/apparmor.d/pw-chromium 中仅允许该二进制文件,从而继续对系统上的其他程序实施限制:
abi <abi/4.0>,
include <tunables/global>
profile pw-chromium /{home/*/.cache/ms-playwright,opt/pw-browsers}/*/chrome-*/{chrome,headless_shell,chrome-headless-shell} flags=(unconfined) {
userns,
}使用 sudo apparmor_parser -r /etc/apparmor.d/pw-chromium 加载配置。在 x86-64 上,Playwright 将完整浏览器放在 chrome-linux64/chrome,将 shell 放在 chrome-headless-shell-linux64/chrome-headless-shell。在 ARM64 上,Playwright 1.62 将它们安装到不同目录:chromium-<revision>/chrome-linux/chrome 和 chromium_headless_shell-<revision>/chrome-linux/headless_shell。从 1.63 开始,ARM64 遵循 x86-64 的布局,使用 chrome-linux-arm64/chrome 和 chrome-headless-shell-linux-arm64/chrome-headless-shell。chrome-* glob 可覆盖上述所有布局,/opt/pw-browsers 分支则覆盖使用 PLAYWRIGHT_BROWSERS_PATH 创建的共享安装。路径中还包含浏览器 revision,因此每次升级 Playwright 后都会变化。上面的 glob 可以适应这些变化。针对某个固定路径编写的配置文件会静默停止匹配,浏览器也会在一次看似无关的更新后再次启动失败。
为什么截图为空白或充满方框
空白截图或充满空矩形的截图,通常是字体问题,而不是渲染错误。install-deps 会拉取一套可用的基础字体:fonts-liberation、fonts-freefont-ttf、fonts-noto-color-emoji、fonts-unifont、fonts-ipafont-gothic 用于日语,fonts-wqy-zenhei 用于中文,fonts-tlwg-loma-otf 用于泰语。该字体集不包含 Noto CJK,因此韩语和其他几种文字会回退到 fontconfig 能找到的字体。请查询 fontconfig,不要凭猜测判断:
fc-match "sans-serif:lang=ko"
fc-match "sans-serif:lang=ar"
fc-list | wc -l如果所需语言解析为 unifont,或回退到不包含实际字形的字体,请安装 fonts-noto-core 和 fonts-noto-cjk,然后再次运行检查。Fontconfig 会缓存查询结果,因此安装字体后请重启浏览器。完全不包含字体的精简镜像会在启动时记录 Fontconfig error: Cannot load default config file,并将所有页面渲染为空白。
区域设置和时区与字体无关,并且会改变页面显示的内容,而不只是外观。Playwright 上下文的区域设置和时区默认采用系统设置,因此请检查镜像配置,不要假设 LANG 未设置或时区为 UTC。请按浏览器上下文设置这些参数,而不是按机器设置,这样同一个浏览器就能为不同区域执行任务。
const context = await browser.newContext({
locale: 'en-GB',
timezoneId: 'Europe/Paris',
});泄露的浏览器进程为何会导致服务器使用交换空间
两类不同的问题都被称为“僵尸”。真正的僵尸进程是已结束、但其父进程从未调用 wait() 的进程。它只保留一个 PID 条目,不再占用其他资源,因此不会消耗内存。当浏览器在容器中作为 PID 1 运行时,您会收集到这类进程,因为 PID 1 默认不会回收子进程。Docker 的 --init 标志正是为此设计的,它会运行一个小型 init,用于“转发信号并回收进程”。在 Compose 中,对应的配置是 init: true。
真正导致服务器使用交换空间的泄漏不同:这是无人关闭的活动 Chromium 进程。当任务在 newContext() 和 close() 之间抛出异常,或控制脚本被终止并遗留孤立的浏览器进程树时,就会发生这种情况。最严重的情况是每个请求都启动一个新的浏览器。统计进程数量:
pgrep -c -f 'headless_shell|chrome'
ps -eo pid,ppid,rss,etime,comm --sort=-rss | head -20任务处于空闲状态时,该数量应恢复到原来的值。如果数量在一天内持续上升,问题出在代码中,而不是启动标志:在 finally 块中关闭上下文,在 SIGTERM 时关闭浏览器,并在处理固定数量的任务后回收浏览器,不要让同一个浏览器连续运行一个月。在 systemd 下,停止或重启会终止该单元 cgroup 中的所有进程,因此 sudo systemctl restart browser.service 是一种可靠的重置方式。手动在终端复用器中启动的浏览器没有这一保障,其孤立进程会在会话结束后继续运行。
单个浏览器上下文需要多少 RAM
请准确描述问题,因为“一个浏览器”并不等于一个进程。Chromium 会运行浏览器进程、GPU 进程、实用工具进程,以及每个站点对应的一个渲染器进程。站点隔离还会为跨站 iframe 创建独立的渲染器。一个 BrowserContext 是同一进程树中的独立 Cookie 存储和数据存储区域,因此第二个上下文的开销很小。第二个页面则不同,因为它会启动渲染器进程;包含大量广告的页面还会启动多个渲染器进程。
因此,应测量的是整个进程树在您自己的工作负载下的峰值内存。其他人的博客给出的数值在这里没有参考价值,因为实际由代理打开的页面才决定结果。请在实际使用的机器上,针对将要访问的网站进行测量:
sudo systemd-run --unit=browser-probe -p MemoryMax=2G -p MemorySwapMax=0 -p WorkingDirectory=/srv/agent /usr/bin/node worker.js
systemctl status browser-probe在 Ubuntu 24.04 上,该输出中的 Memory: 行会报告此单元当前和峰值的资源使用量。让 worker 一次只处理一个页面,记录峰值,然后在同时打开两个页面的情况下重复测量,以确定第二个页面的实际开销。并发数可以直接计算:用总 RAM 减去系统其他部分所需的内存,预留几百 MB,再除以每个 worker 测得的峰值。要估算运行此服务的机器规格,请参阅 代理 VPS 需要多少 RAM 和 CPU。
请在两个层面限制这个数值。在代码中使用固定的 worker 池或信号量,使代理请求突增时进入队列,而不是启动更多浏览器。在操作系统层面使用 cgroup 限制,避免队列中的错误连带拖垮整台机器:
[Service]
MemoryMax=2G
MemorySwapMax=0
TasksMax=512
Restart=alwaysMemorySwapMax=0 的作用比看起来更重要。如果没有它,cgroup 接近限制时可以将内存页移入 swap,因此机器通常仍能运行,但每个请求都会变慢。这比直接失败更难诊断。Swap 只能延缓问题:systemd 文档指出,如果使用量“无法控制在限制以内,则会在该单元中调用 out-of-memory killer”。将 swap 上限设为 0 后,该单元无法使用 swap;达到 MemoryMax 时会先执行回收。如果回收无法控制使用量,随后才会触发 OOM kill。Restart=always 会在主进程退出时重启服务,但仅终止一个渲染器进程并不保证触发重启。Compose 中对应的控制项是 mem_limit、shm_size 和 init,详见 在 Docker Compose 中设置内存限制。
不要将浏览器端点暴露到公网
Playwright 可以将浏览器作为服务器运行,并向您的代理提供一个 WebSocket URL:
const { chromium } = require('playwright');
const server = await chromium.launchServer({ port: 3000 });
console.log(server.wsEndpoint());该端点没有登录验证。Playwright API 文档对此有明确说明:“任何知道 wsPath 的进程或网页(包括在 Playwright 中运行的进程或网页)都可以控制操作系统用户。”默认主机为 localhost,“只接受来自回环接口的连接”。文档还警告,传入 0.0.0.0 等显式地址会“将浏览器 RPC 暴露给任何能够访问监听端口的对象”。Chrome 自带的 --remote-debugging-port 风险更高。DevTools 协议完全没有任何身份验证,只依赖绑定到回环接口来提供保护。
检查您实际发布了哪些端口,并从另一台机器和 VPS 本机分别进行检查:
ss -ltnp任何绑定到 0.0.0.0 的浏览器端口都属于安全问题。请记住,大多数云服务商会在控制面板中运行独立的网络防火墙,而您的 ufw 规则无法感知该防火墙。应改用 SSH 隧道或专用 VPN,从另一台机器访问该端点:
ssh -N -L 3000:127.0.0.1:3000 you@your-vps这里的风险不只是有人占用浏览器运行时间。一个可以由远程方驱动的浏览器,就是位于您网络内部的请求伪造工具。任何能够访问该套接字的对象,都可以让它请求 http://127.0.0.1:8080、数据库管理页面或云元数据地址 169.254.169.254,然后从页面中读取响应。您的防火墙会将该请求视为来自 VPS 本机的请求,因此允许它通过。应将控制端点视为等同于对该服务器具有 shell 访问权限。
MCP 服务器的情况相同。npx @playwright/mcp@latest --headless --port 8931 在 localhost 上通过 HTTP 提供服务,而 --host 0.0.0.0 是将本地工具变为公网服务的标志。项目 README 明确说明,Playwright MCP “不是安全边界”。将该端口保持在回环接口上,并让代理通过同一条隧道访问它。
代理读取的页面是不可信输入
浏览开放网络的代理会将陌生人编写的文本输入模型,而模型同时也会接收您的指令。页面中的文本可能直接对模型发出指令,要求它放弃当前任务、调用工具或向某个 URL 发布数据。模型会将这些内容都作为文本接收,因此无法可靠区分页面文字和您的指令。应当将环境设计为:恶意页面能够利用的权限尽可能少。
- 让浏览器使用独立的 OS 用户运行,并确保其环境中没有 SSH 密钥和云凭据。
- 每项任务使用全新的上下文,并在使用 Playwright MCP 时执行
--isolated;任务之间关闭 MCP 浏览器,以丢弃该会话的存储数据。 - 在任务允许的情况下维护来源白名单。Playwright MCP 使用
--allowed-origins和--blocked-origins接收以分号分隔的列表。这些过滤器不影响重定向,也不构成安全边界。 - 在执行任何会改变状态的操作前要求人工确认,例如发送邮件或消费资金。
更好的做法是,将整个浏览器运行在一台可以直接丢弃并重建的机器上。这与在一次性 VM 中运行编码代理的原则相同。如果代理的实际任务只是搜索,而不是开放式浏览,那么使用范围更窄的工具会比完整浏览器更安全:使用您自己的 SearXNG 支持的搜索技能可以返回结果,而完全不会加载恶意页面。
FAQ
为什么 Chromium 在 Docker 中会崩溃,但直接运行在同一台 VPS 上却正常?
因为容器默认只有 64 MB 的 /dev/shm,而主机提供的空间大得多。Chromium 会通过这块共享内存区域传递渲染内容,因此复杂页面可能将其填满,导致渲染器退出。请在容器中运行 df -h /dev/shm 进行确认,然后使用 --ipc=host 启动 Chromium,让它使用主机的共享内存;或者使用 --shm-size=1g,增大容器自身的共享内存。--disable-dev-shm-usage 只能将问题转移到 /tmp。Playwright 1.62 默认会传递该标志;使用 ignoreDefaultArgs: ['--disable-dev-shm-usage'],让 Chromium 使用你设置大小的共享内存。
如果 VPS 上没有运行其他程序,使用 --no-sandbox 是否安全?
不安全。沙箱用于阻止恶意页面访问机器的其他部分。Chromium 的安全页面这样说明该标志:“我们不建议这样做,因为这会显著降低安全性,并且可能导致 Chromium 无法正常工作。”自动执行代理会跟随链接浏览开放网络。应修复根因:不要以 root 身份运行浏览器;在 Ubuntu 24.04 上,为浏览器二进制文件路径添加包含 userns, 的 AppArmor 配置文件,仅允许该程序使用非特权用户命名空间。使用 chromiumSandbox: true 显式启用沙箱;在 Docker 中,还应使用 Playwright 推荐的 seccomp 配置文件。
在小型 VPS 上可以运行多少个浏览器?
请进行测量,不要直接套用某个数字。Chromium 每打开一个站点,通常会启动一个渲染器进程,因此数量取决于你打开的页面。使用 systemd-run 运行一个 worker,并设置 MemoryMax;从 systemctl status 的 Memory: 行读取峰值,然后用可用 RAM 除以该峰值,并预留余量。通过两层限制落实结果:在代码中使用队列,并在 unit 文件中设置 MemoryMax,这样请求突发时会排队,而不是导致机器进入交换。
我的代理可以从另一台机器连接浏览器吗?
可以,但绝不能将端口绑定到 0.0.0.0。Playwright 服务器端点和 Chrome DevTools 端口都会接受任何能够访问它们的客户端,而且没有密码保护。让监听器保持在 127.0.0.1,并通过 SSH 隧道或私有 VPN 传输连接。使用 ss -ltnp 在服务器上验证,并从外部检查端口;同时检查服务商单独提供的网络防火墙。
页面明显已加载,为什么截图却是空白?
缺少字体。如果没有覆盖页面所用脚本的字体,文本会渲染为空白方框,或完全不显示,因此原本图像较少的页面看起来会是空白。对抓取的每种语言运行 fc-match "sans-serif:lang=ko";如果结果是通用后备字体,请安装 fonts-noto-core 和 fonts-noto-cjk,然后重启浏览器,让 fontconfig 重新加载缓存。完全没有字体的容器会在启动时记录 Fontconfig error: Cannot load default config file。