SSD Nodes Learn Hosting plans →
راهنماها Matt Connorتوسط Matt Connor

اجرای مرورگر Headless روی VPS برای AI Agent

اجرای Chromium روی سرور با خطاهای رایج مانند کمبود فضای /dev/shm و نبود فونت همراه است. با تنظیم دقیق sandbox flags و مدیریت منابع، از کرش کردن عامل هوش مصنوعی جلوگیری کنید.

آنچه در حال اجرا دارید

یک مرورگر headless روی یک VPS، در واقع همان Chromium بدون رابط گرافیکی است که به‌جای کاربر، توسط کد شما هدایت می‌شود. روی سرور، این مرورگر یک درخت پردازش (process tree) با طول عمر بالاست که عامل (agent) شما از طریق یک سوکت محلی با آن ارتباط برقرار می‌کند. نصب آن تنها با یک دستور انجام می‌شود، اما کار اصلی پس از آن آغاز می‌گردد. شما باید منابعی که مرورگر می‌تواند از ماشین مصرف کند را محدود کرده و نقطهٔ کنترل (control endpoint) آن را از دسترس اینترنت عمومی خارج کنید.

این راهنما فرض را بر این می‌گذارد که ابزار مورد نظر خود را انتخاب کرده‌اید و اکنون باید آن را مدیریت کنید. اگر هنوز در حال مقایسهٔ خزنده‌ها (crawlers) و استخراج‌کننده‌ها (extractors) هستید، ابتدا جایگزین‌های self-hosted برای Firecrawl را بررسی کنید و سپس به اینجا بازگردید. تمام موارد زیر از Chromium مربوط به Playwright استفاده می‌کنند، زیرا Playwright نسخهٔ مرورگر و نصب‌کنندهٔ وابستگی‌های اختصاصی خود را ارائه می‌دهد؛ بنابراین دستورات یکسان روی یک VPS خام با سیستم‌عامل Ubuntu و داخل یک کانتینر به درستی کار می‌کنند. این دستورات نسخه 1.62 از Playwright را تثبیت (pin) می‌کنند.

نصب Chromium بدون حدس‌زدن وابستگی‌ها

npm i -D playwright@1.62.0
npx playwright install --with-deps chromium

--with-deps دستور apt را برای کتابخانه‌های اشتراکی و فونت‌های مورد نیاز Chromium اجرا می‌کند و در صورت لزوم، دسترسی root می‌خواهد. خودِ build مرورگر برای کاربری که دستور را اجرا کرده، در مسیر ~/.cache/ms-playwright دانلود می‌شود. این موضوع در سرور اهمیت دارد، زیرا کاربرِ سرویس معمولاً همان کاربری نیست که شما با آن لاگین می‌کنید. بسته‌های سیستمی را یک‌بار به‌عنوان مدیر سیستم با sudo npx playwright install-deps chromium نصب کنید، سپس PLAYWRIGHT_BROWSERS_PATH=/opt/pw-browsers را هم در دستور نصب و هم در unit سرویس تنظیم کنید تا یک نسخه به‌صورت اشتراکی استفاده شود. سرویسی که نتواند مرورگر خود را ببیند، هنگام اجرا با پیامی که مسیر جست‌وجو شده را نشان می‌دهد، متوقف می‌شود.

نسخه Playwright را ثابت (Pin) کنید. هر release به یک build خاص از مرورگر وابسته است، بنابراین یک npm update بدون نسخه ثابت می‌تواند مرورگر را زیر پای یک سرویسِ در حال اجرا تغییر دهد. تا تاریخ 16 نوامبر 2026، آخرین نسخه 1.65.1 است، پس پیش از تغییر نسخه ثابت، یادداشت‌های انتشار (release notes) را بخوانید. در سرورهای ARM64 توجه داشته باشید که نسخه 1.63 نام پوشه‌های مرورگر را تغییر داده است که این موضوع برای پروفایل AppArmor در ادامه اهمیت دارد.

دو build از Chromium وجود دارد و آن‌ها یک برنامه واحد نیستند. در حالت headless، ابزار Playwright به‌صورت پیش‌فرض از headless shell استفاده می‌کند؛ یک فایل اجرایی کوچک‌تر که فقط در حالت headless اجرا می‌شود. نصب معمولی، آن را در کنار مرورگر کامل دانلود می‌کند و npx playwright install --with-deps --only-shell فقط همان shell را نصب می‌کند. مرورگر کامل همان چیزی است که با کانال chromium دریافت می‌کنید که مستندات مرورگر Playwright آن را «مرورگر واقعی Chrome و در نتیجه معتبرتر، قابل‌اطمینان‌تر و دارای قابلیت‌های بیشتر» می‌نامد. برای دریافت‌های انبوه از shell استفاده کنید. زمانی که یک سایت رفتار متفاوتی دارد و نیاز دارید دلیل آن را بفهمید، از مرورگر کامل استفاده کنید.

چرا مرورگر headless در کانتینر کرش می‌کند

داکر به هر کانتینر یک /dev/shm با حجم 64 مگابایت اختصاص می‌دهد. مستندات داکر صراحتاً بیان می‌کند: «اگر اندازه را مشخص نکنید، سیستم از 64m استفاده می‌کند». کرومیوم محتوای رندر شده را بین پردازش‌های خود از طریق این ناحیه حافظه مشترک جابه‌جا می‌کند، بنابراین یک صفحه سنگین می‌تواند آن را پر کند. در نتیجه، رندرکننده از کار می‌افتد و کلاینت شما گزارش کرش کردن هدف را می‌دهد، در حالی که همان صفحه روی لپ‌تاپ شما به‌خوبی کار می‌کند. پیش از هر تغییری، اندازه آن را از داخل کانتینر بررسی کنید.

df -h /dev/shm

دو راه حل واقعی وجود دارد که جایگزین یکدیگر هستند، نه مکمل هم. استفاده از --ipc=host کانتینر را در فضای نام IPC میزبان قرار می‌دهد تا از /dev/shm میزبان استفاده کند که معمولاً نیمی از RAM است. راهنمای داکر Playwright این روش را توصیه می‌کند، زیرا بدون آن «کرومیوم ممکن است با کمبود حافظه مواجه شده و کرش کند». هزینه این کار، از دست دادن ایزولاسیون IPC بین کانتینر و میزبان است. استفاده از --shm-size=1g فضای نام خصوصی را حفظ کرده و صرفاً حجم mount را افزایش می‌دهد.

docker run --rm -it --init --ipc=host --user pwuser mcr.microsoft.com/playwright:v1.62.0-noble /bin/bash

فلگ --disable-dev-shm-usage پاسخی است که در اکثر نتایج جستجو خواهید یافت، اما عملکرد متفاوتی دارد: این فلگ فایل‌ها را از /dev/shm به یک دایرکتوری موقت منتقل می‌کند. اگر /tmp روی دیسک قرار داشته باشد، شما کرش را با رندر کندتر و نوشتن روی دیسک معاوضه کرده‌اید. اگر /tmp یک tmpfs باشد، داده‌ها دوباره به RAM بازمی‌گردند و تنها توسط محدودیت اندازه tmpfs محدود می‌شوند که مستندات کرنل آن را به‌صورت پیش‌فرض نیمی از RAM فیزیکی تعیین کرده است و صفحات tmpfs می‌توانند به swap منتقل شوند. این یکی از روش‌هایی است که مرورگر یک VPS کوچک را از پا درمی‌آورد. نسخه 1.62 از Playwright به‌صورت پیش‌فرض --disable-dev-shm-usage را ارسال می‌کند؛ برای استفاده از /dev/shm که اندازه‌اش را تعیین کرده‌اید، آن آرگومان را با استفاده از ignoreDefaultArgs: ['--disable-dev-shm-usage'] در گزینه‌های launch خود حذف کنید.

هزینه واقعی استفاده از --no-sandbox

کرومیوم (Chromium) هر رندرکننده را در یک sandbox ایزوله می‌کند که بر پایه user namespaceهای لینوکس ساخته شده است. این sandbox مرز میان یک صفحه وب مخرب و سرور شماست. پلی‌رایت (Playwright) به‌صورت پیش‌فرض sandbox کرومیوم را غیرفعال می‌کند، بنابراین آن را با chromiumSandbox: true در گزینه‌های راه‌اندازی (launch options) فعال کنید. زمانی که sandbox فعال‌شده قادر به اجرا نباشد، کرومیوم از اجرا امتناع می‌کند و لاگ شامل خطی مشابه این خواهد بود:

Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno = Operation not permitted

توصیه معمول استفاده از --no-sandbox است. صفحات امنیتی خود کرومیوم در مورد هزینه این کار صریح هستند: «ما این کار را توصیه نمی‌کنیم، زیرا امنیت شما را به‌طور قابل‌توجهی کاهش می‌دهد و ممکن است مانع از عملکرد صحیح کرومیوم شود.» عاملی که لینک‌ها را دنبال می‌کند، طبق تعریف در حال مرور وب باز است؛ دقیقاً همان جایی که این امنیت کاهش‌یافته مورد آزمایش قرار می‌گیرد. علت واقعی را پیدا کنید.

اجرا با کاربر root و مسدود بودن user namespaceها دو موردی هستند که باید بررسی شوند. sandbox کرومیوم هنگام اجرا با کاربر root در دسترس نیست، به همین دلیل است که ایمیج پلی‌رایت یک کاربر معمولی به نام pwuser ارائه می‌دهد. در داکر، پلی‌رایت همچنین استفاده از یک seccomp profile را توصیه می‌کند که اجازه استفاده از clone، setns و unshare را برای مرور ایمن (sandboxed) می‌دهد. در اوبونتو 24.04 و نسخه‌های بعد از آن، AppArmor دسترسی به user namespaceهای بدون امتیاز (unprivileged) را محدود می‌کند و باینری کرومیوم که در مسیری قرار دارد که هیچ پروفایل پیش‌فرضی آن را پوشش نمی‌دهد، مسدود می‌شود. دانلود پلی‌رایت در مسیر ~/.cache/ms-playwright دقیقاً چنین مسیری است. هر دو مورد را بررسی کنید:

id -u
sysctl kernel.apparmor_restrict_unprivileged_userns
sudo dmesg | grep -i userns_create

یک 1 از دستور sysctl به همراه یک خط در کرنل که شامل apparmor="DENIED" operation="userns_create" باشد، علت دوم را تأیید می‌کند. آن باینری خاص را در /etc/apparmor.d/pw-chromium مجاز کنید؛ این کار محدودیت را برای سایر بخش‌های سیستم حفظ می‌کند:

abi <abi/4.0>,
include <tunables/global>

profile pw-chromium /{home/*/.cache/ms-playwright,opt/pw-browsers}/*/chrome-*/{chrome,headless_shell,chrome-headless-shell} flags=(unconfined) {
  userns,
}

آن را با sudo apparmor_parser -r /etc/apparmor.d/pw-chromium بارگذاری کنید. در معماری x86-64، پلی‌رایت مرورگر کامل را در chrome-linux64/chrome و شل را در chrome-headless-shell-linux64/chrome-headless-shell قرار می‌دهد. در معماری ARM64، پلی‌رایت 1.62 آن‌ها را در دایرکتوری‌های جداگانه نصب می‌کرد: chromium-<revision>/chrome-linux/chrome و chromium_headless_shell-<revision>/chrome-linux/headless_shell. از نسخه 1.63 به بعد، ARM64 از الگوی x86-64 با chrome-linux-arm64/chrome و chrome-headless-shell-linux-arm64/chrome-headless-shell پیروی می‌کند. الگوی chrome-* تمام این ساختارها را پوشش می‌دهد و شاخه /opt/pw-browsers نصب اشتراکی انجام‌شده با PLAYWRIGHT_BROWSERS_PATH را در بر می‌گیرد. این مسیر همچنین شامل نسخه (revision) مرورگر است، بنابراین با هر بار ارتقای پلی‌رایت تغییر می‌کند. الگوهای (glob) بالا در برابر این تغییرات مقاوم هستند. پروفایلی که برای یک مسیر دقیق نوشته شده باشد، به‌طور خاموش از کار می‌افتد و مرورگر پس از یک به‌روزرسانی که بی‌ارتباط به نظر می‌رسد، دوباره با خطا مواجه می‌شود.

چرا اسکرین‌شات‌ها خالی یا پر از مربع نمایش داده می‌شوند

یک اسکرین‌شات خالی، یا اسکرین‌شاتی که پر از مستطیل‌های توخالی است، معمولاً ناشی از مشکل فونت است تا یک باگ در رندرینگ. install-deps یک پایهٔ کاری را فراخوانی می‌کند: fonts-liberation، fonts-freefont-ttf، fonts-noto-color-emoji، fonts-unifont، fonts-ipafont-gothic برای زبان ژاپنی، fonts-wqy-zenhei برای چینی و fonts-tlwg-loma-otf برای تایلندی. در این مجموعه فونت Noto CJK وجود ندارد، بنابراین زبان کره‌ای و چندین خط دیگر به هر فونتی که fontconfig بتواند پیدا کند، بازگشت (fallback) می‌کنند. به‌جای حدس زدن، از fontconfig پرس‌وجو کنید:

fc-match "sans-serif:lang=ko"
fc-match "sans-serif:lang=ar"
fc-list | wc -l

اگر زبانی که مد نظر شماست به unifont یا یک فونت جایگزین بدون گلیف‌های واقعی ارجاع داده می‌شود، fonts-noto-core و fonts-noto-cjk را نصب کنید و سپس بررسی را دوباره انجام دهید. Fontconfig نتایج را کش می‌کند، بنابراین پس از نصب فونت‌ها، مرورگر را مجدداً راه‌اندازی کنید. یک ایمیجِ stripped که هیچ فونتی ندارد، در هنگام شروع به کار لاگ Fontconfig error: Cannot load default config file را ثبت می‌کند و تمام صفحات را خالی رندر می‌کند.

تنظیمات locale و منطقهٔ زمانی (time zone) از فونت‌ها جدا هستند و محتوای صفحه را تغییر می‌دهند، نه فقط ظاهر آن را. تنظیمات پیش‌فرض locale و منطقهٔ زمانی در context مرورگر Playwright بر اساس تنظیمات سیستم است، بنابراین به‌جای فرض اینکه LANG تنظیم نشده یا منطقهٔ زمانی UTC است، پیکربندی ایمیج را بررسی کنید. این موارد را به‌جای سطح ماشین، برای هر context مرورگر تنظیم کنید تا یک مرورگر بتواند وظایف مربوط به مناطق مختلف را انجام دهد.

const context = await browser.newContext({
  locale: 'en-GB',
  timezoneId: 'Europe/Paris',
});

چرا نشت پردازش‌های مرورگر باعث استفاده از swap می‌شود

دو مشکل متفاوت با نام "zombie" شناخته می‌شوند. یک zombie واقعی، پردازشی است که کارش تمام شده اما والد آن هرگز wait() را فراخوانی نکرده است. این پردازش فقط یک ورودی در جدول PID اشغال می‌کند و چون حافظه‌ای مصرف نمی‌کند، مشکلی ایجاد نمی‌کند. این وضعیت زمانی رخ می‌دهد که مرورگر به عنوان PID 1 در یک کانتینر اجرا شود، زیرا PID 1 به‌طور پیش‌فرض قابلیت جمع‌آوری (reap) پردازش‌های فرزند را ندارد. فلگ --init در Docker دقیقاً همین مشکل را با اجرای یک init کوچک که "سیگنال‌ها را هدایت و پردازش‌ها را جمع‌آوری می‌کند" حل می‌کند. در Compose نیز همین قابلیت با init: true در دسترس است.

نشتی که واقعاً باعث استفاده از swap در سرور شما می‌شود، متفاوت است: پردازش‌های زنده Chromium که هیچ‌کس آن‌ها را نبسته است. این اتفاق زمانی می‌افتد که یک وظیفه (task) بین newContext() و close() با خطا مواجه شود، یا زمانی که اسکریپت کنترل‌کننده کشته شود و درخت پردازش‌های مرورگر را به صورت یتیم (orphaned) رها کند. بدترین حالت، کدی است که برای هر درخواست یک مرورگر جدید باز می‌کند. آن‌ها را بشمارید:

pgrep -c -f 'headless_shell|chrome'
ps -eo pid,ppid,rss,etime,comm --sort=-rss | head -20

این شمارش باید بین هر وظیفه به مقدار اولیه (idle) بازگردد. اگر این تعداد در طول یک روز افزایش می‌یابد، راه‌حل در کد شماست و نه در فلگ‌های راه‌اندازی: context را در یک بلوک finally ببندید، مرورگر را در SIGTERM ببندید و به جای اجرای یک مرورگر برای یک ماه، آن را پس از تعداد مشخصی وظیفه بازیافت کنید. تحت systemd، دستور stop یا restart همه پردازش‌های موجود در cgroup آن unit را می‌کشد، بنابراین sudo systemctl restart browser.service یک بازنشانی مطمئن است. مرورگری که به‌صورت دستی در یک ترمینال مالتی‌پلکسر اجرا شده باشد چنین تضمینی ندارد و پردازش‌های یتیم آن پس از پایان نشست (session) همچنان باقی می‌مانند.

یک context مرورگر به چه مقدار RAM نیاز دارد

این پرسش را دقیق مطرح کنید، زیرا «یک مرورگر» به معنای یک پردازش واحد نیست. Chromium یک پردازش مرورگر، یک پردازش GPU، پردازش‌های جانبی (utility) و به ازای هر سایت یک پردازش renderer اجرا می‌کند؛ همچنین قابلیت site isolation باعث می‌شود iframeهای بین‌سایتی نیز renderer اختصاصی خود را داشته باشند. یک BrowserContext در واقع یک cookie jar و فضای ذخیره‌سازی مجزا در همان درخت پردازشی است، بنابراین ایجاد context دوم هزینه کمی دارد. اما صفحه دوم پرهزینه است، زیرا پردازش‌های renderer جدیدی را آغاز می‌کند و یک صفحه پر از تبلیغات، چندین پردازش را همزمان اجرا می‌کند.

بنابراین عددی که باید اندازه‌گیری کنید، اوج مصرف حافظه (peak memory) برای کل درخت پردازش‌ها تحت workload اختصاصی شماست. عددی که در وبلاگ دیگران می‌بینید در اینجا بی‌ارزش است، زیرا پاسخ به این بستگی دارد که عامل (agent) شما چه صفحاتی را باز می‌کند. اندازه‌گیری را روی همان ماشینی انجام دهید که قرار است استفاده کنید و با همان سایت‌هایی که قصد بازدید از آن‌ها را دارید:

sudo systemd-run --unit=browser-probe -p MemoryMax=2G -p MemorySwapMax=0 -p WorkingDirectory=/srv/agent /usr/bin/node worker.js
systemctl status browser-probe

در Ubuntu 24.04، خط Memory: در خروجی بالا، هم مصرف فعلی و هم اوج مصرف (peak) واحد را گزارش می‌دهد. worker را با یک صفحه در هر لحظه اجرا کنید، اوج مصرف را یادداشت کنید، سپس با باز کردن دو صفحه تکرار کنید تا ببینید صفحه دوم واقعاً چه هزینه‌ای دارد. هم‌زمانی (concurrency) سپس یک محاسبه ریاضی ساده است: کل RAM را بردارید، مقداری که سایر بخش‌های سیستم نیاز دارند را کسر کنید، چند صد MB فضای خالی (headroom) در نظر بگیرید و بر اوج مصرف اندازه‌گیری‌شده به ازای هر worker تقسیم کنید. برای تعیین ابعاد ماشین زیرساختی، به میزان RAM و CPU مورد نیاز برای یک agent VPS مراجعه کنید.

این عدد را در دو نقطه اعمال کنید. در کد خود، از یک worker pool ثابت یا یک semaphore استفاده کنید تا در صورت هجوم درخواست‌ها، به جای اجرای تعداد زیادی مرورگر، درخواست‌ها در صف قرار بگیرند. در سطح سیستم‌عامل، از محدودیت cgroup استفاده کنید تا یک باگ در صف نتواند کل ماشین را از کار بیندازد:

[Service]
MemoryMax=2G
MemorySwapMax=0
TasksMax=512
Restart=always

MemorySwapMax=0 بیش از آنچه به نظر می‌رسد اهمیت دارد. بدون آن، cgroup اجازه دارد با نزدیک شدن به حد مجاز، صفحات را به swap منتقل کند؛ در نتیجه سیستم بالا می‌ماند اما هر درخواست به‌شدت کند می‌شود که عیب‌یابی آن از یک خرابی کامل (clean failure) دشوارتر است. Swap فقط پایان کار را به تأخیر می‌اندازد: مستندات systemd بیان می‌کند که اگر مصرف «نتواند زیر حد مجاز کنترل شود، OOM killer در داخل واحد فراخوانی می‌شود». با محدود کردن swap به صفر، واحد نمی‌تواند از swap استفاده کند؛ رسیدن به MemoryMax باعث می‌شود پیش از OOM kill، عملیات reclaim انجام شود (اگر reclaim نتواند مصرف را کنترل کند). Restart=always سرویس را پس از خروج پردازش اصلی دوباره راه‌اندازی می‌کند، اما OOM kill شدنِ تنها یک renderer، لزوماً تضمین‌کننده راه‌اندازی مجدد نیست. کنترل‌های مشابه در Compose عبارتند از mem_limit، shm_size و init که در تنظیم محدودیت‌های حافظه در Docker Compose پوشش داده شده‌اند.

نقطه پایانی مرورگر را از دسترس اینترنت عمومی خارج کنید

Playwright می‌تواند مرورگر را به عنوان یک سرور اجرا کرده و یک WebSocket URL در اختیار عامل (agent) شما قرار دهد:

const { chromium } = require('playwright');
const server = await chromium.launchServer({ port: 3000 });
console.log(server.wsEndpoint());

این نقطه پایانی فاقد هرگونه احراز هویت است. مستندات API مربوط به Playwright مستقیماً بیان می‌کند: «هر پردازش یا صفحه وبی (از جمله مواردی که در Playwright اجرا می‌شوند) که از wsPath آگاهی داشته باشد، می‌تواند کنترل کاربر سیستم‌عامل را در دست بگیرد.» میزبان پیش‌فرض localhost است که «اتصالات را فقط از رابط loopback می‌پذیرد» و مستندات هشدار می‌دهند که تعیین یک آدرس صریح مانند 0.0.0.0، «RPC مرورگر را در معرض هر چیزی که به پورت گوش‌دهنده دسترسی داشته باشد، قرار می‌دهد». پروتکل --remote-debugging-port خودِ Chrome وضعیت بدتری دارد. پروتکل DevTools فاقد هرگونه احراز هویت است و کاملاً به اتصال روی loopback وابسته است.

بررسی کنید که چه چیزی را واقعاً منتشر کرده‌اید؛ این بررسی را هم از یک ماشین دوم و هم از داخل خود VPS انجام دهید:

ss -ltnp

هر چیزی روی پورت مرورگر که به 0.0.0.0 متصل باشد، یک آسیب‌پذیری محسوب می‌شود. به یاد داشته باشید که اکثر ارائه‌دهندگان، یک فایروال شبکه مجزا در پنل کنترل خود دارند که قوانین ufw شما از آن بی‌اطلاع هستند. برای دسترسی به نقطه پایانی از ماشین دیگر، از یک تونل SSH یا یک VPN خصوصی استفاده کنید:

ssh -N -L 3000:127.0.0.1:3000 you@your-vps

خطر در اینجا فراتر از سرقت زمان مرورگر است. مرورگری که بتوانید آن را هدایت کنید، یک ماشین جعل درخواست (request-forgery) است که در شبکه شما قرار دارد. هر کسی که به آن سوکت دسترسی پیدا کند، می‌تواند آن را وادار به فراخوانی http://127.0.0.1:8080، صفحه مدیریت دیتابیس شما یا آدرس متادیتای ابری در 169.254.169.254 کند و سپس پاسخ را از صفحه بخواند. فایروال شما درخواست را از سمت خودِ VPS می‌بیند که مجاز است. با نقطه پایانی کنترل، دقیقاً مانند دسترسی shell به آن سرور برخورد کنید.

سرورهای MCP نیز ساختار مشابهی دارند. npx @playwright/mcp@latest --headless --port 8931 از طریق HTTP روی localhost سرویس می‌دهد و --host 0.0.0.0 پرچمی است که یک ابزار محلی را به یک ابزار عمومی تبدیل می‌کند. فایل README پروژه به‌صراحت می‌گوید که Playwright MCP «یک مرز امنیتی نیست». پورت را روی loopback نگه دارید و اجازه دهید عامل (agent) از طریق همان تونل به آن دسترسی پیدا کند.

صفحاتی که عامل شما می‌خواند، ورودی‌های غیرقابل‌اعتماد هستند

عاملی که وب عمومی را مرور می‌کند، متنی را که توسط افراد ناشناس نوشته شده است به مدلی تزریق می‌کند که دستورالعمل‌های شما را نیز در خود دارد. یک صفحه می‌تواند حاوی متنی باشد که خطاب به آن مدل نوشته شده و از آن بخواهد وظیفه محوله را رها کند، ابزاری را فراخوانی کند یا داده‌هایی را به یک URL خاص ارسال نماید. مدل هر دو مورد را به عنوان متن دریافت می‌کند، بنابراین راه مطمئنی برای تشخیص کلمات صفحه از دستورات شما ندارد. ساختار سیستم را به‌گونه‌ای طراحی کنید که یک صفحه مخرب کمترین دسترسی و ابزار را برای سوءاستفاده داشته باشد.

  • مرورگر را تحت یک کاربر سیستم‌عامل مجزا اجرا کنید؛ کاربری که هیچ کلید SSH یا اعتبارنامه ابری (cloud credentials) در محیط آن وجود نداشته باشد.
  • برای هر وظیفه از یک کانتکست تازه استفاده کنید و --isolated را با Playwright MCP به کار ببرید؛ مرورگر MCP را بین وظایف ببندید تا حافظه (storage) آن نشست پاک شود.
  • در صورت امکان، یک لیست سفید (allowlist) از مبدأها (origin) نگه دارید. Playwright MCP از --allowed-origins و --blocked-origins به عنوان لیست‌های جدا شده با سمیکولون پشتیبانی می‌کند. این فیلترها بر تغییر مسیرها (redirects) تأثیر نمی‌گذارند و یک مرز امنیتی محسوب نمی‌شوند.
  • پیش از هر اقدامی که وضعیت سیستم را تغییر می‌دهد، مانند ارسال ایمیل یا تراکنش مالی، تأیید انسانی را الزامی کنید.

حتی بهتر است کل مرورگر را روی ماشینی نگه دارید که بتوانید آن را دور بیندازید و دوباره بسازید؛ این همان استدلالی است که در اجرای عوامل کدنویسی در یک ماشین مجازی یک‌بارمصرف مطرح می‌شود. اگر وظیفه اصلی عامل، جستجو است و نه مرور آزادانه وب، استفاده از ابزاری محدودتر از یک مرورگر کامل، امن‌تر است: یک مهارت جستجو که توسط SearXNG شخصی شما پشتیبانی می‌شود، نتایج را بدون بارگذاری صفحه مخرب به شما بازمی‌گرداند.

FAQ

چرا Chromium در Docker کرش می‌کند اما روی همان VPS به‌خوبی کار می‌کند؟

زیرا کانتینر به‌صورت پیش‌فرض یک /dev/shm با حجم 64 مگابایت دریافت می‌کند، در حالی که میزبان (host) حجم بسیار بیشتری دارد. Chromium محتوای رندر شده را از طریق آن ناحیه حافظه اشتراکی منتقل می‌کند، بنابراین یک صفحه سنگین آن را پر کرده و پردازش رندر از کار می‌افتد. برای تأیید، df -h /dev/shm را داخل کانتینر اجرا کنید، سپس آن را یا با --ipc=host که از حافظه اشتراکی میزبان استفاده می‌کند، یا با --shm-size=1g که حافظه اشتراکی خود کانتینر را افزایش می‌دهد، راه‌اندازی کنید. --disable-dev-shm-usage فقط مشکل را به /tmp منتقل می‌کند. Playwright 1.62 این فلگ را به‌صورت پیش‌فرض ارسال می‌کند؛ از ignoreDefaultArgs: ['--disable-dev-shm-usage'] استفاده کنید تا Chromium از حافظه اشتراکی که برای آن تعیین کرده‌اید استفاده کند.

آیا استفاده از --no-sandbox در صورتی که VPS هیچ سرویس دیگری اجرا نمی‌کند، امن است؟

خیر. سندباکس مانع از دسترسی یک صفحه مخرب به سایر بخش‌های سیستم می‌شود و صفحات امنیتی Chromium درباره این فلگ می‌گویند: «ما این کار را توصیه نمی‌کنیم، زیرا امنیت شما را به‌طور قابل‌توجهی کاهش می‌دهد و ممکن است مانع از عملکرد صحیح Chromium شود.» عاملی که لینک‌ها را دنبال می‌کند، در حال مرور وب باز است. به‌جای آن، علت اصلی را برطرف کنید: مرورگر را با کاربر root اجرا نکنید و در Ubuntu 24.04 یک پروفایل AppArmor حاوی userns, برای مسیر باینری مرورگر اضافه کنید تا فضاهای نام کاربری (user namespaces) بدون امتیاز برای آن برنامه خاص مجاز باشند. سندباکس را به‌طور صریح با chromiumSandbox: true فعال کنید؛ در Docker، از پروفایل seccomp توصیه‌شده توسط Playwright نیز استفاده کنید.

روی یک VPS کوچک چند مرورگر می‌توانم اجرا کنم؟

آن را اندازه‌گیری کنید، به یک عدد اکتفا نکنید. Chromium برای هر سایت یک پردازش رندر ایجاد می‌کند، بنابراین پاسخ به صفحاتی که باز می‌کنید بستگی دارد. یک worker را تحت systemd-run با تنظیم MemoryMax اجرا کنید، مقدار اوج (peak) را از خط Memory: در systemctl status بخوانید، سپس رم آزاد خود را بر آن مقدار تقسیم کرده و مقداری فضای خالی (headroom) در نظر بگیرید. نتیجه را با استفاده از یک صف در کد خود و یک MemoryMax در فایل unit اعمال کنید تا در صورت هجوم درخواست‌ها، به‌جای استفاده از swap و کند شدن سیستم، درخواست‌ها در صف منتظر بمانند.

آیا عامل (agent) من می‌تواند از دستگاه دیگری به مرورگر متصل شود؟

بله، اما هرگز با bind کردن پورت روی 0.0.0.0 این کار را نکنید. نقطه پایانی سرور Playwright و پورت Chrome DevTools هر دو بدون نیاز به رمز عبور، هر کلاینتی را که به آن‌ها دسترسی داشته باشد می‌پذیرند. listener را روی 127.0.0.1 نگه دارید و اتصال را از طریق یک تونل SSH یا یک VPN خصوصی برقرار کنید. با ss -ltnp روی سرور و بررسی پورت از خارج، وضعیت را تأیید کنید و همچنین فایروال شبکه جداگانه ارائه‌دهنده خود را نیز بررسی کنید.

چرا با وجود بارگذاری کامل صفحه، اسکرین‌شات‌های من خالی هستند؟

فونت‌ها ناقص هستند. بدون فونتی که اسکریپت صفحه را پوشش دهد، متن به‌صورت جعبه‌های خالی یا اصلاً نمایش داده نمی‌شود، بنابراین یک صفحه با تصاویر کم، خالی به نظر می‌رسد. برای هر زبانی که scrape می‌کنید fc-match "sans-serif:lang=ko" را اجرا کنید، در صورتی که پاسخ یک fallback عمومی است fonts-noto-core و fonts-noto-cjk را نصب کنید و مرورگر را مجدداً راه‌اندازی کنید تا fontconfig کش خود را بارگذاری مجدد کند. کانتینری که هیچ فونتی ندارد، در هنگام شروع کار Fontconfig error: Cannot load default config file را لاگ می‌کند.

آیا این مقاله مفید بود؟