SSD Nodes Learn Hosting plans →
নির্দেশিকা Matt Connorদ্বারা Matt Connor

VPS-এ Headless Browser চালানোর সঠিক নিয়ম

VPS-এ Chromium চালানোর সময় /dev/shm এর সীমাবদ্ধতা, sandbox ফ্ল্যাগ এবং ফন্ট মিসিং জনিত সমস্যা এড়াতে এই গাইডটি অনুসরণ করুন। আপনার AI এজেন্টের জন্য ব্রাউজার কনফিগারেশনের সঠিক উপায় জানুন।

আপনি যা চালাচ্ছেন

একটি VPS-এ headless browser হলো কোনো window ছাড়া চলা Chromium, যা কোনো ব্যক্তির বদলে আপনার code দ্বারা নিয়ন্ত্রিত হয়। সার্ভারে এটি একটি দীর্ঘস্থায়ী process tree, যার সঙ্গে আপনার agent একটি local socket-এর মাধ্যমে যোগাযোগ করে। এটি install করতে একটি command-ই যথেষ্ট। এর পরের কাজই মূল বিষয়। browser মেশিন থেকে কতটা resource ব্যবহার করতে পারবে, তা আপনি সীমিত করবেন। পাশাপাশি এর control endpoint-কে public internet থেকে বিচ্ছিন্ন রাখবেন।

এই guide ধরে নিচ্ছে যে tool নির্বাচন ইতিমধ্যে করা হয়েছে এবং এখন আপনাকে সেটি পরিচালনা করতে হবে। আপনি যদি এখনও crawler ও extractor তুলনা করে থাকেন, তাহলে self-hosted Firecrawl বিকল্পগুলো দিয়ে শুরু করে পরে এখানে ফিরে আসুন। নিচের সব উদাহরণ Playwright-এর Chromium ব্যবহার করে। কারণ Playwright নিজস্ব browser build এবং নিজস্ব dependency installer সরবরাহ করে। তাই একই command bare Ubuntu VPS এবং container—উভয় জায়গাতেই কাজ করে। এই command-গুলো Playwright 1.62 নির্দিষ্ট করে।

নির্ভরতার বিষয়ে অনুমান না করে Chromium ইনস্টল করুন

npm i -D playwright@1.62.0
npx playwright install --with-deps chromium

--with-deps প্রয়োজনীয় shared library ও font-এর জন্য apt চালায় এবং সেখানে পৌঁছালে root-এর অনুমতি চায়। Browser build নিজে কমান্ডটি চালানো user-এর জন্য ~/.cache/ms-playwright-এ download হয়। সার্ভারে এটি গুরুত্বপূর্ণ, কারণ service user সাধারণত আপনি যে user হিসেবে login করেন, সেই user নয়। sudo npx playwright install-deps chromium দিয়ে administrator হিসেবে একবার system package ইনস্টল করুন। এরপর install command এবং service unit—উভয় জায়গায় PLAYWRIGHT_BROWSERS_PATH=/opt/pw-browsers সেট করুন, যাতে একই copy সবাই ব্যবহার করতে পারে। কোনো service তার browser দেখতে না পেলে launch-এর সময় যে path-এ খুঁজেছে, সেই path-টি উল্লেখ করে message দেখিয়ে ব্যর্থ হয়।

Playwright-এর version নির্দিষ্ট করে দিন। প্রতিটি release একটি নির্দিষ্ট browser build-এর সঙ্গে যুক্ত। তাই pin না করা npm update চলমান service-এর নিচে browser বদলে দিতে পারে। November 16, 2026 অনুযায়ী সর্বশেষ release হলো 1.65.1। তাই pin পরিবর্তনের আগে release notes পড়ুন। ARM64 server-এ মনে রাখুন, 1.63-এ browser folder-এর নাম বদলানো হয়েছিল। নিচের AppArmor profile-এর জন্য এটি গুরুত্বপূর্ণ।

Chromium-এর 2টি build আছে, এবং এগুলো একই program নয়। Headless mode-এ Playwright ডিফল্টভাবে headless shell ব্যবহার করে। এটি ছোট binary এবং শুধু headless mode-এ চলে। সাধারণ install এটি full browser-এর পাশে download করে। আর npx playwright install --with-deps --only-shell শুধু shell ইনস্টল করে। chromium channel ব্যবহার করলে full browser পাওয়া যায়। Playwright-এর browser documentation এটিকে “আসল Chrome browser; তাই এটি আরও authentic, নির্ভরযোগ্য এবং বেশি feature দেয়” বলে বর্ণনা করে। বেশি পরিমাণে fetching-এর জন্য shell ব্যবহার করুন। কোনো site ভিন্ন আচরণ করলে এবং তার কারণ খুঁজে বের করতে হলে full browser ব্যবহার করুন।

কনটেইনারে headless browser কেন crash করে

Docker প্রতিটি container-কে 64 MB /dev/shm দেয়। Docker-এর documentation-এ স্পষ্টভাবে বলা আছে: "If you omit the size entirely, the system uses 64m"। Chromium তার process-গুলোর মধ্যে rendered content এই shared memory area-এর মাধ্যমে পাঠায়। তাই একটি বড় page এটি পূর্ণ করে ফেলতে পারে। এরপর renderer বন্ধ হয়ে যায় এবং আপনার client crashed target দেখায়, যদিও একই page আপনার laptop-এ ঠিকমতো কাজ করে। কিছু পরিবর্তন করার আগে container-এর ভেতর থেকে size নিশ্চিত করুন।

df -h /dev/shm

এর জন্য দুটি কার্যকর সমাধান আছে। এগুলো বিকল্প, একসঙ্গে ব্যবহারের জন্য নয়। --ipc=host container-কে host-এর IPC namespace-এ যুক্ত করে। ফলে এটি host-এর /dev/shm ব্যবহার করে, যা সাধারণত RAM-এর অর্ধেক। Playwright's Docker guide এটি সুপারিশ করে, কারণ এটি না থাকলে "Chromium can run out of memory and crash"। এর বিনিময়ে container ও host-এর মধ্যে IPC isolation থাকে না। --shm-size=1g private namespace বজায় রাখে এবং শুধু mount-এর size বাড়ায়।

docker run --rm -it --init --ipc=host --user pwuser mcr.microsoft.com/playwright:v1.62.0-noble /bin/bash

--disable-dev-shm-usage flag-টি অধিকাংশ search result-এ পাওয়া যায়। তবে এটি ভিন্ন কাজ করে। এটি ওই file-গুলোকে /dev/shm থেকে সরিয়ে একটি temporary directory-তে রাখে। /tmp যদি disk-এ থাকে, তাহলে crash-এর পরিবর্তে ধীর rendering এবং disk write পাবেন। /tmp যদি tmpfs হয়, তাহলে data আবার RAM-এ থাকে। এ ক্ষেত্রে সীমা নির্ধারিত হয় শুধু tmpfs size limit দিয়ে। the kernel documentation অনুযায়ী, এই limit-এর default হলো physical RAM-এর অর্ধেক। tmpfs page swap-এও সরিয়ে রাখা যেতে পারে। এভাবেই একটি browser ছোট VPS-এর RAM দ্রুত ব্যবহার করতে পারে। Playwright 1.62 default হিসেবে --disable-dev-shm-usage pass করে। আপনার নির্ধারণ করা /dev/shm ব্যবহার করতে launch options থেকে ওই argument সরিয়ে ignoreDefaultArgs: ['--disable-dev-shm-usage'] ব্যবহার করুন।

--no-sandbox ব্যবহারের প্রকৃত খরচ

Chromium Linux user namespace-এর ওপর নির্মিত একটি sandbox-এ প্রতিটি renderer আলাদা করে রাখে। এই sandbox-ই hostile page এবং আপনার server-এর মধ্যে সীমানা তৈরি করে। Playwright ডিফল্টভাবে Chromium sandboxing বন্ধ রাখে। তাই launch options-এ chromiumSandbox: true দিয়ে এটি চালু করুন। চালু করা sandbox শুরু না হলে Chromium চলতে অস্বীকার করে। লগে সাধারণত এ ধরনের একটি লাইন থাকে:

Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno = Operation not permitted

সাধারণ পরামর্শ হলো --no-sandbox। Chromium-এর নিজস্ব security page-এ এর খরচ সম্পর্কে স্পষ্টভাবে বলা হয়েছে: "We do not encourage this as it will significantly reduce your security, and may prevent Chromium from working properly." Link অনুসরণকারী agent সংজ্ঞা অনুযায়ী open web ব্রাউজ করে। তাই কমে যাওয়া security ঠিক সেখানেই পরীক্ষা করা হয়। প্রকৃত কারণ খুঁজে বের করুন।

root হিসেবে চালানো এবং user namespace ব্লক থাকা—এই দুটি কারণ পরীক্ষা করুন। root হিসেবে চালানোর সময় Chromium sandbox উপলভ্য থাকে না। এই কারণেই Playwright-এর image-এ pwuser নামে একটি সাধারণ user থাকে। Docker-এ sandbox-সহ browsing-এর জন্য clone, setns এবং unshare অনুমোদন করে এমন একটি seccomp profile ব্যবহারের পরামর্শও Playwright দেয়। Ubuntu 24.04 এবং পরবর্তী সংস্করণে AppArmor unprivileged user namespace সীমিত করে। shipped profile-এ অন্তর্ভুক্ত নয় এমন path-এ থাকা Chromium binary-ও তখন denied হয়। ~/.cache/ms-playwright-এর অধীনে Playwright-এর download ঠিক এমন একটি path ব্যবহার করে। দুটি বিষয়ই পরীক্ষা করুন:

id -u
sysctl kernel.apparmor_restrict_unprivileged_userns
sudo dmesg | grep -i userns_create

sysctl থেকে পাওয়া 1 এবং apparmor="DENIED" operation="userns_create"-যুক্ত একটি kernel line দ্বিতীয় কারণটি নিশ্চিত করে। /etc/apparmor.d/pw-chromium-এ ওই একটি binary অনুমোদন করুন। এতে server-এর অন্য সব কিছুর জন্য restriction বহাল থাকে:

abi <abi/4.0>,
include <tunables/global>

profile pw-chromium /{home/*/.cache/ms-playwright,opt/pw-browsers}/*/chrome-*/{chrome,headless_shell,chrome-headless-shell} flags=(unconfined) {
  userns,
}

sudo apparmor_parser -r /etc/apparmor.d/pw-chromium দিয়ে এটি load করুন। x86-64-এ Playwright সম্পূর্ণ browser রাখে chrome-linux64/chrome-এ এবং shell রাখে chrome-headless-shell-linux64/chrome-headless-shell-এ। ARM64-এ Playwright 1.62 এগুলো আলাদা directory-তে install করেছে: chromium-<revision>/chrome-linux/chrome এবং chromium_headless_shell-<revision>/chrome-linux/headless_shell। 1.63 থেকে ARM64, chrome-linux-arm64/chrome এবং chrome-headless-shell-linux-arm64/chrome-headless-shell ব্যবহার করে x86-64-এর pattern অনুসরণ করে। chrome-* glob এই সব layout কভার করে। /opt/pw-browsers branch-টি PLAYWRIGHT_BROWSERS_PATH দিয়ে তৈরি shared install কভার করে। path-এর মধ্যে browser revision-ও থাকে। তাই প্রতিটি Playwright upgrade-এর পরে path পরিবর্তিত হয়। উপরের glob-গুলো এই পরিবর্তনের পরেও কাজ করে। একটি নির্দিষ্ট exact path ধরে লেখা profile নীরবে matching বন্ধ করে দেয়। ফলে আপাতদৃষ্টিতে সম্পর্কহীন কোনো update-এর পরে browser আবার ব্যর্থ হতে শুরু করে।

স্ক্রিনশট ফাঁকা বা বাক্সে ভরা দেখায় কেন

ফাঁকা স্ক্রিনশট বা খালি আয়তক্ষেত্রে ভরা স্ক্রিনশট সাধারণত rendering bug-এর বদলে font সমস্যার কারণে হয়। install-deps একটি কার্যকর base সেট তৈরি করে: fonts-liberation, fonts-freefont-ttf, fonts-noto-color-emoji, fonts-unifont, জাপানিজের জন্য fonts-ipafont-gothic, চাইনিজের জন্য fonts-wqy-zenhei এবং থাইয়ের জন্য fonts-tlwg-loma-otf। এই সেটে Noto CJK নেই। তাই Korean এবং আরও কয়েকটি script-এর জন্য fontconfig যে font খুঁজে পায়, সেটিই fallback হিসেবে ব্যবহৃত হয়। অনুমান না করে fontconfig-কে জিজ্ঞাসা করুন:

fc-match "sans-serif:lang=ko"
fc-match "sans-serif:lang=ar"
fc-list | wc -l

আপনার প্রয়োজনীয় কোনো ভাষা যদি unifont বা প্রকৃত glyph ছাড়া কোনো fallback-এ resolve হয়, তাহলে fonts-noto-core এবং fonts-noto-cjk install করুন। এরপর আবার check চালান। fontconfig তার ফলাফল cache করে। তাই font install করার পরে browser restart করুন। কোনো font-ই না থাকা stripped image startup-এ Fontconfig error: Cannot load default config file log করে এবং প্রতিটি page ফাঁকা render করে।

Locale এবং time zone font থেকে আলাদা। এগুলো page-এর বক্তব্য পরিবর্তন করে, শুধু চেহারা নয়। Playwright-এর context locale এবং time zone system settings থেকে default মান নেয়। তাই LANG unset আছে বা time zone UTC—এমন ধরে না নিয়ে image-এর configuration পরীক্ষা করুন। এগুলো machine-ভিত্তিক নয়, প্রতিটি browser context-এর জন্য সেট করুন। এতে একই browser বিভিন্ন region-এর task সামলাতে পারে।

const context = await browser.newContext({
  locale: 'en-GB',
  timezoneId: 'Europe/Paris',
});

ব্রাউজারের ফাঁস হওয়া process কেন সার্ভারকে swap ব্যবহার করতে বাধ্য করে

"zombie" নামে দুটি ভিন্ন সমস্যা বোঝানো হয়। প্রকৃত zombie হলো এমন একটি সমাপ্ত process, যার parent কখনও wait() কল করেনি। এটি শুধু একটি PID entry ধরে রাখে; অন্য কিছু নয়। তাই এটি memory ব্যবহার করে না। Container-এ browser যখন PID 1 হিসেবে চলে, তখন এই zombie process জমে। কারণ PID 1-এর কোনো default reaper থাকে না। Docker-এর --init flag এই সমস্যাটিই সমাধান করে। এটি একটি ছোট init চালায়, যা "signal forward করে এবং process reaping করে"। Compose-এ একই সেটিং হলো init: true।

যে leak সত্যিই সার্ভারকে swap ব্যবহার করতে বাধ্য করে, সেটি আলাদা: সক্রিয় Chromium process, যেগুলো কোনো process বন্ধ করেনি। newContext() এবং close()-এর মাঝখানে কোনো task ব্যর্থ হলে, অথবা controlling script বন্ধ হয়ে browser tree orphaned হয়ে গেলে এটি ঘটে। সবচেয়ে খারাপ পরিস্থিতি হলো, প্রতিটি request-এর জন্য নতুন browser চালু করা। সংখ্যা গণনা করুন:

pgrep -c -f 'headless_shell|chrome'
ps -eo pid,ppid,rss,etime,comm --sort=-rss | head -20

Task চলাকালীন এই সংখ্যা idle অবস্থার মানে ফিরে আসা উচিত। এক দিন ধরে সংখ্যা বাড়তে থাকলে সমাধান launch flag-এ নয়, আপনার code-এ করতে হবে: finally block-এ context বন্ধ করুন, SIGTERM-এ browser বন্ধ করুন, এবং এক মাস ধরে একটি browser চালিয়ে না রেখে নির্দিষ্ট সংখ্যক task পর browser recycle করুন। systemd-এর অধীনে stop বা restart করলে unit-এর cgroup-এর সব process বন্ধ হয়ে যায়। তাই sudo systemctl restart browser.service একটি নির্ভরযোগ্য reset পদ্ধতি। Terminal multiplexer-এর ভিতরে হাতে চালু করা browser-এর ক্ষেত্রে এমন নিশ্চয়তা থাকে না। তার orphaned process session শেষ হওয়ার পরও চলতে থাকে।

একটি browser context-এর কত RAM প্রয়োজন

প্রশ্নটি নির্দিষ্টভাবে করুন, কারণ “একটি browser” একটি process নয়। Chromium একটি browser process, একটি GPU process, কয়েকটি utility process এবং প্রতি site-এর জন্য একটি renderer process চালায়। Site isolation থাকলে cross-site iframe-এর জন্যও আলাদা renderer থাকে। একটি BrowserContext একই process tree-এর ভেতরে আলাদা cookie jar ও storage area, তাই দ্বিতীয় context-এর অতিরিক্ত খরচ কম। দ্বিতীয় page তা নয়, কারণ এটি renderer process শুরু করে। বিজ্ঞাপনে ভারী একটি page একাধিক renderer process শুরু করতে পারে।

তাই আপনার নিজস্ব workload-এ পুরো process tree-এর peak memory মাপতে হবে। অন্য কারও blog-এর সংখ্যা এখানে মূল্যহীন, কারণ আপনার agent যে page-গুলো খুলবে, তারাই ফল নির্ধারণ করবে। আপনি যে machine ব্যবহার করবেন, সেই machine-এ এবং যে site-গুলোতে যাবেন, সেগুলো দিয়ে মাপুন:

sudo systemd-run --unit=browser-probe -p MemoryMax=2G -p MemorySwapMax=0 -p WorkingDirectory=/srv/agent /usr/bin/node worker.js
systemctl status browser-probe

Ubuntu 24.04-এ ওই output-এর Memory: line-এ unit-এর current এবং peak usage দুটিই দেখা যায়। একবারে একটি page রেখে worker চালান এবং peak নোট করুন। এরপর দুটি page খোলা রেখে আবার চালান, যাতে দ্বিতীয় page-এর প্রকৃত অতিরিক্ত খরচ দেখা যায়। এরপর concurrency হিসাব করা যায়: মোট RAM থেকে machine-এর বাকি কাজের প্রয়োজনীয় RAM বাদ দিন, কয়েকশ MB headroom রাখুন, তারপর অবশিষ্ট RAM-কে প্রতি worker-এর মাপা peak usage দিয়ে ভাগ করুন। এই agent-এর জন্য যে machine ব্যবহার করবেন, তার sizing সম্পর্কে দেখুন একটি agent VPS-এর কত RAM ও CPU প্রয়োজন।

এই সংখ্যা দুটি জায়গায় enforce করুন। আপনার code-এ fixed worker pool বা semaphore ব্যবহার করুন, যাতে agent request-এর burst browser চালু না করে queue-তে অপেক্ষা করে। OS-এ cgroup limit ব্যবহার করুন, যাতে queue-এর কোনো bug machine-কে অচল করে দিতে না পারে:

[Service]
MemoryMax=2G
MemorySwapMax=0
TasksMax=512
Restart=always

MemorySwapMax=0 যতটা গুরুত্বপূর্ণ মনে হয়, তার চেয়েও বেশি গুরুত্বপূর্ণ। এটি না থাকলে cgroup limit-এর কাছাকাছি পৌঁছালে pages-গুলো swap-এ পাঠাতে পারে। ফলে machine সচরাচর চালু থাকে, কিন্তু প্রতিটি request ধীর হয়ে যায়। পরিষ্কারভাবে failure হওয়ার তুলনায় এটি নির্ণয় করা কঠিন। Swap শুধু শেষ অবস্থাকে বিলম্বিত করে: systemd-এর documentation বলছে, usage “limit-এর মধ্যে রাখা না গেলে unit-এর ভেতরে out-of-memory killer চালু হয়”। Swap শূন্যে capped থাকলে unit swap ব্যবহার করতে পারে না; usage MemoryMax-এ পৌঁছালে reclaim শুরু হয়, এবং reclaim usage নিয়ন্ত্রণে রাখতে না পারলে OOM kill হয়। Restart=always main process exit করলে service restart করে, কিন্তু শুধু একটি renderer-এর OOM kill হলে restart নিশ্চিত হয় না। Compose-এ একই controls হলো mem_limit, shm_size এবং init; এগুলো Docker Compose-এ memory limit নির্ধারণ-এ ব্যাখ্যা করা হয়েছে।

ব্রাউজার endpoint-কে public Internet থেকে বিচ্ছিন্ন রাখুন

Playwright ব্রাউজারকে server হিসেবে চালাতে পারে এবং আপনার agent-কে একটি WebSocket URL দিতে পারে:

const { chromium } = require('playwright');
const server = await chromium.launchServer({ port: 3000 });
console.log(server.wsEndpoint());

এই endpoint-এ কোনো login নেই। Playwright-এর API documentation-এ বিষয়টি সরাসরি বলা হয়েছে: “wsPath সম্পর্কে জানা যেকোনো process বা web page (Playwright-এর মধ্যে চলমানগুলিও অন্তর্ভুক্ত) OS user-এর নিয়ন্ত্রণ নিতে পারে।” Default host হলো localhost, যা “শুধু loopback interface থেকে connection গ্রহণ করে”; documentation-এ আরও সতর্ক করা হয়েছে যে 0.0.0.0-এর মতো explicit address দিলে “listening port-এ পৌঁছাতে পারে এমন যেকোনো কিছুর কাছে browser RPC প্রকাশ পায়।” Chrome-এর নিজস্ব --remote-debugging-port আরও ঝুঁকিপূর্ণ। DevTools protocol-এ কোনো ধরনের authentication নেই এবং এটি সম্পূর্ণভাবে loopback-এ bind থাকার ওপর নির্ভর করে।

আপনি বাস্তবে কী publish করেছেন তা পরীক্ষা করুন। VPS ছাড়াও দ্বিতীয় একটি machine থেকে পরীক্ষা করুন:

ss -ltnp

0.0.0.0-এ bind করা browser port-এ কিছু পাওয়া গেলে সেটিকে security finding হিসেবে গণ্য করুন। মনে রাখবেন, অধিকাংশ provider তাদের control panel-এ আলাদা network firewall চালায়, যার নিয়ম সম্পর্কে আপনার ufw rules কিছুই জানে না। পরিবর্তে SSH tunnel বা private VPN ব্যবহার করে অন্য machine থেকে endpoint-এ পৌঁছান:

ssh -N -L 3000:127.0.0.1:3000 you@your-vps

এখানে ঝুঁকি শুধু কেউ browser ব্যবহারের সময় চুরি করার মধ্যে সীমাবদ্ধ নয়। আপনি নিয়ন্ত্রণ করতে পারেন এমন browser আপনার network-এর ভেতরে থাকা একটি request-forgery machine-এর মতো কাজ করে। যে ব্যক্তি ওই socket-এ পৌঁছাতে পারে, সে browser-কে http://127.0.0.1:8080, আপনার database admin page অথবা 169.254.169.254-এর cloud metadata address fetch করাতে পারে এবং page-এর response পড়তে পারে। আপনার firewall এটিকে VPS থেকেই আসা request হিসেবে দেখে, তাই সেটি অনুমোদিত হয়। এই control endpoint-কে ওই machine-এ shell access-এর সমতুল্য হিসেবে বিবেচনা করুন।

MCP server-গুলোর ক্ষেত্রেও একই বিষয় প্রযোজ্য। npx @playwright/mcp@latest --headless --port 8931 localhost-এ HTTP ব্যবহার করে service দেয়, আর --host 0.0.0.0 হলো সেই flag যা একটি local tool-কে public করে। প্রকল্পটির README-তে স্পষ্টভাবে বলা হয়েছে, Playwright MCP “security boundary নয়”। Port-টি loopback-এ রাখুন এবং একই tunnel ব্যবহার করে agent-কে এতে পৌঁছাতে দিন।

আপনার agent যে পৃষ্ঠাগুলি পড়ে, সেগুলোর বিষয়বস্তু অবিশ্বস্ত

যে agent open web ব্রাউজ করে, সেটি অপরিচিত ব্যক্তিদের লেখা text এমন একটি model-এ পাঠায়, যেখানে আপনার নির্দেশনাও থাকে। কোনো page সেই model-কে উদ্দেশ করে এমন text রাখতে পারে, যেখানে তাকে কাজটি পরিত্যাগ করতে, কোনো tool call করতে বা কোনো URL-এ data post করতে বলা হয়। Model উভয়কেই text হিসেবে পায়। তাই page-এর কথাকে আপনার নির্দেশনা থেকে আলাদা করার নির্ভরযোগ্য উপায় তার নেই। এমন setup তৈরি করুন, যাতে hostile page-এর হাতে কাজ করার সুযোগ খুব কম থাকে।

  • Browser-টি আলাদা OS user-এর অধীনে চালান। ওই user-এর কাছে কোনো SSH key থাকবে না এবং তার environment-এ কোনো cloud credential থাকবে না।
  • প্রতিটি task-এর জন্য নতুন context ব্যবহার করুন এবং --isolated with Playwright MCP; task শেষ হলে MCP browser বন্ধ করুন, যাতে ওই session-এর storage মুছে যায়।
  • যেখানে job এটি সমর্থন করে, সেখানে origin allowlist রাখুন। Playwright MCP --allowed-origins এবং --blocked-origins-কে semicolon-separated list হিসেবে গ্রহণ করে। এই filter-গুলো redirect-এ প্রভাব ফেলে না এবং security boundary হিসেবে কাজ করে না।
  • mail পাঠানো বা অর্থ ব্যয় করার মতো state পরিবর্তনকারী যেকোনো action-এর আগে human step বাধ্যতামূলক করুন।

আরও ভালো পদ্ধতি হলো পুরো browser এমন একটি machine-এ রাখা, যেটি সহজে সরিয়ে ফেলে নতুন করে তৈরি করা যায়। এটি disposable VM-এ coding agent চালানোর একই যুক্তি অনুসরণ করে। Agent-এর প্রকৃত কাজ যদি open-ended browsing নয়, বরং search করা হয়, তবে full browser-এর চেয়ে সংকীর্ণ tool নিরাপদ। নিজস্ব SearXNG-নির্ভর search skill hostile page কখনো load না করেই result ফেরত দেয়।

FAQ

Chromium কেন Docker-এ crash করে, কিন্তু একই VPS-এ সরাসরি ঠিকভাবে কাজ করে?

কারণ container ডিফল্টভাবে 64 MB /dev/shm পায়, কিন্তু host-এ এর আকার অনেক বেশি। Chromium rendered content ওই shared memory area-এর মাধ্যমে পাঠায়। তাই ভারী কোনো page এটি পূর্ণ করে ফেললে renderer বন্ধ হয়ে যায়। নিশ্চিত হতে container-এর ভিতরে df -h /dev/shm চালান। এরপর --ipc=host ব্যবহার করে browser চালান, যা host-এর shared memory ব্যবহার করে। অথবা --shm-size=1g ব্যবহার করুন, যা container-এর নিজস্ব shared memory বাড়ায়। --disable-dev-shm-usage শুধু সমস্যাটিকে /tmp-এ সরিয়ে দেয়। Playwright 1.62 ডিফল্টভাবে ওই flag পাঠায়। আপনি যে shared memory-এর আকার নির্ধারণ করেছেন, Chromium যাতে সেটি ব্যবহার করে, সে জন্য ignoreDefaultArgs: ['--disable-dev-shm-usage'] ব্যবহার করুন।

VPS-এ আর কিছু না চললে --no-sandbox কি নিরাপদ?

না। Sandbox একটি malicious page-কে মেশিনের বাকি অংশে পৌঁছানো থেকে আটকায়। Chromium-এর security page-এ এই flag সম্পর্কে বলা হয়েছে: “আমরা এটি ব্যবহারে উৎসাহিত করি না, কারণ এতে আপনার security উল্লেখযোগ্যভাবে কমে যাবে এবং Chromium সঠিকভাবে কাজ নাও করতে পারে।” Link অনুসরণকারী agent open web ব্রাউজ করে। তাই মূল কারণটি ঠিক করুন। Browser-টি root হিসেবে চালাবেন না। Ubuntu 24.04-এ browser binary path-এর জন্য userns, যুক্ত একটি AppArmor profile যোগ করুন, যাতে শুধু ওই program-এর জন্য unprivileged user namespaces অনুমোদিত হয়। chromiumSandbox: true দিয়ে sandboxing স্পষ্টভাবে enable করুন। Docker-এ Playwright-এর সুপারিশ করা seccomp profile-ও ব্যবহার করুন।

ছোট VPS-এ আমি কতগুলো browser চালাতে পারি?

কোনো সংখ্যা অনুকরণ করবেন না। নিজে পরিমাপ করুন। Chromium প্রতি site-এর জন্য একটি renderer process চালু করে। তাই উত্তরটি আপনি কোন page খুলছেন তার ওপর নির্ভর করে। MemoryMax সেট করে systemd-run-এর অধীনে একটি worker চালান। systemctl status-এর Memory: line থেকে সর্বোচ্চ ব্যবহার পড়ুন। এরপর আপনার free RAM-কে ওই সর্বোচ্চ ব্যবহারের পরিমাণ দিয়ে ভাগ করুন এবং কিছু অতিরিক্ত memory রাখুন। Unit file-এ queue এবং MemoryMax ব্যবহার করে ফলাফলটি দুই স্তরে কার্যকর করুন। এতে request-এর হঠাৎ চাপ এলে মেশিন swap-এ না গিয়ে অপেক্ষা করবে।

আমার agent কি অন্য একটি মেশিন থেকে browser-এর সঙ্গে সংযোগ করতে পারে?

হ্যাঁ, তবে port কখনো 0.0.0.0-এ bind করবেন না। Playwright server endpoint এবং Chrome DevTools port—দুটিই password ছাড়া এমন যেকোনো client গ্রহণ করে, যা সেগুলোতে পৌঁছাতে পারে। Listener-টি 127.0.0.1-এ রাখুন এবং SSH tunnel বা private VPN-এর মাধ্যমে connection চালান। Server-এ ss -ltnp ব্যবহার করে যাচাই করুন। বাইরে থেকে port check করুন। আপনার provider-এর আলাদা network firewall-ও পরীক্ষা করুন।

Page স্পষ্টভাবে load হলেও আমার screenshot কেন ফাঁকা?

Font অনুপস্থিত। Page-এর script সমর্থন করে এমন font না থাকলে text ফাঁকা box হিসেবে render হয় বা একেবারেই দেখা যায় না। ফলে অল্প image থাকা page-এর screenshot ফাঁকা মনে হয়। আপনি যে প্রতিটি language scrape করেন, তার জন্য fc-match "sans-serif:lang=ko" চালান। ফলাফল generic fallback হলে fonts-noto-core এবং fonts-noto-cjk install করুন। এরপর browser restart করুন, যাতে fontconfig তার cache পুনরায় load করে। একেবারেই কোনো font না থাকা container startup-এর সময় Fontconfig error: Cannot load default config file log করে।

এই লেখাটি কি কাজে লেগেছে?