VPS पर Headless Browser कैसे चलाएं: पूरी गाइड
VPS पर Headless Chromium चलाते समय /dev/shm की कमी, sandbox flags और missing fonts जैसी समस्याओं का सामना करें। अपने AI agent को क्रैश होने से बचाने के लिए सही सेटिंग्स जानें।
आप क्या चला रहे हैं
VPS पर headless browser का अर्थ है बिना window वाला Chromium, जिसे किसी व्यक्ति के बजाय आपके कोड द्वारा संचालित किया जाता है। सर्वर पर यह एक long-lived process tree है जिससे आपका agent local socket के माध्यम से बात करता है। इसे install करने के लिए केवल एक command की आवश्यकता होती है। असली काम उसके बाद शुरू होता है। आप browser द्वारा मशीन से लिए जाने वाले संसाधनों को सीमित करते हैं और इसके control endpoint को public internet से दूर रखते हैं।
यह guide मानती है कि आपने tool चुन लिया है और अब आपको इसे operate करना है। यदि आप अभी भी crawlers और extractors की तुलना कर रहे हैं, तो self-hosted Firecrawl के विकल्पों से शुरुआत करें और फिर वापस आएँ। नीचे दी गई हर चीज़ Playwright के Chromium का उपयोग करती है, क्योंकि Playwright अपना browser build और dependency installer खुद प्रदान करता है, इसलिए वही commands bare Ubuntu VPS और container के अंदर काम करती हैं। ये commands Playwright 1.62 को pin करती हैं।
Chromium को dependencies का अनुमान लगाए बिना इंस्टॉल करें
npm i -D playwright@1.62.0
npx playwright install --with-deps chromium--with-deps, Chromium के लिए आवश्यक shared libraries और fonts के लिए apt चलाता है, और आवश्यकता पड़ने पर root access मांगता है। ब्राउज़र बिल्ड स्वयं उस उपयोगकर्ता के लिए ~/.cache/ms-playwright में डाउनलोड होता है जिसने कमांड चलाई है। सर्वर पर यह महत्वपूर्ण है, क्योंकि service user आमतौर पर वह उपयोगकर्ता नहीं होता जिससे आप लॉग इन करते हैं। सिस्टम पैकेज को एक बार एडमिन के रूप में sudo npx playwright install-deps chromium के साथ इंस्टॉल करें, फिर इंस्टॉल कमांड और service unit दोनों में PLAYWRIGHT_BROWSERS_PATH=/opt/pw-browsers सेट करें ताकि एक ही कॉपी साझा की जा सके। जो सर्विस अपने ब्राउज़र को नहीं देख पाती, वह लॉन्च के समय उस पाथ के नाम के साथ विफल हो जाती है जिसे उसने खोजा था।
Playwright वर्ज़न को पिन करें। प्रत्येक रिलीज़ एक ब्राउज़र बिल्ड से जुड़ी होती है, इसलिए एक अनपिन किया गया npm update चल रही सर्विस के नीचे ब्राउज़र को बदल सकता है। 16 नवंबर, 2026 तक नवीनतम रिलीज़ 1.65.1 है, इसलिए पिन बदलने से पहले रिलीज़ नोट्स पढ़ें। ARM64 सर्वर पर, ध्यान दें कि 1.63 ने ब्राउज़र फ़ोल्डर्स का नाम बदल दिया है, जो आगे दिए गए AppArmor प्रोफाइल के लिए महत्वपूर्ण है।
Chromium के दो बिल्ड मौजूद हैं और वे एक ही प्रोग्राम नहीं हैं। Headless मोड में Playwright डिफ़ॉल्ट रूप से headless shell का उपयोग करता है, जो एक छोटी बाइनरी है और केवल headless चलती है। एक साधारण इंस्टॉलेशन इसे पूर्ण ब्राउज़र के बगल में डाउनलोड करता है, और npx playwright install --with-deps --only-shell केवल शेल को इंस्टॉल करता है। पूर्ण ब्राउज़र वह है जो आपको chromium चैनल के साथ मिलता है, जिसे Playwright के ब्राउज़र दस्तावेज़ "असली Chrome ब्राउज़र, और इसलिए अधिक प्रामाणिक, विश्वसनीय, और अधिक सुविधाएँ प्रदान करने वाला" कहते हैं। बल्क फेचिंग के लिए शेल का उपयोग करें। जब कोई साइट अलग तरह से व्यवहार करे और आपको कारण जानना हो, तो पूर्ण ब्राउज़र का उपयोग करें।
कंटेनर में headless browser क्रैश क्यों होता है
Docker प्रत्येक कंटेनर को 64 MB का /dev/shm देता है। Docker का documentation स्पष्ट है: "यदि आप size को पूरी तरह से छोड़ देते हैं, तो सिस्टम 64m का उपयोग करता है"। Chromium रेंडर की गई सामग्री को उस shared memory क्षेत्र के माध्यम से अपनी प्रक्रियाओं के बीच भेजता है, इसलिए एक भारी पेज उसे भर सकता है। इसके बाद renderer बंद हो जाता है और आपका client एक क्रैश हुए target की रिपोर्ट करता है, जबकि वही पेज आपके लैपटॉप पर ठीक काम करता है। कुछ भी बदलने से पहले कंटेनर के अंदर से size की पुष्टि करें।
df -h /dev/shmइसके दो वास्तविक समाधान हैं और वे विकल्प हैं, न कि एक साथ उपयोग करने वाली चीजें। --ipc=host कंटेनर को host IPC namespace में डाल देता है, जिससे यह host के /dev/shm का उपयोग करता है, जो सामान्यतः RAM का आधा होता है। Playwright का Docker guide इसकी अनुशंसा करता है, क्योंकि इसके बिना "Chromium की memory खत्म हो सकती है और वह क्रैश हो सकता है"। इसकी कीमत यह है कि आप कंटेनर और host के बीच IPC isolation खो देते हैं। --shm-size=1g private namespace को बनाए रखता है और बस mount को बड़ा कर देता है।
docker run --rm -it --init --ipc=host --user pwuser mcr.microsoft.com/playwright:v1.62.0-noble /bin/bashFlag --disable-dev-shm-usage वह उत्तर है जो आपको अधिकांश खोज परिणामों में मिलेगा, और यह कुछ अलग करता है: यह उन फाइलों को /dev/shm से बाहर एक temporary directory में ले जाता है। यदि /tmp डिस्क पर स्थित है, तो आपने क्रैश के बदले धीमी रेंडरिंग और डिस्क राइट्स को चुना है। यदि /tmp एक tmpfs है, तो डेटा वापस RAM में आ जाता है, जिसकी सीमा केवल tmpfs size limit द्वारा तय होती है, जिसे kernel documentation डिफ़ॉल्ट रूप से भौतिक RAM का आधा सेट करता है, और tmpfs पेजों को swap में भेजा जा सकता है। यह एक तरीका है जिससे ब्राउज़र एक छोटे VPS को खत्म कर देता है। Playwright 1.62 डिफ़ॉल्ट रूप से --disable-dev-shm-usage पास करता है; आपके द्वारा निर्धारित /dev/shm का उपयोग करने के लिए, अपने launch options में ignoreDefaultArgs: ['--disable-dev-shm-usage'] के साथ उस argument को हटा दें।
--no-sandbox का वास्तविक मूल्य
Chromium प्रत्येक renderer को Linux user namespaces पर बने एक sandbox में अलग-थलग रखता है। वह sandbox एक hostile page और आपके सर्वर के बीच की सीमा है। Playwright डिफ़ॉल्ट रूप से Chromium sandboxing को disable कर देता है, इसलिए इसे अपने launch options में chromiumSandbox: true के साथ enable करें। जब enabled sandbox start नहीं हो पाता, तो Chromium चलने से मना कर देता है, और log में इस तरह की एक line होती है:
Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno = Operation not permittedआमतौर पर दी जाने वाली सलाह --no-sandbox है। Chromium के अपने security pages इसकी कीमत के बारे में स्पष्ट हैं: "हम इसे प्रोत्साहित नहीं करते हैं क्योंकि यह आपकी सुरक्षा को काफी कम कर देगा, और Chromium को ठीक से काम करने से रोक सकता है।" links का अनुसरण करने वाला एक agent परिभाषा के अनुसार open web को browse कर रहा है, और यही वह जगह है जहाँ वह कम सुरक्षा test होती है। वास्तविक कारण का पता लगाएँ।
root के रूप में चलना और blocked user namespaces जाँचने के लिए दो कारण हैं। root के रूप में चलने पर Chromium का sandbox उपलब्ध नहीं होता है, यही कारण है कि Playwright का image pwuser नामक एक सामान्य user के साथ आता है। Docker में, Playwright sandboxed browsing के लिए clone, setns और unshare की अनुमति देने वाले seccomp profile की भी सिफारिश करता है। Ubuntu 24.04 और उसके बाद के संस्करणों पर, AppArmor unprivileged user namespaces को प्रतिबंधित करता है, और किसी ऐसे path पर मौजूद Chromium binary जिसे कोई भी shipped profile कवर नहीं करता, उसे deny कर दिया जाता है। ~/.cache/ms-playwright के अंतर्गत Playwright का download बिल्कुल वैसा ही path है। दोनों की जाँच करें:
id -u
sysctl kernel.apparmor_restrict_unprivileged_userns
sudo dmesg | grep -i userns_createsysctl से प्राप्त 1 और apparmor="DENIED" operation="userns_create" युक्त एक kernel line दूसरे कारण की पुष्टि करती है। /etc/apparmor.d/pw-chromium में उस एक binary को अनुमति दें, जो box पर बाकी सभी चीजों के लिए प्रतिबंध को लागू रखता है:
abi <abi/4.0>,
include <tunables/global>
profile pw-chromium /{home/*/.cache/ms-playwright,opt/pw-browsers}/*/chrome-*/{chrome,headless_shell,chrome-headless-shell} flags=(unconfined) {
userns,
}इसे sudo apparmor_parser -r /etc/apparmor.d/pw-chromium के साथ load करें। x86-64 पर, Playwright full browser को chrome-linux64/chrome पर और shell को chrome-headless-shell-linux64/chrome-headless-shell पर रखता है। ARM64 पर, Playwright 1.62 ने उन्हें अलग-अलग directories में install किया: chromium-<revision>/chrome-linux/chrome और chromium_headless_shell-<revision>/chrome-linux/headless_shell। 1.63 के बाद से, ARM64 chrome-linux-arm64/chrome और chrome-headless-shell-linux-arm64/chrome-headless-shell के साथ x86-64 pattern का पालन करता है। chrome-* glob इन सभी layouts को कवर करता है, और /opt/pw-browsers branch PLAYWRIGHT_BROWSERS_PATH के साथ किए गए shared install को कवर करता है। path में browser revision भी होता है, इसलिए यह हर Playwright upgrade पर बदल जाता है। ऊपर दिए गए globs उसके बाद भी काम करते रहते हैं। एक सटीक path के विरुद्ध लिखा गया profile चुपचाप match करना बंद कर देता है, और browser एक ऐसे update के बाद फिर से fail होने लगता है जो असंबंधित दिखता था।
स्क्रीनशॉट खाली या बॉक्स से भरे हुए क्यों आते हैं
एक खाली स्क्रीनशॉट, या खाली आयतों (rectangles) से भरा हुआ स्क्रीनशॉट, आमतौर पर रेंडरिंग बग के बजाय एक फॉन्ट की समस्या होती है। install-deps एक कार्यशील आधार (base) खींचता है: fonts-liberation, fonts-freefont-ttf, fonts-noto-color-emoji, fonts-unifont, जापानी के लिए fonts-ipafont-gothic, चीनी के लिए fonts-wqy-zenhei, थाई के लिए fonts-tlwg-loma-otf। उस सेट में Noto CJK नहीं है, इसलिए कोरियाई और कई अन्य लिपियाँ उस फॉन्ट पर वापस चली जाती हैं जिसे fontconfig ढूंढ पाता है। अनुमान लगाने के बजाय fontconfig से पूछें:
fc-match "sans-serif:lang=ko"
fc-match "sans-serif:lang=ar"
fc-list | wc -lयदि आपके द्वारा उपयोग की जाने वाली कोई भाषा unifont पर या बिना किसी वास्तविक ग्लिफ़ (glyph) वाले फॉलबैक पर रिज़ॉल्व होती है, तो fonts-noto-core और fonts-noto-cjk इंस्टॉल करें, फिर जांच को दोबारा चलाएं। Fontconfig अपने परिणामों को कैश (cache) करता है, इसलिए फॉन्ट इंस्टॉल करने के बाद ब्राउज़र को रीस्टार्ट करें। बिना किसी फॉन्ट वाली एक स्ट्रिप्ड इमेज स्टार्टअप पर Fontconfig error: Cannot load default config file लॉग करती है और हर पेज को खाली रेंडर करती है।
लोकेल (locale) और टाइम ज़ोन फॉन्ट से अलग होते हैं, और वे केवल यह नहीं बदलते कि पेज कैसा दिखता है, बल्कि यह भी बदलते हैं कि पेज क्या कहता है। Playwright का कॉन्टेक्स्ट लोकेल और टाइम ज़ोन डिफ़ॉल्ट रूप से सिस्टम सेटिंग्स पर सेट होते हैं, इसलिए यह मानने के बजाय कि LANG अनसेट है या टाइम ज़ोन UTC है, इमेज के कॉन्फ़िगरेशन की जांच करें। इन्हें प्रति मशीन के बजाय प्रति ब्राउज़र कॉन्टेक्स्ट सेट करें, ताकि एक ब्राउज़र अलग-अलग क्षेत्रों के लिए कार्य पूरा कर सके।
const context = await browser.newContext({
locale: 'en-GB',
timezoneId: 'Europe/Paris',
});लीक हुए ब्राउज़र प्रोसेस बॉक्स को स्वैप (swap) पर क्यों मजबूर करते हैं
"zombie" नाम की दो अलग-अलग समस्याएं हैं। एक वास्तविक zombie वह समाप्त हो चुका प्रोसेस है जिसके पैरेंट ने कभी wait() कॉल नहीं किया। यह केवल एक PID एंट्री रखता है और कुछ नहीं, इसलिए यह मेमोरी का उपभोग नहीं करता। जब ब्राउज़र किसी कंटेनर में PID 1 के रूप में चलता है, तो आप इन्हें इकट्ठा कर लेते हैं, क्योंकि PID 1 में कोई डिफ़ॉल्ट रीपर (reaper) नहीं होता। Docker का --init फ्लैग ठीक इसी समस्या को हल करता है, एक छोटा init चलाकर जो "सिग्नल्स को फॉरवर्ड करता है और प्रोसेसेस को रीप करता है"। Compose में यही काम init: true करता है।
वह लीक जो वास्तव में आपके बॉक्स को स्वैप पर मजबूर करता है, वह अलग है: लाइव Chromium प्रोसेस जिन्हें किसी ने बंद नहीं किया। यह तब होता है जब कोई टास्क newContext() और close() के बीच विफल हो जाता है, या जब कंट्रोलिंग स्क्रिप्ट को मार दिया जाता है और वह अपने ब्राउज़र ट्री को अनाथ (orphaned) छोड़ देती है। इसका सबसे बुरा रूप वह कोड है जो हर रिक्वेस्ट के लिए एक नया ब्राउज़र लॉन्च करता है। उन्हें गिनें:
pgrep -c -f 'headless_shell|chrome'
ps -eo pid,ppid,rss,etime,comm --sort=-rss | head -20टास्क के बीच वह गिनती अपने आइडल (idle) मान पर वापस आ जानी चाहिए। यदि यह एक दिन में बढ़ती है, तो सुधार आपके कोड में है, न कि लॉन्च फ्लैग्स में: कॉन्टेक्स्ट को finally ब्लॉक में बंद करें, SIGTERM पर ब्राउज़र को बंद करें, और एक महीने तक चलाने के बजाय एक निश्चित संख्या में टास्क के बाद ब्राउज़र को रीसायकल करें। systemd के तहत, स्टॉप या रीस्टार्ट यूनिट के cgroup में सब कुछ खत्म कर देता है, इसलिए sudo systemctl restart browser.service एक विश्वसनीय रीसेट है। टर्मिनल मल्टीप्लेक्सर के अंदर हाथ से शुरू किए गए ब्राउज़र के पास ऐसी कोई गारंटी नहीं होती, और उसके अनाथ प्रोसेस सेशन के बाद भी जीवित रहते हैं।
एक browser context को कितनी RAM की आवश्यकता होती है
यह प्रश्न सटीक रूप से पूछें, क्योंकि "एक browser" का अर्थ केवल एक process नहीं होता। Chromium एक browser process, एक GPU process, utility processes और प्रति साइट एक renderer process चलाता है, और site isolation के कारण cross-site iframes को भी अपना अलग renderer मिलता है। एक BrowserContext उसी tree के भीतर एक अलग cookie jar और storage area होता है, इसलिए दूसरा context सस्ता पड़ता है। दूसरा page सस्ता नहीं होता, क्योंकि यह renderer processes शुरू करता है, और विज्ञापनों से भरा एक page कई processes शुरू कर देता है।
इसलिए, मापने योग्य संख्या आपके अपने workload के तहत पूरी tree के लिए peak memory है। किसी और के blog से लिया गया आंकड़ा यहाँ बेकार है, क्योंकि आपके agent द्वारा खोले जाने वाले pages ही उत्तर तय करते हैं। उस machine पर मापें जिसका आप उपयोग करेंगे, उन sites के विरुद्ध जिन पर आप visit करेंगे:
sudo systemd-run --unit=browser-probe -p MemoryMax=2G -p MemorySwapMax=0 -p WorkingDirectory=/srv/agent /usr/bin/node worker.js
systemctl status browser-probeUbuntu 24.04 पर उस output में Memory: line unit के लिए वर्तमान और peak उपयोग दोनों की रिपोर्ट करती है। worker को एक बार में एक page के साथ चलाएं, peak को नोट करें, फिर यह देखने के लिए कि दूसरे page की वास्तविक लागत क्या है, दो pages खोलकर दोहराएं। Concurrency फिर गणितीय है: कुल RAM लें, बाकी machine को जितनी आवश्यकता है उसे घटाएं, कुछ सौ MB headroom रखें, और प्रति worker मापे गए peak से विभाजित करें। इसके नीचे की machine का आकार तय करने के लिए, एक agent VPS को कितनी RAM और CPU की आवश्यकता होती है देखें।
उस संख्या को दो स्थानों पर लागू करें। अपने code में, एक fixed worker pool या semaphore का उपयोग करें, ताकि agent requests का burst browser लॉन्च करने के बजाय queue में लग जाए। OS में, एक cgroup limit का उपयोग करें, ताकि queue में मौजूद कोई bug machine को अपने साथ नीचे न गिरा सके:
[Service]
MemoryMax=2G
MemorySwapMax=0
TasksMax=512
Restart=alwaysMemorySwapMax=0 जितना दिखता है उससे कहीं अधिक मायने रखता है। इसके बिना, limit के करीब पहुँचने पर cgroup को pages को swap में भेजने की अनुमति होती है, इसलिए machine अक्सर चालू तो रहती है लेकिन हर request धीमी हो जाती है, जिसका निदान करना एक स्पष्ट failure की तुलना में अधिक कठिन होता है। Swap केवल अंत में देरी करता है: systemd's documentation बताती है कि यदि उपयोग "limit के तहत नियंत्रित नहीं किया जा सकता है, तो unit के भीतर out-of-memory killer को invoke किया जाता है"। Swap को शून्य पर सीमित करने के साथ, unit swap का उपयोग नहीं कर सकती; MemoryMax तक पहुँचने पर यदि reclaim उपयोग को नियंत्रित नहीं कर पाता है, तो OOM kill से पहले reclaim trigger हो जाता है। Restart=always service को तब restart करता है जब उसकी मुख्य process exit हो जाती है, लेकिन केवल एक renderer का OOM kill restart की गारंटी नहीं देता है। Compose में यही controls mem_limit, shm_size और init हैं, जिन्हें Docker Compose में memory limits सेट करना में कवर किया गया है।
ब्राउज़र एंडपॉइंट को पब्लिक इंटरनेट से दूर रखें
Playwright ब्राउज़र को सर्वर के रूप में चला सकता है और आपके एजेंट को एक WebSocket URL दे सकता है:
const { chromium } = require('playwright');
const server = await chromium.launchServer({ port: 3000 });
console.log(server.wsEndpoint());उस एंडपॉइंट पर कोई लॉगिन नहीं होता है। Playwright की API डॉक्यूमेंटेशन इसे स्पष्ट रूप से बताती है: "कोई भी प्रोसेस या वेब पेज (जिसमें Playwright में चलने वाले भी शामिल हैं) जिसे wsPath की जानकारी है, वह OS यूजर का नियंत्रण ले सकता है।" डिफ़ॉल्ट होस्ट localhost है, जो "केवल लूपबैक इंटरफ़ेस से कनेक्शन स्वीकार करता है", और डॉक्स चेतावनी देते हैं कि 0.0.0.0 जैसा स्पष्ट पता देने से "ब्राउज़र RPC उस किसी भी चीज़ के लिए खुल जाता है जो लिसनिंग पोर्ट तक पहुँच सकती है"। Chrome का अपना --remote-debugging-port और भी बुरा है। DevTools प्रोटोकॉल में किसी भी प्रकार का प्रमाणीकरण (authentication) नहीं होता है और यह पूरी तरह से लूपबैक पर बाइंड होने पर निर्भर करता है।
जाँचें कि आपने वास्तव में क्या पब्लिश किया है, और इसे VPS के साथ-साथ किसी दूसरे मशीन से भी चेक करें:
ss -ltnp0.0.0.0 पर बाइंड ब्राउज़र पोर्ट पर कुछ भी मिलना एक सुरक्षा खामी है। याद रखें कि अधिकांश प्रदाता अपने कंट्रोल पैनल में एक अलग नेटवर्क फ़ायरवॉल चलाते हैं, जिसके बारे में आपके ufw रूल्स को कोई जानकारी नहीं होती है। एंडपॉइंट तक पहुँचने के लिए इसके बजाय SSH टनल या प्राइवेट VPN का उपयोग करें:
ssh -N -L 3000:127.0.0.1:3000 you@your-vpsयहाँ जोखिम केवल ब्राउज़र टाइम चोरी होने से कहीं अधिक है। एक ब्राउज़र जिसे आप नियंत्रित कर सकते हैं, वह आपके नेटवर्क के अंदर बैठा एक रिक्वेस्ट-फोर्जरी मशीन है। जो कोई भी उस सॉकेट तक पहुँचता है, वह इसे http://127.0.0.1:8080, आपके डेटाबेस एडमिन पेज, या 169.254.169.254 पर क्लाउड मेटाडेटा एड्रेस को फेच करने के लिए कह सकता है, और फिर पेज से रिस्पॉन्स पढ़ सकता है। आपका फ़ायरवॉल VPS से ही आने वाली रिक्वेस्ट को देखता है, जिसकी अनुमति होती है। कंट्रोल एंडपॉइंट को उस बॉक्स पर शेल एक्सेस के बराबर मानें।
MCP सर्वर्स का स्वरूप भी ऐसा ही है। npx @playwright/mcp@latest --headless --port 8931 लोकलहोस्ट पर HTTP के माध्यम से सर्व करता है, और --host 0.0.0.0 वह फ्लैग है जो एक लोकल टूल को पब्लिक बना देता है। प्रोजेक्ट का README स्पष्ट रूप से कहता है कि Playwright MCP "एक सुरक्षा सीमा (security boundary) नहीं है"। पोर्ट को लूपबैक पर रखें और एजेंट को उसी टनल के माध्यम से उस तक पहुँचने दें।
आपके एजेंट द्वारा पढ़े जाने वाले पेज अविश्वसनीय इनपुट हैं
ओपन वेब ब्राउज़ करने वाला एक एजेंट अनजान लोगों द्वारा लिखे गए टेक्स्ट को ऐसे मॉडल में फीड करता है जिसमें आपके निर्देश भी मौजूद होते हैं। एक पेज में उस मॉडल को संबोधित टेक्स्ट हो सकता है, जो उसे कार्य छोड़ने, टूल कॉल करने या किसी URL पर डेटा पोस्ट करने के लिए कह सकता है। मॉडल दोनों को टेक्स्ट के रूप में प्राप्त करता है, इसलिए उसके पास पेज के शब्दों और आपके निर्देशों के बीच अंतर करने का कोई विश्वसनीय तरीका नहीं है। सेटअप को इस तरह डिज़ाइन करें कि किसी हानिकारक पेज के पास करने के लिए बहुत कम अवसर हों।
- ब्राउज़र को उसके अपने OS यूजर के तहत चलाएं, जिसके एनवायरनमेंट में कोई SSH keys और कोई cloud credentials न हों।
- प्रत्येक कार्य के लिए एक नए कॉन्टेक्स्ट का उपयोग करें, और Playwright MCP के साथ
--isolatedका उपयोग करें; उस सेशन के स्टोरेज को हटाने के लिए कार्यों के बीच MCP ब्राउज़र को बंद कर दें। - जहाँ कार्य अनुमति दे, वहां एक ओरिजिन अलाउलिस्ट (origin allowlist) बनाए रखें। Playwright MCP
--allowed-originsऔर--blocked-originsको सेमीकोलन-सेपरेटेड लिस्ट के रूप में लेता है। ये फिल्टर रीडायरेक्ट को प्रभावित नहीं करते हैं और ये कोई सुरक्षा सीमा (security boundary) नहीं हैं। - स्थिति बदलने वाली किसी भी कार्रवाई, जैसे ईमेल भेजना या पैसे खर्च करना, से पहले एक मानवीय चरण (human step) की आवश्यकता रखें।
इससे भी बेहतर यह है कि पूरे ब्राउज़र को ऐसी मशीन पर रखें जिसे आप नष्ट करके फिर से बना सकें, जो कि डिस्पोजेबल VM में कोडिंग एजेंट चलाने जैसा ही तर्क है। यदि एजेंट का वास्तविक कार्य ओपन-एंडेड ब्राउज़िंग के बजाय सर्च करना है, तो एक पूर्ण ब्राउज़र की तुलना में एक सीमित टूल अधिक सुरक्षित है: आपके अपने SearXNG द्वारा समर्थित सर्च स्किल हानिकारक पेज को लोड किए बिना ही परिणाम लौटा देता है।
FAQ
Chromium Docker में क्रैश क्यों होता है जबकि उसी VPS पर सीधे चलाने पर ठीक काम करता है?
क्योंकि कंटेनर को डिफ़ॉल्ट रूप से 64 MB का /dev/shm मिलता है, जबकि होस्ट के पास यह काफी बड़ा होता है। Chromium रेंडर की गई सामग्री को उस shared memory क्षेत्र के माध्यम से भेजता है, इसलिए एक भारी पेज उसे भर देता है और रेंडरर बंद हो जाता है। पुष्टि करने के लिए कंटेनर के अंदर df -h /dev/shm चलाएं, फिर इसे या तो --ipc=host के साथ शुरू करें, जो होस्ट की shared memory का उपयोग करता है, या --shm-size=1g के साथ, जो कंटेनर की अपनी मेमोरी को बड़ा करता है। --disable-dev-shm-usage केवल समस्या को /tmp पर स्थानांतरित करता है। Playwright 1.62 डिफ़ॉल्ट रूप से वह फ्लैग पास करता है; Chromium को आपके द्वारा निर्धारित shared memory का उपयोग करने के लिए ignoreDefaultArgs: ['--disable-dev-shm-usage'] का उपयोग करें।
क्या --no-sandbox सुरक्षित है यदि VPS पर कुछ और नहीं चल रहा है?
नहीं। सैंडबॉक्स ही वह चीज है जो एक दुर्भावनापूर्ण पेज को मशीन के बाकी हिस्सों तक पहुंचने से रोकती है, और Chromium के सुरक्षा पेज इस फ्लैग के बारे में कहते हैं: "हम इसे प्रोत्साहित नहीं करते हैं क्योंकि यह आपकी सुरक्षा को काफी कम कर देगा, और Chromium को ठीक से काम करने से रोक सकता है।" लिंक का अनुसरण करने वाला एक एजेंट खुले वेब को ब्राउज़ कर रहा है। इसके बजाय कारण को ठीक करें: ब्राउज़र को root के रूप में न चलाएं, और Ubuntu 24.04 पर ब्राउज़र बाइनरी पाथ के लिए userns, ले जाने वाला एक AppArmor प्रोफ़ाइल जोड़ें, ताकि उस एक प्रोग्राम के लिए unprivileged user namespaces की अनुमति हो। chromiumSandbox: true के साथ स्पष्ट रूप से सैंडबॉक्सिंग सक्षम करें; Docker में, Playwright द्वारा अनुशंसित seccomp प्रोफ़ाइल का भी उपयोग करें।
मैं एक छोटे VPS पर कितने ब्राउज़र चला सकता हूँ?
इसे मापें, किसी संख्या की नकल न करें। Chromium प्रति साइट एक रेंडरर प्रक्रिया शुरू करता है, इसलिए उत्तर आपके द्वारा खोले गए पेजों पर निर्भर करता है। MemoryMax सेट करके systemd-run के तहत एक वर्कर चलाएं, systemctl status में Memory: लाइन से पीक पढ़ें, फिर अपनी खाली RAM को उस पीक से विभाजित करें और कुछ अतिरिक्त मेमोरी सुरक्षित रखें। परिणाम को दो बार लागू करें, अपने कोड में एक कतार के साथ और यूनिट फ़ाइल में MemoryMax के साथ, ताकि अनुरोधों का एक समूह मशीन को स्वैप करने के बजाय प्रतीक्षा करे।
क्या मेरा एजेंट किसी दूसरी मशीन से ब्राउज़र से कनेक्ट हो सकता है?
हाँ, लेकिन पोर्ट को कभी भी 0.0.0.0 पर बाइंड करके नहीं। Playwright सर्वर एंडपॉइंट और Chrome DevTools पोर्ट दोनों किसी भी ऐसे क्लाइंट को स्वीकार करते हैं जो उन तक पहुंच सकता है, बिना किसी पासवर्ड के। लिसनर को 127.0.0.1 पर रखें और कनेक्शन को SSH टनल या प्राइवेट VPN के माध्यम से ले जाएं। सर्वर पर ss -ltnp के साथ सत्यापित करें और बाहर से पोर्ट चेक करें, और अपने प्रदाता के अलग नेटवर्क फ़ायरवॉल को भी देखें।
मेरे स्क्रीनशॉट खाली क्यों हैं जबकि पेज स्पष्ट रूप से लोड हो गया है?
फ़ॉन्ट की कमी। पेज की स्क्रिप्ट को कवर करने वाले किसी फ़ॉन्ट के बिना, टेक्स्ट खाली बक्से के रूप में या बिल्कुल नहीं रेंडर होता है, इसलिए इमेज-लाइट पेज खाली दिखाई देता है। प्रत्येक भाषा जिसे आप स्क्रैप करते हैं उसके लिए fc-match "sans-serif:lang=ko" चलाएं, जब उत्तर एक सामान्य फ़ॉलबैक हो तो fonts-noto-core और fonts-noto-cjk इंस्टॉल करें, और ब्राउज़र को पुनरारंभ करें ताकि fontconfig अपना कैश पुनः लोड कर सके। बिना फ़ॉन्ट वाला कंटेनर स्टार्टअप पर Fontconfig error: Cannot load default config file लॉग करता है।