VPS वर AI agent साठी headless Chromium कसे चालवावे
VPS वरील headless Chromium मध्ये /dev/shm कमी पडणे, sandbox flags, fonts नसणे आणि leaked processes अशा अडचणी येतात. Agent सुरू करण्यापूर्वी limits सेट करा.
तुम्ही काय चालवत आहात
VPS वरील हेडलेस ब्राउझर म्हणजे अशी Chromium आवृत्ती आहे जिला कोणतीही विंडो नसते आणि ती व्यक्तीऐवजी तुमच्या कोडद्वारे नियंत्रित केली जाते. सर्व्हरवर ही एक दीर्घकाळ चालणारी प्रोसेस ट्री (process tree) असते, ज्याच्याशी तुमचा एजंट स्थानिक सॉकेटद्वारे संवाद साधतो. हे इन्स्टॉल करण्यासाठी फक्त एक कमांड लागते. त्यानंतरचे काम महत्त्वाचे असते. ब्राउझर मशीनची किती संसाधने वापरू शकतो यावर तुम्ही मर्यादा घालता आणि त्याचा कंट्रोल एंडपॉइंट सार्वजनिक इंटरनेटपासून सुरक्षित ठेवता.
हे मार्गदर्शक असे गृहीत धरते की तुम्ही टूलची निवड आधीच केली आहे आणि आता तुम्हाला ते चालवायचे आहे. जर तुम्ही अजूनही क्रॉलर आणि एक्सट्रॅक्टरची तुलना करत असाल, तर self-hosted Firecrawl पर्यायांपासून सुरुवात करा आणि मग परत या. खालील सर्व माहिती Playwright च्या Chromium चा वापर करते, कारण Playwright स्वतःची ब्राउझर बिल्ड आणि स्वतःचे डिपेंडन्सी इन्स्टॉलर सोबत आणते. त्यामुळे, एका साध्या Ubuntu VPS वर आणि कंटेनरच्या आतही समान कमांड्स काम करतात. या कमांड्स Playwright 1.62 ला पिन करतात.
Chromium च्या dependencies चा अंदाज न घेता ते इन्स्टॉल करणे
npm i -D playwright@1.62.0
npx playwright install --with-deps chromium--with-deps हे Chromium साठी आवश्यक असलेल्या shared libraries आणि fonts साठी apt चालवते आणि आवश्यक असल्यास root परवानग्या मागते. ब्राउझरची बिल्ड स्वतःच ज्या वापरकर्त्याने कमांड चालवली आहे, त्याच्या ~/.cache/ms-playwright मध्ये डाउनलोड होते. सर्व्हरवर हे महत्त्वाचे आहे, कारण सर्व्हिस युजर सहसा तो नसतो ज्याच्याद्वारे तुम्ही लॉग इन करता. सिस्टिम पॅकेजेस एकदाच ॲडमिन म्हणून sudo npx playwright install-deps chromium वापरून इन्स्टॉल करा, त्यानंतर इन्स्टॉल कमांड आणि सर्व्हिस युनिट या दोन्हीमध्ये PLAYWRIGHT_BROWSERS_PATH=/opt/pw-browsers सेट करा जेणेकरून एकच प्रत शेअर केली जाईल. ज्या सर्व्हिसला तिचा ब्राउझर दिसत नाही, ती लाँच होताना ज्या पाथवर तिने शोध घेतला होता, त्याचे नाव असलेला एरर मेसेज देऊन बंद पडते.
Playwright ची आवृत्ती पिन (pin) करा. प्रत्येक रिलीज एका विशिष्ट ब्राउझर बिल्डशी जोडलेली असते, त्यामुळे पिन न केलेली npm update चालू सर्व्हिसच्या खाली असलेला ब्राउझर बदलू शकते. 16 नोव्हेंबर 2026 पर्यंतचे लेटेस्ट रिलीज 1.65.1 आहे, त्यामुळे पिन बदलण्यापूर्वी रिलीज नोट्स वाचा. ARM64 सर्व्हरवर, हे लक्षात घ्या की 1.63 मध्ये ब्राउझर फोल्डर्सची नावे बदलली आहेत, जे खाली दिलेल्या AppArmor प्रोफाइलसाठी महत्त्वाचे आहे.
Chromium च्या दोन बिल्ड्स अस्तित्वात आहेत आणि ते एकच प्रोग्राम नाहीत. हेडलेस मोडमध्ये Playwright डीफॉल्टनुसार headless shell वापरते, जे एक लहान बायनरी आहे आणि फक्त हेडलेस मोडमध्येच चालते. साध्या इन्स्टॉलेशनमध्ये ते पूर्ण ब्राउझरच्या शेजारी डाउनलोड होते आणि npx playwright install --with-deps --only-shell फक्त शेल इन्स्टॉल करते. पूर्ण ब्राउझर तुम्हाला chromium चॅनेलद्वारे मिळतो, ज्याला Playwright चे ब्राउझर डॉक्स "खरा Chrome ब्राउझर, जो अधिक अस्सल, विश्वासार्ह आणि अधिक फीचर्स देणारा आहे" असे म्हणतात. मोठ्या प्रमाणात डेटा मिळवण्यासाठी शेलचा वापर करा. जेव्हा एखादी साइट वेगळ्या प्रकारे वागते आणि तुम्हाला त्याचे कारण शोधायचे असते, तेव्हा पूर्ण ब्राउझर वापरा.
कंटेनरमध्ये हेडलेस ब्राउझर का क्रॅश होतो
Docker प्रत्येक कंटेनरला 64 MB चा /dev/shm देतो. Docker डॉक्युमेंटेशनमध्ये स्पष्टपणे नमूद केले आहे: "जर तुम्ही आकार पूर्णपणे वगळला, तर सिस्टम 64m वापरते". Chromium रेंडर केलेली सामग्री त्याच्या प्रोसेसमध्ये या सामायिक मेमरी क्षेत्राद्वारे पाठवते, त्यामुळे एक जड पेज ते पूर्ण भरू शकते. त्यानंतर रेंडरर बंद पडतो आणि तुमचा क्लायंट क्रॅश झालेला टार्गेट रिपोर्ट करतो, जे पेज तुमच्या लॅपटॉपवर व्यवस्थित चालत असते. काहीही बदलण्यापूर्वी कंटेनरच्या आतून आकार तपासा.
df -h /dev/shmयावर दोन प्रभावी उपाय आहेत आणि ते एकमेकांना पर्याय आहेत, जोडीने वापरण्याचे नाहीत. --ipc=host कंटेनरला होस्ट IPC नेमस्पेसमध्ये ठेवते, त्यामुळे तो होस्टचा /dev/shm वापरतो, जो सामान्यतः RAM च्या निम्म्या इतका असतो. Playwright चे Docker मार्गदर्शक याची शिफारस करते, कारण त्याशिवाय "Chromium ची मेमरी संपून ते क्रॅश होऊ शकते". याची किंमत अशी की तुम्ही कंटेनर आणि होस्टमधील IPC आयसोलेशन गमावता. --shm-size=1g खाजगी नेमस्पेस कायम ठेवते आणि फक्त माउंटचा आकार वाढवते.
docker run --rm -it --init --ipc=host --user pwuser mcr.microsoft.com/playwright:v1.62.0-noble /bin/bash--disable-dev-shm-usage हा फ्लॅग तुम्हाला बहुतेक सर्च रिझल्ट्समध्ये सापडेल, आणि तो काहीतरी वेगळे करतो: तो त्या फाइल्सना /dev/shm मधून बाहेर काढून एका तात्पुरत्या डिरेक्टरीमध्ये हलवतो. जर /tmp डिस्कवर असेल, तर तुम्ही क्रॅशच्या बदल्यात संथ रेंडरिंग आणि डिस्क राइट्सचा स्वीकार केला आहे. जर /tmp हे tmpfs असेल, तर डेटा पुन्हा RAM मध्ये येतो, ज्याची मर्यादा फक्त tmpfs आकाराच्या मर्यादेने ठरते, जी कर्नल डॉक्युमेंटेशन नुसार डीफॉल्टनुसार भौतिक RAM च्या निम्मी असते, आणि tmpfs पेजेस स्वॅपमध्ये ढकलले जाऊ शकतात. ब्राउझर लहान VPS कसा संपवतो, हा त्याचा एक मार्ग आहे. Playwright 1.62 डीफॉल्टनुसार --disable-dev-shm-usage पास करते; तुम्ही ठरवलेला /dev/shm वापरण्यासाठी, तुमच्या लाँच पर्यायांमध्ये ignoreDefaultArgs: ['--disable-dev-shm-usage'] वापरून तो आर्ग्युमेंट काढून टाका.
--no-sandbox वापरण्याची किंमत
Chromium प्रत्येक रेंडररला Linux user namespaces वर आधारित सँडबॉक्समध्ये वेगळे ठेवते. हा सँडबॉक्स म्हणजे एका धोकादायक वेबपेज आणि तुमच्या सर्व्हरमधील सीमा आहे. Playwright डीफॉल्टनुसार Chromium सँडबॉक्सिंग अक्षम करते, म्हणून तुमच्या launch options मध्ये chromiumSandbox: true वापरून ते सक्षम करा. जेव्हा सक्षम केलेला सँडबॉक्स सुरू होऊ शकत नाही, तेव्हा Chromium चालण्यास नकार देते आणि लॉगमध्ये खालीलप्रमाणे ओळ दिसते:
Failed to move to new namespace: PID namespaces supported, Network namespace supported, but failed: errno = Operation not permittedसामान्य सल्ला --no-sandbox वापरण्याचा असतो. Chromium ची स्वतःची सुरक्षा पृष्ठे याच्या परिणामांबद्दल स्पष्ट आहेत: "आम्ही याची शिफारस करत नाही कारण यामुळे तुमची सुरक्षा लक्षणीयरीत्या कमी होईल आणि Chromium ला योग्यरित्या काम करण्यापासून रोखले जाऊ शकते." लिंक्स फॉलो करणारा एजंट व्याख्येनुसार ओपन वेब ब्राउझ करत असतो, जिथे नेमकी ही कमी झालेली सुरक्षा तपासली जाते. मूळ कारण शोधा.
root म्हणून चालवणे आणि ब्लॉक केलेले user namespaces ही तपासण्यासारखी दोन कारणे आहेत. root म्हणून चालवताना Chromium चा सँडबॉक्स उपलब्ध नसतो, म्हणूनच Playwright ची इमेज pwuser नावाचा एक सामान्य वापरकर्ता वापरते. Docker मध्ये, Playwright सँडबॉक्स ब्राउझिंगसाठी clone, setns आणि unshare ला परवानगी देणारे seccomp प्रोफाइल वापरण्याची शिफारस करते. Ubuntu 24.04 आणि त्यानंतरच्या आवृत्त्यांवर, AppArmor अनप्रिव्हिलेज्ड user namespaces वर निर्बंध आणते आणि ज्या मार्गावर (path) कोणतेही प्रोफाइल नाही अशा ठिकाणच्या Chromium बायनरीला नाकारले जाते. ~/.cache/ms-playwright अंतर्गत Playwright चे डाउनलोड नेमके असेच एक ठिकाण आहे. दोन्ही तपासा:
id -u
sysctl kernel.apparmor_restrict_unprivileged_userns
sudo dmesg | grep -i userns_createsysctl कडून मिळणारे 1 आणि apparmor="DENIED" operation="userns_create" असलेले कर्नल लाइन दुसरे कारण असल्याचे पुष्टी करते. त्या एका बायनरीला /etc/apparmor.d/pw-chromium मध्ये परवानगी द्या, ज्यामुळे सर्व्हरवरील इतर गोष्टींसाठी निर्बंध कायम राहतील:
abi <abi/4.0>,
include <tunables/global>
profile pw-chromium /{home/*/.cache/ms-playwright,opt/pw-browsers}/*/chrome-*/{chrome,headless_shell,chrome-headless-shell} flags=(unconfined) {
userns,
}ते sudo apparmor_parser -r /etc/apparmor.d/pw-chromium सह लोड करा. x86-64 वर, Playwright पूर्ण ब्राउझर chrome-linux64/chrome वर आणि शेल chrome-headless-shell-linux64/chrome-headless-shell वर ठेवते. ARM64 वर, Playwright 1.62 ने त्यांना स्वतंत्र डिरेक्टरीजमध्ये स्थापित केले होते: chromium-<revision>/chrome-linux/chrome आणि chromium_headless_shell-<revision>/chrome-linux/headless_shell. 1.63 पासून, ARM64 देखील chrome-linux-arm64/chrome आणि chrome-headless-shell-linux-arm64/chrome-headless-shell सह x86-64 पॅटर्नचे अनुसरण करते. chrome-* ग्लोब या सर्व लेआउट्सना कव्हर करते आणि /opt/pw-browsers शाखा PLAYWRIGHT_BROWSERS_PATH सह केलेल्या सामायिक इंस्टॉलेशनला कव्हर करते. या मार्गामध्ये ब्राउझरची आवृत्ती (revision) देखील असते, त्यामुळे प्रत्येक Playwright अपग्रेडवर तो बदलतो. वरील ग्लोब्स त्या बदलांनंतरही काम करतात. एका विशिष्ट मार्गासाठी लिहिलेले प्रोफाइल अचानक जुळणे बंद होते आणि संबंधित नसलेल्या वाटणाऱ्या अपडेटनंतर ब्राउझर पुन्हा अयशस्वी होऊ लागतो.
स्क्रीनशॉट रिकामे किंवा चौकटींनी भरलेले का येतात
स्क्रीनशॉट रिकामा येणे किंवा त्यात रिकामे आयत दिसणे, ही समस्या सहसा रेंडरिंगमधील त्रुटी नसून फॉन्टशी संबंधित असते. install-deps एक कार्यरत बेस संच वापरते: fonts-liberation, fonts-freefont-ttf, fonts-noto-color-emoji, fonts-unifont, fonts-ipafont-gothic (जपानी भाषेसाठी), fonts-wqy-zenhei (चीनी भाषेसाठी), आणि fonts-tlwg-loma-otf (थाई भाषेसाठी). या संचामध्ये Noto CJK समाविष्ट नसल्यामुळे, कोरियन आणि इतर काही लिपींसाठी fontconfig ला जे फॉन्ट सापडतील, त्यांचा वापर केला जातो. अंदाज लावण्याऐवजी fontconfig ला विचारा:
fc-match "sans-serif:lang=ko"
fc-match "sans-serif:lang=ar"
fc-list | wc -lजर तुम्हाला हवी असलेली भाषा unifont वर रिझॉल्व्ह होत असेल किंवा अशा फॉलबॅकवर जात असेल ज्यात कोणतेही प्रत्यक्ष ग्लिफ्स (glyphs) नाहीत, तर fonts-noto-core आणि fonts-noto-cjk इन्स्टॉल करा आणि पुन्हा एकदा तपासणी करा. Fontconfig आपले रिझल्ट्स कॅश (cache) करते, त्यामुळे नवीन फॉन्ट इन्स्टॉल केल्यानंतर ब्राउझर रीस्टार्ट करा. जर इमेजमध्ये कोणतेही फॉन्ट नसतील, तर स्टार्टअपच्या वेळी Fontconfig error: Cannot load default config file लॉग होतो आणि प्रत्येक पेज रिकामे दिसते.
लोकेल (locale) आणि टाइम झोन हे फॉन्टपेक्षा वेगळे असतात; ते केवळ पेज कसे दिसते हेच नाही, तर पेजवर काय मजकूर आहे हे देखील बदलतात. Playwright चे कॉन्टेक्स्ट लोकेल आणि टाइम झोन डीफॉल्टनुसार सिस्टिम सेटिंग्जवर आधारित असतात. त्यामुळे LANG अनसेट आहे किंवा टाइम झोन UTC आहे असे गृहीत धरण्याऐवजी इमेजचे कॉन्फिगरेशन तपासा. हे सेटिंग्ज मशीननुसार सेट करण्याऐवजी ब्राउझर कॉन्टेक्स्टनुसार सेट करा, जेणेकरून एकच ब्राउझर वेगवेगळ्या क्षेत्रांसाठी कार्ये करू शकेल.
const context = await browser.newContext({
locale: 'en-GB',
timezoneId: 'Europe/Paris',
});लीक झालेल्या browser processes मुळे सर्व्हर swap का वापरतो
"zombie" या नावाखाली दोन वेगळ्या समस्या येतात. खरा zombie म्हणजे पूर्ण झालेला process ज्याच्या parent ने कधीही wait() कॉल केलेले नसते. त्याच्याकडे फक्त PID entry असते; इतर काहीही नसते. त्यामुळे तो memory वापरत नाही. Container मध्ये browser PID 1 म्हणून चालत असेल, तर असे processes साचू शकतात, कारण PID 1 कडे default reaper नसतो. Docker मधील --init flag हेच दुरुस्त करते. ते "forwards signals and reaps processes" करणारा छोटा init चालवते. Compose मध्ये यासाठी init: true वापरले जाते.
प्रत्यक्षात सर्व्हरला swap वापरायला लावणारी leak वेगळी असते: कोणीही बंद न केलेले live Chromium processes. newContext() आणि close() यांच्या दरम्यान एखादे task अपयशी ठरल्यास किंवा controlling script kill झाल्याने त्याचे browser tree orphaned राहिल्यास हे घडते. प्रत्येक request साठी नवीन browser सुरू करणारा code हा सर्वात खराब प्रकार आहे. त्यांची संख्या मोजा:
pgrep -c -f 'headless_shell|chrome'
ps -eo pid,ppid,rss,etime,comm --sort=-rss | head -20Tasks दरम्यान ही संख्या idle अवस्थेतील मूल्यावर परत आली पाहिजे. ती एका दिवसात वाढत असेल, तर उपाय launch flags मध्ये नाही; तो तुमच्या code मध्ये आहे. finally block मध्ये context बंद करा, SIGTERM वर browser बंद करा आणि browser एक महिना चालू ठेवण्याऐवजी निश्चित संख्येच्या tasks नंतर तो पुन्हा सुरू करा. systemd अंतर्गत stop किंवा restart केल्यावर त्या unit च्या cgroup मधील सर्वकाही kill होते. त्यामुळे sudo systemctl restart browser.service हा विश्वसनीय reset आहे. Terminal multiplexer मध्ये हाताने सुरू केलेल्या browser साठी अशी हमी नसते. त्याचे orphaned processes session संपल्यानंतरही चालू राहतात.
एका ब्राउझर कॉन्टेक्स्टला किती RAM लागते
हा प्रश्न अचूकपणे विचारा, कारण "एक ब्राउझर" म्हणजे एक प्रोसेस नसते. Chromium एक ब्राउझर प्रोसेस, एक GPU प्रोसेस, युटिलिटी प्रोसेसेस आणि प्रत्येक साइटसाठी एक रेंडरर प्रोसेस चालवते. साइट आयसोलेशनमुळे क्रॉस-साइट आयफ्रेम्सना (iframes) स्वतःची स्वतंत्र रेंडरर प्रोसेस मिळते. BrowserContext हे त्याच ट्रीमध्ये एक स्वतंत्र कुकी जार आणि स्टोरेज एरिया असते, त्यामुळे दुसरा कॉन्टेक्स्ट स्वस्त पडतो. मात्र, दुसरे पेज स्वस्त नसते, कारण ते नवीन रेंडरर प्रोसेसेस सुरू करते आणि जाहिरातींनी भरलेले पेज अनेक प्रोसेसेस सुरू करू शकते.
त्यामुळे, तुमच्या वर्कलोड अंतर्गत संपूर्ण ट्रीसाठी लागणारी पीक मेमरी मोजणे आवश्यक आहे. दुसऱ्या कोणाच्या ब्लॉगवरील आकडेवारी येथे निरुपयोगी आहे, कारण तुमचा एजंट कोणती पेजेस उघडतो यावरच उत्तर अवलंबून असते. ज्या मशीनवर तुम्ही काम करणार आहात, त्यावर तुम्ही भेट देणार असलेल्या साइट्ससाठी मोजमाप करा:
sudo systemd-run --unit=browser-probe -p MemoryMax=2G -p MemorySwapMax=0 -p WorkingDirectory=/srv/agent /usr/bin/node worker.js
systemctl status browser-probeUbuntu 24.04 वर, त्या आउटपुटमधील Memory: ओळ युनिटसाठी सध्याचा आणि पीक वापर दोन्ही दर्शवते. वर्करला एका वेळी एक पेज देऊन चालवा, पीक मेमरी नोंदवा, आणि त्यानंतर दोन पेजेस उघडून पुन्हा प्रयत्न करा, जेणेकरून दुसऱ्या पेजचा नेमका खर्च समजेल. त्यानंतर कॉनकरन्सी (concurrency) गणिती पद्धतीने ठरवा: एकूण RAM घ्या, त्यातून सिस्टमला लागणारी RAM वजा करा, काहीशे MB बफर म्हणून ठेवा आणि उरलेल्या RAM ला प्रति वर्कर मोजलेल्या पीक मेमरीने भागा. याखालील मशीनच्या आकारमानासाठी, एजंट VPS ला किती RAM आणि CPU आवश्यक आहे हे पहा.
ती संख्या दोन ठिकाणी लागू करा. तुमच्या कोडमध्ये, फिक्स्ड वर्कर पूल किंवा सेमाफोर (semaphore) वापरा, जेणेकरून एजंटच्या विनंत्यांचा भडिमार झाल्यास ब्राउझर सुरू होण्याऐवजी त्या रांगेत राहतील. OS मध्ये, cgroup मर्यादा वापरा, जेणेकरून रांगेतील एखाद्या बगमुळे संपूर्ण मशीन बंद पडणार नाही:
[Service]
MemoryMax=2G
MemorySwapMax=0
TasksMax=512
Restart=alwaysMemorySwapMax=0 हे दिसण्यापेक्षा जास्त महत्त्वाचे आहे. त्याशिवाय, मर्यादा गाठताना cgroup ला पेजेस स्वॅपमध्ये ढकलण्याची परवानगी मिळते. यामुळे मशीन चालू राहते पण प्रत्येक विनंती संथ होते, जे स्पष्टपणे बंद पडण्यापेक्षा निदान करणे कठीण असते. स्वॅप फक्त शेवट लांबणीवर टाकतो: systemd चे डॉक्युमेंटेशन सांगते की जर वापर "मर्यादेच्या आत ठेवता येत नसेल, तर युनिटच्या आत out-of-memory killer सक्रिय केला जातो". स्वॅप शून्य केल्यास, युनिट स्वॅप वापरू शकत नाही; MemoryMax गाठल्यास, जर रिकलेम (reclaim) वापर मर्यादित करू शकला नाही, तर OOM किल सक्रिय होतो. Restart=always मुख्य प्रोसेस बंद झाल्यावर सर्व्हिस रीस्टार्ट करते, परंतु केवळ रेंडररचा OOM किल सर्व्हिस रीस्टार्टची खात्री देत नाही. Compose मधील हेच कंट्रोल्स mem_limit, shm_size आणि init आहेत, ज्यांची माहिती Docker Compose मध्ये मेमरी मर्यादा सेट करणे येथे दिली आहे.
ब्राउझर endpoint सार्वजनिक इंटरनेटपासून दूर ठेवा
Playwright ब्राउझरला server म्हणून चालवू शकते आणि तुमच्या agent ला WebSocket URL देऊ शकते:
const { chromium } = require('playwright');
const server = await chromium.launchServer({ port: 3000 });
console.log(server.wsEndpoint());त्या endpoint वर login नाही. Playwright च्या API documentation मध्ये हे स्पष्टपणे नमूद आहे: "wsPath ची माहिती असलेली कोणतीही process किंवा web page (Playwright मध्ये चालणाऱ्यांसह) OS user वर नियंत्रण मिळवू शकते." Default host localhost आहे. तो "केवळ loopback interface कडून येणारी connections स्वीकारतो". तसेच, 0.0.0.0 सारखा explicit address दिल्यास "listening port पर्यंत पोहोचू शकणाऱ्या कोणत्याही गोष्टीसमोर browser RPC उघडतो", असा documentation मध्ये इशारा दिला आहे. Chrome चे स्वतःचे --remote-debugging-port याहूनही धोकादायक आहे. DevTools protocol मध्ये कोणत्याही प्रकारचे authentication नाही आणि तो पूर्णपणे loopback ला bind केलेला असण्यावर अवलंबून असतो.
तुम्ही प्रत्यक्षात काय publish केले आहे ते तपासा. हा तपास VPS वरून तसेच दुसऱ्या machine वरूनही करा:
ss -ltnp0.0.0.0 ला bind केलेल्या browser port वरील कोणतीही गोष्ट security finding आहे. बहुतेक providers त्यांच्या control panel मध्ये स्वतंत्र network firewall चालवतात. तुमच्या ufw rules ना त्याची कोणतीही माहिती नसते, हे लक्षात ठेवा. दुसऱ्या machine वरून SSH tunnel किंवा private VPN द्वारे endpoint पर्यंत पोहोचा:
ssh -N -L 3000:127.0.0.1:3000 you@your-vpsयेथील धोका केवळ कोणी browser चा वापर करून घेण्यापुरता मर्यादित नाही. तुम्ही नियंत्रण करू शकणारा browser म्हणजे तुमच्या network मध्ये असलेले request-forgery machine आहे. त्या socket पर्यंत पोहोचणारी व्यक्ती त्याला http://127.0.0.1:8080, तुमच्या database admin page किंवा 169.254.169.254 वरील cloud metadata address fetch करण्यास सांगू शकते. त्यानंतर page मधून response वाचता येतो. तुमच्या firewall ला request VPS मधूनच आलेली दिसते आणि ती परवानगी असलेली असते. या control endpoint ला त्या box वरील shell access इतकेच संवेदनशील समजा.
MCP servers ची रचनाही अशीच असते. npx @playwright/mcp@latest --headless --port 8931 localhost वर HTTP द्वारे सेवा देते आणि --host 0.0.0.0 हा local tool सार्वजनिक करण्यासाठी वापरला जाणारा flag आहे. प्रकल्पाच्या README मध्ये स्पष्टपणे म्हटले आहे की Playwright MCP "हे security boundary नाही". Port loopback वरच ठेवा आणि agent ला त्याच tunnel द्वारे त्याच्यापर्यंत पोहोचू द्या.
तुमचा एजंट वाचत असलेली पृष्ठे ही अविश्वसनीय इनपुट आहेत
ओपन वेब ब्राउझ करणारा एजंट अनोळखी व्यक्तींनी लिहिलेला मजकूर अशा मॉडेलमध्ये फीड करतो, ज्यामध्ये तुमच्या सूचनाही असतात. एखादे पृष्ठ त्या मॉडेलला उद्देशून मजकूर वाहून नेऊ शकते, ज्यामध्ये त्याला कार्य सोडून देण्यास, टूल कॉल करण्यास किंवा एखाद्या URL वर डेटा पोस्ट करण्यास सांगितले जाऊ शकते. मॉडेलला दोन्ही मजकूर म्हणून मिळतात, त्यामुळे पृष्ठाचे शब्द आणि तुमच्या सूचना यातील फरक ओळखण्याचा कोणताही खात्रीशीर मार्ग मॉडेलकडे नसतो. तुमची रचना अशा प्रकारे करा की ज्यामुळे एखाद्या घातक पृष्ठाला कमीत कमी संधी मिळेल.
- ब्राउझरला त्याच्या स्वतःच्या OS युजर अंतर्गत चालवा, ज्याच्या वातावरणात कोणतेही SSH keys किंवा क्लाउड क्रेडेंशियल्स नसतील.
- प्रत्येक कार्यासाठी नवीन संदर्भ (context) वापरा आणि Playwright MCP सह
--isolatedवापरा; त्या सत्राचा स्टोरेज काढून टाकण्यासाठी कार्यांमधील MCP ब्राउझर बंद करा. - जिथे कामात परवानगी असेल तिथे ओरिजिनची एक allowlist ठेवा. Playwright MCP मध्ये
--allowed-originsआणि--blocked-originsहे सेमी-कोलनने वेगळे केलेले लिस्ट म्हणून वापरता येतात. हे फिल्टर्स रिडायरेक्टवर परिणाम करत नाहीत आणि ही कोणतीही सुरक्षा सीमा (security boundary) नाही. - ईमेल पाठवणे किंवा पैसे खर्च करणे यांसारख्या स्थिती बदलणाऱ्या कोणत्याही कृतीपूर्वी मानवी हस्तक्षेपाची (human step) आवश्यकता ठेवा.
यापेक्षाही उत्तम मार्ग म्हणजे, संपूर्ण ब्राउझर अशा मशीनवर ठेवा जी तुम्ही नष्ट करून पुन्हा तयार करू शकता. हाच युक्तिवाद डिस्पोजेबल VM मध्ये कोडिंग एजंट चालवणे या संदर्भातही लागू होतो. जर एजंटचे खरे काम हे ओपन-एंडेड ब्राउझिंग नसून केवळ शोध घेणे असेल, तर पूर्ण ब्राउझरपेक्षा मर्यादित टूल वापरणे अधिक सुरक्षित आहे: तुमच्या स्वतःच्या SearXNG द्वारे समर्थित सर्च स्किल हे घातक पृष्ठ लोड न करताच निकाल देते.
FAQ
Chromium Docker मध्ये क्रॅश का होतो, पण त्याच VPS वर थेट चालवताना व्यवस्थित का चालतो?
कारण कंटेनरला डीफॉल्टनुसार 64 MB चा /dev/shm मिळतो, तर होस्टकडे तो खूप मोठा असतो. Chromium रेंडर केलेले कंटेंट त्या सामायिक मेमरी एरियाद्वारे पाठवते, त्यामुळे एखादे जड पेज ती मेमरी भरून टाकते आणि रेंडरर बंद पडतो. हे तपासण्यासाठी कंटेनरमध्ये df -h /dev/shm चालवा. त्यानंतर, कंटेनर सुरू करताना एकतर --ipc=host वापरा (जे होस्टची सामायिक मेमरी वापरते) किंवा --shm-size=1g वापरा (जे कंटेनरची स्वतःची मेमरी वाढवते). --disable-dev-shm-usage वापरल्याने ही समस्या फक्त /tmp वर ढकलली जाते. Playwright 1.62 डीफॉल्टनुसार तो फ्लॅग वापरते; तुम्ही ठरवलेली सामायिक मेमरी वापरण्यासाठी Chromium ला सांगायला ignoreDefaultArgs: ['--disable-dev-shm-usage'] वापरा.
जर VPS वर दुसरे काहीही चालत नसेल, तर --no-sandbox वापरणे सुरक्षित आहे का?
नाही. सँडबॉक्समुळेच एखादे घातक पेज मशीनच्या इतर भागांपर्यंत पोहोचण्यापासून रोखले जाते. Chromium च्या सुरक्षा पानांवर या फ्लॅगबद्दल असे म्हटले आहे: "आम्ही याची शिफारस करत नाही, कारण यामुळे तुमची सुरक्षा लक्षणीयरीत्या कमी होते आणि Chromium योग्यरित्या काम करण्यापासून रोखले जाऊ शकते." लिंक फॉलो करणारा एजंट ओपन वेब ब्राउझ करत असतो. त्याऐवजी मूळ कारण दुरुस्त करा: ब्राउझरला root म्हणून चालवू नका. Ubuntu 24.04 वर, ब्राउझर बायनरी पाथसाठी userns, असलेले AppArmor प्रोफाइल जोडा, जेणेकरून त्या एका प्रोग्रामसाठी अनप्रिव्हिलेज्ड युजर नेमस्पेसेसना परवानगी मिळेल. chromiumSandbox: true वापरून सँडबॉक्सिंग स्पष्टपणे सक्षम करा; Docker मध्ये, Playwright ने शिफारस केलेले seccomp प्रोफाइल देखील वापरा.
मी एका लहान VPS वर किती ब्राउझर चालवू शकतो?
हे मोजून ठरवा, कोणताही आकडा कॉपी करू नका. Chromium प्रत्येक साइटसाठी एक रेंडरर प्रोसेस सुरू करते, त्यामुळे उत्तर तुम्ही उघडलेल्या पेजेसवर अवलंबून असते. MemoryMax सेट करून systemd-run अंतर्गत एक वर्कर चालवा, systemctl status मधील Memory: ओळीवरून पीक मेमरी वापराची नोंद घ्या, त्यानंतर तुमच्याकडे उपलब्ध असलेली मोफत RAM त्या पीक व्हॅल्यूने भागा आणि काही मेमरी राखीव ठेवा. हा निकाल दोनदा लागू करा: तुमच्या कोडमध्ये एक रांग (queue) ठेवा आणि युनिट फाईलमध्ये MemoryMax वापरा, जेणेकरून विनंत्यांचा अचानक ओघ आल्यास मशीन स्वॅप होण्याऐवजी त्या विनंत्या रांगेत थांबतील.
माझा एजंट दुसऱ्या मशीनवरून ब्राउझरला कनेक्ट करू शकतो का?
हो, पण पोर्टला कधीही 0.0.0.0 वर बाइंड करू नका. Playwright सर्व्हर एंडपॉईंट आणि Chrome DevTools पोर्ट हे पासवर्डशिवाय, पोहोचू शकणाऱ्या कोणत्याही क्लायंटला स्वीकारतात. लिसनरला 127.0.0.1 वर ठेवा आणि कनेक्शन SSH टनेल किंवा खाजगी VPN द्वारे करा. सर्व्हरवर ss -ltnp वापरून पडताळणी करा आणि बाहेरून पोर्ट चेक करा, तसेच तुमच्या प्रोव्हायडरच्या स्वतंत्र नेटवर्क फायरवॉलकडेही लक्ष द्या.
पेज लोड होऊनही माझे स्क्रीनशॉट्स रिकामे का येतात?
फॉन्ट्सची कमतरता. पेजच्या स्क्रिप्टला कव्हर करणारा फॉन्ट नसल्यास, मजकूर रिकाम्या चौकटींच्या स्वरूपात किंवा अजिबात दिसत नाही, त्यामुळे इमेज-लाईट पेज रिकामे दिसते. तुम्ही ज्या भाषा स्क्रॅप करता त्या प्रत्येक भाषेसाठी fc-match "sans-serif:lang=ko" चालवा, जेव्हा उत्तर सामान्य फॉलबॅक असते तेव्हा fonts-noto-core आणि fonts-noto-cjk इंस्टॉल करा आणि ब्राउझर रीस्टार्ट करा जेणेकरून fontconfig आपला कॅशे रीलोड करेल. ज्या कंटेनरमध्ये फॉन्ट्स नसतात, तो स्टार्टअपला Fontconfig error: Cannot load default config file लॉग करतो.