SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Dikemas kini 2026-10-24

Cara Bina Sistem Penilaian (Evals) Ejen AI Sendiri

Bina sistem penilaian ejen AI milik anda tanpa vendor. Gunakan jejak sebenar, semakan deterministik, dan LLM judge untuk menjejak kadar lulus bagi setiap commit kod anda.

Apakah penilaian (evals) kendiri untuk ejen AI

Penilaian kendiri untuk ejen AI terdiri daripada empat perkara yang disimpan dalam repositori anda sendiri: fail kes yang disimpan, skrip yang menjalankan ejen ke atas kes tersebut, set semakan yang menggred setiap jawapan, dan jadual keputusan yang boleh anda buat pertanyaan. Tiada satu pun dalam senarai itu memerlukan vendor. Keseluruhan gelung ini hanya terdiri daripada beberapa ratus baris kod Python dan satu fail SQLite.

Ejen tersebut berfungsi dalam demo kerana anda memilih lima input itu sendiri. Ia gagal pada minggu kedua kerana baris prompt berubah, atau model berubah, atau deskripsi alat berubah, dan tiada pengukuran yang melindunginya. Gelung penilaian menukarkan "ia terasa lebih teruk sekarang" kepada "kadar lulus berubah daripada 58 daripada 60 kepada 51 daripada 60 pada commit 4f1c9ab".

Gelung ini mempunyai empat langkah, dan panduan ini mengandungi satu bahagian bagi setiap langkah: kumpul jejak (traces) sebenar, promosikan jejak yang menarik menjadi kes, gred setiap kes pada setiap perubahan, dan simpan kadar lulus bersebelahan dengan commit yang menghasilkannya. Gelung yang sama berfungsi tidak kira apa yang anda gunakan untuk menjalankan ejen tersebut, dan rangka kerja ejen kendiri yang berbaloi untuk dijalankan kebanyakannya berbeza dari segi jumlah jejak yang diberikan kepada anda secara percuma.

Mengapa ejen terhenti pada minggu kedua

Ejen terdiri daripada prompt, model, set definisi alat, dan sebarang konteks yang diambil semasa masa jalan (run time). Keempat-empat elemen ini boleh berubah tanpa kod aplikasi anda berubah, jadi semakan kod biasa tidak akan mengesan sebarang masalah.

Punca paling biasa ialah suntingan prompt. Anda menambah satu ayat untuk menghentikan balasan yang kasar. Ayat tersebut mengubah kelakuan pada input yang tidak diuji semula, dan jejak (trace) menunjukkannya dengan jelas: jejak minggu lepas untuk soalan yang sama mengandungi panggilan alat create_refund, manakala minggu ini tiada, dan balasannya ialah permohonan maaf yang sopan. Tiada ralat yang dibangkitkan, jadi tiada amaran yang dicetuskan.

Punca kedua ialah model. Rekodkan rentetan model tepat yang anda hantar dengan setiap pelaksanaan, claude-haiku-4-5-20251001 dan bukannya singkatan yang anda simpan dalam ingatan, kerana kadar kejayaan yang menurun pada hari anda menukar model hanya boleh didiagnosis apabila model tersebut direkodkan dalam baris data.

Punca ketiga ialah alatan. Menulis semula perihalan alat mengubah masa model memutuskan untuk memanggilnya. Jika alatan anda tiba melalui pelayan MCP yang berjalan pada VPS, skema tersebut berada dalam proses lain, jadi ia boleh berubah tanpa sebarang perbezaan (diff) dalam repositori anda sama sekali. Punca keempat ialah perolehan (retrieval): soalan yang sama mencapai indeks yang dibina semula semalaman, dan jawapannya mengikut dokumen baharu tersebut.

Bina set emas daripada jejak yang telah anda kumpul

Jangan cipta kes penilaian sendiri. Ambil kes tersebut daripada trafik. Jika anda sudah menjalankan penjejakan Langfuse yang dihoskan sendiri untuk ejen anda, setiap permintaan disimpan bersama input, panggilan alat, dan outputnya, yang merupakan bahan mentah tepat yang diperlukan oleh sesuatu kes.

Eksport tetingkap pemerhatian akar melalui API awam. Ia menggunakan pengesahan asas, dengan kunci awam anda sebagai nama pengguna dan kunci rahsia anda sebagai kata laluan.

export LF_HOST="https://langfuse.example.com"
curl -sS -u "$LF_PUBLIC_KEY:$LF_SECRET_KEY" \
  "$LF_HOST/api/public/v2/observations?limit=50&isRootObservation=true&fromStartTime=2026-07-01T00:00:00Z" \
  | jq '.data[0]'

Baca satu rekod sebelum anda menulis sebarang penghuraian. Baris data dikembalikan di bawah data, tetapi nama medan yang memegang soalan dan balasan bergantung pada cara ejen anda menginstrumentasikan span-nya, jadi petakan apa yang anda lihat sebenarnya dan bukannya apa yang anda jangkakan. Kemudian, tulis kes-kes tersebut secara manual, satu objek JSON bagi setiap baris, dalam evals/cases.jsonl:

{"id": "refund-double-charge", "tags": ["smoke"], "input": "I was charged twice for order 41822.", "must_call": ["lookup_order", "create_refund"], "must_not_include": ["I cannot help"], "rubric": "The reply confirms exactly one refund for order 41822 and states the amount."}

Lima peraturan memastikan set tersebut berbaloi untuk dijalankan:

  • 40 hingga 80 kes sudah memadai untuk bermula. Di bawah 20, satu kes yang tidak konsisten akan mengubah kadar lulus sebanyak 5 mata, dan angka yang melompat tanpa sebab akan diabaikan.
  • Setiap pepijat pengeluaran yang anda baiki menjadi satu kes pada hari anda membaikinya. Tabiat itulah yang menjadikan set tersebut berkembang ke arah yang betul.
  • Satu tingkah laku bagi setiap kes. Kes yang memeriksa jumlah bayaran balik dan nada suara secara serentak tidak memberikan maklumat berguna apabila ia gagal.
  • id tidak boleh berubah, kerana id adalah cara larian hari ini dibandingkan dengan bulan lepas.
  • Lakukan penyuntingan (redact) sebelum anda melakukan commit. Fail ini dimasukkan ke dalam git, jadi buang nama pelanggan dan sebarang nombor pesanan yang bukan milik anda.

Gred dengan semakan deterministik terlebih dahulu, kerana ia percuma

Apa-apa sahaja yang mempunyai jawapan tepat perlu menggunakan assertion mudah. Tiada panggilan model, tiada kos, dan tiada kekaburan. Semakan deterministik mengesan regresi struktur, dan inilah perkara yang merosakkan sistem di sekeliling ejen anda: JSON gagal diurai, tool tidak pernah dipanggil, frasa terlarang muncul semula, atau jawapan tidak memetik sebarang sumber.

Satu fungsi sahaja yang mengetahui tentang ejen anda. Segala perkara lain dalam harness adalah generik.

import json, os, urllib.request

def run_agent(case):
    req = urllib.request.Request(
        os.environ["AGENT_URL"],
        data=json.dumps({"input": case["input"]}).encode(),
        headers={"content-type": "application/json"},
    )
    with urllib.request.urlopen(req, timeout=120) as resp:
        return json.load(resp)


def deterministic(case, result):
    text = result.get("output", "")
    called = [c["name"] for c in result.get("tool_calls", [])]
    failures = []
    for tool in case.get("must_call", []):
        if tool not in called:
            failures.append(f"tool not called: {tool}")
    for phrase in case.get("must_not_include", []):
        if phrase.lower() in text.lower():
            failures.append(f"forbidden phrase: {phrase}")
    if len(called) > case.get("max_tool_calls", 12):
        failures.append(f"too many tool calls: {len(called)}")
    return failures

Kekalkan bajet tool dalam senarai tersebut. Ejen yang menyelesaikan kes dalam 3 panggilan hari ini dan 11 panggilan esok telah mengalami regresi walaupun jawapan akhirnya betul, kerana anda membayar bagi setiap panggilan yang dibuatnya.

LLM sebagai penilai, dan empat cara ia boleh tersilap

Apa sahaja yang melepasi asersi memerlukan penilai yang boleh membaca. LLM sebagai penilai merupakan panggilan model kedua: ia menerima soalan, jawapan ejen, dan satu kriteria, kemudian memberikan keputusan. Ini adalah satu-satunya cara praktikal untuk menilai sama ada "jawapan tersebut menjawab apa yang diminta oleh pengguna".

Empat peraturan menjadikan penilai boleh digunakan:

  • Keputusan binari, jangan gunakan skor 1 hingga 10. Skala biasanya memberikan 7 dan 8 untuk hampir semua perkara, jadi nombor tersebut tidak berubah dan anda tidak mempelajari apa-apa daripadanya.
  • Satu kriteria bagi setiap panggilan. Tanya tentang jumlah bayaran balik, atau tentang nada, jangan tanya kedua-duanya serentak.
  • Berikan jawapan yang dijangkakan kepada penilai apabila kes tersebut mempunyai jawapan yang tepat. Menilai berdasarkan rujukan adalah tugas yang jauh lebih mudah berbanding menilai secara abstrak.
  • Paksa bentuk output dan laksanakan penghuraian (parsing) dengan ketat.
from anthropic import Anthropic

client = Anthropic()  # reads ANTHROPIC_API_KEY from the environment


def judge_prompt(case, output):
    return (
        "You grade one answer against one criterion.\n"
        "Reply with JSON only, in this exact shape:\n"
        '{"verdict": "pass", "confidence": "high", "reason": "one short sentence"}\n'
        f"Criterion: {case['rubric']}\n"
        f"Question: {case['input']}\n"
        f"Answer: {output}\n"
        "Length is not a criterion. Judge only the criterion above."
    )


def judge(case, output, model):
    msg = client.messages.create(
        model=model,
        max_tokens=200,
        messages=[{"role": "user", "content": judge_prompt(case, output)}],
    )
    return json.loads(msg.content[0].text)

Sekarang, mod kegagalan. Setiap satunya mempunyai ujian yang boleh anda jalankan petang ini, dan menjalankannya adalah penting, kerana penilai yang tidak diperiksa akan menghasilkan nombor yang kelihatan tepat tetapi tidak membawa sebarang makna.

Bias panjang. Jawapan yang lebih panjang lebih kerap lulus. Ujinya: ambil sepuluh jawapan yang gagal dinilai oleh penilai, tambahkan dua perenggan pengisi yang yakin tetapi tidak menambah fakta baharu pada setiap jawapan, dan nilai semula. Mana-mana keputusan yang bertukar kepada lulus adalah bias panjang, dan rubrik adalah perkara yang perlu diperbaiki.

Bias kendiri. Penilai sering memberikan gred yang lebih baik kepada output daripada keluarga modelnya sendiri berbanding output daripada keluarga lain. Ujinya: nilai 30 jawapan yang sama dengan penilai daripada dua keluarga berbeza dan bandingkan keputusan kes demi kes. Jika terdapat percanggahan, anda perlu membaca kes tersebut sendiri.

Bias kedudukan. Jika anda menggunakan penilai untuk membandingkan dua jawapan, A dan B, tukar susunannya dan jalankan semula. Keputusan yang bertukar apabila susunan ditukar bermakna perbandingan berpasangan belum selamat untuk digunakan bagi rubrik tersebut.

Hanyutan rubrik (Rubric drift). Kriteria yang samar menghasilkan penilai yang terlalu bersetuju. "Adakah jawapan ini membantu" akan meluluskan hampir apa sahaja. "Adakah jawapan ini menyatakan jumlah bayaran balik dalam dolar" hanya akan meluluskan apa yang anda maksudkan. Tulis semula setiap kriteria sehingga ia menamakan fakta yang sedang diperiksa.

Satu langkah kawalan merangkumi keempat-empat perkara ini. Simpan 30 kes yang anda labelkan secara manual, dan skor penilai tersebut berdasarkan label anda setiap kali anda menukar model penilai atau prompt penilai. Jika ia tidak bersetuju dengan anda bagi lebih daripada satu kes dalam sepuluh, perbaiki rubrik tersebut sebelum anda mempercayai sebarang kadar lulus yang dihasilkannya. Penilai adalah kod, jadi ia perlu diletakkan dalam kawalan versi dan disemak seperti kod.

Gred dengan murah, tingkatkan kepada model frontier

Menilai setiap kes dengan model paling mahal pada setiap commit adalah punca bil penilaian (eval) melebihi kos ejen yang diujinya. Susun penilai mengikut harga, dan berhenti sebaik sahaja jawapan menjadi jelas.

CartaCost to judge 1,000 eval cases, list prices, October 2026
Data di sebalik carta ini
[
  {
    "label": "Haiku 4.5, Batch API",
    "usd_per_1000_judge_calls": "0.90"
  },
  {
    "label": "Haiku 4.5",
    "usd_per_1000_judge_calls": "1.80"
  },
  {
    "label": "Sonnet 5",
    "usd_per_1000_judge_calls": "3.60"
  },
  {
    "label": "Opus 5",
    "usd_per_1000_judge_calls": "9.00"
  }
]

Angka-angka tersebut mengandaikan kira-kira 1,200 token input dan 120 token output bagi setiap panggilan penilai, iaitu saiz yang realistik untuk satu soalan, satu jawapan dan satu kriteria. Menilai 1,000 kes menelan kos 1.80 dolar AS pada Claude Haiku 4.5 dan 9.00 pada Claude Opus 5. Jurang ini kelihatan kecil sehingga anda mendarabkannya. Set 60 kes, yang dinilai pada setiap commit, pada 40 commit seminggu, adalah 2,400 panggilan penilai seminggu sebelum sesiapa pun menjalankan kerja malam (nightly job).

Satu diskaun terpakai dengan jelas untuk kerja penilaian. Larian penilaian tidak bersifat interaktif, jadi Batch API mengurangkan separuh harga input dan output sebagai pertukaran untuk penghantaran tak segerak (asynchronous), yang merupakan baris pertama carta. Prompt caching tidak membantu penilai bersaiz ini. Penggandanya adalah nyata (penulisan cache selama lima minit menelan kos 1.25 kali ganda input asas, dan bacaan cache menelan kos sepersepuluh daripadanya), tetapi bahagian cache bagi sesuatu prompt perlu mencapai panjang minimum: 4,096 token pada Claude Haiku 4.5, 1,024 pada Claude Sonnet 5 dan 512 pada Claude Opus 5. Panggilan penilai 1,200 token adalah jauh di bawah had minimum Haiku, dan API memproses prompt yang lebih pendek tanpa caching dan tanpa mengembalikan ralat, jadi tiada penulisan cache, tiada cache hit dan tiada penjimatan. Pada Opus 5, hanya awalan kongsi (shared prefix) sekurang-kurangnya 512 token yang akan layak, dan arahan tetap dalam judge_prompt adalah jauh lebih pendek daripada itu, kerana rubrik berubah bagi setiap kes. Ini adalah harga senarai Anthropic setakat Oktober 2026.

Tangga penilaian, mengikut urutan:

  • Semakan deterministik pada setiap kes. Tiada kos API langsung.
  • Penilai model kecil pada kes yang melepasi semakan tersebut.
  • Penilai frontier hanya apabila penilai kecil menyatakan gagal, atau menyatakan lulus dengan keyakinan rendah.
  • Semakan manusia pada sampel kecil, sekali seminggu.
CHEAP = "claude-haiku-4-5-20251001"
STRICT = "claude-opus-5"


def grade(case, result):
    hard = deterministic(case, result)
    if hard:
        return False, "deterministic", "; ".join(hard)
    first = judge(case, result["output"], CHEAP)
    if first["verdict"] == "pass" and first["confidence"] == "high":
        return True, CHEAP, first["reason"]
    second = judge(case, result["output"], STRICT)
    return second["verdict"] == "pass", STRICT, second["reason"]

Setakat Oktober 2026, Anthropic menyenaraikan kedua-dua penilai ini sebagai model legasi yang masih tersedia. Halaman penamatan (deprecations) memberikan Claude Haiku 4.5 tarikh persaraan tidak lebih awal daripada 15 Oktober 2026, jadi semak halaman tersebut sebelum anda bergantung pada penilai murah untuk jangka masa panjang, dan layan pertukaran model penilai seperti perubahan lain: jalankan semula 30 kes yang dilabel secara manual terlebih dahulu.

Ini menukarkan sedikit ketepatan penggredan dengan kos, jadi ukur pertukaran tersebut dan bukannya membuat andaian. Sekali sebulan, gred keseluruhan set dengan penilai yang ketat dan bandingkan kedua-dua lajur. Jika mereka tidak bersetuju pada lebih daripada segelintir kes, rubrik anda terlalu longgar untuk model kecil, dan rubrik itulah yang perlu anda perbaiki. Mengawal perbelanjaan ejen itu sendiri adalah tugas berasingan, yang diliputi dalam kawalan kos untuk ejen AI pada VPS.

Jejak kadar lulus dari semasa ke semasa dalam sistem milik anda

Kadar lulus yang tidak boleh dikaitkan dengan commit hanyalah satu tanggapan. Simpan satu baris bagi setiap kes untuk setiap larian, dengan commit dan model disertakan di dalam baris tersebut.

CREATE TABLE IF NOT EXISTS results (
  run_id      TEXT NOT NULL,
  ran_at      TEXT NOT NULL,
  git_sha     TEXT NOT NULL,
  agent_model TEXT NOT NULL,
  case_id     TEXT NOT NULL,
  passed      INTEGER NOT NULL,
  graded_by   TEXT NOT NULL,
  reason      TEXT
);
SELECT run_id, git_sha, agent_model,
       count(*) AS cases,
       round(100.0 * sum(passed) / count(*), 1) AS pass_pct
FROM results
GROUP BY run_id
ORDER BY ran_at DESC
LIMIT 10;

Muatkan skema dengan sqlite3 evals/results.db < evals/schema.sql, kemudian baca trend dengan sqlite3 -box evals/results.db < evals/passrate.sql. Larian harian selama setahun untuk 60 kes adalah kira-kira 22,000 baris, jadi storan ini tidak akan menjadi projek yang besar. Menjalankan SQLite dalam pengeluaran pada VPS merangkumi tetapan yang mula menjadi penting jika fail ini dikongsi antara mesin.

Runner tersebut mencetak maklumat yang sama untuk rujukan manusia:

run 2026-08-05T09:14:22Z  sha 4f1c9ab  model claude-sonnet-5  58/60 pass (96.7%)
FAIL refund-double-charge  deterministic: tool not called: create_refund
FAIL pto-policy-question   judge(opus): reply gives no dollar amount

Jalankan suite tersebut pada perubahan yang boleh merosakkan ejen, iaitu suntingan prompt, perubahan model dan perubahan alat, bukannya setiap commit di mana-mana dalam repositori. Hook pre-push merangkumi subset pantas:

cat > .git/hooks/pre-push <<'EOF'
#!/bin/sh
python3 evals/run.py --set smoke || exit 1
EOF
chmod +x .git/hooks/pre-push

Larian penuh adalah lebih perlahan dan perlu dijadualkan. Servis dan pemasa systemd pada VPS yang dijalankan setiap malam akan melaksanakan keseluruhan set terhadap prompt yang telah diatur cara, iaitu perkara yang mengesan perubahan yang datang dari luar repositori anda, seperti alat hos yang kelakuannya telah berubah.

Semakan manusia, secara sampel dan bukannya menyeluruh

Hakim ditentukur berdasarkan label manusia, jadi seseorang perlu menghasilkannya. Baca sampel setiap minggu: setiap kes yang gagal dinilai oleh hakim, ditambah sepuluh kes lulus yang dipilih secara rawak. Kes lulus secara rawak adalah separuh yang penting, kerana hakim yang secara senyap mula meluluskan jawapan yang buruk akan kelihatan sempurna pada mana-mana papan pemuka yang dibina daripada keputusan hakim itu sendiri.

Lima belas kes dengan tiga minit setiap satu mengambil masa 45 minit seminggu, dan ia memberikan pembetulan kepada rubrik di mana anda dan hakim tidak bersetuju, serta kes baharu untuk jenis kegagalan yang tidak dijangkakan oleh sesiapa. Tulis keputusan manusia ke dalam jadual yang sama dengan graded_by ditetapkan kepada human, supaya persetujuan antara hakim dan manusia menjadi pertanyaan (query) dan bukannya ingatan.

Perkara yang menyebabkan kegagalan dalam harness penilaian

anthropic.RateLimitError pada larian penuh pertama. Enam puluh kes yang dijalankan serentak melebihi had permintaan atau token untuk tier anda. Hadkan konkurensi kepada empat pekerja, dan pindahkan larian malam ke Batch API.

json.JSONDecodeError: Expecting value: line 1 column 1 (char 0) daripada penilai. Model membalas dalam bentuk prosa, atau membungkus JSON di dalam blok kod. Cuba semula sekali, kemudian rekodkan kes tersebut sebagai ralat. Jangan sekali-kali membiarkan kegagalan penghuraian (parse failure) dikira sebagai lulus, kerana suite yang menukarkan ralat kepada status lulus akan meningkat ke arah 100% sedangkan prestasi ejen semakin merosot.

Kes yang tidak konsisten (flaky cases). Input yang sama lulus pada satu larian tetapi gagal pada larian seterusnya, kerana ejen mencerap (sample) outputnya. Jalankan kes yang tidak konsisten itu sebanyak tiga kali dan rekodkan pecahannya dan bukannya memadam kes tersebut. Kes yang lulus dua daripada tiga larian adalah pepijat keteguhan (robustness bug) yang sebenar, dan pelanggan pasti akan menemuinya.

Pereputan set rujukan (golden set rot). Seseorang menyunting jawapan jangkaan untuk menjadikan suite berwarna hijau. Semak diff kepada evals/cases.jsonl dengan teliti seperti anda menyemak diff kepada ejen, kerana fail tersebut adalah definisi bertulis anda tentang perkara yang betul.

Suite yang tidak pernah gagal. Kadar lulus yang kekal pada 100% selama sebulan bermakna set tersebut telah berhenti menjejaki produk. Tarik sepuluh jejak (trace) terkini, cari yang mana ejen kendalikan dengan buruk, dan tambahkannya. Kemudian, rosakkan sesuatu dengan sengaja dan sahkan bahawa larian bertukar menjadi merah, yang merupakan semakan ujian mutasi yang digunakan pada suite ujian dan satu-satunya cara untuk mengetahui set anda masih berkesan.

FAQ

Berapa banyak kes yang diperlukan oleh set penilaian ejen AI?

Mulakan dengan 40 hingga 80 dan kembangkan set tersebut daripada kegagalan sebenar. Di bawah kira-kira 20 kes, satu keputusan yang tidak konsisten akan mengubah kadar lulus sebanyak 5 mata, jadi angka tersebut berhenti membawa maklumat. Melebihi beberapa ratus, setiap larian menelan kos wang sebenar dan masa sebenar manakala kes marginal hanya menambah sedikit liputan. Ukuran yang penting bukanlah jumlahnya: ia adalah bahagian jenis kegagalan pengeluaran (production failure) anda yang diketahui yang muncul dalam set sekurang-kurangnya sekali.

Bolehkah saya mempercayai penilai LLM untuk menggred ejen saya?

Hanya selepas anda mengukurnya terhadap label anda sendiri. Simpan 30 kes yang anda gred secara manual, dan skor penilai tersebut terhadap kes tersebut setiap kali anda menukar model penilai atau prompt penilai. Penilai menunjukkan bias panjang, di mana jawapan yang ditambah (padded) lebih kerap lulus, dan keutamaan kendiri (self-preference), di mana output daripada keluarga model mereka sendiri digred dengan lebih baik. Kedua-duanya boleh diuji: tambah (pad) jawapan yang gagal dan nilai semula, atau gred jawapan yang sama dengan penilai daripada keluarga lain. Jika penilai tidak bersetuju dengan label anda pada lebih daripada satu kes dalam sepuluh, rubrik tersebut terlalu samar untuk digunakan.

Model manakah yang patut menggred penilaian?

Gred dengan murah dan tingkatkan. Penegasan deterministik tidak menelan kos apa-apa, jadi ia dijalankan dahulu pada setiap kes. Model kecil mengendalikan kes lulus yang jelas. Hanya kegagalan dan keputusan keyakinan rendah pergi ke model frontier. Pada harga senarai Oktober 2026, menilai 1,000 kes menelan kos kira-kira 1.80 dolar AS dengan Claude Haiku 4.5 dan kira-kira 9.00 dengan Claude Opus 5, dan kerana larian penilaian adalah tak segerak, Batch API mengurangkan separuh mana-mana angka tersebut.

Adakah penilaian menggantikan pemantauan pengeluaran (production monitoring)?

Tidak, kerana ia menjawab soalan yang berbeza. Suite penilaian memberitahu anda sama ada perubahan yang anda akan lancarkan menjadikan set kes tetap lebih baik atau lebih buruk. Penjejakan (tracing) dan pemantauan memberitahu anda apa yang pengguna sebenar hadapi sekarang, termasuk input yang tidak diliputi oleh mana-mana kes. Mereka saling melengkapi: penjejakan membekalkan kes baharu, dan suite penilaian memutuskan sama ada pembetulan anda benar-benar berkesan.

Adakah artikel ini berguna?