Jinsi ya kujenga mfumo wa tathmini kwa AI agents
Jifunze kuunda mfumo wa tathmini ya AI agents ndani ya hazina yako. Tumia SQLite na Python kufuatilia kiwango cha kufaulu kwa kila commit bila kutegemea watoa huduma wa nje.
Tathmini za AI agents zinazojiendesha (self-hosted evals) ni nini
Tathmini za AI agents zinazojiendesha ni vitu vinne unavyohifadhi kwenye hazina (repository) yako mwenyewe: faili la kesi zilizohifadhiwa, hati (script) inayoendesha agent kwenye kesi hizo, seti ya ukaguzi inayopima kila jibu, na jedwali la matokeo unaloweza kuuliza maswali. Hakuna chochote katika orodha hiyo kinachohitaji muuzaji wa nje. Mzunguko mzima ni mistari mia chache ya Python na faili moja la SQLite.
Agent ilifanya kazi kwenye demo kwa sababu ulichagua zile input tano wewe mwenyewe. Ilivunjika katika wiki ya pili kwa sababu mstari wa prompt ulibadilika, au model ilibadilika, au maelezo ya zana (tool description) yalibadilika, na hakuna kipimo kilichoshughulikia hayo. Mzunguko wa tathmini hubadilisha hisia ya "sasa inafanya kazi vibaya zaidi" kuwa "kiwango cha kufaulu kilishuka kutoka 58 kati ya 60 hadi 51 kati ya 60 kwenye commit 4f1c9ab".
Mzunguko huu una hatua nne, na mwongozo huu una sehemu moja kwa kila hatua: kukusanya traces halisi, kupandisha zile za kuvutia kuwa kesi, kupima kila kesi kwa kila mabadiliko, na kuhifadhi kiwango cha kufaulu kando ya commit iliyokizalisha. Mzunguko uleule hufanya kazi bila kujali unaiendesha agent kwenye nini, na mfumo wa self-hosted agent unaofaa kuutumia hutofautiana zaidi kwa kiasi cha trace wanachokupa bure.
Kwa nini wakala huvunjika katika wiki ya pili
Wakala ni prompt, modeli, seti ya ufafanuzi wa zana, na muktadha wowote unaorejeshwa wakati wa utekelezaji. Vyote vinne vinaweza kubadilika bila kubadili msimbo wa programu yako, kwa hivyo ukaguzi wa kawaida wa msimbo hautaona hitilafu yoyote.
Sababu ya kawaida ni mabadiliko ya prompt. Unaongeza sentensi moja ili kuzuia jibu la kijeuri. Sentensi hiyo hubadilisha tabia kwenye maingizo ambayo hakuna aliyeyajaribu upya, na mfuatano wa matukio (traces) huonyesha wazi: mfuatano wa wiki iliyopita kwa swali lilelile una wito wa zana wa create_refund, wa wiki hii hauna, na jibu ni msamaha wa heshima badala yake. Hakuna kilichotoa hitilafu, kwa hivyo hakuna tahadhari iliyotumwa.
Sababu ya pili ni modeli. Rekodi kamba kamili ya modeli uliyotuma katika kila utekelezaji, claude-haiku-4-5-20251001 badala ya kifupi unachokikumbuka kichwani, kwa sababu kiwango cha mafanikio kinachoshuka siku uliyobadilisha modeli kinaweza kutambulika tu wakati modeli hiyo iko kwenye safu husika.
Ya tatu ni zana. Kubadilisha maelezo ya zana hubadilisha wakati modeli inapoamua kuitumia. Ikiwa zana zako zinatoka kupitia MCP servers running on a VPS, schema huishi katika mchakato mwingine, kwa hivyo inaweza kubadilika bila wewe kujua na bila tofauti yoyote (diff) katika hazina yako ya msimbo. Ya nne ni urejeshaji (retrieval): swali lilelile hupata index iliyojengwa upya usiku kucha, na jibu hufuata hati mpya.
Jenga seti ya msingi (golden set) kutoka kwa data uliyokusanya
Usibuni visa vya tathmini (eval cases). Vichukue kutoka kwenye traffic. Ikiwa tayari unatumia self-hosted Langfuse tracing kwa ajili ya agent yako, kila ombi huhifadhiwa pamoja na input yake, tool calls, na output yake, ambayo ndiyo malighafi kamili inayohitajika kwa ajili ya kesi.
Hamisha (export) dirisha la root observations kupitia public API. Inatumia basic authentication, ambapo public key yako ni username na secret key yako ni password.
export LF_HOST="https://langfuse.example.com"
curl -sS -u "$LF_PUBLIC_KEY:$LF_SECRET_KEY" \
"$LF_HOST/api/public/v2/observations?limit=50&isRootObservation=true&fromStartTime=2026-07-01T00:00:00Z" \
| jq '.data[0]'Soma rekodi moja kabla ya kuandika parsing yoyote. Safu hurejeshwa chini ya data, lakini majina ya field yaliyoshikilia swali na jibu hutegemea jinsi agent yako inavyo-instrument spans zake, kwa hivyo ramani (map) kile unachokiona badala ya kile ulichotarajia. Kisha andika kesi hizo kwa mkono, JSON object moja kwa kila mstari, ndani ya evals/cases.jsonl:
{"id": "refund-double-charge", "tags": ["smoke"], "input": "I was charged twice for order 41822.", "must_call": ["lookup_order", "create_refund"], "must_not_include": ["I cannot help"], "rubric": "The reply confirms exactly one refund for order 41822 and states the amount."}Kanuni tano huifanya seti hii kuwa na thamani ya kuendeshwa:
- Kesi 40 hadi 80 zinatosha kuanzia. Chini ya 20, kesi moja isiyo na uthabiti (flaky case) hubadilisha kiwango cha ufaulu kwa pointi 5, na namba inayoruka bila sababu hupuuzwa.
- Kila mdudu wa uzalishaji (production bug) unaourekebisha huwa kesi siku unayourekebisha. Tabia hiyo ndiyo inayofanya seti kukua katika mwelekeo sahihi.
- Tabia moja kwa kila kesi. Kesi inayokagua kiasi cha refund na toni ya mazungumzo kwa pamoja haikupi taarifa yoyote inapofeli.
idhaibadiliki kamwe, kwa sababu id ndiyo njia ambayo run ya leo inalinganishwa na ya mwezi uliopita.- Futa taarifa nyeti (redact) kabla ya kufanya commit. Faili hili huenda kwenye git, kwa hivyo ondoa majina ya wateja na namba zozote za oda ambazo si zako.
Fanya tathmini kwa kutumia ukaguzi wa kideterministi kwanza, kwa sababu haugharimu chochote
Kila kitu chenye jibu sahihi hupata uthibitisho wa moja kwa moja. Hakuna wito wa model, hakuna gharama, na hakuna utata. Ukaguzi wa kideterministi hubaini hitilafu za kimuundo, na hizo ndizo zinazovuruga mifumo inayozunguka agent wako: JSON haisomeki, tool haikuitwa, maneno yaliyopigwa marufuku yamejitokeza, au jibu halina chanzo.
Kazi moja tu ndiyo inayojua kuhusu agent wako. Kila kitu kingine katika mfumo wa majaribio ni cha kijumla.
import json, os, urllib.request
def run_agent(case):
req = urllib.request.Request(
os.environ["AGENT_URL"],
data=json.dumps({"input": case["input"]}).encode(),
headers={"content-type": "application/json"},
)
with urllib.request.urlopen(req, timeout=120) as resp:
return json.load(resp)
def deterministic(case, result):
text = result.get("output", "")
called = [c["name"] for c in result.get("tool_calls", [])]
failures = []
for tool in case.get("must_call", []):
if tool not in called:
failures.append(f"tool not called: {tool}")
for phrase in case.get("must_not_include", []):
if phrase.lower() in text.lower():
failures.append(f"forbidden phrase: {phrase}")
if len(called) > case.get("max_tool_calls", 12):
failures.append(f"too many tool calls: {len(called)}")
return failuresWeka bajeti ya tool katika orodha hiyo. Agent anayetatua kesi kwa wito 3 leo na 11 kesho amepata hitilafu hata kama jibu la mwisho ni sahihi, kwa sababu unalipia kila wito anaoufanya.
LLM kama mwamuzi, na njia nne zinazoweza kusababisha makosa
Kila kitu kinachopita majaribio ya assertions kinahitaji mkaguzi anayeweza kusoma. LLM judge ni mwito wa pili wa model: inapokea swali, jibu la agent, na kigezo kimoja, kisha inatoa uamuzi. Hii ndiyo njia pekee ya kivitendo ya kukagua kama "jibu linajibu kile mtumiaji alichouliza".
Kanuni nne hufanya mwamuzi aweze kutumika:
- Uamuzi wa ndiyo au hapana (binary), kamwe usitumie alama 1 hadi 10. Mizani hutoa 7 na 8 kwa karibu kila kitu, kwa hivyo namba haibadiliki na hujifunzi chochote.
- Kigezo kimoja kwa kila mwito. Uliza kuhusu kiasi cha marejesho (refund), au kuhusu toni, si vyote kwa wakati mmoja.
- Mpe mwamuzi jibu linalotarajiwa kila wakati kesi inapokuwa na jibu sahihi. Kukagua dhidi ya rejeleo ni kazi rahisi zaidi kuliko kukagua kwa nadharia.
- Lazimisha umbo la matokeo na uyafanyie parsing kwa ukali.
from anthropic import Anthropic
client = Anthropic() # reads ANTHROPIC_API_KEY from the environment
def judge_prompt(case, output):
return (
"You grade one answer against one criterion.\n"
"Reply with JSON only, in this exact shape:\n"
'{"verdict": "pass", "confidence": "high", "reason": "one short sentence"}\n'
f"Criterion: {case['rubric']}\n"
f"Question: {case['input']}\n"
f"Answer: {output}\n"
"Length is not a criterion. Judge only the criterion above."
)
def judge(case, output, model):
msg = client.messages.create(
model=model,
max_tokens=200,
messages=[{"role": "user", "content": judge_prompt(case, output)}],
)
return json.loads(msg.content[0].text)Sasa ni njia za kufeli. Kila moja ina jaribio unaloweza kulifanya mchana huu, na kuyajaribu ni muhimu, kwa sababu mwamuzi asiyekaguliwa hutoa namba zinazoonekana kuwa sahihi lakini hazina maana yoyote.
Upendeleo wa urefu (Length bias). Majibu marefu hupita mara nyingi zaidi. Lijaribu: chukua majibu kumi ambayo mwamuzi aliyakataa, ongeza aya mbili za maneno ya kujiamini ambayo hayana ukweli wowote mpya, kisha uyakague tena. Uamuzi wowote unaobadilika na kuwa "pass" unaonyesha upendeleo wa urefu, na rubric ndiyo kitu cha kurekebishwa.
Upendeleo wa binafsi (Self-preference). Mwamuzi mara nyingi hukagua matokeo kutoka kwa familia yake ya model kwa upole zaidi kuliko matokeo kutoka kwa familia nyingine. Lijaribu: kagua majibu yaleyale 30 kwa kutumia waamuzi kutoka familia mbili tofauti na ulinganishe maamuzi kesi kwa kesi. Pale wanapokinzana, soma kesi hiyo mwenyewe.
Upendeleo wa nafasi (Position bias). Ikiwa unatumia mwamuzi kulinganisha majibu mawili, A na B, badilisha mpangilio na uendeshe tena. Uamuzi unaobadilika baada ya kubadilisha mpangilio unamaanisha kuwa kulinganisha kwa jozi (pairwise comparison) bado si salama kwa rubric hiyo.
Kuteleza kwa rubric (Rubric drift). Vigezo visivyo wazi huzalisha waamuzi wanaokubali kila kitu. "Je, jibu ni la kusaidia" hupitisha karibu kila kitu. "Je, jibu linataja kiasi cha marejesho kwa dola" hupitisha kile ulichokusudia pekee. Andika upya kila kigezo hadi kitaje ukweli unaokaguliwa.
Kinga moja inashughulikia yote manne. Hifadhi kesi 30 ulizozikagua kwa mkono, na ukague mwamuzi dhidi ya lebo zako kila wakati unapobadilisha model ya mwamuzi au prompt ya mwamuzi. Ikiwa inakinzana na wewe katika zaidi ya kesi moja kati ya kumi, rekebisha rubric kabla ya kuamini kiwango chochote cha "pass" inachozalisha. Mwamuzi ni code, kwa hivyo inapaswa kuwekwa kwenye version control na kukaguliwa kama code nyingine yoyote.
Kadiria kwa bei nafuu, panda hadi modeli ya kiwango cha juu
Kuhukumu kila kisa kwa kutumia modeli ghali zaidi katika kila commit ndiyo njia inayofanya gharama za eval kuzidi wakala unaojaribiwa. Panga mahakimu kulingana na bei, na usitishe mchakato mara tu jibu linapokuwa wazi.
Data iliyo nyuma ya chati hii
[
{
"label": "Haiku 4.5, Batch API",
"usd_per_1000_judge_calls": "0.90"
},
{
"label": "Haiku 4.5",
"usd_per_1000_judge_calls": "1.80"
},
{
"label": "Sonnet 5",
"usd_per_1000_judge_calls": "3.60"
},
{
"label": "Opus 5",
"usd_per_1000_judge_calls": "9.00"
}
]Takwimu hizo zinachukulia takriban token 1,200 za ingizo na token 120 za pato kwa kila mwito wa hakimu, ambacho ni ukubwa halisi kwa swali moja, jibu moja na kigezo kimoja. Kuhukumu visa 1,000 kunagharimu 1.80 dola za Marekani kwenye Claude Haiku 4.5 na 9.00 kwenye Claude Opus 5. Pengo hili linaonekana dogo hadi utakapozidisha. Seti ya visa 60, inayohukumiwa katika kila commit, kwa commit 40 kwa wiki, ni miito 2,400 ya hakimu kwa wiki kabla ya mtu yeyote kuendesha kazi ya usiku.
Punguzo moja linatumika vizuri kwa kazi ya eval. Uendeshaji wa eval si wa mwingiliano, kwa hivyo Batch API hupunguza bei za ingizo na pato kwa nusu badala ya utoaji wa asynchronous, ambayo ndiyo safu ya kwanza ya chati. Prompt caching haisaidii hakimu wa ukubwa huu. Vizidishi vyake ni halisi (uandishi wa cache wa dakika tano unagharimu mara 1.25 ya ingizo la msingi, na usomaji wa cache unagharimu sehemu ya kumi yake), lakini sehemu iliyohifadhiwa ya prompt lazima ifikie urefu wa chini: token 4,096 kwenye Claude Haiku 4.5, 1,024 kwenye Claude Sonnet 5 na 512 kwenye Claude Opus 5. Mwito wa hakimu wa token 1,200 uko chini sana ya kiwango cha chini cha Haiku, na API huchakata prompt fupi bila caching na bila kurudisha error, kwa hivyo hakuna uandishi wa cache, hakuna cache hit na hakuna akiba. Kwenye Opus 5, prefix ya pamoja ya angalau token 512 pekee ndiyo ingestahili, na maagizo yaliyowekwa katika judge_prompt ni mafupi zaidi ya hayo, kwa sababu rubric hubadilika katika kila kisa. Hizi ni bei za orodha za Anthropic kufikia Oktoba 2026.
Ngazi, kwa mpangilio:
- Ukaguzi wa kideterministic katika kila kisa. Hakuna gharama ya API kabisa.
- Hakimu wa modeli ndogo kwenye visa vilivyopita ukaguzi huo.
- Hakimu wa kiwango cha juu pale tu ambapo hakimu mdogo anasema fail, au anasema pass kwa kujiamini kidogo.
- Mapitio ya kibinadamu kwenye sampuli ndogo, mara moja kwa wiki.
CHEAP = "claude-haiku-4-5-20251001"
STRICT = "claude-opus-5"
def grade(case, result):
hard = deterministic(case, result)
if hard:
return False, "deterministic", "; ".join(hard)
first = judge(case, result["output"], CHEAP)
if first["verdict"] == "pass" and first["confidence"] == "high":
return True, CHEAP, first["reason"]
second = judge(case, result["output"], STRICT)
return second["verdict"] == "pass", STRICT, second["reason"]Kufikia Oktoba 2026, Anthropic inaorodhesha modeli hizi zote mbili kama modeli za urithi (legacy) ambazo bado zinapatikana. Ukurasa wake wa deprecations unatoa Claude Haiku 4.5 tarehe ya kustaafu isiyo kabla ya Oktoba 15, 2026, kwa hivyo kagua ukurasa huo kabla ya kutegemea hakimu wa bei nafuu kwa muda mrefu, na chukulia ubadilishaji wa modeli ya hakimu kama mabadiliko mengine yoyote: endesha upya visa 30 vilivyowekwa alama kwa mkono kwanza.
Hii inabadilisha usahihi wa ukadiriaji kwa gharama, kwa hivyo pima mabadiliko hayo badala ya kuyachukulia. Mara moja kwa mwezi, kadiria seti nzima na hakimu mkali pia na ulinganishe safu hizo mbili. Ikiwa hawakubaliani kwenye visa zaidi ya vichache, rubric yako ni legevu sana kwa modeli ndogo, na rubric ndiyo unayopaswa kurekebisha. Kudhibiti kile ambacho wakala mwenyewe anatumia ni kazi tofauti, inayoshughulikiwa katika udhibiti wa gharama kwa wakala wa AI kwenye VPS.
Fuatilia kiwango cha mafanikio kwa muda katika mfumo unaomiliki
Kiwango cha mafanikio ambacho huwezi kukiunganisha na commit ni hisia tu. Hifadhi safu moja kwa kila kisa kwa kila mzunguko wa majaribio, ukiweka commit na model ndani ya safu hiyo.
CREATE TABLE IF NOT EXISTS results (
run_id TEXT NOT NULL,
ran_at TEXT NOT NULL,
git_sha TEXT NOT NULL,
agent_model TEXT NOT NULL,
case_id TEXT NOT NULL,
passed INTEGER NOT NULL,
graded_by TEXT NOT NULL,
reason TEXT
);SELECT run_id, git_sha, agent_model,
count(*) AS cases,
round(100.0 * sum(passed) / count(*), 1) AS pass_pct
FROM results
GROUP BY run_id
ORDER BY ran_at DESC
LIMIT 10;Pakia schema kwa kutumia sqlite3 evals/results.db < evals/schema.sql, kisha soma mwelekeo kwa kutumia sqlite3 -box evals/results.db < evals/passrate.sql. Mwaka mmoja wa mizunguko ya kila siku kwa visa 60 ni takriban safu 22,000, kwa hivyo hifadhi hii haitakuwa mradi mkubwa peke yake. Kuendesha SQLite katika production kwenye VPS kunashughulikia mipangilio inayozidi kuwa muhimu ikiwa faili hili litashirikiwa kati ya mashine mbalimbali.
Mwendeshaji (runner) huchapisha taarifa hiyo hiyo kwa ajili ya binadamu:
run 2026-08-05T09:14:22Z sha 4f1c9ab model claude-sonnet-5 58/60 pass (96.7%)
FAIL refund-double-charge deterministic: tool not called: create_refund
FAIL pto-policy-question judge(opus): reply gives no dollar amountEndesha suite kwenye mabadiliko yanayoweza kuvunja agent, ambayo inamaanisha kuhariri prompt, mabadiliko ya model na mabadiliko ya zana badala ya kila commit popote kwenye repository. Hook ya pre-push inashughulikia subset ya haraka:
cat > .git/hooks/pre-push <<'EOF'
#!/bin/sh
python3 evals/run.py --set smoke || exit 1
EOF
chmod +x .git/hooks/pre-pushMizunguko kamili ni ya polepole na inapaswa kufanyika kwa ratiba. systemd service na timer kwenye VPS ya kila usiku huendesha seti nzima dhidi ya prompt iliyotumika, jambo ambalo ndilo hugundua mabadiliko yanayotoka nje ya repository yako, kama vile zana inayohifadhiwa (hosted tool) ambayo tabia yake imebadilika.
Uhakiki wa kibinadamu, kwa sampuli badala ya ukamilifu
Jaji hupimwa dhidi ya lebo za kibinadamu, kwa hivyo ni lazima mtu azitengeneze. Soma sampuli kila wiki: kila kisa ambacho jaji alishindwa, pamoja na visa kumi vilivyopita vilivyochaguliwa bila mpangilio. Visa vilivyopita bila mpangilio ndivyo nusu muhimu, kwa sababu jaji ambaye ameanza kupitisha majibu mabaya kimya kimya huonekana kuwa mkamilifu kwenye dashibodi yoyote iliyojengwa kutokana na maamuzi yake mwenyewe.
Visa kumi na tano kwa dakika tatu kila kimoja ni dakika 45 kwa wiki, na hurejesha marekebisho kwenye mwongozo ambapo wewe na jaji hamukubaliani, pamoja na visa vipya vya aina za kushindwa ambavyo hakuna aliyewahi kuvifikiria. Andika uamuzi wa kibinadamu kwenye jedwali lilelile huku graded_by ikiwa imewekwa kuwa human, ili makubaliano kati ya jaji na binadamu yawe swali badala ya kumbukumbu.
Nini kinachofeli ndani ya mfumo wa eval wenyewe
anthropic.RateLimitError kwenye jaribio la kwanza kamili. Kesi sitini zinazotekelezwa kwa wakati mmoja zinazidi kikomo cha maombi au tokeni kwa tier yako. Punguza concurrency hadi wafanyakazi wanne, na uhamishe utekelezaji wa usiku kwenye Batch API.
json.JSONDecodeError: Expecting value: line 1 column 1 (char 0) kutoka kwa jaji. Model ilijibu kwa lugha ya kawaida, au ilifunga JSON yake ndani ya code fence. Jaribu tena mara moja, kisha rekodi kesi hiyo kama kosa. Usiruhusu kamwe kosa la parse lihesabike kama kufaulu, kwa sababu suite inayobadilisha makosa kuwa mafanikio hupanda kuelekea 100% wakati wakala anazidi kuwa mbaya.
Kesi zisizotabirika (Flaky cases). Input ileile hufaulu kwenye jaribio moja na kufeli kwenye lingine, kwa sababu wakala huchagua sampuli ya output yake. Tekeleza kesi hiyo isiyotabirika mara tatu na urekodi sehemu iliyofaulu badala ya kuifuta kesi hiyo. Kesi inayofaulu mara mbili kati ya tatu ni hitilafu halisi ya uthabiti, na mteja ataigundua.
Kuoza kwa golden set. Mtu anahariri jibu linalotarajiwa ili kuifanya suite ionekane imefaulu (green). Kagua diffs za evals/cases.jsonl kwa uangalifu kama unavyokagua diffs za wakala, kwa sababu faili hilo ndilo ufafanuzi wako ulioandikwa wa usahihi.
Suite ambayo haifeli kamwe. Kiwango cha kufaulu kilichokwama kwenye 100% kwa mwezi mmoja inamaanisha kuwa seti hiyo imeacha kufuatilia bidhaa. Vuta traces kumi za hivi karibuni, tafuta zile ambazo wakala alizishughulikia vibaya, na uongeze hizo. Kisha haribu kitu kwa makusudi na uthibitishe kuwa jaribio linakuwa jekundu, ambayo ndiyo ukaguzi mutation testing inavyotumika kwenye test suite na njia pekee ya kujua kama seti yako bado ina uwezo wa kutambua makosa.
FAQ
Seti ya eval ya wakala wa AI inahitaji visa vingapi?
Anza na 40 hadi 80 na uongeze seti hiyo kutokana na kushindwa halisi. Chini ya visa 20, matokeo moja yasiyo thabiti hubadilisha kiwango cha pass kwa pointi 5, kwa hivyo namba hiyo huacha kubeba taarifa. Zaidi ya mamia machache, kila uendeshaji unagharimu pesa halisi na muda halisi wakati kisa cha pembezoni hakiongezi chanjo kubwa. Kipimo kinachojali si idadi: ni sehemu ya aina zako za kushindwa uzalishaji zinazojulikana zinazoonekana kwenye seti angalau mara moja.
Je, ninaweza kuamini hakimu wa LLM kukadiria wakala wangu?
Baada tu ya kuipima dhidi ya lebo zako mwenyewe. Hifadhi visa 30 ulivyokadiria kwa mkono, na upe hakimu alama dhidi yao wakati wowote unapobadilisha modeli ya hakimu au prompt ya hakimu. Mahakimu huonyesha upendeleo wa urefu, ambapo majibu yaliyoongezwa hupita mara nyingi zaidi, na upendeleo wa kibinafsi, ambapo pato kutoka kwa familia yao ya modeli hukadiriwa kwa upole zaidi. Yote mawili yanaweza kupimika: ongeza jibu lililoshindwa na ulikadirie upya, au kadiria majibu yale yale na hakimu kutoka familia nyingine. Ikiwa hakimu hakubaliani na lebo zako kwenye kisa zaidi ya kimoja kati ya kumi, rubric ni wazi sana kiasi cha kutoweza kutumika.
Ni modeli ipi inapaswa kukadiria eval?
Kadiria kwa bei nafuu na panda ngazi. Madai ya kideterministic hayagharimu chochote, kwa hivyo huendeshwa kwanza katika kila kisa. Modeli ndogo hushughulikia pass zilizo wazi. Fail pekee na maamuzi ya kujiamini kidogo huenda kwa modeli ya kiwango cha juu. Kwa bei za orodha mnamo Oktoba 2026, kukadiria visa 1,000 kunagharimu takriban 1.80 dola za Marekani na Claude Haiku 4.5 na takriban 9.00 na Claude Opus 5, na kwa sababu uendeshaji wa eval ni wa asynchronous, Batch API hupunguza takwimu yoyote kwa nusu.
Je, eval huchukua nafasi ya ufuatiliaji wa uzalishaji?
Hapana, kwa sababu yanajibu maswali tofauti. Seti ya eval inakuambia ikiwa mabadiliko unayotaka kusafirisha yanafanya seti iliyowekwa ya visa kuwa bora au mbaya zaidi. Ufuatiliaji (tracing) na ufuatiliaji (monitoring) vinakuambia kile watumiaji halisi wanachokumbana nacho sasa hivi, ikijumuisha maingizo ambayo hakuna kisa kinachoshughulikia. Yanashirikiana: traces hutoa visa vipya, na seti ya eval huamua ikiwa marekebisho yako yamefanya kazi kweli.