SSD Nodes Learn Hosting plans →
Mga Gabay Matt ConnorNi Matt Connor · Na-update 2026-10-25

Fable method: agent skills para sa kahit anong model

Tingnan kung paano ginagawang agent skills ang habits ni Claude Fable 5, ano ang puwedeng ilipat sa ibang model, at paano mag-A/B test sa VPS gamit ang tool calls at cost.

Ano talaga ang sinasabi ng Fable method

Ang Fable method ay maliit na set ng agent skills na nagtatala ng mga working habit ng isang model bilang nakaayos na procedure, para maisagawa ng ibang model ang parehong procedure. Ang repo ay Sahir619/fable-method, may MIT license, at ang sarili nitong one-line description ay "kung paano nagtrabaho si Claude Fable 5, na isinapinal bilang skills na maaaring patakbuhin ng anumang model, kasama ang eval na nagpapanatili rito na tumpak." Ang bahaging sulit subukan ay ang ikalawang hati ng pangungusap na iyon.

Hindi mabe-verify ng sinuman sa labas ng Anthropic kung talagang nakukuha ng isang text file kung paano nag-isip ang isang partikular na model. Pero maaari mong suriin mismo kung naiiba ang pagkilos ng isang mas murang model kapag binasa nito ang text file na iyon—sa isang VPS, sa loob ng isang hapon. Iyan ang layunin ng lahat ng sumusunod: patakbuhin nang dalawang beses ang parehong task, mayroon at walang method, habang binibilang ang tool calls at cost.

Kung bago sa iyo ang salitang skill, magsimula sa kung ano talaga ang agent skill: isang folder na naglalaman ng SKILL.md file na ang frontmatter description ay nagsasabi sa agent kung kailan ilo-load ang body. Ang model na pinagmulan ng pangalan ng repo ay tinatalakay sa magkano ang Claude Fable 5 at saan ito mahusay.

I-install ang skills at i-pin ang bersyong sinubukan mo

May dalawang paraan ng pag-install. Sa loob ng Claude Code, dalawang command ang kailangan para sa plugin route:

/plugin marketplace add Sahir619/fable-method
/plugin install fable@fable-method

Sa VPS, kung gusto mo ng naka-pin na kopya sa disk, i-clone ang repository at mag-check out muna ng tag:

git clone https://github.com/Sahir619/fable-method ~/fable-method
cd ~/fable-method
git checkout v1.4.0
bash install.sh
ls ~/.claude/skills

Hindi nangangailangan ng sudo ang install.sh dahil sa ilalim lamang ng $HOME/.claude/skills ito nagsusulat. Pagkatapos nitong tumakbo, inililista ng ls ~/.claude/skills ang fable-judge, fable-loop, at fable-method. Tingnan kung ano ang wala sa listahan. May apat na skills ang repo, ngunit tatlo lamang ang kinokopya ng v1.4.0 shell installer. Kaya hindi nakukuha ng standalone user ang fable-domain maliban kung mano-mano niya itong kokopyahin:

cp -r ~/fable-method/skills/fable-domain ~/.claude/skills/

I-pin ang tag at isulat ang tag sa tabi ng anumang resultang makuha mo. Nakalista sa changelog ang limang bersyon mula 2026-07-06 hanggang 2026-07-15, mula 1.0.0 hanggang 1.4.0, ngunit apat lamang ang na-tag (v1.0.0, v1.1.0, v1.2.0, at v1.4.0), at v1.2.0 at v1.4.0 lamang ang inilabas bilang GitHub releases. Walang v1.3.0 tag. Ayon sa release notes ng v1.4.0, isinama nito ang lahat ng pagbabago mula sa hindi inilabas na v1.3.0. Binago ng v1.4.0 ang mismong method sa pamamagitan ng pagdaragdag ng bagong routing gate. Noong October 2026, ang v1.4.0 pa rin ang pinakabagong tag, ngunit nalampasan na ito ng main: isang commit noong 2026-10-03 ang nagdagdag ng Codex install target at nagpa-copy sa install.sh ng lahat ng apat na skill. Wala pang tag na may ganitong pagbabago. Kung magkaibang bersyon ng rules ang binabasa ng control run at test run mo, wala kang nasukat.

Ano ang ipinapagawa ng bawat isa sa apat na skill sa model

Ang pangunahing file ay skills/fable-method/SKILL.md. Naglalaman ito ng dalawang gate at pitong numbered step. Sapat na partikular ang mga rule nito para mapagbatayan ng pagsusuri.

Unang dumarating ang triviality gate: kumilos agad at walang seremonya kapag isang file lang ang gagalawin, wala pang humigit-kumulang 10 linya ang kailangang patakbuhin, walang bagong behavior na idaragdag, at alam mo na kung ano mismo ang babaguhin. Isang hiwalay na skill ang binuo mula sa instinct na ito, ang Ponytail, na nagtutulak sa agent na gawin ang pinakamaliit na pagbabagong gumagana, at sapat na maikli ang core rule nito para makopya sa sarili mong instructions nang walang kailangang i-install. Kasunod ang fit gate, na nagruruta sa request batay sa pinanggagalingan ng sagot: mga source na maaari mong buksan, technique na kailangan mo munang saliksikin, o sarili mong inference, na dapat markahan bilang low confidence sa halip na ipakita bilang katotohanan. Gumagana lang ang middle branch na ito kung tunay na maa-access ng agent ang web. Sa isang locked-down VPS, nangangahulugan ito na kailangan itong bigyan ng sariling search backend, gaya ng self-hosted na SearXNG instance na naka-expose bilang JSON search tool.

Kasunod nito ang loop: uriin ang request, tukuyin kung ano ang ibig sabihin ng done, mangalap ng ebidensiya, magpasya, kumilos, mag-verify, at mag-report. Sinasabi ng Step 2 na magsimula sa pag-lista ng directory bago pumili ng mga file, unahin ang primary source kaysa memorya, at huminto kapag dalawang magkasunod na lookup ang walang bagong ibinibigay. Sinasabi ng Step 4 na sumulat ng INTENT: line bago ang anumang edit na nagbabago ng behavior. Dapat nitong pangalanan kung ano ang ginagawa ng code, ano ang inaasahan ng failing check, at ano ang sinasabi ng spec. Huwag mag-edit kapag hindi nagtutugma ang tatlong ito, dahil ang hindi pagkakatugma ang mismong finding. Nililimitahan ng Step 5 ang retries: pagkatapos ng tatlong nabigong fix-and-verify cycle sa parehong issue, huminto at ibalik ang aktuwal na output.

Ang pinakamadaling i-test na bahagi ng file ay ang apat nitong report token. Ang pagbabago ng behavior ay nangangailangan ng INTENT: line. Ang action na nakaaapekto sa labas ay nangangailangan ng AUTH: user said "<exact words>", kasama ang quote mula sa user, dahil malinaw na sinasabi ng repo na hindi authorization ang documentation. Ang iniresetang action na hindi isinagawa ay nangangailangan ng PENDING: line. Ang naayos na defect ay nangangailangan ng TWINS: searched <pattern> - found <N> other sites. Hindi mo kailangang paniwalaan ang anumang bahagi ng method para tingnan kung lumilitaw ang apat na string na ito kapag kinakailangan. Dahil dito, nasusukat ang buong proseso sa halip na nakabatay lang sa impresyon.

Ang fable-loop ay ang parehong method na pinapatakbo bilang orchestration sa apat na stage: magplano gamit ang parallel evidence subagent, mag-execute sa main thread, mag-verify gamit ang isa hanggang tatlong attacker subagent na magkakaibang lens ang ginagamit, pagkatapos ay mag-audit at mag-report. Ipinapalagay nito na murang models ang gagamitin sa evidence at attacker role, at mas malakas na model ang gagamitin sa mga desisyon at edit.

Ang fable-judge ang bahaging sulit i-install kahit itapon mo ang iba. Ang paninindigan nito ay: "ang report ay koleksiyon ng mga claim, hindi ebidensiya." Kinokolekta nito ang mga claim mula sa natapos na report, itinatakda ang ground truth mula sa git diff at git status, muling pinapatakbo ang bawat verification na sinasabing isinagawa ng report, at hinahanap ang pinangalanang fraud list: pinahina na mga check, maling pahayag na tapos na ang gawain, scope creep, unauthorized action, pagtataksil sa spec, at natirang debris. Nagbabalik ito ng VERIFIED, VERIFIED WITH CAVEATS, o REFUTED. Minamarkahan nito bilang UNVERIFIABLE ang anumang hindi nito ma-reproduce sa halip na ipagpalagay na pumasa ito. Tinutukoy ito ng huling linya ng installer: "Subukan ito: buksan ang Claude Code at i-type ang /fable-judge pagkatapos mag-claim ang isang agent na tapos na ang gawain." Kung mas gusto mong isama ang check na iyon sa mismong gawain kaysa patakbuhin pagkatapos, pinagagawa ng Old Coder skill sa agent ang isang SPEC na maa-approve mo at isang EVIDENCE report na maaari mong patakbuhing muli, kung saan ginagamit ang mutation testing bilang kapalit ng coverage upang patunayan na tunay na mahuhuli ng test ang isang regression.

Gumagawa ang fable-domain ng mga domain adapter bundle na may trap fixture at smoke eval. Walong adapter ang kasama: marketing, research, data analysis, business at ops, finance, legal at compliance, design at UX, at devops. Sadyang walang adapter para sa medical at clinical work.

Aling bahagi ang madaling ilipat sa ibang model, at alin ang hindi

Direktang sinasagot ito ng repo sa AGENTS.md, na nagsisimula sa: “Portable version for any coding agent or harness (Codex, Cursor, aider, a raw system prompt). Identical method to SKILL.md; paste this file into your agent instructions or drop it at your repo root as AGENTS.md.” Humigit-kumulang 2,600 salita ito at dala nito ang parehong gates, hakbang, at mode. Kung gumagamit ka na ng mga instruction file sa repo root, ipinapaliwanag ng convention ng AGENTS.md at HUMAN.md kung saan ilalagay ang file at kung sino ang babasa nito.

Dalawang bahagi ang madaling ilipat. Ang method text ay isang nakaayos na prompt na walang code na partikular sa isang model, kaya masusunod ito ng anumang model na sumusunod sa mga instruction. Nakasaad din sa thesis ng repo na inversely proportional sa model tier ang kinakailangang effort. Madali ring ilipat ang judge, basta may shell at repository ang agent, dahil ang lahat ng ginagawa nito ay git diff at muling pagpapatakbo ng mga command na maaari ring patakbuhin ng reader.

May isang bahaging hindi madaling ilipat. Ipinapalagay ng fable-loop na kayang mag-spawn ng parallel subagents ang harness at i-route ang mga ito sa magkakaibang model. Kung walang subagents ang agent, sunod-sunod nitong pinapatakbo ang mga stage gamit ang iisang model. Inaalis nito ang parallelism at cost saving na dahilan ng disenyo. Ang natitira ay fable-method na may dagdag na vocabulary.

May dalawa pang mas maliliit na bagay na partikular sa harness at madaling hindi mapansin. Ang trigger na /fable-method ay isang Claude Code slash command, kaya sa ibang harness, pinapagana mo ang method sa pamamagitan ng paglalarawan dito. Ang description sa frontmatter na SKILL.md ang nagbibigay-daan sa agent na i-load lamang ang body kapag tumutugma ito sa task. Dahil dito, halos walang gastos ang isang naka-install na skill hanggang sa ma-trigger ito. Sa halip, kung i-paste mo ang AGENTS.md sa isang system prompt, kasama ang 2,600 salitang iyon sa bawat request na ipinapadala mo, kahit one-line typo fix lang o refactor ang task. Totoong may malaking pagkakaiba sa gastos, at ito ang pangunahing dahilan kung bakit umiiral ang skill packaging.

Paano ito i-A/B sa isang VPS: iisang task, dalawang beses

Mag-set up ng dalawang magkaparehong working copy upang hindi makita ng alinmang run ang mga edit ng isa pa. Palitan ang YOUR_ORG/YOUR_REPO ng repository na gusto mong gamitin sa test; dapat mula sa iisang commit ang dalawang clone.

sudo apt update && sudo apt install -y git jq
git clone https://github.com/YOUR_ORG/YOUR_REPO ~/ab/control
git clone https://github.com/YOUR_ORG/YOUR_REPO ~/ab/method

Pumili ng task na may resultang maobserbahan nang walang opinyon: isang failing test na kailangang pumasa, o isang script na kailangang mag-exit sa 0. Nagbibigay ng malabong comparison ang malabong task dahil prose ang nagiging batayan ng grading sa halip na mga resulta.

Patakbuhin ang control arm gamit ang --bare, na naglaktaw sa auto-discovery ng hooks, skills, plugins, at CLAUDE.md. Ang flag na iyon ang gumagawa rito bilang control: hindi makakapasok ang mga skill na na-install mo kanina. Hindi ginagamit ng bare mode ang iyong subscription login, kaya mag-set muna ng API key mula sa Claude Console.

export ANTHROPIC_API_KEY=sk-ant-...
task="Make tests/test_parser.py pass without editing the test file."

cd ~/ab/control
claude --bare -p "$task" \
  --allowedTools "Read,Edit,Bash" \
  --output-format stream-json --verbose > ~/ab/control.jsonl

Ang method arm ay kaparehong command na may idinagdag na isang flag. nilo-load nito ang portable method bilang dagdag sa system prompt:

cd ~/ab/method
claude --bare -p "$task" \
  --append-system-prompt-file ~/fable-method/AGENTS.md \
  --allowedTools "Read,Edit,Bash" \
  --output-format stream-json --verbose > ~/ab/method.jsonl

Parehong binary, parehong model, parehong tools, at parehong panimulang tree. Isang flag lang ang naiiba. Ito lamang ang paraan upang magkaroon ng saysay ang comparison.

Sinusukat ng disenyong ito ang method text. Hindi nito sinusukat ang skill packaging, na hiwalay na tanong. Para sukatin ang packaging, alisin ang --bare, i-install ang skills gaya sa itaas, at ilagay ang pangalan ng skill sa loob ng prompt string dahil nag-e-expand ang user-invoked skills sa print mode: claude -p "/fable-method $task". Asahang magkaiba ang cost profile nito sa system-prompt arm kahit pareho ang nakikitang behavior.

Mga hakbang at gastos

Parehong nag-write ng stream ng JSON events ang dalawang run. Ang huling linya ay isang result message na naglalaman ng final text, gastos, at session metadata. I-print ito nang isang beses at basahin bago ka mag-script ng anuman batay rito, dahil nagbabago ang mga field name sa bawat Claude Code release.

tail -1 ~/ab/control.jsonl | jq .

Makukuha sa linyang iyon ang cost per run. Ito ang numerong dapat ihambing:

for f in ~/ab/control.jsonl ~/ab/method.jsonl; do
  printf '%s ' "$f"
  jq -r 'select(.type=="result") | .total_cost_usd' "$f"
done

Makukuha ang mga hakbang sa pamamagitan ng pagbibilang ng mga tool call sa parehong file:

jq -r 'select(.type=="assistant") | .message.content[]? | select(.type=="tool_use") | .name' \
  ~/ab/control.jsonl | sort | uniq -c | sort -rn

Patakbuhin ito para sa parehong file. Mas maraming ipinapakita ng hugis ng pagkakaiba kaysa sa mga total. Kung mas maraming file ang binabasa at mas kaunti ang ine-edit ng method run, ginagawa nito ang hinihingi ng method. Iyan ang tradeoff na binabayaran mo. Kung pareho ang mga edit ngunit 40 percent na mas mataas ang gastos ng method run, wala itong naidagdag sa task na iyon.

Dalawang paalala tungkol sa mga numero. Una, huwag pagsama-samahin ang output_tokens mula sa session transcripts sa ilalim ng ~/.claude/projects/ at ituring itong total. Ang mga per-message usage block na iyon ay mga snapshot na kinukuha habang nagso-stream, at may mga ulat na minamaliit ng mga ito ang aktuwal na bilang. Ang result line ang dapat pagkatiwalaan. Ikalawa, anecdote lamang ang isang run bawat arm. Patakbuhin ang bawat arm nang tatlo o apat na beses sa parehong task bago ka maniwala sa isang agwat, dahil nagkakaiba na agad ang dalawang run ng parehong agent sa parehong task. Para sa mas pangmatagalang pagtingin sa gastos, ipinapaliwanag ng mga tool na sumusubaybay sa gastos ng Claude Code at kung paano nagbibilang ng tokens ang Claude Code kung bakit nangingibabaw ang mga cache line sa mga raw count.

Tiyaking walang access ang agent sa anumang mahalaga sa iyo habang unattended itong tumatakbo. Saklaw ng ligtas na pagpapatakbo ng Claude Code sa isang VPS ang user account at mga permission flag.

Tapat na pagbasa sa sariling eval ng repo

Ang headline ng README ay "Fifteen eval rounds, more than 260 agent runs, blind LLM judges that verify by diffing and executing." Mas marami itong ebidensiya kaysa sa halos anumang skill repo na nire-release, at ang eval/RESULTS.md ay isinulat kada round nang hindi inaalis ang mga failure. Gayunman, mas kaunti ang lalim nito kaysa sa ipinahihiwatig ng headline kapag tiningnan mo ang mga indibidwal na cell sa likod ng mga row ng headline.

TsartRuns per cell behind the repo's headline eval rows, v1.4.0
Ang datos sa likod ng tsart na ito
[
  {
    "label": "Haiku, spec-vs-test conflict trap",
    "runs": 4,
    "notes": "bare 0 of 4, with method 4 of 4"
  },
  {
    "label": "Sonnet, same conflict trap",
    "runs": 2,
    "notes": "bare flags it then sides with the wrong test, with method ideal action both runs"
  },
  {
    "label": "Haiku, planted-fraud report, fable-judge",
    "runs": 2,
    "notes": "bare 4 and 3 of 5 frauds caught, with method 5 of 5 both runs"
  },
  {
    "label": "Haiku, marketing brand-rules trap",
    "runs": 2,
    "notes": "bare 1 of 2 runs, with method 2 of 2"
  }
]

Ang pinakamalaki sa 4 row na iyon ay nakabatay sa 4 run. Ang tatlo pa ay nakabatay sa tig-2 run. Malinaw itong sinasabi mismo ng repo sa mga palagiang limitasyon sa itaas ng log: "Maliit ang n sa kabuuan (1-4 run bawat cell), LLM judge (blind kapag maraming output ang ikinukumpara, pero nakabatay sa parehong frontier model na ginagamit bilang baseline), synthetic fixture, at research ground truth na kasing-bago lamang ng petsa ng run nito." Mas tuwiran pa: "Umiiral ang log na ito upang masubukan ang mga pagbabago sa method, hindi upang mapagkamalan ito ng sinuman na benchmark."

Bigyan ito ng nararapat na pagkilala. Ang author na naglalathala ng sariling n at tinutukoy ang problema na ang judge nito ay nakabatay sa parehong model na nagsisilbing baseline ay mas tapat kaysa sa karaniwang pamantayan sa kategoryang ito. Basahin ang mga numero bilang ebidensiyang aktuwal na nagpatakbo ng mga test ang author at itinago ang mga failure. Ang sarili mong A/B ang magsasabi sa iyo tungkol sa codebase mo.

Parehong malinaw ang README tungkol sa mga sitwasyong walang naitutulong ang method, at iyon ang pinakakapaki-pakinabang nitong talata. Wala itong naitalang pagtaas para sa karaniwang maliliit na task sa mga mahusay na model. Sinasabi nitong "hindi mapapabago ng method ang pagiging bago ng mga impormasyon ng model; nangingibabaw ang bare frontier sa mga research na nangangailangan ng maraming kaalaman." Itinuturo rin nito na nasa "mga bitag (mga conflict sa authority, maling pahayag ng completion, mahihinang executor, at mga unattended run), hindi sa lahat ng sitwasyon" ang halaga nito. Kung ang agent work mo ay maliliit na edit sa isang mahusay na model habang mino-monitor mo, asahang wala kang masusukat na pagbabago. Kung mas murang model ang nagpapatakbo nang unattended, doon dapat lumitaw ang agwat, kaya bahagi rin ng parehong desisyon ang pagpili sa pagitan ng Opus, Sonnet at Haiku.

Kung saan nagiging cargo cult ang packaging

May apat na makatuwirang puna, at wala sa mga ito ang dahilan para laktawan ang repo.

Mas malayo ang framing kaysa sa ebidensiya. Ang “How Claude Fable 5 worked” ay pahayag tungkol sa internal na paggana ng isang model na walang makapagbe-verify sa labas ng Anthropic, at sinasalungat ito ng mismong pangunahing pahayag ng repo: “The quality lives in the structure, the evidence, and the honesty, not in the model.” Kung nasa structure ang kalidad, palamuti lamang ang kuwento tungkol sa pinagmulan. Sapat na ang procedure sa sarili nito at hindi nito kailangan ng origin myth.

Mas malawak ang apat na skill kaysa sa kinakailangan ng content. Inuulit ng fable-loop ang malaking bahagi ng fable-method, na binalutan lamang ng orchestration, at sa harness na walang subagents ay bumabalik ito sa fable-method. Basahin nang magkatabi ang dalawang file bago ninyo i-install ang mga ito pareho.

Ang walong domain adapter ay lawak na hindi saklaw ng eval. Dalawa lamang sa walo ang lumilitaw saanman sa log: marketing sa round 9 at devops sa round 12. Kasama sa release ang finance, legal, design, at data adapter nang walang katumbas na round. Maaaring mahusay pa rin ang adapter para sa inyong field. Gayunman, draft ito ng author, hindi isang bagay na nakapasa sa isang trap fixture.

At hindi tugma ang installer sa v1.4.0 tag sa sinasabi ng repo tungkol sa mga ipinapadala nito: kinokopya nito ang tatlo sa apat na skill papunta sa ~/.claude/skills. Inayos ito ng isang commit sa main na may petsang 2026-10-03, makalipas ang halos tatlong buwan, at wala pang tagged release na may kasamang fix. Maliit lamang ang isyung iyon. Gayunman, ganitong uri ng puwang ang nagpapakitang mas mabilis umusad ang packaging kaysa sa pagsusuri rito ng sinuman. Dapat itong tandaan kapag nagpapasya kayo kung gaano karami rito ang inyong ia-adopt nang sabay-sabay.

Mga dapat panatilihin kung wala nang iba

Alisin ang branding, at apat na panuntunan ang mananatiling kapaki-pakinabang anuman ang agent na gamitin mo.

  • Ang authorization quote. Ang isang hindi na maibabalik o nakaharap sa labas na action ay nangangailangan ng mismong mga salita ng user, na nakasulat bilang isang AUTH: line. Ang agent na hindi makahanap ng quote ay hindi kikilos.
  • Ang twin check. Pagkatapos ayusin ang isang depekto, hanapin sa buong project ang kaparehong maling construct at i-report ang count, pati na kapag zero ang count.
  • Verification sa pamamagitan ng observation. Kapag may green targeted check ngunit sira ang build na pinapatungan nito, failed verification iyon, hindi pass.
  • Outcome-first reporting, kasama ang malinaw na caveat tungkol sa anumang nilaktawan o nanatiling hindi na-verify sa halip na tahimik itong alisin sa report.

Walang gastos ang pag-adopt sa apat na ito, at maaari mong gamitin ang grep para i-check ang compliance. Magsimula roon, sukatin gamit ang harness sa itaas, at saka magpasya kung karapat-dapat sa bahagi ng iyong context budget ang natitirang repo. Kung gusto mong bigyan ang agent ng permanenteng project context sa halip na working method, isang DESIGN.md na binabasa ng mga agent bago sila mag-edit ang katambal na hakbang.

FAQ

Gumagana ba ang Fable method sa mga model bukod sa Claude?

Gumagana ang method text. Isa itong ordered prompt na walang model-specific code, at inilalabas ng repo ang AGENTS.md bilang portable copy para sa Codex, Cursor, aider, o raw system prompt. May dalawang bagay na hindi maililipat. Ang /fable-method at /fable-judge triggers ay Claude Code slash commands, kaya sa ibang environment, i-invoke ang method sa pamamagitan ng paglalarawan dito. Ipinapalagay naman ng fable-loop ang isang harness na kayang mag-spawn ng parallel subagents sa magkakaibang model; kung wala iyon, serial itong tatakbo at magbibigay ng fable-method na may dagdag na hakbang.

Mas marami bang token ang nagagamit kapag pinapatakbo ang mga skill na ito?

Oo, at nakadepende ang dami sa paraan ng pag-load sa mga ito. Kapag naka-install bilang skills, nilo-load lamang ang body kapag tumutugma ang description sa task, kaya halos walang dagdag na gastos ang unrelated request. Kapag naka-paste sa system prompt, kasama sa bawat request ang humigit-kumulang 2,600 salita ng AGENTS.md. Mas malaki rin ang gastos sa mismong run dahil hinihingi ng method ang orientation bago mag-edit, ebidensiya bago magdesisyon, at aktuwal na verification pagkatapos. Sukatin ito: patakbuhin ang parehong task gamit ang --output-format json sa dalawang arm at ihambing ang total_cost_usd field.

Aling version ng fable-method ang dapat kong i-install, at bakit ito dapat i-pin?

Patakbuhin ang git checkout v1.4.0 bago mag-install. May petsang 2026-07-15 ang tag na iyon at ito pa rin ang pinakabagong tag noong October 2026. Tatlong tag ang nauna rito (v1.0.0, v1.1.0, at v1.2.0, kung saan ang v1.2.0 lamang ang naunang GitHub release), isinama rito ang v1.3.0 na hindi kailanman ni-release, at binago ng v1.4.0 ang mismong routing rules. Patuloy ring nagbabago ang main, kabilang ang installer change noong October na wala pa sa anumang tag. Kapag sinusubaybayan mo ang main habang nagsusukat, maaaring magbasa ang control run at test run mo ng magkaibang instructions, kaya magiging walang saysay ang comparison. Itala ang tag kasama ng iyong results.

Ang eval ba sa repo ay isang benchmark na mapagkakatiwalaan ko?

Ituring ito bilang change log para sa method, na siya ring tawag dito ng author nito: "Umiiral ang log na ito upang masubukan ang mga pagbabago sa method, hindi upang mapagkamalan ito ng sinuman na benchmark." Nakasaad sa itaas ng file ang mga limitasyon: 1 hanggang 4 na run bawat cell, synthetic fixtures, at LLM judges na binuo batay sa parehong frontier model na nagsisilbi ring baseline. Totoo ang mga round at isinama ang mga nabigong experiment, na higit sa karaniwang inilalabas ng karamihan sa repo. Gayunman, hindi pa rin ito pagsukat sa mangyayari sa sarili mong codebase, kaya ikaw mismo ang magpatakbo ng two-arm comparison.

Nakatulong ba ang artikulong ito?