Waarom kosten Claude output-tokens meer dan input-tokens?
Output-tokens bij Claude zijn vijf keer duurder dan input-tokens. Ontdek hoe het verschil tussen prefill en decoding uw maandelijkse factuur beïnvloedt en bereken uw kosten.
Waarom output-tokens meer kosten dan input-tokens
Output-tokens kosten vijf keer zoveel als input-tokens bij elk Claude-model in de huidige catalogus. De oorzaak hiervan is de vorm van de berekening. Het lezen van een prompt is één doorloop door het model. Het schrijven van een antwoord is één doorloop per token, waarbij elke doorloop moet wachten op de voorgaande.
Deze verhouding is gelijk voor elke rij in de prijslijst, dus het gekozen model verandert niets aan het aandeel van de output in uw factuur. Uw workload-vorm bepaalt dit. Een agent-stap die 60,000 tokens leest en antwoordt in 800 tokens, besteedt vrijwel niets aan output. Een schrijfopdracht die 2,000 tokens leest en 12,000 tokens schrijft, besteedt vrijwel niets aan input. Beide gevallen worden hieronder uitgewerkt op basis van de gepubliceerde tarieven van Anthropic, gecontroleerd op 27 oktober 2026.
Prefill wordt eenmaal uitgevoerd, decoding eenmaal per token
Een inference-server verwerkt een verzoek in twee fasen met sterk uiteenlopende kosten. Prefill leest de prompt. Decoding schrijft het antwoord.
Prefill verwerkt de gehele prompt in één keer. Elke prompt-token komt in dezelfde forward pass in het netwerk terecht, waardoor het attention- en feed-forward-werk neerkomt op een klein aantal grote matrixvermenigvuldigingen die duizenden tokens tegelijk beslaan. Eén keer uitlezen van de modelgewichten uit het geheugen is voldoende voor de volledige prompt. De matrix-units van de accelerator blijven bezet, wat betekent dat prefill doorgaans compute-bound is: de limiet is de snelheid waarmee de chip kan vermenigvuldigen. De serving-documentatie van NVIDIA noemt de uitzonderingen: zeer korte prefills, en prefills waarbij een lang voorvoegsel al een cache hit is, worden in plaats daarvan memory-bound.
Reguliere decoding kan niet op die manier werken, omdat token 2 afhankelijk is van token 1. De token die het model zojuist heeft geproduceerd, wordt onderdeel van de input voor de volgende stap, waardoor de stappen na elkaar worden uitgevoerd. Elke output-token krijgt zijn eigen forward pass, en elk van die passes leest de volledige set modelgewichten, plus de KV cache (key/value cache, de opgeslagen attention-status voor elke token tot dan toe), uit het high-bandwidth memory om een enkele token te produceren. Dat maakt decoding meestal memory-bound: de limiet is de snelheid waarmee gewichten en gecachte status kunnen worden verplaatst, niet hoe snel ze kunnen worden vermenigvuldigd. Bij lange contexten wijst NVIDIA de KV cache-reads aan als de bottleneck. Hetzelfde gewichtsverkeer dat tijdens prefill een hele prompt verwerkte, levert u tijdens decoding slechts één token op.
Speculative decoding buigt die regel zonder deze te breken. Een klein draft-model raadt enkele tokens vooruit, en het grote model controleert deze allemaal parallel in één pass, wat volgens NVIDIA decoding richting compute-bound kan verschuiven. Het grote model accepteert de gissingen nog steeds in volgorde en stopt bij de eerste foutieve, dus een lang antwoord kost nog steeds vele passes.
Serving-systemen gaan dit tegen door middel van batching. Veel verzoeken worden tegelijk gedecodeerd, waardoor één keer uitlezen van de gewichten één token per verzoek in de batch oplevert. Dat is de reden waarom decoding überhaupt betaalbaar is. De beperkende factor is wederom het geheugen. Elk actief verzoek houdt zijn eigen KV cache vast, die cache groeit met elke gegenereerde token, en wanneer deze de accelerator vult, kan de batch niet verder groeien.
Niets hiervan geeft u een exact getal, en u moet 5x niet lezen als een gemeten hardwareverhouding. Het is een prijs, vastgesteld door Anthropic, gebaseerd op die asymmetrie. Wat u zelf kunt controleren is de richting, en dat kost ongeveer een minuut.
Meet de input- en outputkloof zelf
Installeer de tools op een willekeurige Ubuntu-machine:
sudo apt update && sudo apt install -y curl jq moreutilsStream nu een korte prompt die om een lang antwoord vraagt en voorzie elke regel van een tijdstempel wanneer deze binnenkomt.
curl -sN https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "content-type: application/json" \
-d '{"model":"claude-sonnet-5","max_tokens":1000,"stream":true,
"messages":[{"role":"user","content":"Count from 1 to 300, one number per line."}]}' \
| ts -s '%.s'ts -s plaatst voor elke regel het aantal seconden dat is verstreken sinds de start van het commando. Er zijn twee zaken die u uit deze output kunt afleiden. De eerste content_block_delta regel is uw tijd tot het eerste token (time to first token), waarbij de volledige prefill binnen die tijd heeft plaatsgevonden. Elke regel daarna is een kleine stap in het decoderingsproces en de tijdstempels blijven oplopen totdat message_stop arriveert.
Draai de verhouding nu om. Plaats een lang document in de prompt en beperk het antwoord tot enkele tokens.
curl -sN https://api.anthropic.com/v1/messages \
-H "x-api-key: $ANTHROPIC_API_KEY" \
-H "anthropic-version: 2023-06-01" \
-H "content-type: application/json" \
-d "$(jq -n --rawfile doc ./long-document.txt \
'{model:"claude-sonnet-5", max_tokens:16, stream:true,
messages:[{role:"user", content:("Answer in one word. Is this document about networking?\n\n" + $doc)}]}')" \
| ts -s '%.s'De eerste delta duurt langer dan bij de korte prompt, omdat de prefill veel meer tekst moet verwerken. Zodra deze is gearriveerd, is het antwoord vrijwel direct klaar, omdat er nog maar enkele tokens gedecodeerd hoeven te worden. Tienduizenden tokens gingen erin en de klok liep nauwelijks op. Enkele honderden kwamen eruit en de klok liep gedurende de gehele tijd.
Elke niet-streaming respons eindigt met de getallen waarvoor u wordt gefactureerd.
{
"usage": {
"input_tokens": 41283,
"output_tokens": 6,
"cache_creation_input_tokens": 0,
"cache_read_input_tokens": 0
}
}Log alle vier de velden per verzoek. output_tokens bevat denktokens, dus een model dat nadenkt voordat het antwoordt, factureert dat denkproces tegen het outputtarief. Om de prijs van een prompt te bepalen voordat u deze verstuurt, accepteert POST /v1/messages/count_tokens voor de meeste verzoeken dezelfde request body en retourneert {"input_tokens": N} als schatting zonder het model uit te voeren. Dit is gratis, binnen de eigen rate limit. Het weigert enkele bodies die de Messages API wel accepteert: de meeste servertools zoals web search, de MCP connector en image- of document-blokken met een url of file bron. Verstuur afbeeldingen en PDF's daarom als base64 wanneer u deze telt. Dit is niet het enige onderdeel van de API dat niets kost, en welke onderdelen van de Claude API nooit worden gefactureerd is het bekijken waard voordat u een eerste project begroot.
Wat Claude per miljoen tokens in rekening brengt per oktober 2026
De gegevens achter deze grafiek
[
{
"label": "Haiku 4.5",
"input_usd": 1,
"output_usd": 5,
"output_multiple": 5
},
{
"label": "Sonnet 5",
"input_usd": 2,
"output_usd": 10,
"output_multiple": 5
},
{
"label": "Opus 5",
"input_usd": 5,
"output_usd": 25,
"output_multiple": 5
},
{
"label": "Fable 5",
"input_usd": 10,
"output_usd": 50,
"output_multiple": 5
}
]De laatste kolom is de output gedeeld door de input, en deze bevat 5 in elke rij. Haiku 4.5 factureert $1 voor input en $5 voor output. Opus 5 factureert $5 en $25. Fable 5, de duurste, factureert $10 en $50, en wat die Fable 5-tarieven u opleveren is het lezen waard voordat u die bovenste rij negeert. Het opschalen in het assortiment vermenigvuldigt beide zijden met dezelfde factor, waardoor uw totaal verandert terwijl de verhouding tussen input en output exact gelijk blijft.
Sonnet 5 factureert $2 voor input en $10 voor output. Anthropic lanceerde dit model tegen dat tarief als introductieprijs tot 31 augustus 2026, met een geplande stijging naar $3 en $15 op 1 september, maar stelde vervolgens $2 en $10 vast als de standaardprijs. De verhoging is nooit doorgevoerd, dus het tarief in elk uitgewerkt voorbeeld hieronder is het tarief dat u vandaag betaalt.
Anthropic heeft sinds het verschijnen van deze pagina ook nieuwere modellen uitgebracht, en claude.com/pricing vermeldt de vier bovenstaande modellen nu als legacy-modellen die beschikbaar blijven. De nieuwe modellen behouden dezelfde 5x-verhouding. Opus 5.5 factureert $4 en $20, Sonnet 5.5 factureert $2 en $10, Fable 5.1 factureert $10 en $50, en Haiku 5.5 factureert $0,10 en $0,50 voor prompts tot 100.000 tokens, oplopend tot $0,50 en $2,50 daarboven. De agent-stap van 60.000 tokens die verderop in de kosten wordt berekend, valt onder die grens, maar een agent waarvan de geschiedenis blijft groeien zal deze uiteindelijk overschrijden, en hoe de twee prijscategorieën van Haiku 5.5 uitpakken bij echte opdrachten laat zien wat die sprong doet met een factuur. De basisinput- en outputtarieven van Opus 5.5 liggen 20% lager dan die van Opus 5, dus elk niet-gecached Opus 5-cijfer hieronder is 20% lager voor Opus 5.5. Gecachete cijfers vallen nog lager uit, omdat Opus 5.5 cache-hits leest tegen $0,20 per miljoen tokens in plaats van $0,50 bij Opus 5, een verlaging van 60%. De gecachete agent-stap die verderop $0,0725 kost op Opus 5, kost ongeveer $0,047 op Opus 5.5, ruwweg 35% minder.
Tarieven veranderen, en deze pagina is niet de plek waar u ze moet controleren. claude.com/pricing is de bron van waarheid. Wat een prijswijziging overleeft, is de methode.
Eén kanttekening staat in de opmerkingen onder de prijstabel van Anthropic in plaats van in de tarieven zelf. De prijspagina van Anthropic stelt dat Claude 4.7 en latere modellen een nieuwere tokenizer gebruiken die ruwweg 30% meer tokens produceert voor dezelfde tekst dan de tokenizer in Sonnet 4.6 en eerder. Twee modellen die enkel op prijs per miljoen tokens worden vergeleken, zullen het nieuwere model gunstiger doen lijken, omdat hetzelfde document daaruit uit meer tokens bestaat. Vergelijk op basis van kosten per voltooide taak en reken uw werkelijke prompts door tegen het model dat u daadwerkelijk van plan bent te gebruiken. Dezelfde valkuil bestaat tussen aanbieders, wier tokenizers ook van elkaar verschillen, dus het berekenen van de kosten voor een echte opdracht op zowel Claude als ChatGPT vertelt u meer dan het naast elkaar leggen van de twee tarieflijsten. wat een miljoen Claude-tokens waard is in echte tekst behandelt hoe dat volume er in de praktijk uitziet.
Wanneer gaan outputkosten uw factuur domineren?
Omdat output 5 keer zo duur is als input, is het break-evenpunt eenvoudig te berekenen. Noem uw inputtokens I en uw outputtokens O. Input kost I. Output kost 5 keer O. Output beslaat de helft van uw uitgaven wanneer 5 keer O groter is dan I; dit komt overeen met een tokenverhouding van 5 input op 1 output.
Als uw prompt dus meer dan vijf keer zo lang is als uw antwoord, vormt input de grootste kostenpost. Daaronder is dat de output.
De gegevens achter deze grafiek
[
{
"label": "100:1",
"input_share_pct": 95.2,
"output_share_pct": 4.8
},
{
"label": "75:1",
"input_share_pct": 93.75,
"output_share_pct": 6.25
},
{
"label": "20:1",
"input_share_pct": 80,
"output_share_pct": 20
},
{
"label": "10:1",
"input_share_pct": 66.7,
"output_share_pct": 33.3
},
{
"label": "5:1",
"input_share_pct": 50,
"output_share_pct": 50
},
{
"label": "1:1",
"input_share_pct": 16.7,
"output_share_pct": 83.3
},
{
"label": "1:6",
"input_share_pct": 3.2,
"output_share_pct": 96.8
}
]Bij een verhouding van 100 op 1 is output 4.8% van de uitgaven en is het inkorten van de prompt de enige zinvolle optimalisatie. Bij 5 op 1 zijn beide zijden gelijk. Bij 1 op 6 is output 96.8% en is de prompt verwaarloosbaar. De meeste mensen schatten hun eigen verhouding verkeerd in; haal deze daarom uit uw logs voordat u begint met optimaliseren.
Een agent-workload: lange context in, kort antwoord uit
Neem één stap van een retrieval-agent: 60,000 input-tokens aan opgehaalde documenten en gespreksgeschiedenis, en een antwoord van 800 tokens. Dat is een verhouding van 75 op 1, wat normaal is voor elk proces dat eerst leest voordat het schrijft.
De gegevens achter deze grafiek
[
{
"label": "Haiku 4.5",
"input_cost": 0.06,
"output_cost": 0.004,
"total_cost": 0.064
},
{
"label": "Sonnet 5",
"input_cost": 0.12,
"output_cost": 0.008,
"total_cost": 0.128
},
{
"label": "Opus 5",
"input_cost": 0.3,
"output_cost": 0.02,
"total_cost": 0.32
},
{
"label": "Fable 5",
"input_cost": 0.6,
"output_cost": 0.04,
"total_cost": 0.64
}
]De output beslaat 6.25% van die aanroep op elk model, omdat de verhouding vaststaat in de gehele prijslijst. De aanroep kost $0.32 op Opus 5, $0.128 op Sonnet 5, en $0.064 op Haiku 4.5. Tweehonderd van dergelijke stappen per dag op Opus 5 kost $64 per dag.
De hefboomwerking is duidelijk zodra u de verdeling ziet. Het inkorten van het antwoord van 800 tokens naar 400 bespaart ongeveer 3% van de aanroep. Het verwijderen van 20,000 tokens aan verouderde context uit de prompt bespaart ongeveer een derde van de kosten. Het beperken van de outputlengte bij een leesintensieve agent is nagenoeg zinloze inspanning. waar de tokens van een coding-agent daadwerkelijk heen gaan analyseert wat die prompt in de eerste plaats vult.
Een generatieworkload: korte prompt, lang concept
Draai de verhouding nu om. Een briefing van 2.000 tokens, een concept van 12.000 tokens, een verhouding van 1 op 6.
De gegevens achter deze grafiek
[
{
"label": "Haiku 4.5",
"input_cost": 0.002,
"output_cost": 0.06,
"total_cost": 0.062,
"batch_total_cost": 0.031
},
{
"label": "Sonnet 5",
"input_cost": 0.004,
"output_cost": 0.12,
"total_cost": 0.124,
"batch_total_cost": 0.062
},
{
"label": "Opus 5",
"input_cost": 0.01,
"output_cost": 0.3,
"total_cost": 0.31,
"batch_total_cost": 0.155
},
{
"label": "Fable 5",
"input_cost": 0.02,
"output_cost": 0.6,
"total_cost": 0.62,
"batch_total_cost": 0.31
}
]De output beslaat 96.8% van deze rekening. Opus 5 kost $0.31 per concept, tegenover $0.062 voor Haiku 4.5. Dit prijsverschil van factor vijf komt bijna volledig voort uit de outputzijde; precies het punt waar een goedkoper model de meeste besparingen oplevert.
De laatste kolom toont dezelfde taak via de Batch API, die 50% korting biedt op zowel input als output. Opus 5 daalt naar $0.155 per concept. Batchverwerking is asynchroon in plaats van direct. Anthropic geeft aan dat de meeste batches binnen een uur zijn voltooid, maar een batch die na 24 uur nog steeds wordt verwerkt, verloopt. Elk verzoek dat op dat moment nog niet is bereikt, wordt als verlopen gemarkeerd, niet in rekening gebracht en zonder bericht geretourneerd. Dit is daarom geschikt voor het genereren van nachtelijke rapporten en bulkclassificatie, met een herindieningsstap voor eventueel verlopen taken. Het is niet geschikt voor taken waarbij een gebruiker direct op resultaat wacht.
Model-routing loont hier op een manier die bij de agent-stap nooit het geval is. Als het uitgebreide deel van de taak mechanisch is, zoals het herformatteren van tekst of het uitwerken van een reeds goedgekeurd overzicht, produceert het goedkope model deze tokens tegen een vijfde van de prijs. kiezen tussen Opus, Sonnet en Haiku behandelt waar de kwaliteitsgrens in de praktijk ligt.
Caching verlaagt de kosten voor input, en alleen voor input
Prompt caching slaat een voorvoegsel van uw prompt op de server op en brengt een fractie van het inputtarief in rekening om dit opnieuw te lezen. Sinds 27 oktober 2026 zijn de vermenigvuldigers 1,25x het basis-inputtarief voor het schrijven van een cache van 5 minuten, 2x voor het schrijven van een cache van 1 uur, en 0,1x voor het lezen van een hit op de modellen die op deze pagina geprijsd staan. De nieuwste modellen lezen hits voor minder: 0,05x op Opus 5.5 en Sonnet 5.5, en 0,025x op Fable 5.1.
Output valt niet onder deze regeling. Er is geen gecachte output. Elke token die het model schrijft, wordt elke keer tegen het volledige outputtarief gefactureerd, ongeacht hoeveel van de prompt als cache-hit werd teruggegeven.
Neem dezelfde agent-stap op Opus 5, waarbij 55.000 van de 60.000 input-tokens vanuit een warm cachegeheugen worden geleverd.
De gegevens achter deze grafiek
[
{
"label": "No cache",
"input_cost": 0.3,
"output_cost": 0.02,
"total_cost": 0.32
},
{
"label": "55k prefix cache read",
"input_cost": 0.0525,
"output_cost": 0.02,
"total_cost": 0.0725
}
]De kosten van de aanroep dalen van $0.32 naar $0.0725. De output-regel verandert niet: $0.02 daarvoor, $0.02 daarna. Caching verlaagt de rekening en verandert de samenstelling ervan. Output was 6.25% van die aanroep. Het is nu meer dan een kwart daarvan, wat bepaalt aan welke knop het zinvol is om als volgende te draaien.
De eerste aanroep betaalt voor het schrijven. Een cache-schrijfactie van 5 minuten kost 1,25x de basis-input, dus deze verdient zichzelf na één hit terug. Een schrijfactie van 1 uur kost 2x, dus daarvoor zijn er twee nodig. de schrijf- en leesvermenigvuldigers, en waar caching niet langer rendabel is werkt die berekening uit.
Vier knoppen die u beheert
- Stel
max_tokensin op uw p95-outputlengte, niet op het maximum van het model. - Routeer de uitgebreide stappen naar een goedkoper model.
- Verwerk alles waar niemand op wacht in batches.
- Verwijder de instructies die antwoorden onnodig lang maken.
max_tokens is een hard plafond; het hoog instellen kost op zichzelf niets, omdat u betaalt voor geproduceerde tokens en nooit voor het plafond zelf. Een ruime limiet verwijdert de grens voor een antwoord dat ontspoort. Haal de output_tokens-distributie uit uw logs, stel het plafond iets boven het 95e percentiel in en handel stop_reason: "max_tokens" af in de code door het antwoord voort te zetten of opnieuw te proberen. Een afbreking die u detecteert kost minder dan een uitweiding van 4.000 tokens waarvoor u betaalt en die u vervolgens weggooit. Denktijd komt ook in output_tokens terecht en telt mee voor max_tokens, dus baseer de grootte van het plafond op hetzelfde bewijsmateriaal. Verlaag bij modellen met adaptief denken het inspanningsniveau als het denkproces de ruimte voor het antwoord blijft opslokken.
Routering werkt wanneer het dure deel van een stap het volume is in plaats van het oordeel. Laat het krachtige model de beslissing nemen en laat het schrijfwerk over aan een goedkoper model. Meet de gerouteerde versie eerst op uw eigen evaluatieset, want het getal dat ertoe doet is de kosten per voltooide taak. Bij de bovenstaande agent-stap kosten twee Haiku 4.5-pogingen $0.128 tegenover $0.32 voor één Opus 5-poging; het prijsverschil vangt dus een of twee nieuwe pogingen op. Wat het niet opvangt, is een foutief antwoord dat door niemand wordt opgemerkt.
Batchverwerking is de enige knop die korting geeft op output. 50% korting aan beide kanten, de meeste batches zijn binnen een uur klaar en alles wat volgens een schema verloopt komt in aanmerking, mits de taak alles wat na 24 uur verloopt opnieuw indient.
De laatste knop is degene die mensen overslaan. Zinsneden als "wees grondig" en "leg uw redenering uit" bepalen de outputlengte bij elke aanroep die u ooit zult doen. Vervang ze door de gewenste vorm: "Antwoord in maximaal drie zinnen", of "Geef alleen het JSON-object terug, zonder inleiding". Een systeemprompt die 300 tokens toevoegt aan elk antwoord kost vijf keer zoveel als diezelfde 300 tokens in de prompt. het beheersbaar houden van de kosten van een actieve agent behandelt de monitoringkant, en of de API of een vast abonnement goedkoper is voor uw patroon is de moeite waard om te bepalen voordat u een week besteedt aan het finetunen van de uitgaven per token die een abonnement had kunnen opvangen. Voor één ontwikkelaar komt dat meestal neer op de vraag of Claude Pro's $20 per maand en de bijbehorende gebruiksbeperkingen het werk dekken dat u anders zou meten. Als u die limieten halverwege een sessie al bereikt, komt uitzoeken op welk venster u wacht op de eerste plaats, omdat de oplossing daarvoor een kleiner model, een lichtere context, extra gebruikscredits of het verplaatsen van dat werk naar de gemeten API is. Als de gemeten API de goedkopere plek voor dat werk blijkt te zijn, laat overstappen naar een kleiner abonnement of het opzeggen ervan de maand waarvoor u al heeft betaald intact, dus de overstap kost u niets bij het vertrek. Als het abonnement waartegen u Pro afweegt dat van ChatGPT is in plaats van de gemeten API, laat de twee abonnementsladders naast elkaar geprijsd zien welke goedkoper uitvalt voor programmeerwerk. Als die vraag voor een team wordt gesteld in plaats van voor één ontwikkelaar, houd er dan rekening mee dat Claude Enterprise een vergoeding per gebruiker combineert met tokens gemeten tegen deze zelfde API-tarieven, dus elke knop op deze pagina is nog steeds van toepassing op het gemeten deel van die rekening.
FAQ
Waarom kosten output-tokens meer dan input-tokens?
Het genereren ervan vereist aanzienlijk meer tijd van de accelerator per token. Een prompt wordt verwerkt in één forward pass over het geheel; één keer lezen van de modelgewichten dekt duizenden tokens en de hardware wordt doorgaans beperkt door de vermenigvuldigingscapaciteit. Bij normale decoding wordt een antwoord token voor token geproduceerd. Elk token vereist een eigen forward pass die de modelgewichten en de groeiende KV-cache opnieuw inleest, waardoor de hardware meestal wordt beperkt door de geheugenbandbreedte. Technieken zoals speculative decoding verkleinen dit verschil, maar heffen het niet op. Anthropic hanteert voor output een prijs die vijf keer hoger ligt dan voor input in de gehele huidige catalogus, van Haiku 5.5 tot Fable 5.1.
Maakt prompt caching output-tokens goedkoper?
Nee. Prompt caching is alleen van toepassing op input. Sinds 27 oktober 2026 kost een cache-read 0,1x het basistarief voor input op de meeste modellen (0,05x op Opus 5.5 en Sonnet 5.5, 0,025x op Fable 5.1), en cache-writes kosten 1,25x voor een duur van 5 minuten of 2x voor een duur van 1 uur. Output wordt bij elke aanroep tegen het volledige tarief gefactureerd, ongeacht wat de cache heeft gedaan. Daarom verandert caching zowel de verhouding als de omvang van uw factuur: zodra de input-kant wegvalt, wordt de output het deel waar de meeste kosten zitten.
Kost een hoge max_tokens mij geld als het antwoord kort is?
Nee. U betaalt voor de tokens die het model daadwerkelijk produceert, dus max_tokens is een maximum en geen reservering. Het blijft echter belangrijk, omdat het de enige harde limiet is voor een antwoord dat uit de hand loopt. Stel deze waarde iets boven het 95e percentiel van uw geobserveerde output_tokens in en handel stop_reason: "max_tokens" vervolgens af in uw code in plaats van een stilletjes afgebroken antwoord te versturen.
Hoe bepaal ik mijn eigen verhouding tussen input- en output-tokens?
Log input_tokens, output_tokens, cache_read_input_tokens en cache_creation_input_tokens uit het usage-object van elke respons en deel de totalen over een week. Bij een verhouding van meer dan 5 input-tokens op 1 output-token zitten uw kosten in de prompt; cache in dat geval het stabiele deel en kort de rest in. Daaronder zitten uw kosten in het antwoord; beperk in dat geval de lengte en verplaats de stappen die het meeste output genereren naar een goedkoper model of naar de Batch API.