SSD Nodes Learn Hosting plans →
Mwongozo Matt ConnorNa Matt Connor · Imeboreshwa 2026-10-25

Jinsi ya kuweka num_ctx katika Ollama

Ollama hukata prompt ndefu kimya kimya. Jifunze kuweka num_ctx kwa kila ombi au server nzima, na ukadirie RAM ya KV cache kabla ya kuongeza context.

num_ctx hufanya nini, na kwa nini prompt yako ndefu ilikatwa

Urefu wa context wa Ollama ni idadi ya tokens ambazo model iliyopakiwa inaweza kushikilia kwenye memory kwa wakati mmoja, na num_ctx ndiyo option inayoweka thamani hiyo. Ollama huchagua default iliyo chini sana ya kiwango cha juu kinachotangazwa na model, kwa hiyo prompt ndefu hukatwa kabla model haijasoma. Hakuna kitu kwenye response kinachokuambia kuwa hili limetokea.

Llama 3.1 8B imeorodheshwa kuwa na context window ya 128k kwenye Ollama model library. Server ya kawaida haitakupa kiwango hicho. Documentation ya Ollama yenyewe ina defaults tofauti kwenye pages tofauti: FAQ inasema tokens 4096, Modelfile reference inasema num_ctx ina default ya 2048, na ukurasa wa context length unasema default huchaguliwa kulingana na VRAM inayopatikana (video RAM): 4k chini ya 24 GiB, 32k kuanzia 24 GiB hadi chini ya 48 GiB, na 256k kuanzia 48 GiB na zaidi. Kila moja ya thamani hizo ilikuwa sahihi kwa build fulani. Tofauti hiyo ndiyo somo muhimu hapa: soma thamani kutoka kwenye server yako inayofanya kazi badala ya kuamini page yoyote, hata hii.

Truncation hutokea bila taarifa kwa sababu model bado hujibu, na jibu bado husomeka vizuri. Jibu hilo liliandikwa kutokana na sehemu ya mwisho ya input yako. Summary inayokosa nusu ya kwanza ya document huonekana kama imetolewa na model dhaifu. Mara nyingi sababu ni context window ndogo.

Thibitisha urefu wa context ambao seva yako ya Ollama ilitumia

Ukaguzi unaofanya kazi kwenye build yoyote ni prompt_eval_count, yaani idadi ya prompt tokens ambazo seva inaripoti kuwa ilizichakata. Tuma zaidi ya kiasi ambacho context inaweza kuhifadhi, kisha hiyo namba itafikia kikomo.

sudo apt update && sudo apt install -y jq
LONG=$(python3 -c "print('the quick brown fox jumps over the lazy dog. ' * 2000)")
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:4096}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{prompt_eval_count, prompt_eval_duration}'

Prompt hiyo ina takriban maneno 18,000, kwa hiyo inazidi kwa mbali tokens 4096. prompt_eval_count inarudi karibu na 4096 badala ya idadi halisi ya tokens, kwa sababu seva iliondoa sehemu iliyobaki. Iendeshe tena kwa "num_ctx":16384, kisha idadi itaongezeka. Ikiwa build yako inarudisha error badala ya kukata prompt, hiyo ni finding ileile yenye ishara iliyo wazi zaidi.

ollama ps

Safu ya CONTEXT, kwenye build zinazoichapisha, ina urefu wa context ambao model iliyopakiwa inatumia kwa sasa. Safu ya PROCESSOR iliyo karibu nayo inaonyesha model iko kwenye eneo gani. 100% CPU ni hali ya kawaida kwenye VPS isiyo na GPU. Mgawanyo kama 30%/70% CPU/GPU kwenye mashine yenye GPU unamaanisha kuwa weights pamoja na cache hazitoshei tena kwenye VRAM, na num_ctx iliyoongezwa ndiyo sababu ya kawaida.

journalctl -u ollama --no-pager | grep -i n_ctx | tail -n 5

Inference runner huchapisha ukubwa wa context kwenye mstari unaojumuisha n_ctx. Maneno halisi hubadilika kati ya releases, kwa hiyo mstari usipokuwepo, ichukulie kuwa umepewa jina jipya, si uthibitisho wa jambo lolote.

Maeneo manne ya kuweka num_ctx

Kwenye ombi. Tuma "options": {"num_ctx": 16384} kwenye /api/generate au /api/chat. Hii ina kipaumbele kuliko mipangilio mingine yote, na inatumika kwenye ombi hilo pekee. Ikiwa thamani inatofautiana na ile ambayo model iliyopakiwa inatumia, server hupakia tena model kwanza. Hilo unaweza kuliona kwenye load_duration ya jibu: muda huruka kutoka karibu na sifuri hadi sekunde kamili. Kusubiri huko huko hutokea model inapokuwa haijatumika kwa muda mrefu kiasi cha kuondolewa kwenye kumbukumbu. Kwa hiyo, baada ya kuamua ukubwa wa context, inafaa kuweka model ibaki kwenye kumbukumbu kwa keep_alive.

Kwenye session shirikishi. Ndani ya ollama run, andika /set parameter num_ctx 16384. Mpangilio huu hudumu kwa session hiyo.

Kwenye Modelfile. Hii huweka thamani hiyo moja kwa moja kwenye model yenye jina, hivyo kila client huipata bila mabadiliko upande wa client.

FROM llama3.1:8b
PARAMETER num_ctx 16384
ollama create llama3.1-16k -f ./Modelfile
ollama run llama3.1-16k

Kwenye server. OLLAMA_CONTEXT_LENGTH huweka default kwa kila ombi ambalo halina num_ctx yake. Chini ya systemd, ongeza drop-in badala ya kuhariri unit file.

sudo systemctl edit ollama.service
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"
sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama ps

Mpangilio wa kipaumbele huwa muhimu zaidi unapochunguza tatizo kwenye client ya mtu mwingine. Ombi lenye num_ctx lina kipaumbele kuliko default ya server. Kwa hiyo, chat front end au agent anayetuma thamani ndogo yake mwenyewe anaweza kubatilisha kimya kimya mabadiliko yako ya systemd. Unapo elekeza coding agent kwenye Ollama server yako, hakikisha client inatuma nini kabla ya kuilaumu server.

Kwa nini huwezi kuweka tu num_ctx kuwa kiwango cha juu cha model

Attention hufanya kila tokeni itazame kila tokeni iliyotangulia. Keys na values zinazokokotolewa kwa tokeni zilizotangulia huhifadhiwa ili zisikokotolewe upya kwa kila tokeni mpya. Hifadhi hiyo ni KV cache (key/value cache). Hutengewa ukubwa wa num_ctx wote model inapopakiwa, si mazungumzo yanapokua. Kwa hiyo, context kubwa hutumia kumbukumbu hiyo hata kwenye prompt ya mstari mmoja.

Kila layer huhifadhi vector moja ya key na vector moja ya value kwa kila key/value head kwa kila tokeni. Hesabu hiyo inaweza kuandikwa kwenye mstari mmoja:

kv_bytes_per_token = 2 * layers * kv_heads * head_dim * bytes_per_value

Hesabu ya 2 inahesabu keys na values tofauti. Soma namba nyingine kutoka kwenye model yako.

curl -s http://localhost:11434/api/show -d '{"model":"llama3.1:8b"}' |
  jq '.model_info | {ctx: ."llama.context_length", layers: ."llama.block_count", heads: ."llama.attention.head_count", kv_heads: ."llama.attention.head_count_kv", embed: ."llama.embedding_length"}'

Llama 3.1 8B ina layers 32 na key/value heads 8. Kipimo cha head ni embed iliyogawanywa kwa heads, kwa hiyo hapa ni 4096 / 32 = 128. Baadhi ya models hukichapisha moja kwa moja kama llama.attention.key_length. Cache ya kawaida huhifadhi values za f16, kwa hiyo bytes_per_value ni 2. Hesabu 2 32 8 128 2 inatoa bytes 131,072. Hiyo ni 128 KiB ya cache kwa kila tokeni moja ya context. Ukizidisha kwa urefu wa context, gharama hiyo huwa kubwa moja kwa moja.

ChatiLlama 3.1 8B at f16: KV cache and total RAM by context length, in GiB
Data iliyo nyuma ya chati hii
[
  {
    "label": "4k",
    "kv_cache_gib": 0.5,
    "total_ram_gib": 5.1
  },
  {
    "label": "8k",
    "kv_cache_gib": 1,
    "total_ram_gib": 5.6
  },
  {
    "label": "16k",
    "kv_cache_gib": 2,
    "total_ram_gib": 6.6
  },
  {
    "label": "32k",
    "kv_cache_gib": 4,
    "total_ram_gib": 8.6
  },
  {
    "label": "64k",
    "kv_cache_gib": 8,
    "total_ram_gib": 12.6
  },
  {
    "label": "128k",
    "kv_cache_gib": 16,
    "total_ram_gib": 20.6
  }
]

Safu hizo 6 ni hesabu kutoka kwenye fomula iliyo hapo juu, si vipimo. Safu ya jumla inaongeza upakuaji wa GB 4.9 ambao maktaba ya Ollama iliorodhesha kwa llama3.1:8b mnamo Oktoba 2026. Hiyo ni GiB 4.6. Safu hiyo haijumuishi compute buffers wala mchakato wa server wenyewe. Ichukulie kuwa ni kiwango cha chini.

Jambo muhimu ni ukubwa wa ongezeko. Kwenye 8k, cache inagharimu 1 GiB, ambayo ni ndogo ikilinganishwa na weights. Kwenye 128k kamili ya model, inagharimu 16 GiB, zaidi ya mara tatu ya weights, na jumla huwa karibu 20.6 GiB. Kwa hiyo, VPS ya GB 4 haiwezi kupakia model hii kwa context yenye manufaa. VPS ya GB 8 inatosha vizuri kwa 8k. VPS ya GB 16 hufikia 32k na bado ina nafasi kwa huduma nyingine za box. Kila moja ya viwango hivyo huongezeka kadiri weights zinavyoongezeka. Kwa hiyo, ukilinganisha model kubwa na hii ya 8B, hesabu zilezile zilizofanywa kwa tag ya Qwen ya 27B kwenye VPS inayotumia CPU pekee zinaonyesha jinsi weights zinavyoacha nafasi ndogo kwa context kati ya GB 8 na 64.

Nini hutokea KV cache inaposhindwa kutoshea

Kwenye VPS ya CPU-only, mchakato huendelea kutumia kumbukumbu zaidi. Ufuatilie wakati model inapakia na wakati ombi refu linaendeshwa.

free -m
ps -eo rss,comm --sort=-rss | head -n 5

RSS (resident set size) huonyeshwa kwa kilobytes. Swap iliyotumika katika free -m ikianza kuongezeka, punguza context. KV cache iliyo kwenye swap husababisha generation kusimama kwa sekunde kadhaa kwa kila token, kwa sababu kila token mpya husoma cache yote.

Ikiwa box itaishiwa kabisa na memory, kernel huchagua mchakato wa kuua, kwa kawaida ule unaotumia memory nyingi zaidi.

sudo dmesg | grep -i "killed process"

Mstari wenye Out of memory: Killed process 1234 (ollama) unamaanisha kuwa Ollama ulikuwa mchakato uliochaguliwa na kernel, si lazima uwe ndio uliotumia memory yote. Kwenye box ambayo Ollama ndio mchakato pekee mkubwa, context kubwa isiyotoshea ndiyo sababu ya kawaida. Kagua ni nini kingine kilikuwa kinaendeshwa kabla ya kupunguza num_ctx. Mara nyingi Ollama hukataa kabla hali hiyo haijafikiwa, na ombi hushindwa kwa ujumbe unaotaja memory iliyohitajika ikilinganishwa na memory iliyokuwa huru.

Kwenye box yenye GPU, failure huwa tulivu zaidi. Layers humwagika kwenye system RAM, ollama ps huonyesha mgawanyo kati ya CPU na GPU, na throughput hushuka kwa kiasi kikubwa. Kiwango cha kushuka hutegemea hardware yako, kwa hiyo pima tokens kwa sekunde kwenye box yako kwa kila setting ya context badala ya kutegemea takwimu kutoka kwenye mashine ya mtu mwingine.

Prefill time hukua kwa kasi zaidi kuliko urefu wa prompt

Prefill ni kazi inayofanywa kwenye input yako kabla tokeni ya kwanza ya output haijaonekana. Kila tokeni ya prompt huchakata kila tokeni iliyo kabla yake, kwa hiyo jumla ya kazi hukua kwa mraba wa urefu wa input. Kuongeza prompt mara mbili huongeza muda wa kusubiri tokeni ya kwanza kwa zaidi ya mara mbili.

Jibu lina kipimo hicho, kwa hiyo si lazima ukikubali bila uthibitisho.

jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:16384}}' |
  curl -s http://localhost:11434/api/generate -d @- |
  jq '{tokens: .prompt_eval_count, prefill_seconds: (.prompt_eval_duration/1000000000)}'

Endesha hilo kwa prompt fupi, kisha urudie kwa prompt ndefu. Baada ya hapo, gawanya idadi ya tokens kwa sekunde katika kila hali. Kwenye VPS inayotumia CPU pekee, prefill huwa ndiyo sehemu yenye kasi ndogo zaidi katika ombi lenye context ndefu. Kipimo cha tokens kwa sekunde kilichopatikana kwa prompt fupi hakitabiri utendaji wa ombi hilo.

Prefill ikizidi muda wa timeout uliowekwa mbele yake, kwa kawaida ombi lenye prompt ndefu hurudisha muda wa mwisho wa context umepita badala ya jibu. Kwa hiyo, tambua ni layer gani iliyoacha kusubiri kabla ya kupunguza context.

Tatizo hili huwa kubwa zaidi wakati wa kushughulikia maombi kwa wakati mmoja. Kila ombi linalohudumiwa linahitaji cache yake, kwa hiyo kumbukumbu iliyo kwenye chati hapo juu ni kwa kila ombi, si kwa kila server. Ombi moja refu linaweza kushikilia server huku maombi mafupi yakisubiri nyuma yake. Weka OLLAMA_NUM_PARALLEL kwa makusudi, na soma idadi ya watumiaji wanaofanana ambayo LLM moja ya self-hosted inaweza kuhudumia kabla ya kuongeza namba zote mbili kwa pamoja.

Rejesha nafasi ya context kwa kutumia cache ndogo

bytes_per_value katika fomula ni setting unayodhibiti. FAQ ya Ollama inaeleza OLLAMA_KV_CACHE_TYPE, huku f16 ikiwa chaguo-msingi, q8_0 ikitumia takribani nusu ya memory ya f16, na q4_0 ikitumia takribani robo. Thamani kamili ya q8_0 ni zaidi kidogo ya nusu: llama.cpp huhifadhi kila block yenye values 32 kama values 32 za byte moja pamoja na scale ya bytes mbili, yaani bytes 34, ilhali f16 huhitaji bytes 64. Kubadilisha kuwa q8_0 kwa hiyo hupunguza row ya 32k hadi takribani 2.1 GiB badala ya 4 GiB. Ku-quantise weights huachilia memory kutoka upande mwingine wa budget hiyo hiyo, na GLM tag inayotoshea VPS hupitiwa quantisation moja baada ya nyingine ikiwa huo ndio trade-off unayopendelea. FAQ hiyo hiyo inasema cache hu-quantise tu Flash Attention ikiwa imewezeshwa, na inaeleza OLLAMA_FLASH_ATTENTION=1 ili kuilazimisha iwashwe.

[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"

Thibitisha badala ya kukisia: anzisha upya service, pakia model kwa num_ctx ileile kama hapo awali, kisha linganisha RSS. Msaada hutegemea model na backend, kwa hiyo setting isiyobadilisha chochote inamaanisha mchanganyiko wako haujashughulikiwa. Aina ya cache ni chaguo la kimataifa, hivyo kila model kwenye seva hutumia aina hiyo. Kuhusu quality, FAQ inasema q8_0 kwa kawaida haina athari inayoonekana, ilhali q4_0 hupoteza precision zaidi, hasa katika context sizes kubwa; kwa hiyo jaribu q4_0 dhidi ya prompts zako mwenyewe kabla ya kuitumia kwa kutegemea. Ikiwa knobs hizi ndizo zimekufikisha hapa, Ollama na llama.cpp huzitoa kwa njia tofauti.

Mapishi ya kuchagua num_ctx

  1. Soma muktadha wa juu zaidi wa model, idadi ya layers zake na idadi ya key/value heads kutoka /api/show.
  2. Kokotoa bytes kwa kila token kwa kutumia fomula, kisha zidisha kwa muktadha unaotaka.
  3. Ongeza ukubwa wa weights, linganisha na RAM iliyo huru, na uache angalau 1 GiB kwa ajili ya sehemu nyingine za server.
  4. Weka thamani hiyo, pakia model, kisha thibitisha kilichotumika kwa ollama ps na prompt_eval_count.
  5. Endesha workload yako halisi huku ukifuatilia free -m, na punguza muktadha kwa nusu ikiwa swap itaanza kutumika.

Kazi nyingi zinahitaji muktadha mdogo kuliko watu wanavyoweka. Kufupisha ripoti ndefu kunatoshea katika 16k. Retrieval front end inayoweka vipande vitano vya nyaraka kwa kawaida haivuki 8k. Coding agent inayosoma files nzima ndiyo hali inayohitaji 64k au zaidi kwa kweli. Hii pia ndiyo hali ambayo unapaswa kupima ukubwa wa machine kulingana na muktadha, si kinyume chake. Ikiwa server yenyewe bado ni mpya, anza na Ollama install inayofanya kazi kwenye VPS na rekebisha muktadha baada ya models kupakiwa bila errors.

FAQ

Urefu chaguo-msingi wa context katika Ollama ni upi?

Unategemea build na hardware, kwa hiyo kagua badala ya kukisia. FAQ ya Ollama inaandika tokens 4096, rejeleo la Modelfile linaandika default ya num_ctx ya 2048, na ukurasa wa context length unaandika default inayochaguliwa kulingana na VRAM inayopatikana: 4k ikiwa chini ya 24 GiB, 32k kutoka 24 GiB hadi 48 GiB, na 256k ikiwa ni 48 GiB au zaidi. VPS inayotumia CPU pekee huwa upande wa kiwango kidogo. ollama ps huonyesha context iliyotumika kwenye builds zilizo na hiyo column, na prompt_eval_count katika jibu la API huithibitisha kwenye build yoyote.

Kwa nini Ollama inapuuza mwanzo wa prompt yangu ndefu?

Kwa sababu prompt ilikuwa ndefu kuliko context window, kwa hiyo server iliikata kabla model haijaiona, bila kurudisha error. Tuma prompt hiyo hiyo tena ukiwa na num_ctx kubwa zaidi, kisha fuatilia prompt_eval_count katika jibu iongezeke. Ikiwa nambari hiyo haisogei, kuna kitu kati yako na server kinachoweka num_ctx chenyewe. Hali hii ni ya kawaida kwenye chat front ends na agent frameworks.

Num_ctx kubwa inahitaji RAM ya ziada kiasi gani?

Zidisha context length kwa gharama ya cache kwa kila token, ambayo ni 2 * layers * kv_heads * head_dim * bytes_per_value. Kwa Llama 3.1 8B kwenye f16, hiyo ni 128 KiB kwa kila token, kwa hiyo tokens 32k zinagharimu 4 GiB na 128k kamili zinagharimu 16 GiB, juu ya memory ya weights. Cache hugawiwa model inapopakia, kwa hiyo num_ctx kubwa hugharimu memory hiyo hata prompt zako zinapokuwa fupi.

Je, context window kubwa hufanya Ollama iwe polepole?

Ndiyo, kwa njia mbili. Kazi ya prefill huongezeka kwa mraba wa urefu wa prompt, kwa hiyo input ndefu huchelewesha token ya kwanza zaidi ya inavyodokezwa na urefu wake. Cache kubwa pia hushindania memory: kwenye mashine ya GPU husukuma layers kuingia system RAM, na kwenye mashine ya CPU husukuma mashine kuelekea swap. num_ctx kubwa ambayo huijazi bado hugharimu memory, ingawa haigharimu muda wa prefill.

Je, ninaweza kuweka num_ctx moja kwa moja kwa model moja?

Ndiyo. Andika Modelfile iliyo na FROM llama3.1:8b na PARAMETER num_ctx 16384, kisha endesha ollama create llama3.1-16k -f ./Modelfile. Kila client inayoomba llama3.1-16k hupata context hiyo bila kutuma options zozote. Request iliyo na num_ctx yake bado hutangulia, kwa hiyo hii huweka default, si kikomo cha juu.

Je, makala hii ilikusaidia?