Cara Mengatur num_ctx Ollama untuk Prompt Panjang
Prompt panjang Ollama dapat terpotong tanpa pesan. Atur num_ctx per permintaan atau server, lalu perkirakan kebutuhan RAM cache KV sebelum menaikkan nilainya.
Fungsi num_ctx dan alasan prompt panjang Anda terpotong
Panjang konteks Ollama adalah jumlah token yang dapat ditampung model yang dimuat di memori pada satu waktu, dan num_ctx adalah opsi yang mengaturnya. Ollama memilih nilai default yang jauh di bawah maksimum yang didukung model. Akibatnya, prompt yang lebih panjang terpotong sebelum model membacanya. Tidak ada informasi dalam respons yang menunjukkan bahwa hal ini terjadi.
Llama 3.1 8B tercantum memiliki context window 128k pada pustaka model Ollama. Server dengan konfigurasi bawaan tidak akan memberikan kapasitas tersebut. Dokumentasi Ollama sendiri mencantumkan nilai default yang berbeda pada halaman yang berbeda: FAQ menyebut 4096 token, referensi Modelfile menyebut num_ctx memiliki nilai default 2048, dan halaman panjang konteks menyebut bahwa nilai default ditentukan berdasarkan VRAM yang tersedia (video RAM): 4k untuk kapasitas di bawah 24 GiB, 32k untuk kapasitas mulai 24 GiB hingga 48 GiB, dan 256k untuk kapasitas 48 GiB atau lebih. Masing-masing pernyataan tersebut pernah berlaku pada build tertentu. Perbedaan ini memberikan pelajaran penting: baca nilai dari server yang sedang berjalan, bukan dari halaman mana pun, termasuk halaman ini.
Pemotongan berlangsung tanpa pemberitahuan karena model tetap memberikan jawaban dan jawaban tersebut tetap terlihat baik. Jawaban itu dibuat berdasarkan bagian akhir input Anda. Ringkasan yang melewatkan bagian pertama dokumen tampak seperti hasil model yang lemah. Biasanya, penyebabnya adalah context window yang terlalu kecil.
Periksa panjang konteks Ollama yang benar-benar diterapkan server
Pemeriksaan yang berfungsi pada build apa pun adalah prompt_eval_count, yaitu jumlah token prompt yang dilaporkan server telah diproses. Kirim prompt yang lebih panjang daripada kapasitas konteks. Jumlah tersebut akan berhenti pada batasnya.
sudo apt update && sudo apt install -y jq
LONG=$(python3 -c "print('the quick brown fox jumps over the lazy dog. ' * 2000)")
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:4096}}' |
curl -s http://localhost:11434/api/generate -d @- |
jq '{prompt_eval_count, prompt_eval_duration}'Prompt tersebut berisi sekitar 18,000 kata, jauh lebih banyak daripada 4096 token. prompt_eval_count menghasilkan nilai mendekati 4096, bukan jumlah token sebenarnya, karena server membuang bagian sisanya. Jalankan kembali dengan "num_ctx":16384 dan jumlahnya meningkat. Jika build Anda menghasilkan error, bukan memotong prompt, hasil tersebut menunjukkan temuan yang sama dengan sinyal yang lebih jelas.
ollama psKolom CONTEXT, pada build yang menampilkannya, berisi panjang konteks yang sedang digunakan model yang dimuat. Kolom PROCESSOR di sebelahnya menunjukkan posisi model. 100% CPU merupakan nilai normal pada VPS tanpa GPU. Pembagian seperti 30%/70% CPU/GPU pada server dengan GPU berarti bobot model dan cache tidak lagi muat di VRAM. Nilai num_ctx yang lebih tinggi biasanya menjadi penyebabnya.
journalctl -u ollama --no-pager | grep -i n_ctx | tail -n 5Inference runner mencetak ukuran konteks pada baris yang berisi n_ctx. Teks persisnya dapat berubah antar-rilis, jadi anggap baris yang tidak ditemukan sebagai perubahan nama, bukan sebagai bukti apa pun.
Empat tempat untuk mengatur num_ctx
Dalam request. Kirim "options": {"num_ctx": 16384} ke /api/generate atau /api/chat. Pengaturan ini mengesampingkan semua pengaturan lain dan hanya berlaku untuk satu pemanggilan tersebut. Jika nilainya berbeda dari nilai yang digunakan model yang sedang dimuat, server akan memuat ulang model terlebih dahulu. Hal ini dapat dilihat pada load_duration dalam respons: waktunya meningkat dari hampir nol menjadi beberapa detik. Waktu tunggu yang sama juga muncul ketika model terlalu lama tidak digunakan hingga dibongkar dari memori. Jadi, setelah menentukan ukuran konteks, sebaiknya pertahankan model tetap berada di memori dengan keep_alive.
Dalam sesi interaktif. Di dalam ollama run, ketik /set parameter num_ctx 16384. Pengaturan ini berlaku selama sesi tersebut.
Dalam Modelfile. Cara ini menyimpan nilai tersebut ke dalam model bernama, sehingga setiap client mendapatkannya tanpa perubahan di sisi client.
FROM llama3.1:8b
PARAMETER num_ctx 16384ollama create llama3.1-16k -f ./Modelfile
ollama run llama3.1-16kDi server. OLLAMA_CONTEXT_LENGTH menetapkan nilai default untuk setiap request yang tidak membawa num_ctx sendiri. Pada systemd, tambahkan drop-in, bukan mengedit unit file.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_CONTEXT_LENGTH=16384"sudo systemctl daemon-reload
sudo systemctl restart ollama
ollama psUrutan prioritas ini paling penting saat Anda men-debug client milik orang lain. Request yang membawa num_ctx mengesampingkan default server. Jadi, front end chat atau agent yang mengirim nilai kecilnya sendiri dapat secara diam-diam membatalkan perubahan systemd Anda. Saat Anda menghubungkan coding agent ke server Ollama Anda, periksa nilai yang dikirim client sebelum menyalahkan server.
Mengapa Anda tidak dapat begitu saja menetapkan num_ctx ke maksimum model
Attention membuat setiap token memperhatikan semua token sebelumnya. Key dan value yang dihitung untuk token sebelumnya disimpan agar tidak dihitung ulang untuk setiap token baru. Penyimpanan tersebut adalah KV cache (key/value cache). KV cache dialokasikan untuk seluruh num_ctx saat model dimuat, bukan saat percakapan bertambah panjang. Karena itu, context yang besar tetap menggunakan memori tersebut meskipun prompt hanya terdiri dari satu baris.
Setiap layer menyimpan satu vektor key dan satu vektor value untuk setiap key/value head pada setiap token. Perhitungannya dapat ditulis dalam satu baris:
kv_bytes_per_token = 2 * layers * kv_heads * head_dim * bytes_per_valueAngka 2 menghitung key dan value secara terpisah. Gunakan angka lain dari model Anda sendiri.
curl -s http://localhost:11434/api/show -d '{"model":"llama3.1:8b"}' |
jq '.model_info | {ctx: ."llama.context_length", layers: ."llama.block_count", heads: ."llama.attention.head_count", kv_heads: ."llama.attention.head_count_kv", embed: ."llama.embedding_length"}'Llama 3.1 8B melaporkan 32 layer dan 8 key/value head. Dimensi head adalah embed dibagi heads, sehingga 4096 / 32 = 128 dalam contoh ini. Beberapa model menyebutnya secara langsung sebagai llama.attention.key_length. Cache default menyimpan nilai f16, sehingga bytes_per_value bernilai 2. Perhitungan 2 32 8 128 2 menghasilkan 131,072 byte. Artinya, cache menggunakan 128 KiB untuk setiap token context. Kalikan angka tersebut dengan panjang context. Biayanya akan terlihat jelas.
Data di balik grafik ini
[
{
"label": "4k",
"kv_cache_gib": 0.5,
"total_ram_gib": 5.1
},
{
"label": "8k",
"kv_cache_gib": 1,
"total_ram_gib": 5.6
},
{
"label": "16k",
"kv_cache_gib": 2,
"total_ram_gib": 6.6
},
{
"label": "32k",
"kv_cache_gib": 4,
"total_ram_gib": 8.6
},
{
"label": "64k",
"kv_cache_gib": 8,
"total_ram_gib": 12.6
},
{
"label": "128k",
"kv_cache_gib": 16,
"total_ram_gib": 20.6
}
]6 baris tersebut merupakan hasil perhitungan dari rumus di atas, bukan hasil pengukuran. Kolom total menambahkan unduhan 4.9 GB yang dicantumkan library Ollama untuk llama3.1:8b pada Oktober 2026. Ukurannya adalah 4.6 GiB. Kolom tersebut tidak mencakup buffer komputasi dan proses server itu sendiri. Anggap angka ini sebagai batas minimum.
Yang penting adalah bentuk perubahannya. Pada 8k, cache menggunakan 1 GiB. Angka ini kecil dibandingkan ukuran weights. Pada 128k penuh milik model, cache menggunakan 16 GiB, lebih dari tiga kali ukuran weights, sehingga totalnya mendekati 20.6 GiB. Jadi, VPS 4 GB tidak dapat memuat model ini pada context yang berguna. VPS 8 GB cukup untuk 8k. VPS 16 GB dapat mencapai 32k dan masih menyisakan memori untuk komponen lain pada server. Setiap batas tersebut meningkat seiring ukuran weights. Jika Anda mempertimbangkan model yang lebih besar dibandingkan model 8B ini, perhitungan yang sama pada tag Qwen 27B pada VPS khusus CPU menunjukkan betapa sedikit memori yang tersisa untuk context pada kapasitas 8 hingga 64 GB.
Apa yang terjadi ketika cache KV tidak muat
Pada VPS yang hanya menggunakan CPU, penggunaan memori proses akan terus bertambah. Pantau penggunaan tersebut saat model dimuat dan saat permintaan yang panjang berjalan.
free -m
ps -eo rss,comm --sort=-rss | head -n 5RSS (resident set size) ditampilkan dalam kilobyte. Jika swap yang digunakan pada free -m mulai meningkat, kurangi ukuran context. Cache KV yang berada di swap membuat proses pembuatan teks terhenti selama beberapa detik untuk setiap token, karena setiap token baru membaca seluruh cache.
Jika mesin kehabisan memori sepenuhnya, kernel memilih sebuah proses untuk dihentikan, biasanya proses yang menggunakan memori paling besar.
sudo dmesg | grep -i "killed process"Baris yang berisi Out of memory: Killed process 1234 (ollama) berarti Ollama adalah proses yang dipilih kernel, bukan berarti proses tersebut yang menggunakan seluruh memori. Pada mesin yang hanya menjalankan Ollama sebagai proses besar, context yang terlalu besar hingga tidak muat biasanya menjadi penyebabnya. Periksa proses lain yang sedang berjalan sebelum mengurangi num_ctx. Ollama sering menolak permintaan sebelum kondisi tersebut tercapai. Permintaan kemudian gagal dengan pesan yang mencantumkan jumlah memori yang dibutuhkan dan jumlah memori yang tersedia.
Pada mesin dengan GPU, kegagalannya lebih sulit terlihat. Sebagian layer dipindahkan ke RAM sistem, ollama ps menunjukkan pembagian penggunaan antara CPU dan GPU, dan throughput turun drastis. Besarnya penurunan bergantung pada hardware Anda. Karena itu, ukur token per detik pada mesin Anda sendiri untuk setiap pengaturan context, bukan mengandalkan angka dari mesin orang lain.
Waktu prefill bertambah lebih cepat daripada prompt
Prefill adalah pekerjaan yang dilakukan pada input sebelum token output pertama muncul. Setiap token prompt memperhatikan semua token sebelumnya, sehingga total pekerjaan bertambah secara kuadrat terhadap panjang input. Menggandakan panjang prompt akan membuat waktu tunggu token pertama bertambah lebih dari dua kali lipat.
Respons tersebut menyertakan hasil pengukuran, sehingga Anda tidak perlu menerimanya begitu saja.
jq -n --arg p "$LONG" '{model:"llama3.1:8b", prompt:$p, stream:false, options:{num_ctx:16384}}' |
curl -s http://localhost:11434/api/generate -d @- |
jq '{tokens: .prompt_eval_count, prefill_seconds: (.prompt_eval_duration/1000000000)}'Jalankan pengujian tersebut dengan prompt pendek, lalu ulangi dengan prompt panjang. Setelah itu, bagi jumlah token dengan waktu dalam detik untuk setiap pengujian. Pada VPS yang hanya menggunakan CPU, prefill biasanya merupakan bagian paling lambat dari permintaan dengan konteks panjang. Angka token per detik yang diukur menggunakan prompt pendek tidak dapat memprediksi kinerja tersebut. Jika prefill berlangsung lebih lama daripada timeout pada lapisan di depannya, permintaan dengan prompt panjang biasanya berakhir dengan batas waktu konteks terlampaui, bukan menghasilkan jawaban. Karena itu, cari tahu lapisan mana yang menghentikan permintaan sebelum mengurangi ukuran konteks.
Masalah ini paling terasa saat concurrency digunakan. Setiap request yang dilayani memerlukan cache sendiri. Karena itu, penggunaan memori pada bagan di atas berlaku per request, bukan per server. Satu request panjang dapat menahan resource server sehingga request pendek harus mengantre di belakangnya. Atur OLLAMA_NUM_PARALLEL secara sadar, lalu baca berapa banyak pengguna serentak yang dapat dilayani oleh LLM yang di-host sendiri sebelum menaikkan kedua angka tersebut secara bersamaan.
Dapatkan kembali kapasitas konteks dengan cache yang lebih kecil
bytes_per_value dalam formula tersebut adalah pengaturan yang dapat Anda kendalikan. FAQ Ollama mendokumentasikan OLLAMA_KV_CACHE_TYPE, dengan f16 sebagai nilai default, q8_0 yang menggunakan sekitar setengah memori f16, dan q4_0 yang menggunakan sekitar seperempatnya. Nilai tepat untuk q8_0 sedikit lebih besar dari setengahnya: llama.cpp menyimpan setiap blok yang terdiri dari 32 nilai sebagai 32 nilai satu byte ditambah skala dua byte, sehingga totalnya 34 byte, sedangkan f16 memerlukan 64 byte. Dengan beralih ke q8_0, baris 32k menggunakan sekitar 2.1 GiB, bukan 4 GiB. Kuantisasi bobot membebaskan memori dari sisi lain dalam anggaran yang sama, dan tag GLM yang benar-benar sesuai untuk VPS dibahas melalui setiap tingkat kuantisasi jika Anda lebih memilih kompromi tersebut. FAQ yang sama menyatakan bahwa cache hanya dikuantisasi jika Flash Attention diaktifkan, serta mendokumentasikan OLLAMA_FLASH_ATTENTION=1 untuk memaksanya aktif.
[Service]
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"Pastikan hasilnya, jangan berasumsi: restart service, muat model pada num_ctx yang sama seperti sebelumnya, lalu bandingkan RSS. Dukungan bergantung pada model dan backend, sehingga pengaturan yang tidak mengubah apa pun berarti kombinasi Anda tidak didukung. Jenis cache merupakan opsi global, sehingga setiap model di server berjalan menggunakannya. Dari sisi kualitas, FAQ menyatakan bahwa q8_0 biasanya tidak menimbulkan efek yang terlihat, sedangkan q4_0 kehilangan lebih banyak presisi, terutama pada ukuran konteks yang lebih besar. Karena itu, uji q4_0 dengan prompt Anda sendiri sebelum mengandalkannya. Jika pengaturan inilah yang membawa Anda ke sini, Ollama dan llama.cpp menyediakan pengaturan tersebut dengan cara berbeda.
Cara memilih num_ctx
- Baca konteks maksimum model, jumlah layer, dan jumlah key/value head dari
/api/show. - Hitung byte per token menggunakan rumus, lalu kalikan dengan konteks yang Anda inginkan.
- Tambahkan ukuran bobot, bandingkan dengan RAM yang tersedia, dan sisakan setidaknya 1 GiB untuk kebutuhan lain di server.
- Tetapkan nilainya, muat model, lalu konfirmasikan nilai yang diterapkan dengan
ollama psdanprompt_eval_count. - Jalankan workload sebenarnya sambil memantau
free -m, lalu kurangi konteks menjadi setengah jika swap mulai digunakan.
Sebagian besar pekerjaan memerlukan konteks yang lebih kecil daripada yang biasanya diberikan. Meringkas laporan panjang dapat dilakukan dengan 16k. Front end retrieval yang menyertakan lima potongan dokumen biasanya jarang melebihi 8k. Coding agent yang membaca seluruh file adalah kasus yang benar-benar memerlukan 64k atau lebih. Untuk kasus ini, ukuran mesin sebaiknya ditentukan berdasarkan konteks, bukan sebaliknya. Jika server masih baru, mulai dari instalasi Ollama yang berfungsi pada VPS, lalu sesuaikan konteks setelah model dapat dimuat tanpa masalah.
FAQ
Berapa panjang konteks default di Ollama?
Nilainya bergantung pada build dan perangkat keras, jadi periksa nilainya, jangan berasumsi. FAQ Ollama mendokumentasikan 4096 token, referensi Modelfile mendokumentasikan default num_ctx sebesar 2048, sedangkan halaman panjang konteks mendokumentasikan default yang dipilih berdasarkan VRAM yang tersedia: 4k di bawah 24 GiB, 32k mulai 24 GiB hingga 48 GiB, dan 256k pada 48 GiB atau lebih. VPS yang hanya menggunakan CPU berada pada kisaran rendah. ollama ps menampilkan konteks yang diterapkan pada build yang memiliki kolom tersebut, sedangkan prompt_eval_count dalam respons API membuktikannya pada setiap build.
Mengapa Ollama mengabaikan awal prompt panjang saya?
Karena prompt lebih panjang daripada jendela konteks, sehingga server memotongnya sebelum model menerimanya dan tidak mengembalikan error. Kirim prompt yang sama lagi dengan num_ctx yang lebih besar, lalu pantau pertumbuhan prompt_eval_count dalam respons. Jika angka tersebut tidak berubah, sesuatu di antara Anda dan server menetapkan num_ctx sendiri. Hal ini umum terjadi pada front end chat dan framework agen.
Berapa tambahan RAM yang diperlukan oleh num_ctx yang lebih besar?
Kalikan panjang konteks dengan biaya cache per token, yaitu 2 * layers * kv_heads * head_dim * bytes_per_value. Untuk Llama 3.1 8B pada f16, nilainya adalah 128 KiB per token. Dengan demikian, 32k token memerlukan 4 GiB, sedangkan 128k penuh memerlukan 16 GiB di luar bobot model. Cache dialokasikan saat model dimuat, sehingga num_ctx yang besar menggunakan memori tersebut meskipun prompt Anda tetap pendek.
Apakah jendela konteks yang lebih besar membuat Ollama lebih lambat?
Ya, dalam dua hal. Beban kerja prefill meningkat sesuai kuadrat panjang prompt, sehingga input panjang menunda token pertama lebih lama daripada yang diperkirakan dari panjangnya. Cache yang lebih besar juga bersaing untuk mendapatkan memori: pada mesin GPU, cache tersebut mendorong sebagian layer ke RAM sistem, sedangkan pada mesin CPU, cache tersebut mendorong mesin lebih dekat ke penggunaan swap. num_ctx yang besar dan tidak pernah terisi penuh tetap menggunakan memori, meskipun tidak menambah waktu prefill.
Apakah saya dapat menetapkan num_ctx secara permanen untuk satu model?
Ya. Tulis Modelfile yang berisi FROM llama3.1:8b dan PARAMETER num_ctx 16384, lalu jalankan ollama create llama3.1-16k -f ./Modelfile. Setiap klien yang meminta llama3.1-16k akan memperoleh konteks tersebut tanpa mengirim opsi apa pun. Request yang membawa num_ctx sendiri tetap diprioritaskan, sehingga pengaturan ini menetapkan default, bukan batas maksimum.