SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Diperbarui 2026-10-26

Ollama num_predict: Batasi Panjang Output Model

Pelajari cara kerja num_predict di Ollama, tiga tempat pengaturannya, prioritas nilai yang berlaku, serta cara membaca done_reason saat batas token tercapai.

Fungsi num_predict dalam Ollama

num_predict adalah opsi Ollama yang membatasi jumlah token yang dapat dihasilkan model dalam satu respons. Opsi ini hanya menghitung token output, sehingga prompt tidak dihitung. Saat model mencapai batas tersebut, proses pembuatan output berhenti pada posisi itu, terkadang di tengah kata, dan respons dikembalikan dengan done_reason yang ditetapkan ke length.

Itulah seluruh fungsinya. Kesulitannya adalah Ollama menyediakan tiga tempat terpisah untuk menetapkan nilai tersebut, dan pengaturan yang paling dekat dengan permintaan akan digunakan. Hampir semua laporan bahwa "num_predict tidak berfungsi" terjadi karena satu lapisan secara diam-diam menimpa lapisan lainnya.

num_predict bukan num_ctx

Kedua opsi ini lebih sering tertukar daripada pasangan opsi lain di Ollama, dan kekeliruan ini menghabiskan banyak waktu untuk debugging.

num_ctx menentukan seberapa banyak yang dapat dibaca oleh model. Opsi ini menentukan ukuran context window, yang menampung prompt serta semua output yang dihasilkan hingga saat itu. Menaikkan nilainya membutuhkan lebih banyak memori karena key/value cache yang disimpan model untuk token-token tersebut bertambah seiring ukuran window. Menentukan ukuran num_ctx untuk hardware Anda merupakan pekerjaan terpisah dengan jenis kegagalan yang berbeda.

num_predict menentukan seberapa banyak yang akan ditulis oleh model. Opsi ini merupakan aturan penghentian, bukan alokasi. Menaikkan nilainya menambah waktu wall-clock, bukan penggunaan RAM, dan tidak ada kapasitas yang dicadangkan sebelumnya.

Keduanya bertemu di satu titik. Token yang dihasilkan masuk ke dalam context window saat dibuat. Pada Ollama v0.40.11, context shift aktif secara default untuk sebagian besar model. Karena itu, saat window penuh, token lama akan dibuang dan proses pembuatan output berlanjut. Jika shift nonaktif karena request mengirim "shift": false atau model tidak mendukung shifting, respons juga dapat berhenti karena window penuh, bukan karena batas yang Anda tetapkan tercapai. Ollama melaporkan length pada kedua kondisi tersebut. Karena itu, angka yang membedakan keduanya adalah eval_count, yang dibahas lebih lanjut di bawah.

Atur sekali dengan Modelfile

Modelfile menyimpan nilai tersebut di dalam model yang Anda buat. Tulis file berikut:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Kemudian buat model tersebut dan baca kembali konfigurasi yang telah dibuat:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters mencetak satu baris untuk setiap parameter yang tersimpan beserta nilainya. Jika num_predict tidak ada dalam output tersebut, model tidak memiliki batas yang disimpan di dalamnya dan default Ollama akan berlaku. ollama show --modelfile qwen3-capped mencetak seluruh definisi. Ini juga merupakan cara tercepat untuk menyalin parameter yang sudah disertakan oleh model yang ada. Membuat model dengan batas menggunakan cara ini hampir tidak memerlukan ruang disk tambahan, karena entri baru tersebut menggunakan kembali blob bobot yang sudah diunduh oleh model dasar, bukan menyalinnya. Karena itu, lokasi penyimpanan blob oleh Ollama perlu diketahui sebelum disk root VPS penuh.

Ini adalah lapisan yang tepat untuk nilai yang ingin diwarisi oleh setiap pemanggil. Namun, ini bukan lapisan yang tepat jika Anda mengharapkan nilai tersebut menjadi nilai final, karena nilai tersebut masih dapat ditimpa.

Tetapkan pada setiap permintaan di dalam objek options

Setiap endpoint generasi menerima objek options, dan num_predict ditempatkan di dalamnya:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat menggunakan kunci options yang sama dengan makna yang sama. Nilai di sini hanya berlaku untuk satu panggilan tersebut. Nilai ini tidak memengaruhi hal lain. Inilah lapisan yang digunakan oleh tools Anda: front end chat, script, wrapper SDK, atau coding agent. Semuanya mengirim objek options, terlepas dari apakah objek tersebut ditampilkan sebagai kotak atau tidak.

Tetapkan untuk satu sesi dengan parameter /set

Di dalam ollama run, sesi interaktif menetapkan opsi yang berlaku selama sisa sesi tersebut:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters menampilkan hal-hal yang akan dikirim oleh sesi tersebut bersama pesan berikutnya. Ini adalah cara tercepat untuk memastikan bahwa perubahan telah diterapkan. Nilai tersebut berlaku sampai Anda mengetik /bye. Untuk mempertahankannya, /save qwen3-capped menulis sesi saat ini, termasuk parameternya, sebagai model baru. Apa pun yang Anda /set di sini tidak akan diterapkan ke client lain.

Pengaturan mana yang berlaku, dan mengapa pengaturan Anda tampak diabaikan

Urutannya sederhana. Opsi yang dikirim bersama request mengalahkan semua pengaturan lain. Baris PARAMETER num_predict dalam Modelfile model menjadi fallback jika request tidak membawa nilai. Jika keduanya tidak ada, default bawaan Ollama yang berlaku.

/set parameter bukan aturan ketiga. Sesi interaktif adalah klien API. Jadi, nilai yang Anda tetapkan di sana dikirim sebagai options pada request tersebut. Inilah alasan nilai itu mengesampingkan Modelfile selama sesi berlangsung.

Berikut kegagalan yang dijelaskan oleh aturan ini. Anda menambahkan PARAMETER num_predict 512, membangun ulang model, tetapi respons tetap mencapai ribuan token. Pengaturan Anda memang ada, dan ollama show --parameters membuktikannya. Namun, pengaturan itu ditimpa pada setiap request karena klien mengirim objek options sendiri dengan angkanya sendiri. Angka ini sering kali merupakan nilai yang Anda masukkan ke layar pengaturan beberapa bulan lalu dan kemudian lupa. ollama show membaca model yang tersimpan. Perintah ini tidak dapat menunjukkan data yang tiba melalui HTTP.

Buktikan sisi server dengan satu perintah. Kirim request yang akan menghasilkan jawaban panjang, paksa batasnya menjadi rendah, lalu baca dua field:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Jawaban terperinci akan jauh melampaui 32 token. Jadi, perkirakan "length" dan 32. Instal jq terlebih dahulu dengan sudo apt install -y jq jika belum tersedia. Nilai 32 tidak dijamin karena eval_count hanya merupakan jumlah token output yang benar-benar dibuat server. Jika model selesai lebih awal, Anda akan mendapatkan "stop" dan jumlah yang lebih kecil. Perbaikannya adalah menggunakan prompt yang meminta jawaban lebih panjang. Jika Anda mendapatkan "length" dan 32, nilai milik request telah mengalahkan nilai 512 yang tersimpan dalam qwen3-capped. Ini menunjukkan bahwa server menghormati opsi per request. Hal ini tidak memberi tahu Anda apa yang dikirim aplikasi. Karena itu, pencarian berlanjut ke klien. Untuk melihat catatan server sendiri tentang suatu request, jalankan ulang server dengan OLLAMA_DEBUG=1 di environment dan monitor journalctl -u ollama -f saat aplikasi Anda berkomunikasi dengannya.

Nilai negatif dan angka yang tidak boleh Anda salin

num_predict juga menerima nilai negatif, dan nilai tersebut berfungsi sebagai sentinel, bukan sebagai jumlah. Salah satu nilai negatif berarti "jangan batasi ini, teruskan pembuatan". Nilai negatif lainnya pernah berarti "isi konteks yang tersisa". Per Oktober 2026, referensi Ollama Modelfile mencantumkan nilai default -1, yaitu pembuatan tanpa batas. Versi sebelumnya dari tabel yang sama juga mencantumkan -2 untuk mengisi konteks.

Anggap semua nilai tersebut bergantung pada versi karena nilainya telah berubah. Referensi tersebut mencantumkan nilai default 128 selama waktu yang lama sebelum entri itu diperbaiki menjadi -1. Karena itu, banyak panduan masih mengulang angka lama tersebut. Perilakunya juga telah berubah. Ollama v0.40.11, rilis saat ini pada 25 Oktober 2026, meneruskan model GGUF ke proses upstream llama-server yang memerlukan batas finite. Karena itu, Ollama mengganti nilai negatif apa pun, serta batas apa pun yang lebih besar dari sepuluh kali num_ctx, menjadi sepuluh kali num_ctx. Jadi, "tanpa batas" berarti 81,920 token untuk model qwen3-capped di atas, dan -2 tidak lagi berperilaku berbeda dari -1. Baca referensi parameter Modelfile untuk versi yang benar-benar Anda jalankan, lalu konfirmasikan perilakunya dengan pemeriksaan eval_count di atas. Nilai yang Anda verifikasi pada server Anda sendiri lebih dapat diandalkan daripada nilai yang Anda baca di mana pun, termasuk dalam artikel ini.

Mengapa panjang output merupakan biaya utama pada VPS yang hanya menggunakan CPU

Ollama dapat dijalankan secara gratis pada mesin yang Anda kontrol, sehingga generasi lokal tidak dihitung berdasarkan penggunaan dan jawaban panjang dibayar dengan waktu. Generasi memiliki dua fase dengan kecepatan yang sangat berbeda. Token prompt dievaluasi secara batch, banyak token sekaligus. Token output dihasilkan satu per satu, dan setiap token memerlukan satu kali pemrosesan terhadap weight yang digunakannya. Pada VPS yang hanya menggunakan CPU, pemrosesan tersebut dibatasi oleh bandwidth memori. Karena itu, satu token yang dihasilkan membutuhkan biaya waktu jauh lebih besar daripada satu token prompt. Pemrosesan tersebut harus membaca setiap weight yang digunakan token tersebut. Pada model dense, semua weight dibaca. Pada model mixture-of-experts seperti Nemotron 3.5 Lightning, hanya expert yang dipilih yang dibaca. Model ini mengaktifkan sekitar 3B dari 30B parameternya untuk setiap token. Karena itu, jumlah byte yang ditempati setiap weight menentukan batas atas laju token Anda. Inilah alasan build q4 mendekode lebih cepat daripada model yang sama pada q8 atau fp16.

Minta respons tanpa streaming. Angkanya akan terlihat jelas:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Durasi dinyatakan dalam nanodetik. Pada blok tersebut, yang merupakan contoh respons yang dipublikasikan dalam dokumentasi Ollama API per Oktober 2026, bukan hasil pengukuran server tertentu, 11 token prompt memerlukan sekitar 0.013 detik, sedangkan 18 token output memerlukan sekitar 0.052 detik. Itu setara dengan sekitar 1.2 milidetik per token prompt dan 2.9 milidetik per token output. Jadi, bahkan dalam respons satu baris, setiap token yang dihasilkan memerlukan waktu lebih dari dua kali lipat dibandingkan setiap token yang dibaca. Pada jawaban panjang, sisi output yang paling banyak menghabiskan waktu. Laju generasi Anda sendiri adalah eval_count dibagi eval_duration lalu dikonversi ke detik. Mengukur token per detik pada hardware Anda sendiri layak dilakukan sekali sebelum Anda menyesuaikan pengaturan lain. Laju tersebut bergantung pada model dan mesin. Jadi, jika jawaban panjang merupakan biaya utama, model yang dibuat untuk decoding cepat seperti Nemotron 3.5 Lightning pada VPS dapat menghemat sebagian waktu yang seharusnya dilindungi oleh batas rendah.

Perhitungannya menunjukkan dampak tersebut. Pada kecepatan 8 token per detik, jawaban sepanjang 2,000 token membuat mesin sibuk selama lebih dari empat menit. Model tidak mengetahui bahwa Anda hanya menginginkan satu paragraf. Model reasoning menggunakan sebagian anggaran tersebut untuk berpikir sebelum menulis kata yang Anda minta. Proses berpikir itu juga dihasilkan satu token pada satu waktu seperti bagian lainnya. Karena itu, tingkat upaya reasoning yang Anda minta merupakan faktor lain yang memengaruhi biaya waktu yang sama. Beberapa model juga dapat berulang, yaitu mengulangi frasa sampai sesuatu menghentikannya. Tanpa batas, satu request tersebut membuat satu core sibuk hingga mencapai sepuluh kali num_ctx token. Pergeseran konteks mencegah full window mengakhirinya. num_predict adalah pengaturan yang membatasi jumlah tersebut. Pengaturan ini sangat penting pada VPS Ollama yang di-host sendiri berukuran kecil, karena satu request panjang dapat menggunakan seluruh mesin.

Output terpotong biasanya disebabkan oleh batas, bukan model yang rusak

Gejalanya terlihat seperti kegagalan model. Jawaban berhenti di tengah kalimat. JSON tidak dapat di-parse karena kurung kurawal penutup tidak pernah muncul. Respons pertama biasanya menyalahkan model atau quantisation. Periksa responsnya terlebih dahulu.

done_reason berarti model menjawab pertanyaan secara langsung. stop berarti proses generasi berakhir sebelum mencapai batas apa pun, baik karena model mengeluarkan token end-of-sequence maupun karena output cocok dengan salah satu string dalam opsi stop, yang mengakhiri jawaban di posisi mana pun tempat kecocokan ditemukan. length berarti proses generasi terhenti karena ruang yang tersedia habis. Saat melihat length, bandingkan eval_count dengan batas Anda: kecocokan persis berarti num_predict yang menghentikannya, sedangkan angka yang lebih kecil berarti context window terisi lebih dahulu. Hal ini hanya dapat terjadi jika context shift dinonaktifkan.

Saat menggunakan streaming, kolom-kolom tersebut muncul dalam chunk terakhir, yaitu chunk yang membawa "done": true. Banyak client library membuang chunk tersebut dan hanya meneruskan teks ke kode Anda. Karena itu, truncation yang sama tampak tidak jelas di dalam aplikasi, tetapi terlihat jelas di bawah curl. Jika library menyembunyikannya, kirim satu request dengan curl untuk mengetahui respons sebenarnya dari server.

Ada satu hal lain yang dapat mencegah Anda membuang waktu. Menaikkan num_predict tidak membuat model menulis lebih banyak. Tindakan itu hanya menghapus batas maksimum. Jika jawaban berhenti pada 200 token dengan done_reason dari stop, model mungkin memutuskan bahwa jawabannya sudah selesai atau salah satu string stop Anda cocok. Batas yang lebih besar tidak akan mengubah apa pun. Jawaban singkat dengan stop menunjukkan masalah pada prompting atau stop string. Jawaban singkat dengan length menunjukkan masalah pada batas.

Memilih nilai

  • Untuk chat interaktif, biarkan tanpa batas dan tekan Ctrl+C untuk menghentikan respons yang berjalan tanpa kendali. Anda tetap memantau layar.
  • Untuk apa pun yang dijalankan melalui skrip, tetapkan nilainya. Generasi tanpa batas di dalam loop dapat menyebabkan tugas batch yang seharusnya selesai dalam sepuluh menit masih berjalan keesokan paginya.
  • Untuk output terstruktur, tetapkan batas di atas ukuran dokumen valid terbesar yang Anda perkirakan, lalu perlakukan done_reason dari length sebagai error yang harus ditangani dan ulangi permintaan, bukan mengurai hasil yang diterima.
  • Untuk coding agent, nilai tersebut harus ditetapkan dalam konfigurasi agent itu sendiri karena agent mengirimkan opsinya sendiri pada setiap request. Mengarahkan coding agent ke Ollama menjelaskan lokasi pengaturan tersebut.

Batas ini menghitung token, bukan kata atau karakter, jadi jangan memperkirakannya. Hasilkan satu jawaban yang representatif tanpa batas, baca eval_count, lalu tetapkan limit dengan jarak yang cukup di atas nilai tersebut. Setiap keluarga model menggunakan tokenisasi yang berbeda, sehingga nilai yang cukup untuk model Llama dapat memotong jawaban yang sama dari model Qwen 3 pada VPS yang sama.

FAQ

Apa perbedaan antara num_ctx dan num_predict di Ollama?

num_ctx adalah ukuran jendela konteks. Jadi, parameter ini menentukan seberapa banyak yang dapat dibaca model: prompt ditambah semua teks yang telah dihasilkan. Parameter ini menggunakan memori karena cache key/value bertambah seiring ukurannya. num_predict menentukan jumlah token yang boleh ditulis model dalam satu respons. Parameter ini lebih banyak menggunakan waktu daripada memori, dan tidak ada ruang yang dicadangkan sebelumnya. Token yang dihasilkan dihitung terhadap keduanya. Jadi, jika context shift dinonaktifkan, respons dapat terhenti lebih awal karena salah satunya.

Mengapa pengaturan num_predict saya tampaknya diabaikan?

Karena nilai yang dikirim bersama request mengesampingkan nilai yang tersimpan dalam model. Masukkan PARAMETER num_predict 512 ke dalam Modelfile, lalu gunakan model tersebut dari front end chat atau coding agent. Klien akan mengirim objek options miliknya sendiri, dan nilai di dalam objek tersebut yang berlaku. ollama show --parameters tetap menampilkan nilai Anda karena perintah itu membaca model yang tersimpan dan tidak dapat melihat nilai yang diterima melalui HTTP. Kirim satu request dengan curl menggunakan "options": {"num_predict": 32} dan prompt yang memerlukan jawaban panjang, lalu baca done_reason dan eval_count. Sebuah length dengan eval_count bernilai 32 menunjukkan bahwa nilai dalam request mengesampingkan nilai yang tersimpan. Ini mengonfirmasi bahwa server bekerja dengan benar dan pencarian masalah perlu dialihkan ke aplikasi Anda. Sebuah stop dengan jumlah yang lebih kecil hanya berarti model selesai lebih awal. Jadi, coba lagi dengan prompt yang meminta jawaban lebih panjang.

Bagaimana cara mengetahui apakah output saya terpotong oleh num_predict?

Kirim request dengan "stream": false dan baca done_reason. Nilai stop berarti model selesai sendiri atau salah satu string stop Anda menghentikannya. Nilai length berarti ruang yang tersedia telah habis. Bandingkan eval_count dengan batas Anda. Jika nilainya sama persis, num_predict yang menghentikannya. Jika eval_count lebih kecil, jendela konteks terisi lebih dahulu. Saat menggunakan streaming, kedua field tersebut muncul dalam chunk terakhir bersama "done": true. Banyak library klien membuang informasi ini sebelum kode Anda dapat membacanya.

Berapa nilai default num_predict?

Baca nilainya dari instalasi Anda sendiri, bukan dari artikel. Per Oktober 2026, referensi Ollama Modelfile mencantumkan nilai default -1. Artinya, generasi tidak dibatasi. Entri tersebut diperbaiki setelah lama mendokumentasikan 128. Dalam Ollama v0.40.11, nilai default tanpa batas tersebut, seperti nilai negatif lainnya, sebenarnya berhenti setelah sepuluh kali num_ctx. Nilai negatif berfungsi sebagai sentinel, bukan sebagai jumlah. Versi lama dari tabel yang sama juga mencantumkan -2 untuk mengisi sisa konteks. Periksa referensi parameter Modelfile untuk versi Anda, lalu konfirmasikan dengan ollama show --parameters dan satu request curl.

Apakah menaikkan num_predict membuat model menulis jawaban yang lebih panjang?

Tidak. Tindakan tersebut hanya menghapus batas atas. Jika respons berakhir dengan done_reason berupa stop, model memutuskan bahwa responsnya telah selesai atau salah satu string stop Anda cocok. Batas yang lebih besar tidak mengubah hasilnya. Dalam kasus tersebut, panjang respons ditentukan oleh prompt. Minta struktur tertentu, jumlah bagian tertentu, atau tingkat detail yang ditentukan. Naikkan num_predict hanya jika done_reason menghasilkan length.

Apakah artikel ini bermanfaat?