SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Dikemas kini 2026-10-26

Cara Hadkan Output Token Ollama dengan num_predict

Ketahui cara menetapkan num_predict dalam Ollama untuk mengehadkan token output. Fahami keutamaan antara tiga lokasi tetapan dan cara membaca done_reason: length dengan tepat.

Apakah fungsi num_predict dalam Ollama

num_predict ialah pilihan Ollama yang mengehadkan bilangan token yang boleh dijana oleh model dalam satu respons. Ia hanya mengira token output, jadi prompt tidak akan ditolak daripada had tersebut. Apabila model mencapai had ini, penjanaan akan berhenti serta-merta, kadangkala di tengah perkataan, dan respons akan dikembalikan dengan done_reason ditetapkan kepada length.

Itu sahaja fungsi ciri ini. Kesukarannya ialah Ollama menyediakan tiga lokasi berasingan untuk menetapkan nilai ini, dan tetapan yang paling hampir dengan permintaan akan diutamakan. Hampir setiap laporan yang menyatakan "num_predict tidak berfungsi" berpunca daripada satu lapisan yang mengatasi lapisan lain secara senyap.

num_predict bukan num_ctx

Dua pilihan ini paling kerap disalah anggap dalam Ollama, dan kekeliruan ini membuang masa penyahpepijatan yang sebenar.

num_ctx ialah jumlah yang boleh dibaca oleh model. Ini adalah saiz tetingkap konteks, yang menyimpan prompt serta semua yang telah dihasilkan setakat ini. Meningkatkannya akan menggunakan lebih banyak memori, kerana cache key/value yang disimpan oleh model untuk token tersebut akan membesar mengikut saiz tetingkap. Menentukan saiz num_ctx untuk perkakasan anda adalah tugas berasingan dengan mod kegagalannya yang tersendiri.

num_predict ialah jumlah yang akan ditulis oleh model. Ini adalah peraturan pemberhentian, bukan peruntukan. Meningkatkannya akan memakan masa pemprosesan dan bukannya RAM, dan tiada apa-apa yang dikhaskan lebih awal.

Kedua-duanya bertemu di satu tempat. Token yang dijana akan masuk ke dalam tetingkap konteks semasa ia dihasilkan. Dalam Ollama v0.40.11, peralihan konteks (context shift) diaktifkan secara lalai untuk kebanyakan model, jadi tetingkap yang penuh akan membuang token lama dan penjanaan diteruskan. Jika peralihan dimatikan, sama ada kerana permintaan menghantar "shift": false atau model tidak menyokong peralihan, balasan juga boleh terhenti kerana tetingkap telah penuh dan bukannya kerana had anda telah dicapai. Ollama melaporkan length dalam kedua-dua kes, jadi nombor yang membezakan keduanya ialah eval_count, yang dibincangkan dengan lebih lanjut di bawah.

Tetapkan sekali dengan Modelfile

Modelfile menyematkan nilai ke dalam model yang anda cipta. Tulis fail tersebut:

FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512

Kemudian bina model itu dan semak semula apa yang telah anda bina:

ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-capped

ollama show --parameters mencetak satu baris bagi setiap parameter yang disimpan berserta nilainya. Jika num_predict tiada dalam output tersebut, model itu tidak membawa had yang disematkan dan nilai lalai Ollama akan digunakan. ollama show --modelfile qwen3-capped mencetak keseluruhan definisi, yang juga merupakan cara terpantas untuk menyalin parameter yang sudah disertakan dalam model sedia ada. Mencipta model yang dihadkan dengan cara ini hampir tidak menggunakan ruang cakera tambahan, kerana entri baharu tersebut menggunakan semula blob pemberat yang telah dimuat turun oleh model asas dan bukannya menyalinnya, dan lokasi Ollama menyimpan blob tersebut perlu diketahui sebelum cakera root VPS anda penuh.

Ini adalah lapisan yang betul untuk nilai yang anda mahu diwarisi oleh setiap pemanggil. Ini adalah lapisan yang salah jika anda menjangkakan ia menjadi muktamad, kerana ia tidak bersifat sedemikian.

Tetapkan ia bagi setiap permintaan dalam objek options

Setiap endpoint penjanaan menerima objek options, dan num_predict diletakkan di dalamnya:

curl http://localhost:11434/api/generate -d '{
  "model": "qwen3:8b",
  "prompt": "Explain what a reverse proxy does.",
  "stream": false,
  "options": { "num_predict": 128 }
}'

/api/chat menggunakan kunci options yang sama dengan maksud yang sama. Nilai di sini hanya terpakai untuk panggilan tersebut sahaja dan tidak untuk perkara lain. Ini ialah lapisan yang digunakan oleh alatan anda: antaramuka sembang, skrip, pembungkus SDK, atau ejen pengekodan. Kesemuanya menghantar objek options, sama ada ia memaparkan kotak untuknya kepada anda atau tidak.

Tetapkan untuk satu sesi dengan parameter /set

Di dalam ollama run, sesi interaktif menetapkan pilihan untuk sepanjang sesi tersebut:

>>> /set parameter num_predict 256
>>> /show parameters

/show parameters mencetak perkara yang akan dihantar oleh sesi bersama mesej anda yang seterusnya, menjadikannya cara terpantas untuk mengesahkan perubahan telah berkuat kuasa. Nilai tersebut kekal sehingga anda menaip /bye. Untuk mengekalkannya, /save qwen3-capped menulis sesi semasa, termasuk parameter, sebagai model baharu. Tiada apa-apa yang anda /set di sini akan sampai kepada mana-mana klien lain.

Tetapan mana yang diguna pakai, dan mengapa tetapan anda kelihatan diabaikan

Urutannya ringkas. Pilihan yang dihantar bersama permintaan mengatasi segala-galanya. Baris PARAMETER num_predict dalam Modelfile model ialah sandaran yang digunakan apabila permintaan tidak membawa nilai. Jika kedua-duanya tiada, lalai terbina dalam Ollama akan digunakan.

/set parameter bukanlah peraturan ketiga. Sesi interaktif ialah klien API, jadi apa yang anda tetapkan di sana dihantar sebagai options permintaan tersebut, itulah sebab tepat mengapa ia mengatasi Modelfile untuk sesi itu.

Sekarang, kegagalan yang dijelaskan oleh perkara ini. Anda menambah PARAMETER num_predict 512, membina semula model, dan balasan masih berjalan sehingga beribu-ribu token. Tetapan anda ada di sana, dan ollama show --parameters membuktikannya. Ia ditindih pada setiap permintaan, kerana klien menghantar objek options miliknya sendiri yang membawa nombornya sendiri, selalunya nombor yang anda taip ke dalam skrin tetapan berbulan-bulan lalu dan telah dilupakan. ollama show membaca model yang disimpan. Ia tidak dapat menunjukkan kepada anda apa yang tiba melalui HTTP.

Buktikan bahagian pelayan dalam satu arahan. Hantar permintaan yang akan menghasilkan jawapan panjang, paksa had menjadi rendah, dan baca dua medan:

curl -s http://localhost:11434/api/generate -d '{
  "model": "qwen3-capped",
  "prompt": "Describe the Linux boot process in detail.",
  "stream": false,
  "options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'

Jawapan terperinci berjalan jauh melebihi 32 token, jadi jangkakan "length" dan 32. Pasang jq dahulu dengan sudo apt install -y jq jika ia tiada. Angka 32 itu tidak dijamin, kerana eval_count hanyalah bilangan token output yang sebenarnya dijana oleh pelayan. Jika model selesai lebih awal, anda mendapat "stop" dan kiraan yang lebih kecil, dan penyelesaiannya ialah prompt yang meminta lebih banyak. Apabila anda mendapat "length" dan 32, nilai permintaan itu sendiri mengatasi 512 yang disimpan dalam qwen3-capped, yang menunjukkan pelayan menghormati pilihan setiap permintaan. Ia tidak memberitahu anda apa yang dihantar oleh aplikasi anda, jadi carian beralih kepada klien. Untuk rekod pelayan sendiri tentang sesuatu permintaan, mulakan semula dengan OLLAMA_DEBUG=1 dalam persekitaran dan pantau journalctl -u ollama -f semasa aplikasi anda berhubung dengannya.

Nilai negatif, dan nombor yang tidak sepatutnya anda salin

num_predict juga menerima nilai negatif, dan nilai tersebut merupakan sentinel dan bukannya kiraan. Satu nilai negatif bermaksud "jangan hadkan ini, teruskan penjanaan". Nilai lain pula bermaksud "isi konteks yang berbaki". Setakat Oktober 2026, rujukan Modelfile Ollama memberikan nilai lalai sebagai -1, iaitu penjanaan tanpa had, dan versi terdahulu bagi jadual yang sama juga menyenaraikan -2 untuk mengisi konteks.

Anggap semua itu bergantung pada versi, kerana ia telah berubah. Rujukan tersebut mendokumentasikan nilai lalai sebagai 128 untuk tempoh yang lama sebelum entri tersebut diperbetulkan kepada -1, jadi banyak panduan masih mengulangi nombor lama tersebut. Tingkah lakunya juga telah berubah. Ollama v0.40.11, iaitu keluaran semasa pada 25 Oktober 2026, menyerahkan model GGUF kepada proses llama-server hulu yang memerlukan bajet terhad, jadi ia menggantikan sebarang nilai negatif, dan sebarang had melebihi sepuluh kali ganda num_ctx, dengan sepuluh kali ganda num_ctx. Oleh itu, "tanpa had" bermaksud 81,920 token untuk model qwen3-capped di atas, dan -2 tidak lagi berkelakuan berbeza daripada -1. Baca rujukan parameter Modelfile untuk versi yang anda jalankan, kemudian sahkan tingkah laku tersebut dengan semakan eval_count di atas. Nilai yang anda sahkan pada mesin anda sendiri adalah lebih tepat daripada nilai yang anda baca di mana-mana, termasuk catatan ini.

Mengapa panjang output menjadi kos utama pada VPS yang hanya menggunakan CPU

Ollama adalah percuma untuk dijalankan pada mesin yang anda kawal, jadi penjanaan tempatan tidak pernah dikenakan bayaran dan jawapan yang panjang hanya memakan masa. Penjanaan mempunyai dua fasa dengan kelajuan yang sangat berbeza. Token prompt dinilai secara berkelompok, banyak dalam satu masa. Token output dihasilkan satu demi satu, dan setiap satunya memerlukan satu laluan ke atas pemberat (weights) yang digunakan. Pada VPS yang hanya menggunakan CPU, laluan tersebut dihadkan oleh lebar jalur memori, jadi satu token yang dijana menelan kos yang jauh lebih tinggi daripada satu token prompt. Kerana laluan tersebut perlu membaca setiap pemberat yang digunakan oleh token (semuanya dalam model padat, atau hanya pakar yang dihalakan dalam model campuran pakar seperti Nemotron 3.5 Lightning, yang mengaktifkan kira-kira 3B daripada 30B parameternya bagi setiap token), bilangan bait yang diduduki oleh setiap pemberat menetapkan had siling pada kadar token anda, itulah sebabnya binaan q4 menyahkod lebih pantas daripada model yang sama pada q8 atau fp16.

Minta respons tanpa penstriman dan angka-angkanya ada di situ:

"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709

Tempoh adalah dalam nanosaat. Dalam blok tersebut, yang merupakan contoh respons yang diterbitkan dalam dokumentasi API Ollama setakat Oktober 2026 dan bukannya ukuran mana-mana pelayan tertentu, 11 token prompt mengambil masa kira-kira 0.013 saat manakala 18 token output mengambil masa kira-kira 0.052 saat. Itu adalah kira-kira 1.2 milisaat bagi setiap token prompt berbanding 2.9 milisaat bagi setiap token output, jadi walaupun dalam balasan satu baris, setiap token yang dijana menelan kos lebih dua kali ganda daripada setiap token yang dibaca, dan pada jawapan yang panjang, bahagian outputlah yang memenuhi jam. Kadar penjanaan anda sendiri ialah eval_count dibahagikan dengan eval_duration yang ditukar kepada saat, dan mengukur token sesaat pada perkakasan anda sendiri berbaloi dilakukan sekali sebelum anda menala perkara lain. Kadar itu bergantung pada model sama seperti mesin, jadi jika jawapan yang panjang adalah kos sebenar, model yang dibina untuk penyahkodan pantas seperti Nemotron 3.5 Lightning pada VPS mendapatkan semula sebahagian masa yang sebaliknya dilindungi oleh had rendah.

Aritmetik melakukan selebihnya. Pada 8 token sesaat, jawapan 2,000 token menahan mesin selama lebih empat minit, dan model tidak tahu anda mahukan satu perenggan sahaja. Model penaakulan menghabiskan sebahagian daripada bajet itu untuk berfikir sebelum ia menulis perkataan yang anda minta, dan pemikiran itu dijana satu token demi satu seperti perkara lain, jadi usaha penaakulan yang anda minta adalah satu lagi tuil pada bil yang sama. Sesetengah model juga bergelung, mengulangi frasa sehingga sesuatu menghentikannya. Tanpa had, permintaan tunggal itu menyibukkan teras sehingga ia mencapai sepuluh kali ganda num_ctx token, kerana anjakan konteks menghalang tetingkap penuh daripada menamatkannya. num_predict ialah tetapan yang mengehadkannya, yang paling penting pada VPS Ollama yang dihoskan sendiri yang kecil di mana satu permintaan panjang menggunakan keseluruhan mesin.

Output yang terpotong biasanya disebabkan oleh had (cap), bukan model yang rosak

Gejala ini kelihatan seperti kegagalan model. Jawapan yang terhenti di tengah ayat. JSON yang tidak boleh diurai kerana kurungan penutup tidak pernah sampai. Refleks biasa adalah menyalahkan model atau kuantisasi. Baca respons tersebut terlebih dahulu.

done_reason menjawab soalan secara terus. stop bermaksud penjanaan tamat sebelum mencapai sebarang had, sama ada kerana model mengeluarkan token akhir-jujukan (end-of-sequence) atau kerana output memadankan salah satu rentetan dalam pilihan stop anda, yang menamatkan balasan di mana sahaja padanan itu berlaku. length bermaksud penjanaan terputus kerana kehabisan ruang. Apabila anda melihat length, bandingkan eval_count dengan had anda: padanan tepat bermaksud num_predict yang menghentikannya, dan nombor yang lebih kecil bermaksud tetingkap konteks telah penuh, yang hanya boleh berlaku apabila anjakan konteks (context shift) dimatikan.

Apabila anda melakukan penstriman, medan tersebut tiba dalam ketulan terakhir, iaitu ketulan yang membawa "done": true. Banyak pustaka klien membuang ketulan tersebut dan hanya memberikan teks kepada kod anda, itulah sebabnya pemotongan yang sama kelihatan tidak dapat dijelaskan di dalam aplikasi tetapi jelas di bawah curl. Jika sesuatu pustaka menyembunyikannya, hantar satu permintaan dengan curl untuk mengetahui perkara sebenar yang dikatakan oleh pelayan.

Satu lagi perkara boleh menjimatkan masa anda daripada terbuang begitu sahaja. Meningkatkan num_predict tidak menjadikan model menulis lebih banyak. Ia hanya membuang siling had. Jika balasan tamat pada 200 token dengan done_reason sebanyak stop, sama ada model memutuskan ia telah selesai atau salah satu rentetan stop anda telah dipadankan, dan had yang lebih besar tidak mengubah apa-apa. Jawapan pendek dengan stop adalah masalah gesaan (prompting) atau rentetan henti (stop-string). Jawapan pendek dengan length adalah masalah had (cap).

Memilih nilai

  • Untuk sembang interaktif, biarkan ia tanpa had dan tekan Ctrl+C untuk menghentikan respons yang tidak terkawal. Anda sedang memantau skrin tersebut.
  • Untuk sebarang skrip, tetapkan hadnya. Penjanaan tanpa had di dalam gelung adalah punca kerja kelompok yang sepatutnya mengambil masa sepuluh minit masih berjalan pada keesokan paginya.
  • Untuk output berstruktur, tetapkan had melebihi dokumen sah terbesar yang anda jangkakan, kemudian anggap done_reason daripada length sebagai ralat kritikal dan cuba semula dan bukannya menghuraikan data yang diterima.
  • Untuk ejen pengekodan, nilai tersebut perlu diletakkan dalam konfigurasi ejen itu sendiri, kerana ejen menghantar pilihannya sendiri pada setiap permintaan. Menghalakan ejen pengekodan ke Ollama merangkumi lokasi tetapan tersebut disimpan.

Had ini mengira token, bukan perkataan dan bukan aksara, jadi jangan buat anggaran. Jana satu jawapan wakilan tanpa had, baca eval_count, dan tetapkan had dengan selesa melebihi nilai tersebut. Keluarga model melakukan tokenisasi secara berbeza, jadi nilai yang sesuai untuk model Llama mungkin memotong jawapan yang sama daripada model Qwen 3 pada VPS yang sama.

FAQ

Apakah perbezaan antara num_ctx dan num_predict dalam Ollama?

num_ctx ialah saiz tetingkap konteks, jadi ia menetapkan jumlah yang boleh dibaca oleh model: prompt ditambah dengan semua yang telah dihasilkan setakat ini. Ia menggunakan memori, kerana cache kunci/nilai (key/value cache) berkembang bersamanya. num_predict menetapkan berapa banyak token yang boleh ditulis oleh model dalam satu respons. Ia menggunakan masa dan bukannya memori, dan tiada apa-apa yang dikhaskan lebih awal. Token yang dijana dikira untuk kedua-duanya, jadi dengan anjakan konteks (context shift) dimatikan, jawapan boleh dipotong oleh mana-mana satu daripadanya.

Mengapa tetapan num_predict saya seolah-olah diabaikan?

Kerana nilai yang dihantar bersama permintaan akan mengatasi nilai yang disimpan dalam model. Letakkan PARAMETER num_predict 512 dalam Modelfile, kemudian jalankan model tersebut daripada front-end sembang atau ejen pengekodan, dan klien akan menghantar objek options miliknya sendiri yang nilainya akan diguna pakai. ollama show --parameters masih memaparkan nilai anda, kerana ia membaca model yang disimpan dan tidak dapat melihat apa yang tiba melalui HTTP. Hantar satu permintaan dengan curl menggunakan "options": {"num_predict": 32} dan prompt yang memerlukan jawapan panjang, kemudian baca done_reason dan eval_count. length dengan eval_count sebanyak 32 menunjukkan nilai permintaan telah mengatasi nilai yang disimpan, yang mengesahkan pelayan itu sendiri berfungsi dengan betul dan mengalihkan pencarian ke aplikasi anda. stop dengan kiraan yang lebih kecil hanya bermakna model selesai lebih awal, jadi cuba semula dengan prompt yang meminta lebih banyak kandungan.

Bagaimanakah saya boleh mengetahui sama ada output saya dipotong oleh num_predict?

Hantar permintaan dengan "stream": false dan baca done_reason. Nilai stop bermakna model selesai dengan sendirinya atau salah satu rentetan stop anda menamatkannya. Nilai length bermakna ia kehabisan ruang. Kemudian bandingkan eval_count dengan had anda: jika ia sepadan dengan tepat, num_predict menghentikannya, dan jika eval_count lebih kecil, tetingkap konteks penuh terlebih dahulu. Apabila melakukan penstriman, kedua-dua medan tiba dalam ketulan (chunk) terakhir dengan "done": true, yang sering dibuang oleh banyak pustaka klien sebelum kod anda melihatnya.

Apakah nilai lalai bagi num_predict?

Baca ia daripada pemasangan anda sendiri dan bukannya daripada artikel. Setakat Oktober 2026, rujukan Modelfile Ollama memberikan nilai lalai sebagai -1, bermakna penjanaan tidak dihadkan, dan entri itu diperbetulkan selepas tempoh yang lama mendokumentasikan 128. Dalam Ollama v0.40.11, nilai lalai terbuka itu, seperti mana-mana nilai negatif, sebenarnya berhenti pada sepuluh kali ganda num_ctx. Nilai negatif adalah penanda (sentinel) dan bukannya kiraan, dan versi jadual yang sama yang lebih lama juga menyenaraikan -2 untuk mengisi baki konteks. Semak rujukan parameter Modelfile untuk versi anda, kemudian sahkan dengan ollama show --parameters dan satu permintaan curl.

Adakah meningkatkan num_predict membuatkan model menulis jawapan yang lebih panjang?

Tidak. Ia hanya membuang had siling. Jika jawapan berakhir dengan done_reason daripada stop, model memutuskan bahawa ia telah selesai atau salah satu rentetan stop anda sepadan, dan had yang lebih besar tidak mengubah apa-apa. Panjang jawapan dalam kes itu adalah soalan berkaitan prompt: minta struktur tertentu, kiraan bahagian, atau tahap perincian yang dinyatakan. Tingkatkan num_predict hanya apabila done_reason kembali sebagai length.

Adakah artikel ini berguna?