SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor

Cara Kekalkan Model Ollama Dalam Memori Selamanya

Ollama memunggah model selepas 5 minit melahu yang menyebabkan kelewatan respons. Tetapkan pemboleh ubah OLLAMA_KEEP_ALIVE dalam fail systemd untuk memastikan model kekal.

Mengapa Ollama memunggah model selepas beberapa minit?

Ollama mengekalkan model dalam memori selama lima minit selepas permintaan terakhir, kemudian membebaskannya. Permintaan seterusnya perlu memuatkan semula pemberat ke dalam RAM atau VRAM, menyebabkan proses terhenti seketika sebelum token pertama tiba. Inilah sebabnya antara muka sembang atau ejen pengekodan terasa pantas, menjadi senyap seketika, kemudian terasa perlahan semula pada mesej berikutnya. Tiada apa-apa yang rosak. Pemasa melahu telah tamat tempoh.

Pemasa ini dipanggil keep_alive. Ia ditetapkan bagi setiap model, dan ia bermula semula setiap kali sesuatu permintaan selesai. Model yang sedang menjawab permintaan tidak akan dipunggah, kerana pelayan hanya menamatkan tempoh model yang tidak mempunyai permintaan aktif. Setakat Oktober 2026, nilai lalai ialah lima minit, dan ia terpakai kepada setiap model yang dimuatkan oleh pelayan ini.

Terdapat dua tempat untuk menetapkan tempoh masa melahu: medan keep_alive pada permintaan individu, atau OLLAMA_KEEP_ALIVE sebagai nilai lalai pelayan. Fail drop-in systemd ialah cara untuk memastikan nilai lalai pelayan kekal selepas but semula. Panduan ini mengandaikan Ollama sudah berjalan sebagai servis. Jika belum, mulakan dengan memasang Ollama pada VPS dan kembali semula ke sini.

Model manakah yang sedang dimuatkan, dan bilakah ia akan tamat tempoh?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Output kosong bermakna tiada apa-apa yang dimuatkan, jadi permintaan seterusnya perlu memuatkan model tersebut terlebih dahulu. PROCESSOR memberitahu anda ke mana berat (weights) tersebut pergi. 100% GPU dan 100% CPU adalah kes yang jelas. Pembahagian seperti 25%/75% CPU/GPU bermakna hanya sebahagian daripada model berada dalam VRAM, jadi bakinya berjalan pada pemproses dan penjanaan menjadi lebih perlahan. Biasanya ini berlaku kerana model tidak muat, tetapi tetapan num_gpu yang mengehadkan bilangan lapisan (layers) ke GPU menghasilkan jenis pembahagian yang sama.

UNTIL ialah kiraan detik, dan ia mencetak masa relatif seperti 4 minutes from now. Ia mencetak Forever apabila model dimuatkan dengan keep_alive negatif. Ia mencetak Stopping... selepas tamat tempoh, termasuk semasa permintaan aktif melambatkan proses penyahmuatan (unloading).

Set lajur telah berubah antara keluaran, jadi baca pengepala (header) dan bukannya mengira medan dalam skrip. Ollama v0.40.5, disemak pada 2026-10-30, juga mencetak lajur RUNNER antara CONTEXT dan UNTIL, yang menamakan pelari (runner) yang melayani model tersebut, jadi pengepala anda mungkin satu lajur lebih lebar daripada contoh di atas. Untuk sebarang automasi, tanya API:

curl -s http://localhost:11434/api/ps

Setiap entri membawa expires_at, cap masa mutlak seperti 2026-08-09T14:38:31.83753Z, dan size_vram, iaitu bahagian model tersebut yang berada dalam memori GPU. size_vram bernilai 0 bermakna model sedang berjalan pada CPU.

Kos sebenar muat semula

Jangan membuat andaian. Ollama melaporkan masa muat dalam setiap respons, sebagai load_duration, dalam nanosaat.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Tunggu sehingga ollama ps tidak lagi menyenaraikan model selepas ollama stop sebelum menjalankan dua panggilan API tersebut. Panggilan pertama memuatkan model, jadi load_duration miliknya adalah besar. Bahagikan dengan 1000000000 untuk membacanya dalam saat. Panggilan kedua berjalan semasa model berada dalam ingatan dan melaporkan angka yang jauh lebih kecil. Jurang antara kedua-dua angka tersebut adalah kos yang dibayar oleh setiap pengguna sebaik sahaja pemasa tamat, dan itulah sebab utama untuk menukar keep_alive. Selepas penyahmuatan, cache halaman kernel sering kali masih menyimpan fail model, jadi pada mesin dengan RAM yang mencukupi, muat semula boleh menjadi lebih pantas daripada muat pertama selepas but. Apabila cache tersebut telah dituntut semula, pemberat (weights) akan diambil daripada cakera, jadi jika anda telah memindahkan direktori model ke volum kedua, kelajuan volum tersebut akan menentukan had minimum bagi setiap muat sejuk (cold load). Untuk kelajuan penjanaan di kedua-dua belah jeda tersebut, lihat cara mengukur token sesaat pada mesin anda sendiri.

Pastikan model Ollama kekal dimuatkan dalam memori pada satu permintaan

Hantarkan keep_alive bersama permintaan tersebut. Ia akan terpakai pada model itu sebaik sahaja permintaan selesai diproses.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Empat bentuk nilai diterima:

  • rentetan tempoh: "30m", "24h", "90s"
  • nombor biasa, dibaca sebagai saat: 3600
  • nilai negatif, -1 atau "-1m", bermaksud tiada tamat masa melahu (idle timeout)
  • 0, bermaksud nyahmuat (unload) sebaik sahaja model tidak mempunyai permintaan aktif

Nilai pada permintaan akan mengatasi tetapan lalai pelayan, dalam kedua-dua arah. Ini lebih penting daripada yang disangka: klien yang menghantar keep_alive sendiri akan mengatasi sebarang konfigurasi yang anda tetapkan pada pelayan.

Anda juga boleh memuatkan model tanpa menjana apa-apa. Hantarkan nama model sahaja. Pelayan akan memuatkannya dan mengembalikan respons kosong dengan "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Itu adalah arahan untuk dijalankan selepas but semula (reboot), atau selepas menarik (pull) model baharu, supaya permintaan pengguna sebenar yang pertama tidak perlu menunggu proses pemuatan. CLI melakukan tugas yang sama dengan flag:

ollama run --keepalive 30m qwen3:8b "hello"

Pastikan ia dimuatkan secara lalai dengan OLLAMA_KEEP_ALIVE

Pelayan membaca OLLAMA_KEEP_ALIVE semasa permulaan dan menggunakannya untuk setiap model yang tidak mempunyai nilai tersendiri. Ia menerima format yang sama seperti medan permintaan, jadi 30m, 3600 dan -1 semuanya berfungsi.

Masalahnya ialah persekitaran mana yang perlu memuatkan nilai tersebut. Menjalankan export OLLAMA_KEEP_ALIVE=30m dalam sesi SSH anda tidak akan memberikan kesan, kerana pemasangan pakej menjalankan pelayan sebagai perkhidmatan systemd di bawah penggunanya sendiri dengan persekitaran yang tersendiri. Shell log masuk anda dan perkhidmatan tersebut tidak berhubung antara satu sama lain. Ini adalah sebab paling biasa mengapa tetapan tersebut kelihatan tidak diendahkan.

Jadikan tetapan kekal selepas mula semula dengan drop-in systemd

sudo systemctl edit ollama.service

Editor dibuka dengan dua penanda komen. Taip di antara kedua-duanya: systemd membuang apa-apa yang ditulis selepas penanda kedua.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Penyimpanan menulis /etc/systemd/system/ollama.service.d/override.conf. Ini ialah drop-in, bukannya suntingan pada unit yang dibekalkan. Oleh itu, naik taraf pakej Ollama yang menggantikan ollama.service tidak akan mengubah tetapan anda. Jika drop-in dan fail unit masih baharu bagi anda, panduan servis dan pemasa systemd menerangkan mekanismenya.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Perintah terakhir memaparkan persekitaran yang benar-benar akan digunakan oleh servis. Jika OLLAMA_KEEP_ALIVE=30m tiada dalam baris itu, drop-in tidak digunakan. Puncanya hampir selalu ialah pengepala [Service] yang tiada atau baris yang ditaip selepas penanda. Proses mula semula itu sendiri membuang semua model yang dimuatkan, jadi permintaan seterusnya memuatkan model dari awal. Panaskan model dengan panggilan pramuat di atas. Drop-in mengekalkan tetapan selepas but semula, bukan model. Servis bermula ollama serve tanpa sebarang model dimuatkan, jadi jalankan panggilan pramuat yang sama selepas setiap but.

Kos mengekalkan model dalam memori

Lajur SIZE dalam ollama ps ialah memori yang ditahan sepanjang tempoh melahu, bukan sekadar semasa permintaan diproses. Model 8B pada kuantisasi 4-bit menggunakan sekitar 5 hingga 6 GB. Model 27B pula adalah cerita yang berbeza, dan pengiraan memori untuk menjalankannya pada VPS berasaskan CPU sahaja perlu diteliti sebelum anda membuat keputusan untuk mengekalkannya dalam memori. Tetapkan keep_alive kepada -1 dan anda melumpuhkan tamat tempoh melahu; permintaan seterusnya untuk model yang sama boleh menggantikan tempoh tamatnya atau memaksa muat semula apabila pilihan pelari (runner) berubah. Pada VPS kecil, ini merupakan pertukaran langsung dengan pangkalan data, aplikasi web dan tugasan binaan (build jobs) anda.

Pantau angka sebenar daripada mempercayai anggaran. Jalankan arahan ini semasa model dimuatkan, kemudian jalankan sekali lagi selepas ollama stop:

free -h

Lajur available ialah memori yang masih boleh diberikan oleh kernel kepada proses baharu. Pada kotak GPU NVIDIA, nvidia-smi menunjukkan situasi yang sama dalam VRAM. Jika kotak tersebut kehabisan memori, kernel akan menamatkan proses untuk mendapatkan semula ruang:

sudo dmesg -T | grep -i "out of memory"

Baris yang menamakan ollama bermaksud pelayan model menjadi mangsa. Baris yang menamakan pangkalan data anda bermaksud model tersebut menang dan sesuatu yang penting bagi anda telah terkorban. Kedua-dua hasil ini berpunca daripada keputusan yang sama: tempoh keep-alive yang panjang pada kotak yang tidak mempunyai ruang lebihan.

Dua kos di sini sering terlepas pandang. Panjang konteks yang lebih besar menempah KV cache (key value cache, iaitu status perhatian per token yang disimpan oleh model semasa menjana teks) yang lebih besar, dan cache tersebut adalah sebahagian daripada saiz residen. Saiznya bergantung pada num_ctx, jadi meningkatkan tetingkap konteks akan meningkatkan memori yang ditahan oleh model residen sepanjang tempoh melahu, bukan hanya semasa ia menjawab. OLLAMA_NUM_PARALLEL melebihi 1 akan menempah cache tersebut sekali bagi setiap slot selari apabila model menyokong keselarasan (parallelism) tersebut. Ollama menetapkan keselarasan kepada 1 untuk model embedding dan beberapa seni bina, termasuk mllama dan qwen3next. Jika anda bercadang untuk melayani beberapa pengguna daripada satu model, tentukan saiz memori berdasarkan slot, bukan sekadar berat model (weights).

Nilai lalai yang munasabah: satu model pada kotak yang mempunyai ruang lebihan boleh menggunakan -1. Kotak yang dikongsi harus menggunakan tetingkap yang meliputi jurang antara permintaan anda, seperti 30m, supaya memori tersebut dikembalikan apabila anda berhenti bekerja.

Nyahmuat model dengan segera

ollama stop qwen3:8b

Perintah ini tidak mengeluarkan sebarang output selepas permintaan tamat tempoh dihantar; proses nyahmuat akan menunggu permintaan aktif selesai, jadi perintah mungkin kembali sebelum memori dibebaskan. Ia juga tidak mengeluarkan output bagi model yang telah anda tarik tetapi tidak dimuatkan pada masa ini. Perintah ini tidak menyemak apa yang berada dalam memori: ia hanya menghantar permintaan nyahmuat, dan pelayan akan membalas dengan kejayaan sama ada sesuatu itu berada dalam memori atau tidak. Ralat couldn't find model "qwen3:8b" to stop hanya muncul apabila tiada model dengan nama tersebut dipasang pada pelayan ini, yang biasanya bermaksud terdapat kesilapan ejaan pada nama atau tag. Oleh itu, ollama stop yang senyap bukanlah bukti bahawa sesuatu telah dibebaskan. ollama ps adalah buktinya. Bentuk API ialah permintaan tanpa prompt dan keep_alive ditetapkan kepada 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Balasan tersebut membawa "done_reason": "unload". Gunakan cara ini daripada memulakan semula servis. systemctl restart ollama juga membebaskan memori, tetapi ia akan menggugurkan setiap model lain yang dimuatkan dan menamatkan sebarang permintaan yang sedang berjalan.

Menjalankan lebih daripada satu model pada satu pelayan

OLLAMA_MAX_LOADED_MODELS mengehadkan bilangan model yang kekal dimuatkan pada satu-satu masa, dan setakat Oktober 2026, had lalai adalah tiga bagi setiap GPU, atau tiga pada mesin yang hanya menggunakan CPU. Had ini mengira bilangan model, namun memori adalah had sebenar; oleh itu, model besar kedua mungkin ditolak ruangnya jauh sebelum anda mencapai had tiga model.

Apabila model baharu diminta dan memori tidak mencukupi, atau had telah dicapai, penjadual akan memunggah (unload) salah satu model yang sedang dimuatkan untuk memberi ruang. Ia mengutamakan model yang tiada permintaan aktif, dan ia akan menyingkirkan model yang pemasa (timer) miliknya belum tamat, termasuk model yang dimuatkan dengan -1, walaupun ia cuba memilih model dengan tetingkap masa yang lebih singkat terlebih dahulu. Oleh itu, nilai keep_alive yang negatif bermaksud tiada tamat masa melahu (idle timeout). Ia tidak mengunci (pin) pemberat (weights) terhadap permintaan model lain.

Keputusan tersebut dipaparkan dalam log servis, dan kes had (cap case) hanya direkodkan pada tahap debug. Tambahkan baris Environment="OLLAMA_DEBUG=1" kedua pada fail drop-in yang sama, mulakan semula servis, dan perhatikan:

sudo journalctl -u ollama -f

Baca sebab yang diberikan bersebelahan dengan permintaan yang mencetuskan proses pemunggahan tersebut. max runners achieved, unloading one to make room bermaksud had OLLAMA_MAX_LOADED_MODELS telah dicapai, yang boleh berlaku walaupun kedua-dua model sepatutnya muat; jadi, tingkatkan had tersebut jika free -h menunjukkan ruang memori yang masih ada. Baris yang menyatakan model baharu diramalkan akan melebihi memori tersedia, diikuti dengan penyingkiran, bermaksud pemeriksaan kesesuaian penjadual menolak untuk memuatkan model-model tersebut bersama-sama berdasarkan ruang memori yang ada. Penyelesaiannya adalah dengan mengurangkan bilangan model pada mesin ini, atau menetapkan tetingkap masa yang panjang bagi model yang perlu menjawab dengan pantas, dan 0 bagi model yang jarang anda panggil.

Panduan yang kekal melangkaui keluaran seterusnya

Ollama kerap mengeluarkan versi baharu dan tetapan lalai sering berubah, jadi periksa binaan yang anda gunakan dan jangan sekadar menghafal nombor:

ollama --version
ollama serve --help

ollama serve --help menyenaraikan pemboleh ubah persekitaran yang dibaca oleh binaan tersebut, termasuk OLLAMA_KEEP_ALIVE. Terdapat dua peraturan yang kekal konsisten merentas keluaran dan boleh dijadikan asas. Nilai pada permintaan mengatasi nilai lalai pelayan. Selain itu, ollama ps merupakan sumber kebenaran tentang perkara yang dimuatkan, tidak kira apa yang dinyatakan oleh fail konfigurasi.

Jika editor atau ejen mengendalikan pelayan anda, periksa perkara yang dihantar oleh klien tersebut sebelum menyalahkan pelayan. Menghalakan ejen pengekodan ke pelayan Ollama anda sendiri merangkumi lokasi tetapan permintaan tersebut disimpan.

FAQ

Mengapa Ollama memunggah model saya selepas 5 minit?

Lima minit ialah keep_alive lalai, iaitu pemasa melahu yang dimulakan oleh Ollama apabila sesuatu permintaan selesai. Apabila tempoh ini tamat, pelayan akan membebaskan pemberat (weights), jadi permintaan seterusnya perlu memuatkannya semula, dan proses muat semula itulah yang menyebabkan jeda yang anda rasai. Tingkatkan tempoh ini untuk satu permintaan dengan menghantar "keep_alive": "30m" dalam badan JSON, atau untuk keseluruhan pelayan dengan pemboleh ubah persekitaran OLLAMA_KEEP_ALIVE.

Bagaimanakah cara untuk memastikan model Ollama kekal dimuatkan dalam memori secara kekal?

Gunakan nilai negatif: "keep_alive": -1 pada permintaan, atau OLLAMA_KEEP_ALIVE=-1 untuk pelayan. ollama ps kemudian akan memaparkan Forever dalam lajur UNTIL. Ini membuang pemasa melahu dan tiada kesan lain. Jika model lain diminta dan memori tidak mencukupi, penjadual masih akan memunggah model ini untuk memberi ruang. Permintaan kemudian untuk model yang sama juga boleh menggantikan tempoh tamatnya atau mencetuskan muat semula apabila pilihan pelari (runner options) berubah. Mulakan semula atau but semula juga akan mengosongkannya, jadi muatkan semula model tersebut selepas itu.

Mengapa OLLAMA_KEEP_ALIVE diabaikan?

Semak di mana anda menetapkannya. Jalankan systemctl show ollama --property=Environment, dan jika pemboleh ubah tersebut tiada dalam output itu, pelayan tidak pernah melihatnya, kerana pemboleh ubah yang dieksport dalam shell anda tidak sampai ke servis systemd. Tetapkannya dengan sudo systemctl edit ollama.service, kemudian jalankan sudo systemctl daemon-reload dan sudo systemctl restart ollama. Punca lain ialah klien yang menghantar keep_alive sendiri pada permintaan, yang mengatasi nilai lalai pelayan.

Bagaimanakah cara untuk membebaskan memori tanpa memulakan semula Ollama?

ollama stop qwen3:8b meminta penamatan model tersebut dan membiarkan pelayan serta setiap model lain yang dimuatkan terus berjalan. Permintaan aktif mesti selesai sebelum ia dipunggah. Melalui API, hantar permintaan tanpa prompt dan "keep_alive": 0, dan balasan akan kembali dengan "done_reason": "unload". Sahkan dengan ollama ps, yang sepatutnya tidak lagi menyenaraikan model tersebut sebaik sahaja proses pemunggahan selesai.

Adakah artikel ini berguna?