SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor

Cara Menjaga Model Ollama Tetap di Memori

Ollama otomatis membongkar model setelah 5 menit tidak aktif. Gunakan variabel lingkungan OLLAMA_KEEP_ALIVE pada konfigurasi systemd agar model tetap siap di RAM atau VRAM.

Mengapa Ollama membongkar model setelah beberapa menit?

Ollama menyimpan model yang dimuat di dalam memori selama lima menit setelah permintaan terakhir, kemudian membebaskannya. Permintaan berikutnya harus memuat ulang bobot ke dalam RAM atau VRAM, sehingga terjadi jeda sebelum token pertama muncul. Itulah sebabnya antarmuka obrolan atau agen pengodean terasa cepat, diam sejenak, lalu terasa lambat lagi pada pesan berikutnya. Tidak ada yang rusak. Pengatur waktu idle telah berakhir.

Pengatur waktu ini disebut keep_alive. Pengatur waktu ini bersifat per model, dan akan dimulai ulang setiap kali sebuah permintaan selesai. Model yang sedang menjawab permintaan tidak akan pernah dibongkar, karena server hanya menghentikan model yang tidak memiliki permintaan aktif. Per Oktober 2026, nilai defaultnya adalah lima menit, dan ini berlaku untuk setiap model yang dimuat oleh server ini.

Terdapat dua tempat untuk mengatur batas waktu idle: kolom keep_alive pada permintaan individual, atau OLLAMA_KEEP_ALIVE sebagai nilai default server. Drop-in systemd adalah cara agar nilai default server tetap bertahan setelah restart. Panduan ini mengasumsikan Ollama sudah berjalan sebagai service. Jika belum, mulailah dengan menginstal Ollama di VPS lalu kembali ke sini.

Model apa saja yang sedang dimuat saat ini, dan kapan masa berlakunya habis?

ollama ps
NAME        ID              SIZE      PROCESSOR    CONTEXT    UNTIL
qwen3:8b    500a1f067a9f    6.6 GB    100% GPU     4096       4 minutes from now

Output kosong berarti tidak ada model yang dimuat, sehingga permintaan berikutnya harus memuat model tersebut terlebih dahulu. PROCESSOR memberi tahu Anda ke mana bobot model tersebut ditempatkan. 100% GPU dan 100% CPU adalah kasus yang jelas. Pemisahan seperti 25%/75% CPU/GPU berarti hanya sebagian model yang berada di VRAM, sehingga sisanya berjalan pada prosesor dan proses pembuatan menjadi lebih lambat. Biasanya hal ini terjadi karena model tidak muat, tetapi pengaturan num_gpu yang membatasi jumlah layer yang masuk ke GPU juga menghasilkan jenis pemisahan yang sama.

UNTIL adalah hitung mundur, dan ia mencetak waktu relatif seperti 4 minutes from now. Ia mencetak Forever ketika model dimuat dengan keep_alive negatif. Ia mencetak Stopping... setelah masa berlaku habis, termasuk saat permintaan aktif menunda pembongkaran (unloading) model.

Kumpulan kolom telah berubah antar rilis, jadi bacalah header alih-alih menghitung field dalam skrip. Ollama v0.40.5, yang diperiksa pada 2026-10-30, juga mencetak kolom RUNNER di antara CONTEXT dan UNTIL, yang menamai runner yang melayani model tersebut, sehingga header Anda mungkin satu kolom lebih lebar daripada contoh di atas. Untuk segala sesuatu yang otomatis, tanyakan pada API:

curl -s http://localhost:11434/api/ps

Setiap entri membawa expires_at, sebuah stempel waktu absolut seperti 2026-08-09T14:38:31.83753Z, dan size_vram, bagian dari model tersebut yang berada di memori GPU. size_vram sebesar 0 berarti model sedang berjalan di CPU.

Berapa biaya sebenarnya dari proses reload

Jangan menebak-nebak. Ollama melaporkan waktu pemuatan dalam setiap respons, sebagai load_duration, dalam satuan nanodetik.

sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'

Tunggu hingga ollama ps tidak lagi menampilkan model setelah ollama stop sebelum menjalankan kedua panggilan API tersebut. Panggilan pertama memuat model, sehingga nilai load_duration-nya besar. Bagi dengan 1000000000 untuk membacanya dalam satuan detik. Panggilan kedua berjalan saat model sudah berada di memori dan melaporkan angka yang jauh lebih kecil. Selisih antara kedua angka tersebut adalah biaya yang dibayar setiap pengguna setelah timer berakhir, dan itulah alasan utama untuk mengubah keep_alive. Setelah proses unload, page cache kernel sering kali masih menyimpan file model, jadi pada server dengan RAM cadangan, proses reload bisa lebih cepat daripada pemuatan pertama setelah boot. Ketika cache tersebut telah dibersihkan, bobot model akan diambil dari disk, sehingga jika Anda telah memindahkan direktori model ke volume kedua, kecepatan volume tersebut menjadi batas bawah untuk setiap cold load. Untuk kecepatan generasi di luar jeda tersebut, lihat cara mengukur token per detik di server Anda sendiri.

Menjaga model Ollama tetap dimuat di memori pada satu permintaan

Kirim keep_alive bersama permintaan tersebut. Pengaturan ini berlaku untuk model tersebut sejak saat permintaan selesai diproses.

curl -s http://localhost:11434/api/chat -d '{
  "model": "qwen3:8b",
  "messages": [{"role": "user", "content": "hello"}],
  "keep_alive": "30m"
}'

Empat bentuk nilai dapat diterima:

  • string durasi: "30m", "24h", "90s"
  • angka biasa, dibaca sebagai detik: 3600
  • nilai negatif, -1 atau "-1m", yang berarti tidak ada batas waktu tunggu (idle timeout) sama sekali
  • 0, yang berarti bongkar (unload) model setelah tidak ada permintaan aktif

Nilai pada permintaan akan menimpa nilai default server, dalam kedua arah. Hal ini lebih penting daripada kedengarannya: klien yang mengirim keep_alive miliknya sendiri akan mengalahkan konfigurasi apa pun yang Anda tetapkan di server.

Anda juga dapat memuat model tanpa menghasilkan output apa pun. Kirimkan hanya nama modelnya. Server akan memuat model tersebut dan mengembalikan respons kosong dengan "done": true.

curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'

Itu adalah perintah yang dijalankan setelah reboot, atau setelah menarik (pull) model baru, sehingga permintaan pengguna pertama yang sebenarnya tidak perlu menunggu proses pemuatan. CLI melakukan tugas yang sama dengan flag:

ollama run --keepalive 30m qwen3:8b "hello"

Pertahankan model tetap dimuat secara default dengan OLLAMA_KEEP_ALIVE

Server membaca OLLAMA_KEEP_ALIVE saat startup dan menggunakannya untuk setiap model yang tidak memiliki nilai sendiri. Formatnya sama seperti field pada request, sehingga 30m, 3600, dan -1 semuanya dapat digunakan.

Masalahnya adalah menentukan environment tempat variabel tersebut harus tersedia. Menjalankan export OLLAMA_KEEP_ALIVE=30m dalam sesi SSH Anda tidak berpengaruh karena instalasi paket menjalankan server sebagai service systemd dengan user dan environment-nya sendiri. Shell login Anda tidak terhubung dengan service tersebut. Ini adalah penyebab paling umum pengaturan tampak diabaikan.

Buat konfigurasi tetap aktif setelah restart dengan drop-in systemd

sudo systemctl edit ollama.service

Editor dibuka dengan dua penanda komentar. Ketik di antara keduanya: systemd mengabaikan apa pun yang Anda tulis di bawah penanda kedua.

[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"

Penyimpanan menulis /etc/systemd/system/ollama.service.d/override.conf. Ini adalah drop-in, bukan pengeditan unit yang disediakan paket, sehingga pembaruan paket Ollama yang mengganti ollama.service tidak mengubah pengaturan Anda. Jika drop-in dan unit file masih baru bagi Anda, panduan service dan timer systemd menjelaskan mekanismenya.

sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Perintah terakhir menampilkan environment yang benar-benar akan digunakan service. Jika OLLAMA_KEEP_ALIVE=30m tidak ada pada baris tersebut, drop-in belum diterapkan. Penyebabnya hampir selalu header [Service] yang hilang atau baris yang ditulis di bawah penanda. Restart akan menghapus semua model yang telah dimuat, sehingga request berikutnya harus memuat model dari awal. Lakukan preload dengan pemanggilan yang ditunjukkan di atas. Drop-in mempertahankan pengaturan setelah reboot, bukan modelnya: service dijalankan ollama serve tanpa model yang dimuat, jadi jalankan pemanggilan preload yang sama setelah setiap boot.

Biaya mempertahankan model tetap residen

Kolom SIZE di ollama ps adalah memori yang ditahan selama seluruh jendela idle, bukan hanya saat ada permintaan. Model 8B dengan kuantisasi 4-bit memakan sekitar 5 hingga 6 GB. Model 27B adalah hal yang berbeda, dan perhitungan memori untuk menjalankannya pada VPS berbasis CPU layak dipelajari sebelum Anda memutuskan untuk menjaganya tetap residen. Atur keep_alive ke -1 untuk menonaktifkan kedaluwarsa idle; permintaan berikutnya untuk model yang sama dapat menggantikan timeout-nya atau memaksa pemuatan ulang saat opsi runner berubah. Pada VPS kecil, ini adalah pertukaran langsung terhadap database, aplikasi web, dan pekerjaan build Anda.

Pantau angka sebenarnya alih-alih memercayai estimasi. Jalankan perintah ini saat model dimuat, lalu jalankan lagi setelah ollama stop:

free -h

Kolom available adalah memori yang masih dapat diberikan kernel kepada proses baru. Pada server dengan GPU NVIDIA, nvidia-smi menunjukkan hal yang sama pada VRAM. Jika server kehabisan memori, kernel akan mematikan proses untuk memulihkan:

sudo dmesg -T | grep -i "out of memory"

Baris yang menyebutkan ollama berarti server model adalah korbannya. Baris yang menyebutkan database Anda berarti model menang dan sesuatu yang penting bagi Anda kalah. Kedua hasil tersebut berasal dari keputusan yang sama: jendela keep-alive yang panjang pada server tanpa ruang cadangan.

Dua biaya di sini sering terlewatkan. Panjang konteks yang lebih besar mencadangkan KV cache (key value cache, yaitu status atensi per token yang disimpan model saat melakukan generate) yang lebih besar, dan cache tersebut adalah bagian dari ukuran residen. Seberapa besar ukurannya bergantung pada num_ctx, jadi meningkatkan jendela konteks meningkatkan memori yang ditahan model residen selama seluruh periode idle, bukan hanya saat sedang menjawab. OLLAMA_NUM_PARALLEL di atas 1 mencadangkan cache tersebut sekali per slot paralel jika model mendukung paralelisme tersebut. Ollama memaksa paralelisme ke 1 untuk model embedding dan beberapa arsitektur, termasuk mllama dan qwen3next. Jika Anda berencana untuk melayani beberapa orang dari satu model, tentukan ukuran memori berdasarkan slot, bukan hanya berdasarkan bobotnya saja.

Default yang wajar: satu model pada server dengan ruang cadangan dapat menggunakan -1. Server bersama sebaiknya menggunakan jendela yang mencakup jeda antar permintaan Anda, seperti 30m, sehingga memori dapat kembali tersedia saat Anda berhenti bekerja.

Membongkar model secara langsung

ollama stop qwen3:8b

Perintah ini kembali tanpa output setelah meminta kedaluwarsa; proses pembongkaran menunggu permintaan aktif selesai, sehingga perintah dapat kembali sebelum memori dibebaskan. Perintah ini juga kembali tanpa output untuk model yang sudah Anda tarik namun tidak sedang dimuat saat ini. Perintah ini tidak pernah memeriksa apa yang berada di memori: perintah mengirim permintaan bongkar, dan server menjawab dengan sukses terlepas dari apakah ada sesuatu di dalam memori atau tidak. Error couldn't find model "qwen3:8b" to stop hanya muncul jika tidak ada model dengan nama tersebut yang terinstal di server ini, yang biasanya berarti ada kesalahan pengetikan pada nama atau tag. Jadi, ollama stop yang senyap bukanlah bukti bahwa ada sesuatu yang telah dibebaskan. ollama ps adalah buktinya. Bentuk API-nya adalah permintaan tanpa prompt dan keep_alive disetel ke 0:

curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'

Balasannya membawa "done_reason": "unload". Gunakan cara ini alih-alih memulai ulang layanan. systemctl restart ollama juga membebaskan memori, tetapi cara ini akan membuang semua model lain yang dimuat dan menghentikan setiap permintaan yang sedang berjalan.

Menjalankan lebih dari satu model pada satu server

OLLAMA_MAX_LOADED_MODELS membatasi berapa banyak model yang tetap dimuat sekaligus, dan per Oktober 2026 standar bawaannya adalah tiga per GPU, atau tiga pada mesin yang hanya menggunakan CPU. Batasan ini menghitung jumlah model, sementara memori adalah batasan yang sebenarnya, sehingga model besar kedua bisa saja ditolak karena kehabisan ruang jauh sebelum Anda mencapai angka tiga.

Ketika model baru diminta dan tidak tersedia cukup memori, atau batasan telah tercapai, penjadwal akan membongkar (unload) salah satu model yang sedang dimuat untuk memberi ruang. Penjadwal memprioritaskan model tanpa permintaan aktif, dan akan mengeluarkan model yang pengatur waktu (timer)-nya belum kedaluwarsa, termasuk model yang dimuat dengan -1, meskipun penjadwal akan mencoba model dengan jendela waktu lebih singkat terlebih dahulu. Jadi, nilai keep_alive negatif berarti tidak ada batas waktu tunggu (idle timeout). Hal ini tidak mengunci bobot (pin) terhadap permintaan model lain.

Keputusan tersebut muncul di log layanan, dan kasus batasan hanya dicatat pada level debug. Tambahkan baris Environment="OLLAMA_DEBUG=1" kedua ke drop-in yang sama, restart, lalu pantau:

sudo journalctl -u ollama -f

Baca alasan yang diberikan di samping permintaan yang memicu pembongkaran tersebut. max runners achieved, unloading one to make room berarti batasan OLLAMA_MAX_LOADED_MODELS telah tercapai, yang bisa terjadi bahkan ketika kedua model sebenarnya muat, jadi naikkan batasannya jika free -h menunjukkan adanya ruang cadangan (headroom). Baris yang menyatakan bahwa model baru diprediksi akan melebihi memori yang tersedia, diikuti oleh pengeluaran model, berarti pemeriksaan kecocokan penjadwal menolak memuat keduanya bersamaan dengan ruang cadangan memorinya. Solusinya adalah mengurangi jumlah model pada mesin ini, atau menggunakan jendela waktu yang panjang untuk model yang harus merespons dengan cepat dan 0 untuk model yang jarang Anda panggil.

Panduan yang tetap berlaku setelah rilis berikutnya

Ollama sering merilis versi baru dan nilai default-nya dapat berubah. Karena itu, periksa build yang sedang Anda gunakan, bukan menghafalkan angka:

ollama --version
ollama serve --help

ollama serve --help mencantumkan variabel lingkungan yang benar-benar dibaca oleh build tersebut, termasuk OLLAMA_KEEP_ALIVE. Dua aturan berlaku di berbagai rilis dan dapat dijadikan dasar yang aman. Nilai pada request mengalahkan default server. Dan ollama ps menunjukkan kondisi sebenarnya tentang apa yang dimuat, terlepas dari isi file konfigurasi.

Jika editor atau agent mengendalikan server Anda, periksa data yang dikirim client tersebut sebelum menyalahkan server. Mengarahkan coding agent ke server Ollama Anda sendiri menjelaskan lokasi pengaturan request tersebut.

FAQ

Mengapa Ollama membongkar model saya setelah 5 menit?

Lima menit adalah nilai default keep_alive, yaitu pengatur waktu idle yang dimulai Ollama setelah sebuah permintaan selesai. Saat waktu tersebut habis, server akan membebaskan bobot model, sehingga permintaan berikutnya harus memuat ulang model tersebut, dan proses pemuatan ulang itulah yang menyebabkan jeda yang Anda rasakan. Tingkatkan durasi ini untuk satu permintaan dengan mengirimkan "keep_alive": "30m" di dalam JSON body, atau untuk seluruh server dengan variabel lingkungan OLLAMA_KEEP_ALIVE.

Bagaimana cara menjaga model Ollama tetap dimuat di memori secara permanen?

Gunakan nilai negatif: "keep_alive": -1 pada permintaan, atau OLLAMA_KEEP_ALIVE=-1 untuk server. ollama ps kemudian akan menampilkan Forever di kolom UNTIL. Ini hanya menghapus pengatur waktu idle. Jika model lain diminta dan memori tidak mencukupi, penjadwal tetap akan membongkar model ini untuk memberi ruang. Permintaan selanjutnya untuk model yang sama juga dapat menggantikan timeout-nya atau memicu pemuatan ulang saat opsi runner berubah. Restart atau reboot juga akan menghapusnya, jadi muat ulang model tersebut setelahnya.

Mengapa OLLAMA_KEEP_ALIVE diabaikan?

Periksa di mana Anda mengaturnya. Jalankan systemctl show ollama --property=Environment, dan jika variabel tersebut tidak ada dalam output, berarti server tidak mendeteksinya, karena variabel yang diekspor di shell Anda tidak mencapai service systemd. Atur variabel tersebut dengan sudo systemctl edit ollama.service, lalu jalankan sudo systemctl daemon-reload dan sudo systemctl restart ollama. Penyebab lainnya adalah klien yang mengirimkan keep_alive sendiri pada permintaannya, yang akan menimpa nilai default server.

Bagaimana cara mengosongkan memori tanpa me-restart Ollama?

ollama stop qwen3:8b meminta kedaluwarsa untuk model tersebut dan membiarkan server serta setiap model lain yang dimuat tetap berjalan. Permintaan aktif harus selesai sebelum model dibongkar. Melalui API, kirimkan permintaan tanpa prompt dan "keep_alive": 0, lalu balasan akan kembali dengan "done_reason": "unload". Konfirmasikan dengan ollama ps, yang seharusnya tidak lagi mencantumkan model tersebut setelah proses pembongkaran selesai.

Apakah artikel ini bermanfaat?