SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Diperbarui 2026-10-26

Cara Mengatasi Error Ollama Context Deadline Exceeded

Error context deadline exceeded pada Ollama terjadi karena timeout saat proses pull atau request. Pelajari cara melacak penyebabnya dari sisi client, nginx, atau model.

Apa arti sebenarnya dari "context deadline exceeded"

Error Ollama context deadline exceeded adalah laporan waktu habis (timeout). Bagian dari kode Go menetapkan batas waktu pada suatu operasi, operasi tersebut tidak selesai tepat waktu, dan batas waktu pun berakhir. Paling sering, operasi tersebut adalah permintaan yang menunggu model. Tidak ada yang crash dan tidak ada file yang korup. Pekerjaan masih berjalan saat waktu habis.

Istilah ini berasal dari paket context standar Go, dan itu sendiri merupakan petunjuk yang berguna. Klien Python yang dibangun di atas httpx akan memunculkan httpx.ReadTimeout sebagai gantinya. Browser akan menampilkan error jaringan biasa. Jika Anda membaca kata-kata ini, program Go telah berhenti menunggu: alat baris perintah Ollama, server Ollama itu sendiri, atau aplikasi Go yang memanggil API (application programming interface).

Batas waktu tidak selalu terjadi saat model memberikan jawaban. Kata-kata yang sama muncul selama pengunduhan: ollama pull, atau proses pull yang dimulai oleh ollama run saat model belum ada di disk. Masalah Ollama #17484, yang dilaporkan pada versi 0.32.5, menunjukkan ollama run dari model Hugging Face mencetak baris pulling-nya lalu Error: context deadline exceeded, dengan log server menunjukkan pengambilan blob dari hf.co gagal karena error yang sama. Jika output Anda berhenti tepat setelah baris pulling, batas waktu terjadi pada pengunduhan, jadi coba ulangi pull dan periksa jalur jaringan ke registry sebelum Anda mengubah pengaturan apa pun di bawah ini.

Saat model sudah ada di disk, lima lapisan terlibat. Tiga di antaranya menetapkan batas waktunya sendiri: klien Anda, batas waktu pemuatan model server, dan reverse proxy. Dua lainnya, keep_alive dan num_ctx, tidak menetapkan batas waktu, tetapi mereka menentukan seberapa banyak pekerjaan yang harus dimuat ke dalamnya. Mereka gagal pada titik yang berbeda dan masing-masing memerlukan perbaikan yang berbeda, jadi tugas utamanya adalah mencari tahu mana yang menyebabkan error tersebut.

  1. Klien HTTP Anda, yang memberikan anggaran waktu tetap pada permintaan.
  2. Batas waktu pemuatan model server Ollama, yang aktif saat model besar dibaca dari disk untuk pertama kalinya.
  3. keep_alive, yang membongkar model di antara permintaan sehingga panggilan berikutnya harus menanggung biaya pemuatan lagi.
  4. num_ctx yang cukup besar sehingga pemrosesan prompt saja berjalan selama bermenit-menit pada mesin yang hanya menggunakan CPU.
  5. Reverse proxy seperti nginx atau Traefik, yang memutus koneksi sebelum Ollama memberikan balasan.

Kerjakan daftar tersebut secara berurutan. Setiap langkah di bawah ini akan menghilangkan satu lapisan dari masalah, sehingga Anda tidak perlu lagi menebak-nebak.

Reproduksi melalui API untuk mengeluarkan proxy dari jalur

Jalankan request langsung pada server, menuju Ollama tanpa perantara proxy.

time curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Why is the sky blue?",
  "stream": false
}' | head -c 400

curl tidak menetapkan batas waktu keseluruhan, melainkan hanya timeout koneksi. Karena itu, perintah ini menunggu selama yang diperlukan Ollama. Langkah ini membagi masalah menjadi dua kemungkinan. Jika respons berupa body JSON diterima, Ollama telah memberikan respons dan batas waktu tersebut berasal dari komponen di depannya. Jika pemanggilan ini sendiri menggantung selama beberapa menit, keterlambatan terjadi di dalam Ollama dan proxy bukan penyebabnya.

Sekarang kirim request yang sama melalui URL publik Anda dan ukur waktunya.

curl -s -o /dev/null -w '%{http_code} %{time_total}\n' \
  -X POST https://llm.example.com/api/generate \
  -d '{"model": "llama3.1:8b", "prompt": "hi", "stream": false}'

Status 504 yang tercetak setelah durasi yang mencurigakan dan bulat, seperti 60.0 atau 30.0 detik, menunjukkan timeout proxy. Proxy biasanya menggunakan nilai default yang bulat. Model tidak akan selesai tepat pada 60.000 detik dua kali berturut-turut. Jika pemanggilan langsung langsung ditolak, bukan berjalan lambat, masalahnya ada pada listener, bukan pada batas waktu. Alamat yang digunakan Ollama untuk bind pada port 11434 membahas kasus tersebut.

Pantau log server saat permintaan berjalan

Buka sesi kedua dan ikuti log service, lalu kirim kembali permintaannya.

journalctl -u ollama --no-pager --follow --pager-end

Cold start yang normal akan mencatat proses pemuatan model, kemudian runner yang dimulai, dan akhirnya permintaan yang dilayani. Pemuatan yang gagal akan terlihat seperti ini pada rilis saat ini, yang diperiksa terhadap sumber 0.40.11 pada Oktober 2026, dan ini adalah string yang mengidentifikasi timeout pemuatan server itu sendiri:

timed out waiting for llama-server to start - <last error from the runner>

Build yang lebih lama, seperti 0.12.0, menuliskannya sebagai timed out waiting for llama runner to start - progress 0.00 -. Bagaimanapun, proses model tidak pernah selesai dimulai dalam batas waktu server. Pada penulisan yang lebih lama, angka progres memberi tahu Anda seberapa jauh proses tersebut berjalan, dan 0.00 berarti runner tidak melaporkan apa pun sebelum tenggat waktu, yang biasanya berarti file masih dibaca atau mesin sedang melakukan swapping. Build saat ini menghilangkan angka tersebut dan menambahkan error terakhir runner, yang kosong jika tidak ada error. Jika log justru memperingatkan bahwa koneksi klien ditutup sebelum llama-server selesai memuat, maka pemanggil, klien Anda, atau proxy di depannya telah menyerah lebih dulu dan pemuatan dibatalkan. Untuk detail lebih lanjut selama pemuatan, restart service dengan OLLAMA_DEBUG=1 diatur dan ulangi prosesnya.

Ukur apakah keterlambatan disebabkan oleh pemuatan atau pembuatan

Ollama melaporkan waktu prosesnya sendiri, jadi Anda tidak perlu menebak bagian ini.

ollama run --verbose llama3.1:8b "Why is the sky blue?"

Setelah jawaban, Ollama mencetak total duration, load duration, prompt eval count, prompt eval rate, eval count, dan eval rate. Jalankan dua kali. Pada proses kedua, load duration seharusnya turun hingga hampir nol karena model sudah berada di memori. Jika tidak turun, model sedang di-unload di antara kedua proses tersebut. Ini adalah kasus keep_alive yang dibahas lebih lanjut di bawah.

Nilai yang sama dikembalikan oleh API dalam objek JSON terakhir sebagai load_duration, prompt_eval_duration, dan eval_duration. Dokumentasi menyatakan bahwa semua durasi dikembalikan dalam nanodetik. Jadi, bagi nilainya dengan 10^9 untuk mendapatkan detik.

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "prompt": "Why is the sky blue?",
  "stream": false
}' | python3 -c 'import json,sys; d=json.load(sys.stdin); print({k: round(v/1e9, 2) for k, v in d.items() if k.endswith("_duration")})'

Periksa nilai terbesar. Jika load_duration dominan, terdapat masalah saat memuat model. Lanjutkan ke dua bagian berikutnya. Jika prompt_eval_duration dominan, pemrosesan prompt menjadi sumber beban. Lanjutkan ke bagian num_ctx. Jika eval_duration dominan, model memang menghasilkan keluaran dengan lambat pada perangkat keras ini. Tidak ada pengaturan timeout yang dapat mengubahnya. Persingkat keluaran dengan num_predict, atau gunakan model yang lebih kecil.

Tingkatkan OLLAMA_LOAD_TIMEOUT, setelah Anda memeriksa versi Anda

Variabel server yang mengatur hal ini adalah OLLAMA_LOAD_TIMEOUT. Pada sumber kode 0.40.11, yang diperiksa pada Oktober 2026, variabel ini dijelaskan sebagai durasi waktu yang diizinkan agar pemuatan model tidak terhenti sebelum sistem menyerah, dengan nilai default 5 menit, dan setiap tanda kemajuan pemuatan akan memulai ulang penghitung waktu tersebut. Variabel ini tidak ada sama sekali pada build yang lebih lama seperti 0.3.0, jadi bacalah nilai default untuk build Anda alih-alih dari artikel mana pun, termasuk artikel ini. Cetak versinya terlebih dahulu.

ollama --version

Kemudian buka sumber kode untuk tag yang tepat tersebut, https://github.com/ollama/ollama/blob/<your version>/envconfig/config.go, dan cari OLLAMA_LOAD_TIMEOUT. Nilai dalam file tersebut adalah default yang dikompilasi ke dalam biner Anda. Tetapkan nilai Anda sendiri melalui drop-in systemd.

sudo systemctl edit ollama.service

Tambahkan variabel di bawah bagian [Service], yang merupakan metode yang diberikan oleh dokumentasi resmi Ollama untuk Linux:

[Service]
Environment="OLLAMA_LOAD_TIMEOUT=15m"
Environment="OLLAMA_KEEP_ALIVE=-1"
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Perintah terakhir mencetak lingkungan yang sebenarnya diterima oleh service tersebut. Hasil yang kosong berarti drop-in disimpan di luar penanda editor, atau di bawah nama bagian yang salah, sehingga tidak ada pengaturan Anda yang berlaku. Pahami dengan jelas apa manfaatnya bagi Anda: timeout pemuatan yang lebih lama mencegah server menyerah, dan hal ini tidak membuat proses apa pun menjadi lebih cepat. Jika model tidak muat di dalam memori, mesin akan melakukan swap, pemuatan akan berjalan sangat lambat, dan angka yang lebih besar hanya akan menunda kegagalan tersebut.

Mengapa permintaan pertama setelah jeda berjalan lambat

Ollama membongkar model yang tidak aktif untuk membebaskan memori. Pengaturan keep_alive menentukan waktunya. Dokumentasi Ollama menetapkan nilai default 5 menit, berdasarkan pemeriksaan pada October 2026. Jadi, aplikasi chat yang digunakan sekali setiap jam akan memuat ulang model pada setiap pesan, dan setiap pesan harus menunggu cold start sepenuhnya. Permintaan yang mengalami timeout adalah permintaan pertama setelah periode tanpa aktivitas. Pola inilah yang sering dianggap sebagai perilaku acak.

Periksa model yang saat ini berada di memori:

ollama ps
curl -s http://127.0.0.1:11434/api/ps

Daftar kosong atau waktu kedaluwarsa yang tinggal beberapa menit mengonfirmasi hal tersebut. keep_alive menerima string durasi seperti "10m" atau "24h", angka biasa dalam satuan detik, 0 untuk langsung membongkar model, serta angka negatif untuk mempertahankan model dalam memori tanpa batas waktu. Tetapkan nilai tersebut pada setiap permintaan, atau tetapkan OLLAMA_KEEP_ALIVE pada service agar berlaku untuk semua permintaan. Nilai pada permintaan memiliki prioritas: dokumentasi Ollama menyatakan bahwa parameter API keep_alive mengesampingkan pengaturan OLLAMA_KEEP_ALIVE. Jadi, client yang mengirim keep_alive sendiri tetap membongkar model sesuai jadwalnya sendiri.

curl -s http://127.0.0.1:11434/api/generate -d '{
  "model": "llama3.1:8b",
  "keep_alive": -1
}'

Permintaan yang menyertakan model tanpa prompt akan memuat model lalu selesai. Ini adalah cara yang didokumentasikan untuk melakukan warm-up pada server setelah reboot. Konfigurasikan langkah ini dalam unit systemd kecil agar tidak ada yang perlu menunggu cold start pertama setelah reboot. Biayanya tetap harus diperhitungkan: model yang dipertahankan dalam memori akan menggunakan memori tersebut tanpa batas waktu. Jadi, pada server kecil, Anda mungkin hanya dapat mempertahankan satu model, bukan empat. Mempertahankan model dalam memori di antara permintaan menjelaskan perhitungan memori dan unit warm-up.

Mengapa num_ctx besar mengalami timeout sebelum token pertama

Sebelum model menulis apa pun, model harus membaca seluruh prompt. Tahap ini disebut prefill dan diukur oleh prompt eval. num_ctx menetapkan panjang konteks yang melakukan dua hal sekaligus. Nilai ini membatasi jumlah token yang dapat dipertimbangkan model dan menentukan ukuran KV cache (key value cache) yang dialokasikan server sejak awal. Keduanya menambah beban kerja.

Pada server yang hanya menggunakan CPU, prefill berjalan lambat dan waktunya meningkat secara linear sesuai jumlah token dalam prompt. Dokumen panjang yang ditempelkan ke chat dapat menghabiskan waktu beberapa menit dalam tahap prefill, sementara client sama sekali belum menerima keluaran karena streaming belum dimulai. Client mencapai batas waktu lalu melaporkan context deadline exceeded, padahal server terus bekerja selama itu. Buktikan dengan angka dari bagian sebelumnya. Kirim prompt panjang tersebut, lalu baca prompt_eval_count dan prompt_eval_duration, yang menurut definisi Ollama menunjukkan waktu yang digunakan untuk mengevaluasi token prompt yang belum tersimpan dalam cache. Waktu beberapa menit pada bagian tersebut, disertai eval_duration yang kecil, menunjukkan proses prefill. Karena hanya token yang belum tersimpan dalam cache yang dihitung, pengiriman ulang prompt yang sama pada model yang masih dimuat dapat menghasilkan nilai yang jauh lebih kecil. Karena itu, bandingkan hasil dari proses pertama. Untuk melihat biaya cache yang lebih besar, jalankan prompt dengan "options": {"num_ctx": 2048}, kemudian dengan 32768, lalu baca juga load_duration karena waktu yang digunakan untuk memuat model dilaporkan di sana, bukan di prompt_eval_duration.

Nilai default server berasal dari OLLAMA_CONTEXT_LENGTH, sedangkan num_ctx pada setiap request dalam objek options akan menimpanya. Menaikkan nilainya ke maksimum yang ditawarkan model hanya karena nilai maksimum tersebut tersedia adalah kesalahan yang umum. Alokasi KV cache dapat membuat model tidak lagi muat di RAM dan mengubah konfigurasi yang semula berfungsi menjadi konfigurasi yang menggunakan swapping. Menentukan num_ctx berdasarkan kapasitas memori aktual menjelaskan detail penentuannya.

Mengapa nginx mengembalikan 504 Gateway Time-out

nginx mendokumentasikan proxy_read_timeout dengan nilai default 60s, dan log error-nya menjelaskan kegagalan tersebut secara langsung:

upstream timed out (110: Connection timed out) while reading response header from upstream

Detail pentingnya terdapat dalam dokumentasi nginx: timeout tersebut “hanya diterapkan di antara dua operasi pembacaan berturut-turut, bukan untuk transmisi seluruh respons”. Respons streaming mereset penghitung waktu setiap kali mengirim chunk, sehingga chat streaming tetap berjalan. Permintaan dengan "stream": false tidak mengirim apa pun sampai jawaban selesai, sehingga seluruh proses pembuatan jawaban harus selesai dalam satu jendela timeout tersebut. Karena itu, model yang sama dapat berfungsi di jendela chat tetapi mengalami timeout saat dipanggil dari skrip.

location / {
    proxy_pass http://127.0.0.1:11434;
    proxy_http_version 1.1;
    proxy_set_header Host $host;
    proxy_read_timeout 600s;
    proxy_send_timeout 600s;
    proxy_buffering off;
}
sudo nginx -t && sudo systemctl reload nginx

proxy_buffering off penting untuk streaming. Jika buffering aktif, nginx dapat mengumpulkan respons lalu meneruskannya sekaligus pada akhir proses. Akibatnya, token tidak lagi muncul satu per satu dan stream yang sebenarnya berjalan akan terlihat seperti hang.

Traefik menempatkan pengaturan yang sama pada ServersTransport yang digunakan oleh router.

http:
  serversTransports:
    ollama:
      forwardingTimeouts:
        dialTimeout: "30s"
        responseHeaderTimeout: "0s"
        idleConnTimeout: "60s"

responseHeaderTimeout mencakup waktu tunggu untuk header respons setelah permintaan selesai ditulis, dan nilai zero berarti tidak ada timeout. Service harus mereferensikan transport berdasarkan namanya dengan serversTransport: ollama. Jika tidak, Anda mungkin mengubah blok konfigurasi yang tidak digunakan apa pun.

Kuantisasi yang lebih kecil memuat model lebih cepat karena data yang harus dibaca lebih sedikit

Kuantisasi adalah tingkat presisi penyimpanan bobot. Presisi yang lebih rendah menghasilkan file yang lebih kecil, sedangkan proses memuat model pada dasarnya hanya membaca file tersebut dari disk ke memori.

GrafikPublished download sizes for llama3.1 8B on the ollama.com library, October 2026
Data di balik grafik ini
[
  {
    "label": "q4_K_M",
    "download_size_gb": 4.9
  },
  {
    "label": "q8_0",
    "download_size_gb": 8.5
  },
  {
    "label": "fp16",
    "download_size_gb": 16
  }
]

Ukuran tersebut adalah ukuran yang dipublikasikan pada halaman model, bukan hasil pengukuran dari server pengujian. Build 8B default berukuran 4.9 GB. Build dengan presisi penuh untuk model yang sama berukuran 16 GB, sehingga jumlah byte yang harus dibaca lebih dari tiga kali lipat dan memori yang diperlukan untuk menampungnya juga lebih dari tiga kali lipat. Pada server sewaan dengan penyimpanan bersama, perbedaan tersebut dapat menentukan apakah proses pemuatan selesai atau terhenti karena timeout. Menghitung model yang sesuai dengan RAM Anda adalah pemeriksaan yang perlu dilakukan sebelum mengunduh file berukuran besar.

Hal yang perlu diubah pada server sewaan

Terapkan perubahan ini sesuai urutan yang ditunjukkan oleh hasil pengukuran. Terapkan satu perubahan pada satu waktu, lalu jalankan kembali perintah pengukuran setelah setiap perubahan.

  1. Tetapkan model dengan OLLAMA_KEEP_ALIVE=-1 dan lakukan warm-up saat boot agar permintaan pengguna tidak lagi menanggung biaya pemuatan. Setelah itu, pastikan tidak ada klien yang mengirim keep_alive sendiri, karena nilai dalam permintaan akan menimpa pengaturan server.
  2. Kurangi num_ctx sesuai kebutuhan prompt Anda. Langkah ini mempersingkat prefill dan membebaskan memori yang digunakan oleh cache KV.
  3. Gunakan quantisation yang lebih kecil agar proses pemuatan membaca lebih sedikit byte dan model menyisakan ruang untuk cache.
  4. Tingkatkan proxy_read_timeout di nginx atau responseHeaderTimeout di Traefik. Nonaktifkan buffering agar token yang dialirkan segera diterima klien.
  5. Tingkatkan timeout pada klien Anda sendiri. Program Go atau Python dengan batas waktu 30 detik akan gagal jika model membutuhkan waktu lebih lama untuk memproses permintaan.

Ada satu penyebab lain yang mendasari semua hal tersebut. Ollama hanya melayani sejumlah permintaan secara bersamaan dan mengantrekan permintaan lainnya. Akibatnya, pemanggil kedua dapat tertahan dalam antrean hingga batas waktunya sendiri berakhir, meskipun tidak ada model yang berjalan lambat. Log server menunjukkan bahwa permintaan baru dilayani setelah terlambat, bukan bahwa permintaan tersebut gagal. Yang terjadi saat beberapa orang berbagi satu server Ollama membahas pengaturan paralelisme, sedangkan instalasi dasar pada VPS membahas penyiapan service yang diasumsikan oleh override ini.

FAQ

Apa arti "context deadline exceeded" di Ollama?

Artinya batas waktu berakhir sebelum pekerjaan yang dipantau selesai. Paling sering pekerjaan tersebut adalah permintaan yang menunggu model, tetapi error yang sama juga muncul saat pengunduhan model, di ollama pull atau proses pull yang dimulai ollama run. Frasa ini berasal dari paket context milik Go, sehingga program Go yang mencetaknya: alat baris perintah Ollama, server Ollama, atau aplikasi Go yang memanggil API. Ini adalah timeout, jadi tidak ada yang rusak atau korup. Jika output berhenti tepat setelah pulling baris, anggap itu sebagai masalah unduhan. Jika tidak, langkah selanjutnya adalah mencari layer mana yang menetapkan batas waktu tersebut, karena klien, pemuatan model, dan reverse proxy masing-masing menetapkan batas waktunya sendiri, sementara keep_alive dan num_ctx menentukan seberapa banyak pekerjaan yang harus dimuat di dalamnya.

Haruskah saya menaikkan timeout klien atau timeout Ollama?

Ukur terlebih dahulu. Kirim permintaan dengan curl di server itu sendiri, langsung ke http://127.0.0.1:11434, karena curl tidak memberlakukan batas waktu keseluruhan. Jika panggilan tersebut mengembalikan body JSON, Ollama merespons dan batas waktu tersebut milik klien atau proxy Anda, jadi naikkan di sana. Jika panggilan tersebut juga menggantung, penundaan terjadi di dalam Ollama, dan field load_duration serta prompt_eval_duration dalam respons memberi tahu Anda apakah model sedang dimuat atau sedang membaca prompt Anda.

Mengapa permintaan pertama timeout dan yang berikutnya berhasil?

Ollama membongkar model yang tidak aktif untuk mengosongkan memori, sesuai jadwal yang ditetapkan oleh keep_alive. Default yang didokumentasikan adalah 5 menit, diperiksa pada Oktober 2026. Permintaan pertama setelah periode tidak aktif memuat ulang model dari disk dan menanggung beban cold start penuh, sementara permintaan yang dikirim segera setelahnya menemukan model sudah ada di memori dan kembali dengan cepat. Jalankan ollama ps untuk melihat apa yang dimuat dan kapan masa berlakunya habis. Atur OLLAMA_KEEP_ALIVE=-1 untuk tetap menyimpannya di memori, dan terima konsekuensi bahwa memori akan terus terpakai. Klien yang mengirim keep_alive sendiri akan menimpa pengaturan tersebut, jadi periksa juga klien Anda.

Mengapa hanya gagal saat saya melalui nginx?

nginx mendokumentasikan proxy_read_timeout dengan default 60s, dan timeout tersebut berlaku di antara dua pembacaan berturut-turut, bukan untuk keseluruhan respons. Respons streaming meresetnya dengan setiap chunk, sementara permintaan yang dikirim dengan "stream": false harus selesai dalam satu jendela waktu. Itulah sebabnya jendela chat berfungsi dan skrip gagal. Cari upstream timed out (110: Connection timed out) while reading response header from upstream di log error nginx, lalu naikkan proxy_read_timeout dan atur proxy_buffering off.

Apakah menaikkan OLLAMA_LOAD_TIMEOUT membuat pemuatan lebih cepat?

Tidak. Itu hanya mengubah berapa lama server membiarkan pemuatan terhenti sebelum menyerah dan mencatat timed out waiting for llama-server to start, atau timed out waiting for llama runner to start pada build yang lebih lama. Jika model tidak muat di memori, mesin akan melakukan swap, pemuatan menjadi sangat lambat, dan timeout yang lebih besar hanya menunda kegagalan tanpa memperbaikinya. Periksa default untuk build Anda dengan menjalankan ollama --version dan membaca envconfig/config.go pada tag tersebut, lalu anggap pemuatan yang membutuhkan waktu bermenit-menit sebagai tanda untuk menarik kuantisasi yang lebih kecil.

Apakah artikel ini bermanfaat?