Mengapa LLM Self-Hosted Lambat pada 5 Pengguna
Satu pengguna lancar, lima tersendat. Pelajari cara batching, batas KV cache, prefill, dan kedalaman antrean menentukan kapasitas server LLM Anda.
Mengapa LLM yang di-host sendiri melambat ketika lebih banyak pengguna mengaksesnya?
Ketika LLM yang di-host sendiri terhenti pada 5 pengguna serentak, penyebab umumnya adalah server dikonfigurasi untuk menghasilkan satu jawaban pada satu waktu, sementara empat pengguna lainnya mengantre. Dokumentasi Ollama menjelaskan nilai defaultnya secara langsung: OLLAMA_NUM_PARALLEL adalah “jumlah maksimum permintaan paralel yang dapat diproses setiap model secara bersamaan, dengan nilai default 1.” Tidak ada kerusakan, dan software penyaji dapat menangani beberapa permintaan sekaligus. Empat dari lima pengguna Anda menunggu giliran karena pengaturan tersebut.
Solusinya jarang berupa server yang lebih besar. Yang diperlukan adalah engine penyaji yang meneruskan banyak permintaan melalui model dalam forward pass yang sama, serta memori cadangan yang cukup untuk menyimpan percakapan semua pengguna selama proses tersebut. Kedua hal ini penting, dan faktor kedua yang sebenarnya menentukan batas maksimum Anda.
Dua fase yang dilalui setiap request
Prefill membaca seluruh prompt sekaligus dan membangun cache attention untuk prompt tersebut. Setiap token prompt diproses oleh model secara bersamaan. Karena itu, prefill adalah satu operasi perkalian matriks besar dan dibatasi oleh throughput aritmetika. Selanjutnya, decode menulis jawaban satu token setiap kali. Untuk setiap token, seluruh bobot model harus dibaca kembali dari memori, sedangkan operasi aritmetika pada satu token tersebut sangat kecil. Decode dibatasi oleh bandwidth memori.
Asimetri ini adalah alasan utama batching efektif. Decode untuk satu pengguna, misalnya, membaca 5 GB bobot per token dan membuat sebagian besar unit aritmetika menganggur. Tambahkan request kedua, lalu engine membaca 5 GB yang sama satu kali dan menghitung dua token dari bobot tersebut. Request kedua hampir tidak menambah waktu pemrosesan. Memproses request secara ketat satu per satu menghilangkan keuntungan tersebut.
Dua angka menggambarkan pengalaman pengguna. TTFT (time to first token) adalah waktu tunggu dalam antrean ditambah prefill. ITL (inter-token latency) adalah jeda antara token yang dialirkan, dan nilainya ditentukan oleh decode. Server yang lambat biasanya lambat pada salah satu aspek ini, dan solusinya berbeda. Sebelum mengubah pengaturan apa pun, tentukan terlebih dahulu aspek mana yang menjadi masalah. ukur prefill dan decode secara terpisah adalah cara untuk mengetahuinya.
Batching statis membuat semua permintaan menunggu respons paling lambat
Batching statis adalah versi naif. Pendekatan ini digunakan jika Anda mengelompokkan permintaan sendiri dalam kode aplikasi. Engine mengumpulkan N permintaan, memprosesnya bersama-sama, lalu mempertahankan setiap slot hingga generasi terpanjang dalam kelompok tersebut selesai.
Satu pengguna yang meminta ringkasan sepanjang 1,200 token membuat empat jawaban satu baris tetap tertahan dalam batch, karena batch tidak membebaskan slot sampai anggota yang paling lambat selesai.
Ada dua dampak. Sequence yang sudah selesai tetap menggunakan slot tanpa melakukan komputasi yang berguna. Akibatnya, throughput efektif menurun ketika panjang output bervariasi, dan panjang output dalam chat sangat bervariasi. Permintaan yang tiba satu langkah setelah batch terbentuk harus menunggu seluruh batch selesai sebelum memulai prefill. Artinya, TTFT-nya ditentukan oleh esai milik pengguna lain.
Batching kontinu menerima dan mengakhiri request pada setiap token
Batching kontinu menjadwalkan request pada tingkat satu langkah decoding. Setelah setiap langkah, scheduler menghapus sequence yang baru saja menghasilkan stop token, lalu menerima request yang menunggu ke slot yang tersedia. Balasan yang berakhir pada langkah 40 membebaskan slotnya pada langkah 40, bukan pada akhir batch.
Ini bukan fitur yang eksotis. llama-server mendokumentasikan -cb, --cont-batching sebagai “apakah akan mengaktifkan batching kontinu (atau dynamic batching) (default: enabled)”, mencantumkan “Parallel decoding with multi-user support” sebagai salah satu fiturnya, dan sejak perubahan yang digabungkan pada November 2025, memulai dengan 4 slot secara default (-np secara default bernilai -1, otomatis). vLLM dibangun berdasarkan konsep ini. Ollama juga melayani request secara paralel. Namun, default-nya hanya membatasi jumlahnya menjadi satu. Karena itu, banyak orang menyimpulkan bahwa hardware mereka tidak mendukung concurrency, padahal konfigurasi merekalah yang menolaknya.
Hasil continuous batching yang dipublikasikan biasanya diukur pada kartu datacenter yang memiliki kapasitas komputasi tersisa dan cache berukuran puluhan gigabyte. Pola hasil tersebut tetap berlaku pada komputer Anda. Namun, skalanya tidak sama. Bagian tentang memori di bawah menjelaskan alasannya.
Prefill bersaing dengan decode untuk compute yang sama
Saat request baru masuk ketika empat respons sedang dialirkan, prompt-nya harus diproses melalui prefill terlebih dahulu, dan prefill membutuhkan compute besar. Jika scheduler memberikan satu step khusus untuk prefill tersebut, keempat pengguna yang sedang menerima streaming tidak mendapatkan token selama proses itu. Pada prompt yang panjang, hal ini menimbulkan jeda yang terlihat di setiap jendela yang terbuka. Inilah stutter yang dimaksud ketika orang mengatakan bahwa server tersendat setiap kali pengguna lain menekan send.
Chunked prefill membagi prompt yang panjang menjadi beberapa bagian, lalu mencampurkan setiap bagian ke dalam step yang sama dengan proses decode yang sedang berjalan. Panduan tuning vLLM menjelaskan tradeoff ini secara langsung: anggaran chunk yang lebih kecil "achieve better ITL because there are fewer prefills slowing down decodes", sedangkan nilai yang lebih tinggi "achieve better time to first token (TTFT) as you can process more prefill tokens in a batch". Anda memilih pengalaman siapa yang harus dilindungi: orang yang menunggu respons mulai muncul, atau orang yang sedang melihat teks dialirkan.
Panjang prompt menentukan seberapa besar dampaknya. Prompt 6,000 token dengan jawaban 200 token berarti ada 6,000 token pekerjaan prefill dibandingkan dengan 200 step decode. Chat berbasis retrieval-augmented dan system prompt yang panjang sama-sama dapat membawa Anda ke kondisi ini. Akibatnya, prefill tidak lagi sekadar perbedaan kecil, tetapi menjadi proses yang harus ditunggu pengguna. Prefix caching membantu ketika bagian panjang tersebut berulang: vLLM menyediakan --enable-prefix-caching, yang menggunakan kembali cache untuk prefix prompt bersama alih-alih menghitungnya ulang pada setiap request.
Memori yang habis terlebih dahulu adalah cache KV
Setiap token dalam setiap percakapan aktif meninggalkan vektor key dan vektor value pada setiap layer model. Inilah cache KV (cache key/value), yang memungkinkan proses decode menghindari penghitungan ulang seluruh prompt untuk setiap token baru. Jumlah value yang di-cache untuk setiap token ditentukan oleh arsitektur model: 2 (satu key dan satu value) dikalikan jumlah layer, jumlah head key/value, dan dimensi head. Baca angka-angka tersebut dari config.json model. Kalikan dengan jumlah byte per value untuk mendapatkan ukurannya. Faktor terakhir itu merupakan pengaturan runtime, bukan bagian dari model: llama-server menyimpan cache dalam f16 (2 byte) secara default dan menerima tipe yang lebih kecil seperti q8_0 melalui -ctk dan -ctv.
Hitung sekali, maka batas kapasitasnya tidak lagi menjadi misteri. Model 8B yang umum, dengan 36 layer, 8 head key/value, dan dimensi head 128, memerlukan 2 36 8 128 2 byte per token jika cache disimpan dalam 16-bit. Hasilnya adalah 147,456 byte, atau sekitar 144 KiB. Satu percakapan dengan 8,192 token memerlukan sekitar 1.2 GB cache. Lima percakapan memerlukan sekitar 6 GB, di luar bobot model. Itulah jawaban sebenarnya untuk menentukan jumlah pengguna yang dapat ditangani.
Konkurensi memperbesar konteks, dan tool menampilkannya secara jelas. FAQ Ollama menyatakan: "Pemrosesan request paralel untuk model tertentu menyebabkan ukuran konteks meningkat sesuai jumlah request paralel. Misalnya, konteks 2K dengan 4 request paralel akan menghasilkan konteks 8K dan alokasi memori tambahan." RAM yang diperlukan bertambah sesuai hasil perkalian OLLAMA_NUM_PARALLEL dengan OLLAMA_CONTEXT_LENGTH. Dalam llama-server, jumlah slot otomatis default menjalankan semua slot pada satu buffer KV terpadu. Dengan demikian, seluruh konteks -c menjadi satu pool yang digunakan bersama oleh semua slot. Jika Anda menetapkan -np sendiri, buffer terpadu dinonaktifkan kecuali Anda juga memberikan --kv-unified. Konteks yang diminta melalui -c kemudian dibagi di antara -np slot. Menaikkan jumlah slot saja akan mengurangi kapasitas konteks setiap request. Baca konteks per slot dari log startup. Jangan memperkirakannya.
vLLM menggunakan pra-alokasi. --gpu-memory-utilization (default 0.92) adalah "fraksi memori GPU yang digunakan oleh model executor". Kecuali Anda menetapkan --kv-cache-memory-bytes, vLLM memperkirakan ukuran cache KV dari fraksi tersebut. Sisa anggaran setelah bobot model dan memori kerja engine yang diprofilkan diperhitungkan akan menjadi pool KV berpaginasi. Jika pool tersebut tidak lagi mencukupi, scheduler mengeluarkan sebuah request, bukan membuatnya gagal:
WARNING 05-09 00:49:33 scheduler.py:1057] Sequence group 0 is preempted by PreemptionMode.RECOMPUTE mode because there is not enough KV cache space.Pada engine V1 vLLM, mode preemption default adalah RECOMPUTE. Karena itu, request yang dikeluarkan akan kehilangan cache-nya dan menjalankan prefill ulang saat dimasukkan kembali. Pekerjaan tersebut dilakukan dua kali. Dokumentasi memperingatkan bahwa "preemption dan komputasi ulang dapat berdampak buruk pada latensi end-to-end". Baris log ini merupakan penjelasan terbaik mengapa satu pengguna yang kurang beruntung harus menunggu jauh lebih lama daripada pengguna lain, meskipun rata-rata Anda terlihat baik. Tetapkan disable_log_stats=False untuk mencatat jumlah kumulatif, atau baca counter preemption dari metrik Prometheus yang diekspos oleh vLLM.
Perubahan pada 2, 5, dan 20 pengguna bersamaan
Dua pengguna. Hampir tidak terasa pada GPU dengan cache yang masih mencukupi, karena stream decode kedua berjalan bersamaan dengan stream pertama dengan tambahan waktu yang sangat kecil. Pada VPS khusus CPU dengan RAM 4 hingga 8 GB, penggunaan ini tetap memiliki biaya: kedua stream berbagi beberapa vCPU dan bandwidth RAM yang sama, sehingga setiap pengguna memperoleh kira-kira setengah jumlah token per detik, sedangkan kebutuhan cache menjadi dua kali lipat dengan anggaran yang jauh lebih kecil.
Lima pengguna. Pada titik ini, konfigurasi default tidak lagi memadai, dan masalahnya bermula sebagai masalah antrean. Dengan OLLAMA_NUM_PARALLEL pada 1, empat orang menunggu pengguna yang meminta jawaban panjang, dan masing-masing kembali melihat kecepatan normal ketika gilirannya tiba. Jika jumlah paralel dinaikkan, bentuk masalahnya berubah: lima slot dengan konteks 8K memerlukan cache sebesar 40K token. Jika tidak muat di VRAM, engine akan memindahkan layer ke RAM sistem. Jika tidak muat di RAM, mesin akan menggunakan swap dan jumlah token per detik akan turun drastis.
Dua puluh pengguna. Dua puluh orang dalam antarmuka chat biasanya bukan dua puluh permintaan bersamaan. Hal ini paling penting dipahami sebelum membeli hardware. Seseorang membaca jawaban lalu berpikir selama 20 hingga 60 detik sebelum giliran berikutnya, sehingga sebagian besar sesi mereka berada dalam kondisi idle. Dua puluh agent atau dua puluh job peringkasan dokumen merupakan dua puluh stream aktif tanpa waktu idle sama sekali. Ini memerlukan mesin yang berbeda. Developer yang menghubungkan agent coding ke server Ollama miliknya sendiri lebih mendekati kasus kedua daripada kasus pertama, karena agent terus mengirim permintaan selama tugas berjalan dan tidak memiliki jeda membaca seperti manusia.
Apakah pengguna Anda bekerja secara bersamaan, atau hanya login?
Tentukan jumlah request yang sedang diproses sebelum menentukan ukuran sistem. Perhitungannya sederhana: jumlah request yang sedang diproses sama dengan jumlah pengguna dikalikan durasi dalam detik untuk menghasilkan setiap giliran, lalu dibagi jumlah detik antar-giliran.
- Ukur kecepatan single-stream Anda sendiri terlebih dahulu, baik prefill maupun decode. Jangan menggunakan angka dari GPU orang lain: ukur token per detik pada mesin Anda sendiri dan gunakan hasil pengukuran tersebut.
- Perkirakan duty cycle. Dua puluh pengguna chat, dengan waktu generasi 12 detik per giliran dan satu giliran setiap 90 detik, menghasilkan 20 * 12 / 90, yaitu sekitar 2.7 request yang sedang diproses.
- Tetapkan jumlah slot sedikit di atas angka tersebut, lalu periksa terhadap memori: jumlah slot dikalikan konteks per-request harus muat dalam jumlah token cache yang tersedia.
- Jaga antrean tetap pendek agar request yang melebihi kapasitas gagal dengan cepat dan terlihat jelas.
Jumlah token cache yang tersedia adalah memori bebas setelah bobot model dimuat, dibagi biaya per token dari bagian sebelumnya. GPU 24 GB yang menjalankan model 8B dalam 16-bit menggunakan sekitar 16 GB untuk bobot dan memiliki paling banyak sekitar 6 GB cache yang dapat digunakan pada utilisation default. Jumlah ini sedikit lebih kecil setelah memori kerja disisihkan, sehingga cukup untuk sekitar lima percakapan 8K. Untuk memuat lebih banyak percakapan, pendekkan konteks per-request atau simpan cache dalam 8-bit (llama-server memerlukan --cache-type-k q8_0). Keduanya meningkatkan konkurensi dengan mengorbankan hal tertentu. Sebelum mengalokasikan dana untuk hardware, baca penjelasan jujur tentang kompromi tersebut: kapan GPU VPS mencapai titik impas dibandingkan token API.
Saat default Ollama tidak lagi memadai
Naikkan jumlah eksekusi paralel melalui unit service, karena export dari shell tidak akan diteruskan ke daemon yang dikelola systemd.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_QUEUE=64"sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama pssystemctl show harus menampilkan tiga variabel yang baru saja Anda tetapkan. Jika tidak, drop-in tidak tersimpan, dan tindakan lain yang Anda lakukan tidak akan berpengaruh. ollama ps kemudian mencantumkan model yang dimuat dengan ukuran lebih besar daripada bobot model saja, karena empat slot dengan 8,192 token mencadangkan cache sebesar 32,768 token di sampingnya. Kolom PROCESSOR yang menunjukkan sebagian model berada di CPU ketika Anda mengharapkan seluruhnya berada di GPU berarti Anda meminta cache lebih besar daripada kapasitas yang tersisa pada kartu. Kurangi salah satu dari dua angka tersebut. Biasanya, mengurangi context lebih aman, tetapi window yang terlalu kecil akan memotong prompt panjang secara diam-diam, bukan menghasilkan error. Karena itu, sebaiknya tentukan ukuran num_ctx dengan sengaja, bukan terus menurunkannya sampai model muat.
Default queue juga perlu ditinjau. Ollama mengantrekan hingga OLLAMA_MAX_QUEUE request, dan "defaultnya adalah 512". Setelah batas itu terlampaui, Ollama merespons "dengan error 503 yang menunjukkan bahwa server kelebihan beban". Queue sedalam 512 pada server yang melayani empat request sekaligus merupakan janji yang tidak dapat dipenuhi, karena client pada posisi 300 akan timeout jauh sebelum gilirannya. Queue yang pendek mengembalikan error yang dapat dicoba ulang atau dilaporkan oleh aplikasi. Ini lebih baik daripada spinner yang tidak pernah selesai.
Uji secara langsung. Kirim dua request pada saat yang sama dari dua terminal dan pantau keduanya. Jika request kedua tidak menghasilkan apa pun sampai request pertama selesai, pengaturan paralel tidak pernah diterapkan.
Saat serving engine yang sebenarnya mulai sepadan
vLLM sepadan dengan konfigurasi tambahannya jika Anda memiliki GPU dengan kapasitas tersisa dan lebih dari sekitar empat request yang benar-benar sedang diproses. Schedulernya bekerja per token, cache-nya menggunakan paging sehingga fragmen kosong dapat digunakan kembali, dan VRAM yang tersisa diubah menjadi konkurensi, bukan dibiarkan menganggur. Per Oktober 2026, instalasi dan peluncuran GPU yang terdokumentasi terdiri dari tiga perintah. vllm download-kernels mengambil kernel yang telah dikompilasi sebelumnya, yang jika tidak demikian akan diunduh dan dikompilasi oleh vLLM saat startup:
uv pip install vllm --torch-backend=auto
vllm download-kernels
vllm serve Qwen/Qwen2.5-1.5B-Instructcurl http://localhost:8000/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{
"model": "Qwen/Qwen2.5-1.5B-Instruct",
"messages": [{"role": "user", "content": "Say hello."}]
}'Respons yang berisi array choices berarti server sudah aktif dan model telah dimuat. Saat menerima beban, dua parameter yang penting adalah --max-num-seqs, yaitu "jumlah maksimum sequence yang diproses dalam satu iterasi", dan --max-num-batched-tokens, yaitu "jumlah maksimum token yang dapat diproses dalam satu iterasi". Parameter pertama membatasi konkurensi. Parameter kedua adalah anggaran prefill terpotong yang dijelaskan sebelumnya.
Jika request yang sedang diproses kurang dari sekitar empat, vLLM menambah kompleksitas tetapi hanya memberi sedikit manfaat. GPU tidak lagi diperlukan: per Oktober 2026, panduan instalasi CPU mendokumentasikan "inferensi dan serving model dasar" pada CPU x86 dan Arm, dengan wheel x86 yang telah dikompilasi sebelumnya sejak versi 0.17.0 serta image Docker CPU. Namun, penggunaan memorinya tetap sama. Pada CPU, vLLM menerapkan fraksi utilisasi 0.92 yang sama pada RAM sistem dan memberikan sisa memori setelah bobot model kepada cache KV. Karena itu, secara default vLLM menggunakan sebagian besar memori mesin saat startup, kecuali Anda membatasi cache dengan --kv-cache-memory-bytes. Pilihan ini tidak tepat untuk VPS 4 hingga 8 GB. Pada kondisi tersebut, gunakan model yang lebih kecil dengan konteks yang lebih pendek serta antrean yang dapat Anda kendalikan. perbedaan Ollama dan vLLM sebagai serving engine membahas pilihan ini secara lengkap, sedangkan menjalankan Qwen 3 8B pada VPS menunjukkan kebutuhan model berukuran menengah sebelum Anda menambahkan satu pengguna pun.
Tradeoff yang disembunyikan oleh anggapan umum
Continuous batching meningkatkan throughput total dan biasanya juga memperbaiki latensi median karena request yang masuk antrean dapat mulai diproses lebih cepat. Latensi tail bergerak ke arah sebaliknya, tetapi bagian ini jarang disebutkan.
Setiap sequence tambahan dalam satu step menambah sedikit beban kerja, sehingga ITL meningkat bagi semua pengguna saat batch bertambah penuh. Prefill untuk request baru mengambil sebagian waktu dari sebuah step yang seharusnya dapat digunakan oleh pengguna yang sedang melakukan streaming. Saat cache mengalami tekanan, scheduler melakukan preemption. Akibatnya, request yang baru diproses sebagian harus mengulangi prefill dari awal.
Antarmuka chat menampilkan latensi tail, bukan rata-rata. Stream yang berhenti selama dua detik di tengah kalimat akan terlihat rusak, meskipun total waktu hingga selesai tergolong baik. Ukur p95 TTFT dan p95 ITL dengan beban yang diharapkan, lalu perlakukan rata-rata token per detik sebagai angka kapasitas, bukan sebagai gambaran pengalaman pengguna.
Pengaturan praktisnya mengikuti prinsip tersebut. Batasi concurrency sedikit di bawah kapasitas yang diizinkan memori agar engine tidak perlu melakukan preemption. Antrean pendek yang dapat diprediksi lebih baik daripada batch besar yang mengalami thrashing, karena pengguna yang menunggu empat detik lalu menerima streaming yang lancar akan lebih puas daripada pengguna yang langsung mulai tetapi mengalami dua kali jeda.
Yang harus diperiksa ketika proses lambat
Setiap pengguna berjalan normal, tetapi waktu tunggunya lama. Itu adalah antrean, bukan masalah kecepatan. Periksa pengaturan paralel terlebih dahulu. Model berjalan dengan benar, satu permintaan setiap kali.
HTTP 503 dari Ollama. Antrean penuh. Server mungkin benar-benar sudah mencapai kapasitas, atau OLLAMA_MAX_QUEUE sengaja disetel rendah untuk mengurangi beban, sesuai fungsinya.
Token per detik turun drastis saat beban meningkat pada server berbasis CPU. Jalankan vmstat 1 saat kondisi ini terjadi. Kolom si dan so yang bernilai bukan nol berarti mesin menggunakan swap. Artinya, bobot model dibaca dari disk pada setiap token. Tidak ada perubahan konfigurasi yang dapat mengatasi hal ini. Kurangi ukuran model atau jumlah slot.
Satu dari sepuluh pengguna menunggu jauh lebih lama daripada pengguna lain. Cari preempted dalam log vLLM. Preemption dan proses recompute biasanya menjadi penyebabnya. Ini berarti cache terlalu penuh untuk panjang context yang diizinkan.
TTFT buruk meskipun server sedang idle. Itu adalah masalah prefill, bukan konkurensi. Prompt yang panjang membutuhkan waktu nyata sebelum token pertama muncul. Karena itu, periksa ukuran prompt dan prefix caching sebelum memeriksa hardware. Jika waktu tunggu yang lama hanya dialami pengguna pertama setelah jeda panjang, sedangkan semua pengguna berikutnya tidak mengalaminya, masalahnya bukan prefill. Ollama kemungkinan membongkar model lalu membaca kembali bobotnya dari disk. Hal ini dapat dipastikan dengan mempertahankan model tetap berada di memori di antara permintaan.
FAQ
Mengapa LLM yang saya host sendiri melambat saat digunakan orang kedua?
Biasanya, LLM tidak benar-benar melambat. Permintaan tersebut masuk antrean. Ollama dirilis dengan OLLAMA_NUM_PARALLEL bernilai 1, sehingga permintaan kedua menunggu permintaan pertama menghasilkan token terakhirnya. Bedakan kedua kondisi ini dengan mengukur waktu stream pengguna pertama saat pengguna lain menunggu: jika kecepatan token per detiknya normal setelah stream dimulai, berarti terjadi antrean dan peningkatan jumlah proses paralel akan mengatasinya. Jika kedua stream berjalan dengan setengah kecepatan, bandwidth memori benar-benar terbagi dan hal itu merupakan batas perangkat keras.
Berapa banyak pengguna konkuren yang dapat dilayani satu GPU kecil?
Hitung kapasitas memori, bukan jumlah pengguna. Alokasikan bobot model terlebih dahulu, kemudian KV cache, yang membutuhkan 2 kali jumlah layer kali jumlah key/value heads kali dimensi head kali jumlah byte, untuk setiap token pada setiap percakapan aktif. Model 8B yang umum, dengan 36 layer, 8 key/value heads, dan dimensi head 128, membutuhkan sekitar 144 KiB per token dalam format 16-bit. Dengan demikian, percakapan sepanjang 8,192 token membutuhkan sekitar 1.2 GB. Kartu 24 GB yang menyimpan model tersebut dalam format 16-bit hanya memiliki sekitar 6 GB tersisa untuk cache. Kapasitas itu cukup untuk sekitar lima percakapan dengan context penuh, atau lebih banyak percakapan jika context dipersingkat.
Apakah continuous batching membuat balasan setiap pengguna lebih lambat?
Latensi median biasanya membaik karena permintaan tidak lagi menunggu seluruh batch selesai. Namun, latensi ekor memburuk. Setiap sequence tambahan menambah pekerjaan pada setiap langkah decoding. Kedatangan baru mengambil sebagian waktu suatu langkah dari pengguna yang sedang menerima stream, dan permintaan yang dipreempt harus menjalankan prefill dua kali. Ukur latensi antar-token p95, bukan rata-ratanya. Jendela chat memperlihatkan jeda dengan jelas, sedangkan nilai rata-rata dapat menyamarkannya.
Sebaiknya saya menaikkan OLLAMA_NUM_PARALLEL atau beralih ke vLLM?
Naikkan jumlah proses paralel terlebih dahulu. Cara ini tidak memerlukan biaya dan cukup menggunakan satu file drop-in. Cara ini juga mengatasi kasus umum ketika empat orang mengantre di belakang satu jawaban panjang. Memori adalah batasnya: permintaan paralel melipatgandakan context yang harus disimpan, jadi pantau apakah sebagian layer berpindah ke CPU. Beralihlah ke vLLM jika GPU memiliki VRAM yang cukup dan lebih dari sekitar empat permintaan benar-benar berjalan secara bersamaan. Pada kondisi tersebut, paged cache dan penjadwalan per token memberikan manfaat yang lebih besar daripada biaya yang ditimbulkannya.
Apakah lebih banyak core CPU akan memperbaiki server LLM yang lambat?
Tidak untuk bagian yang paling dirasakan pengguna. Decode membaca seluruh model dari memori untuk setiap token, sehingga kinerjanya dibatasi oleh bandwidth RAM. Core tambahan tidak lagi membantu setelah bandwidth jenuh. Prefill dapat memanfaatkan core tambahan, sehingga waktu hingga token pertama pada prompt panjang menjadi lebih singkat. Pada VPS dengan 4 hingga 8 GB, batas utama biasanya adalah kapasitas memori. Solusi yang efektif biasanya model yang lebih kecil atau context yang lebih pendek, bukan tambahan vCPU.