Cara Menjalankan Qwen 3.8 27B di VPS dengan Ollama
Pelajari kebutuhan RAM dan kecepatan Qwen 3.8 27B di VPS CPU-only, termasuk mengapa 8 GB dan 16 GB tidak cukup serta apa yang muat hingga 64 GB.
Bisakah Qwen 3.8 27B dijalankan pada VPS tanpa GPU?
Untuk menjalankan Qwen 3.8 27B pada VPS, Anda memerlukan tag qwen3.8:27b. Per 21 October 2026, library Ollama menyediakan tag tersebut untuk di-pull secara lokal: 27.3 billion parameter, quantisation Q4_K_M, lisensi Apache 2.0, context window 256K, dan unduhan sebesar 18 GB yang mencakup vision projector sekitar 0.9 GB. Ollama menambahkan dukungan Qwen 3.8 27B pada v0.32.12, yang dirilis pada 14 August 2026. Jadi, instalasi yang lebih lama perlu di-upgrade terlebih dahulu. Per 29 October 2026, stable release terbaru adalah v0.40.13, yang dipublikasikan pada 28 October 2026.
Jawaban singkatnya: ya, pada VPS dengan RAM 32 GB atau lebih, tetapi prosesnya lambat. Model dense 27B pada Q4 memerlukan sekitar 17 GB RAM hanya untuk weights, sebelum satu token context pun disimpan. Karena itu, paket 8 GB dan 16 GB sama sekali tidak mencukupi. Pada VPS DDR4 dua kanal yang umum, batas kecepatannya kira-kira 3 token per detik. Kecepatan ini lebih rendah daripada kecepatan baca kebanyakan orang.
Tag 27B sebelumnya masih tersedia di library: qwen3.6:27b dan qwen3.5:27b sama-sama merupakan build Q4_K_M dengan ukuran yang serupa. Qwen3.8-27B mempertahankan arsitektur Qwen3.6-27B, dan file konfigurasi resmi untuk keduanya menunjukkan susunan layer yang sama. Karena itu, perhitungan penggunaan memori di bawah berlaku untuk keduanya. Periksa daftar terbaru sebelum menyalin perintah apa pun di halaman tag qwen3.8 Ollama. Perhitungan ini bergantung pada jumlah parameter, jumlah bit per weight, dan susunan attention, bukan pada nomor versinya.
Tag Ollama yang harus di-pull dan cara memeriksanya
Menarik tag yang tidak ada akan menghasilkan error yang jelas, sehingga hal ini dapat segera dipastikan langsung pada server. Tag yang memang ada tetap dapat tidak bisa dijalankan secara lokal. Inilah yang sering menimbulkan masalah pada GLM 5.2, yang tercantum di library tetapi hanya disediakan melalui cloud Ollama.
ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27bollama show menampilkan arsitektur, jumlah parameter, panjang konteks, dan kuantisasi untuk tag yang benar-benar Anda miliki. Jika baris parameter berisi 27.3B dan baris kuantisasi berisi Q4_K_M, berarti Anda menggunakan build yang menjadi acuan panduan ini. Library juga menyediakan qwen3.8:27b-q8_0 dan qwen3.8:27b-bf16 untuk bobot yang sama dengan presisi lebih tinggi, varian 27b-mtp, serta tag 27b-nvfp4, 27b-mxfp8, 27b-mlx, dan 27b-mlx-bf16 yang pada halaman tag diberi label MLX. Format ini ditujukan untuk Apple Silicon, bukan Linux VPS. Berbeda dari qwen3.6, entri qwen3.8 tidak memiliki tag 35b-a3b. Model MoE (mixture of experts) tersebut tetap berada di bawah qwen3.6 dan berperilaku sangat berbeda saat dijalankan pada CPU. Penjelasan lebih lanjut tersedia di bawah.
Jumlah parameter dikalikan byte per bobot
Data di balik grafik ini
[
{
"label": "Q4_K_M",
"size_gb": 17,
"bits_per_weight": 4.98,
"notes": "published tag qwen3.8:27b, language model file"
},
{
"label": "Q5_K_M",
"size_gb": 19.5,
"bits_per_weight": 5.7,
"notes": "computed, no official library tag exists"
},
{
"label": "NVFP4",
"size_gb": 18,
"bits_per_weight": 5.27,
"notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
},
{
"label": "Q8_0",
"size_gb": 29,
"bits_per_weight": 8.5,
"notes": "published tag 27b-q8_0, language model file"
},
{
"label": "BF16",
"size_gb": 55,
"bits_per_weight": 16.1,
"notes": "published tag 27b-bf16, language model file"
}
]Rumusnya terdiri dari satu baris. Jumlah byte bobot = parameter * bit per bobot / 8. Pada 4 bit secara tepat, 27.3 miliar parameter akan berukuran 13.7 GB. File model bahasa dalam tag Q4_K_M yang dirilis berukuran 17 GB, yang berarti 4.98 bit per bobot dalam praktiknya.
Perbedaan tersebut bukan kesalahan. Format K-quant tidak menyimpan setiap tensor pada lebar nominalnya. Tensor yang paling banyak kehilangan kualitas akibat kompresi mendapatkan lebih banyak bit. Daftar tensor Ollama untuk file qwen3.8:27b yang dirilis menunjukkan tensor berikut pada Q6_K: lapisan output, sekitar separuh proyeksi down feed-forward, proyeksi V attention pada sekitar separuh lapisan full-attention, dan sekitar separuh proyeksi QKV gabungan pada lapisan linear-attention. Tensor normalisasi yang kecil tetap menggunakan presisi penuh 32-bit. Embedding token, proyeksi Q dan K attention, serta proyeksi gate dan up feed-forward tetap menggunakan Q4_K seperti sebagian besar model. Nama format tersebut menunjukkan nilai rata-rata, dan nilainya mendekati 5. Efek yang sama terlihat pada ujung skala lainnya: 55 GB untuk BF16 berarti 16.1 bit per bobot, bukan 16 bit secara tetap. Dalam format tersebut, embedding token menggunakan BF16 seperti bagian lainnya, sedangkan kelebihan kecilnya berasal dari metadata file, tensor normalisasi yang dipertahankan pada 32-bit, dan ukuran yang ditampilkan yang dibulatkan ke gigabyte terdekat.
Sediakan anggaran untuk seluruh tag, bukan hanya file model bahasa. Setiap tag GGUF dari qwen3.8:27b juga menyertakan vision projector berukuran sekitar 0.9 GB. Karena itu, tag Q4_K_M tercantum berukuran 18 GB.
Q5_K_M tidak memiliki tag yang dipublikasikan dalam entri library resmi qwen3.8, sehingga baris 19.5 GB dihitung menggunakan 5.7 bit per bobot yang umum untuk format tersebut, bukan berdasarkan pengukuran. Q8_0 hampir menggandakan ukuran Q4 menjadi 29 GB. Pada komputer yang hanya menggunakan CPU, penggandaan tersebut membutuhkan trafik memori dua kali lipat untuk setiap token. Akibatnya, kecepatan pemrosesan juga turun hingga kira-kira setengahnya. Karena alasan itu saja, Q4_K_M merupakan pilihan default yang tepat di sini. Jika Anda ingin menilai dampak terhadap kualitas, bukan hanya penggunaan memori, perbandingan lebih mendalam antara Q4, Q8, dan fp16 menunjukkan kapan output mulai mengalami penurunan kualitas.
Biaya cache KV saat konteks bertambah
Bobot model merupakan biaya tetap. Cache KV (cache key dan value, yaitu state attention yang disimpan model untuk setiap token yang telah dilihat) bertambah secara linear sesuai panjang konteks. Di sinilah sebagian besar pengguna kehabisan RAM.
Data di balik grafik ini
[
{
"label": "4k tokens",
"kv_f16_gb": 0.25,
"kv_q8_gb": 0.13
},
{
"label": "8k tokens",
"kv_f16_gb": 0.5,
"kv_q8_gb": 0.25
},
{
"label": "16k tokens",
"kv_f16_gb": 1,
"kv_q8_gb": 0.5
},
{
"label": "32k tokens",
"kv_f16_gb": 2,
"kv_q8_gb": 1
},
{
"label": "64k tokens",
"kv_f16_gb": 4,
"kv_q8_gb": 2
},
{
"label": "128k tokens",
"kv_f16_gb": 8,
"kv_q8_gb": 4
}
]Angka tersebut berasal dari file konfigurasi model. Seperti Qwen3.6-27B, Qwen3.8-27B adalah model dengan hybrid attention. Hanya 16 dari 64 layer yang menggunakan full attention dan menyimpan cache yang bertambah untuk setiap token. Layer tersebut memiliki 4 key/value head dengan GQA (grouped-query attention) dan dimensi head sebesar 256. Sebanyak 48 layer lainnya menggunakan linear attention (Gated DeltaNet) dan menyimpan state berukuran tetap. Berdasarkan perhitungan saya, ukurannya sekitar 150 MB per slot percakapan, berapa pun panjang konteksnya. Nilainya menjadi 64 KiB per token pada f16, sehingga 2 GB pada 32k token dan 8 GB pada 128k token. Jangan mengandalkan perhitungan saya tanpa memeriksanya pada server Anda. Muat model, lalu baca kolom SIZE pada ollama ps. Kolom tersebut melaporkan bobot, cache, dan overhead sebagai satu angka.
Konteks 256K pada halaman model masih dapat dicapai dengan arsitektur ini, tetapi membutuhkan sumber daya tambahan. Mengisi konteks tersebut pada f16 memerlukan sekitar 16 GB cache di luar bobot, pada mesin yang telah menggunakan 17 GB untuk bobot. Ollama tidak memberikan seluruh ukuran window secara default. Dokumentasi panjang konteksnya menetapkan nilai default berdasarkan VRAM: 4k token untuk kapasitas di bawah 24 GiB, 32k untuk 24 hingga 48 GiB, dan 256k untuk 48 GiB atau lebih. VPS yang hanya menggunakan CPU tidak memiliki VRAM, sehingga menggunakan tier 4k. Anda dapat menaikkannya secara sengaja dengan OLLAMA_CONTEXT_LENGTH. Variabel yang berlaku untuk seluruh server bukan satu-satunya opsi. Menetapkan num_ctx pada request individual memungkinkan Anda mempertahankan default yang hemat untuk semua request lain, sementara satu pekerjaan panjang memperoleh window yang lebih besar. Naikkan nilainya secara bertahap dan periksa ollama ps setelah setiap perubahan.
Dua pengaturan dapat mengurangi penggunaan cache. OLLAMA_KV_CACHE_TYPE=q8_0 menyimpan cache pada 8 bit, bukan 16 bit, sehingga penggunaan untuk 32k token turun dari 2 GB menjadi 1 GB. Pengaturan ini memerlukan flash attention. Karena itu, tetapkan OLLAMA_FLASH_ATTENTION=1 dan pastikan penurunannya pada ollama ps, bukan berasumsi bahwa pengaturan tersebut telah diterapkan. Jika Anda belum pernah mengubah jenis cache, panduan q8_0 dan f16 untuk cache KV Ollama menjelaskan cara menetapkan kedua variabel tersebut serta membaca angka sebelum dan sesudah perubahan. OLLAMA_NUM_PARALLEL=1 sama pentingnya. Ollama dapat melayani beberapa request secara bersamaan, dan setiap slot memperoleh bagian konteksnya sendiri. Karena itu, peningkatan paralelisme secara diam-diam menggandakan cache yang perlu Anda anggarkan. Default saat ini sudah bernilai 1, dan override di bawah menetapkan nilai tersebut. Jika lebih dari satu orang akan menggunakan server ini, penggandaan itulah yang mulai menimbulkan masalah. Jumlah pengguna bersamaan yang dapat dilayani model self-hosted ditentukan oleh slot cache dan kedalaman antrean jauh sebelum ditentukan oleh jumlah core.
Kapasitas yang dapat ditampung pada RAM 8, 16, 32, dan 64 GB
Data di balik grafik ini
[
{
"label": "8 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "Weights alone exceed the box. Use a 4b or 8b model."
},
{
"label": "16 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "17 GB of weights does not fit in 16 GB of RAM."
},
{
"label": "32 GB",
"q4_max_ctx_ktok": 128,
"q8_max_ctx_ktok": null,
"notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
},
{
"label": "64 GB",
"q4_max_ctx_ktok": 256,
"q8_max_ctx_ktok": 256,
"notes": "Both fit with the full 256K window."
}
]Baca kedua angka tersebut sebagai jumlah ribuan token konteks yang dapat ditampung bersama bobot dan vision projector, dengan cache f16, pada VPS Linux headless yang menyisakan sekitar 1.5 GB untuk sistem operasi serta sedikit margin tambahan. Angka nol berarti bobotnya sendiri tidak muat, sehingga tidak ada konteks yang dapat ditampung; null berarti bobotnya muat, tetapi belum ada angka konteks yang dapat digunakan dan terkonfirmasi untuk tingkat tersebut.
RAM 8 GB dan 16 GB bukan pilihan yang nyaris cukup. 17 GB bobot tidak muat dalam RAM 16 GB, dan pengaturan konteks apa pun tidak akan mengubahnya. Menambahkan swap juga tidak menyelesaikan masalah. Ollama melakukan memory mapping pada file GGUF. Setelah halaman yang berada di RAM melebihi kapasitasnya, kernel mulai mengeluarkan halaman tersebut lalu membacanya kembali. Akibatnya, setiap token harus membaca gigabita data dari disk. Server mengalami iowait tinggi dan menghasilkan jauh di bawah satu token per detik.
RAM 32 GB adalah titik awal yang layak. Bobot menggunakan 17 GB, vision projector menambahkan sekitar 0.9 GB, dan tersisa sekitar 12.5 GB. Kapasitas tersebut cukup untuk sekitar 128k token konteks f16 dengan margin. Bobot Q8_0 berukuran 29 GB muat dalam RAM 32 GB, tetapi kapasitas konteks yang dapat digunakan juga bergantung pada vision projector, cache, sistem operasi, dan penggunaan memori runtime. Periksa total penggunaan memori pada server Anda sebelum menganggap Q8 dapat dijalankan pada tingkat ini.
RAM 64 GB memberikan ruang yang cukup. Q4 menyisakan ruang untuk window penuh sebesar 256k, dan bobot Q8_0 juga muat dengan 256k penuh di belakangnya. Sebelum membayar RAM 64 GB untuk menggunakan Q8, pahami dengan jelas apa yang Anda dapatkan: output yang sedikit lebih baik dengan kecepatan setengahnya, pada mesin yang sejak awal sudah lambat. Q4 sudah mencapai 128k token pada paket RAM 32 GB, dan pilihan tersebut lebih menguntungkan bagi hampir semua pengguna.
Seberapa cepat inferensi CPU pada VPS?
Menghasilkan satu token dari model dense berarti membaca setiap bobot dari memori satu kali. Bukan hanya sebagian. Semuanya. Jadi, batas kecepatannya bukan jumlah core, melainkan bandwidth memori dibagi ukuran bobot. Pada Q4, jumlah trafik memori tersebut adalah 17 GB per token.
Data di balik grafik ini
[
{
"label": "DDR4-2666, 2 channel",
"mem_bandwidth_gb_s": 42.6,
"ceiling_tok_s": 2.5
},
{
"label": "DDR4-3200, 2 channel",
"mem_bandwidth_gb_s": 51.2,
"ceiling_tok_s": 3
},
{
"label": "DDR5-4800, 2 channel",
"mem_bandwidth_gb_s": 76.8,
"ceiling_tok_s": 4.5
},
{
"label": "DDR4-3200, 8 channel",
"mem_bandwidth_gb_s": 204.8,
"ceiling_tok_s": 12
},
{
"label": "DDR5-4800, 12 channel",
"mem_bandwidth_gb_s": 460.8,
"ceiling_tok_s": 27.1
}
]Angka tersebut adalah batas teoretis, bukan hasil pengukuran. Output aktual biasanya hanya mencapai sekitar 50 hingga 70 persen dari angka itu karena latensi memori dan prefetching yang tidak sempurna membuat Anda tidak pernah mencapai puncak teoretis. VPS dengan DDR4-3200 dua channel memiliki batas 3 token per detik, jadi perkirakan sekitar 2. Server dengan DDR5-4800 dua channel memiliki batas 4.5, jadi perkirakan sekitar 3.
Baris server besar disertai peringatan. Platform EPYC dengan dua belas channel memiliki bandwidth 460.8 GB/s dan batas 27.1 token per detik, tetapi Anda tidak menyewa satu server EPYC secara penuh. Bandwidth memori adalah sumber daya seluruh host yang digunakan bersama oleh semua tenant pada mesin tersebut, sehingga slice 8 vCPU tidak menyediakan bandwidth eksklusif dari dua belas channel. Panduan yang berfokus pada GPU sering mengabaikan hal ini. Inilah alasan dua paket VPS dengan jumlah vCPU yang identik dapat berbeda hingga tiga kali lipat saat menjalankan model yang sama.
Menambah vCPU juga berhenti membantu sejak awal karena alasan yang sama. Setelah core meminta data lebih cepat daripada kemampuan memory controller untuk menyediakannya, thread tambahan hanya menambah overhead penjadwalan. Ollama tidak memiliki environment variable tingkat server untuk jumlah thread. Jadi, atur num_thread dalam request options ke jumlah core fisik Anda, lakukan pengukuran, lalu coba setengah dari jumlah tersebut. Pada banyak paket shared, nilai yang lebih rendah lebih cepat.
Pemrosesan prompt bekerja secara berbeda. Prefill, yaitu pemrosesan input sebelum token pertama muncul, dibatasi oleh kemampuan komputasi, bukan bandwidth. Karena itu, kecepatannya meningkat seiring penambahan core. Dampak praktisnya adalah jeda panjang sebelum output mulai muncul pada prompt besar, lalu diikuti laju stabil yang lambat seperti di atas. Ukur kedua bagian tersebut secara terpisah dengan --verbose. Perintah ini mencetak prompt eval rate dan eval rate untuk setiap request.
Jika model dense 27B terlalu lambat, periksa tag qwen3.6:35b-a3b sebelum menyerah pada CPU. Tag tersebut mengaktifkan sekitar 3 miliar parameter per token, bukan seluruh 27.3 miliar parameter. Akibatnya, trafik memori per token turun hampir satu tingkat besaran, meskipun ukuran file di disk lebih besar. Anda menukar kebutuhan RAM dengan kecepatan. Pilihan runtime juga penting di sini. Ollama dan llama.cpp menyediakan kontrol tuning CPU yang berbeda untuk kode inferensi dasar yang sama.
Kapan sebaiknya menyewa GPU per jam
Data di balik grafik ini
[
{
"label": "L40S, 48 GB",
"mem_bandwidth_gb_s": 864,
"ceiling_tok_s": 51
},
{
"label": "RTX 4090, 24 GB",
"mem_bandwidth_gb_s": 1008,
"ceiling_tok_s": 59
},
{
"label": "A100, 80 GB",
"mem_bandwidth_gb_s": 2039,
"ceiling_tok_s": 120
},
{
"label": "H100 SXM, 80 GB",
"mem_bandwidth_gb_s": 3350,
"ceiling_tok_s": 197
}
]Rumus yang sama, jika diterapkan pada bandwidth memori GPU yang dipublikasikan, menghasilkan kesimpulan yang berbeda. Kartu konsumen 24 GB memiliki batas atas 59 token per detik untuk bobot ini. Kartu pusat data saat ini mencapai 197. Kesenjangan ini tidak dapat diatasi hanya dengan menyesuaikan jumlah thread. Kartu tersebut menjalankan memorinya pada 1008 GB/s, sedangkan VPS Anda hanya mencapai puluhan GB/s.
Karena itu, tentukan batas berdasarkan beban kerja, bukan preferensi. Inferensi CPU tepat jika pekerjaan berjalan secara asinkron dan tidak ada orang yang menunggu hasilnya, misalnya meringkas sekumpulan dokumen semalaman atau menjalankan tugas klasifikasi setiap malam saat Anda tidur. Sewa GPU saat seseorang menunggu hasil atau saat permintaan datang lebih cepat daripada kemampuan server Anda menyelesaikannya. Runtime CPU tidak terbatas pada satu permintaan setiap kali: server llama.cpp mendokumentasikan decoding paralel dan continuous batching pada CPU maupun GPU, sedangkan Ollama juga dapat melayani permintaan paralel dengan penggunaan cache yang lebih besar. Faktor penentunya adalah laju serving yang terukur dibandingkan dengan laju kedatangan permintaan. Karena itu, ukur waktu pemrosesan batch yang realistis pada server Anda sendiri. Jika permintaan mulai datang lebih cepat daripada laju tersebut, antrean akan bertambah.
Perbandingan biaya tidak sesederhana kelihatannya. VPS 64 GB menagihkan biaya setiap jam sepanjang bulan, baik model sedang dimuat maupun tidak. Sebaliknya, sewa GPU per jam memisahkan biaya komputasi dari biaya penyimpanan, yang dapat terus berjalan setelah GPU dihentikan. Jika penggunaan sebenarnya hanya dua jam per hari, GPU sewaan dapat lebih cepat sekaligus lebih murah. Hitung duty cycle terlebih dahulu, lalu bandingkan harganya. Memilih VPS dengan GPU membahas hal-hal yang perlu diperiksa pada instance itu sendiri, sedangkan vLLM mengungguli Ollama saat melayani permintaan konkuren pada GPU menjelaskan mengapa vLLM lebih unggul karena mengelompokkan permintaan dengan benar.
Ada opsi ketiga yang sering dilupakan. Pertahankan model 27B pada CPU untuk pekerjaan batch, lalu gunakan model API yang di-host sebagai lapisan untuk jalur interaktif. Tidak ada keharusan bahwa satu model harus melayani kedua kebutuhan tersebut.
Instal Ollama dan ukur server Anda sendiri
Skrip instalasi ini adalah skrip resmi dan menyiapkan service systemd yang berjalan sebagai pengguna khusus ollama.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -gollama --version seharusnya menampilkan 0.32.12 atau yang lebih baru, yaitu rilis pertama yang mendukung Qwen 3.8 27B. Periksa free -g sebelum mengunduh apa pun. Nilainya dilaporkan dalam GiB. Karena itu, paket yang diiklankan memiliki RAM 32 GB dapat menampilkan sekitar 29 pada kolom total; bandingkan memori yang tersedia dengan anggaran weights dan cache di atas.
Tetapkan opsi runtime dalam systemd override, bukan di shell Anda. Model berjalan di dalam service, sehingga tidak melihat environment interaktif Anda.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."Output --verbose adalah hasil pengukuran yang Anda perlukan. eval rate adalah jumlah token per detik selama pembuatan. prompt eval rate adalah kecepatan prefill. load duration adalah waktu yang diperlukan untuk membaca weights dari disk. Karena itu, OLLAMA_KEEP_ALIVE=60m ditetapkan: pada CPU, memuat ulang 17 GB dari disk pada setiap permintaan memerlukan waktu lebih lama daripada pemrosesan permintaannya sendiri. Batas waktu idle default adalah lima menit. Durasi ini cukup singkat sehingga batch queue dengan jeda antaritem harus membayar biaya pemuatan tersebut berulang kali. Opsi untuk menjaga model tetap berada di memori mencakup field keep_alive untuk setiap permintaan dan cara agar pengaturan tersebut tetap berlaku setelah reboot.
Saat model dimuat, periksa penggunaan memorinya dari terminal kedua.
ollama psKolom SIZE adalah penggunaan memori sebenarnya, termasuk KV cache. Nilainya seharusnya mendekati jumlah weights, vision projector, dan baris untuk panjang konteks Anda pada bagan KV. Pada 8192 token dengan cache 8-bit, bagian cache yang bertambah hanya sekitar seperempat gigabyte, dibandingkan 0.5 GB jika tetap menggunakan f16, ditambah linear-attention state yang bersifat tetap. Kolom PROCESSOR seharusnya menampilkan 100% CPU. Jika menampilkan nilai lain, berarti ada sesuatu yang menggunakan GPU dan angka kecepatan dalam panduan ini tidak berlaku untuk server Anda.
Mode kegagalan dan string persis yang akan Anda lihat
Model menolak dimuat. Ollama mencetak baris yang menyebutkan kedua angka tersebut, dalam format model requires more system memory (18.6 GiB) than is available (15.2 GiB). Ini adalah kegagalan yang baik karena Ollama melakukan pemeriksaan sebelum mengalokasikan memori, bukan membiarkan kernel menanganinya. Kurangi panjang context, gunakan tag yang lebih kecil, atau beralih ke plan yang lebih besar.
Proses menghilang di tengah jawaban. Client tidak menampilkan informasi yang berguna, dan journalctl -u ollama -n 50 menunjukkan bahwa service sedang dimulai ulang. Jalankan dmesg -T | tail. Baris yang berbunyi Out of memory: Killed process ... (ollama) berarti kernel OOM killer menghentikan proses tersebut. Hal ini terjadi ketika pemeriksaan sebelum pemuatan berhasil, tetapi cache bertambah melampaui estimasi selama percakapan panjang. Kurangi panjang context.
Pull langsung gagal. Error: pull model manifest: file does not exist berarti tag tersebut tidak ada di library. Nomor versi yang belum dirilis menghasilkan pesan ini, demikian juga kesalahan pengetikan apa pun pada tag. qwen3.8:27b sendiri valid. Jadi, jika tag persis tersebut gagal, periksa terlebih dahulu kemungkinan salah ketik. Konfirmasikan tag pada halaman library sebelum menyalahkan jaringan Anda. Jika tag yang valid berhasil di-pull tetapi tidak dapat dijalankan, periksa ollama --version terhadap 0.32.12.
Semuanya berfungsi, tetapi sangat lambat. Kecepatan di bawah satu token per detik pada mesin dengan RAM yang memadai menunjukkan paging, bukan masalah komputasi. Jalankan vmstat 1 saat proses menghasilkan output. Kolom si atau so yang bernilai bukan nol berarti kernel sedang melakukan swapping. Solusinya adalah mengurangi context atau jumlah model yang dimuat. Nilai wa yang terus tinggi tanpa aktivitas swap berarti bobot memory-mapped sedang dibaca ulang dari disk. Ini berarti bobot tersebut sebenarnya tidak muat di memori.
Token pertama membutuhkan waktu 30 detik, lalu output menjadi lebih cepat. Itu adalah prefill dan merupakan kondisi normal. System prompt yang panjang harus diproses ulang pada setiap request yang tidak menggunakan cache. Karena itu, pendekkan system prompt sebelum menyesuaikan hal lain.
Kegunaan sebenarnya model 27B yang hanya menggunakan CPU
Tetapkan ekspektasi berdasarkan angka, bukan harapan. Pada kecepatan dua hingga empat token per detik, jawaban 500 token memerlukan waktu antara dua hingga empat menit. Kecepatan tersebut tidak dapat digunakan untuk chat, tetapi masih sangat memadai untuk antrean tugas. Model yang berpikir sebelum menjawab membuat perhitungan ini menjadi lebih lambat, karena token penalaran tersembunyi dihasilkan pada kecepatan yang sama lambatnya dengan jawaban. Karena itu, menyesuaikan tingkat upaya penalaran dengan tugas adalah salah satu dari sedikit cara untuk memperpendek jawaban tanpa mengganti model. Perangkum dokumen, pemberian tag secara massal, ekstraksi kolom dari tumpukan file, dan code review tanpa pengawasan masih dapat menggunakan kecepatan ini karena tidak ada pengguna yang menunggu jawaban. Bantuan coding berada tepat di batas tersebut. Karena itu, menghubungkan coding agent ke model yang Anda host bermanfaat untuk tugas latar belakang seperti membuat pesan commit dan kerangka pengujian, bukan untuk saran inline yang harus Anda tunggu.
Alasan privasi adalah pertimbangan utamanya. Model berjalan pada hardware yang Anda sewa dan kendalikan, tidak ada request yang meninggalkan server, dan tidak ada biaya per token. Hal ini sangat bernilai untuk data yang diatur oleh regulasi, bahkan pada kecepatan tiga token per detik. Bandingkan secara realistis dengan alternatifnya: self-hosting model berskala frontier memerlukan hardware dengan skala sepuluh kali lebih besar, sedangkan model 27B pada CPU adalah titik termurah pada kurva tersebut yang hasilnya masih layak dibaca.
Untuk melakukan benchmark, Anda memerlukan input terstruktur yang nyata. Sebagian besar API data publik meminta akun sebelum Anda bahkan dapat mengukur throughput. Skema demo Strasmore (yang kami jalankan) mendokumentasikan SQL read-only untuk data saham dan opsi AS tanpa key dan tanpa signup, menggunakan nama tabel yang memenuhi kualifikasi database: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5. Batas demo adalah 500 baris dan 20 detik per panggilan, dengan histori mulai 1 January 2025. Batas ini lebih dari cukup untuk digunakan oleh server dengan kecepatan dua token per detik. Daftar kolom lengkap tersedia di https://ai.strasmore.com/api/demo/schema.
Jika ini adalah instalasi Ollama pertama Anda, panduan lengkap untuk menjalankan Ollama pada VPS membahas penyiapan service, HTTP API, dan aturan firewall yang diasumsikan sudah tersedia dalam panduan ini. Jangan mengekspos port 11434 ke Internet. API lokal Ollama tidak memerlukan autentikasi, sehingga apa pun yang dapat menjangkau port tersebut dapat menggunakan model Anda.
FAQ
Apakah ada model Qwen 3.8 27B di Ollama?
Ya. Per 21 Oktober 2026, pustaka Ollama memiliki entri qwen3.8, dan qwen3.8:27b (juga diberi tag latest) adalah build Q4_K_M berukuran 18 GB dari model dense dengan 27.3 miliar parameter, dilengkapi vision projector dan context window 256K. Model ini berjalan secara lokal dan memerlukan Ollama v0.32.12 atau yang lebih baru. Tag qwen3.6:27b dan qwen3.5:27b yang lebih lama masih tercantum. Periksa https://ollama.com/library/qwen3.8/tags untuk melihat daftar terbaru. Tag yang tidak ada akan gagal dengan Error: pull model manifest: file does not exist.
Berapa RAM yang saya perlukan untuk menjalankan model Qwen 27B di VPS?
32 GB adalah minimum praktis untuk Q4_K_M. Bobot model berukuran 17 GB, vision projector menambah sekitar 0.9 GB, sistem operasi memerlukan sekitar 1.5 GB, dan KV cache menambah kira-kira 1 GB untuk setiap 16,000 token konteks pada f16, karena hanya 16 dari 64 layer model yang menyimpan cache yang terus bertambah. Paket 16 GB sama sekali tidak dapat menampung bobot model, dan swap tidak membantu karena file tersebut dipetakan ke memori dan kernel hanya membacanya kembali dari disk pada setiap token. 64 GB memberi ruang untuk context window penuh 256K, bahkan dengan bobot Q8_0 sebesar 29 GB.
Berapa token per detik yang dapat dihasilkan model 27B pada CPU?
Bagi bandwidth memori dengan ukuran bobot model, lalu gunakan 50 hingga 70 persen dari hasilnya. VPS DDR4-3200 dua kanal memiliki batas atas sekitar 3 token per detik dan menghasilkan sekitar 2. Mesin DDR5-4800 dua kanal memiliki batas atas sekitar 4.5 dan menghasilkan sekitar 3. Platform server dengan lebih banyak kanal tampak jauh lebih baik di atas kertas, tetapi bandwidth memori dibagi oleh semua tenant pada host. Karena itu, ukur sendiri menggunakan ollama run qwen3.8:27b --verbose dan baca baris eval rate.
Sebaiknya saya menggunakan Q4 atau Q8 pada VPS yang hanya menggunakan CPU?
Q4_K_M, hampir dalam semua kasus. Q8_0 berukuran 29 GB, sedangkan 17 GB untuk Q4_K_M. Bobot Q8_0 masih dapat dimuat dalam 32 GB, tetapi projector, cache, sistem operasi, dan runtime menyisakan sedikit ruang. 64 GB menyediakan ruang untuk konteks yang panjang. Q8_0 memindahkan hampir dua kali lebih banyak data memori untuk setiap token, sehingga kecepatan token per detik turun kira-kira setengahnya. Perbedaan kualitas antara Q4_K_M dan Q8_0 pada model 27B kecil untuk sebagian besar tugas. Gunakan RAM tambahan untuk konteks yang lebih panjang, karena hal itu mengubah kemampuan model, bukan hanya cara model merumuskan jawaban.
Kapan menyewa GPU lebih murah daripada menggunakan VPS dengan RAM besar?
Saat duty cycle rendah atau ada orang yang menunggu. GPU dengan memori 24 GB memiliki batas atas teoretis sekitar 59 token per detik untuk bobot ini, dibandingkan dengan perkiraan 2 atau 3 pada VPS biasa. Biaya komputasi GPU per jam berhenti saat instance dihentikan, tetapi persistent storage tetap dapat dikenai biaya. VPS 64 GB ditagihkan sepanjang bulan, baik model sedang dimuat maupun tidak. Hitung berapa jam per hari Anda benar-benar menghasilkan token. Titik impas bergantung pada tarif sewa, biaya runtime, dan biaya persistent storage. Pekerjaan batch berprioritas rendah yang berjalan terus-menerus adalah kondisi ketika VPS yang selalu aktif lebih menguntungkan.