SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Dikemas kini 2026-10-30

Cara Menjalankan Qwen 3.8 27B pada VPS Menggunakan Ollama

Ketahui cara menjalankan model Qwen 3.8 27B menggunakan Ollama pada VPS. Kami membincangkan keperluan RAM minimum 32 GB dan jangkaan kelajuan token untuk CPU sahaja.

Bolehkah anda menjalankan Qwen 3.8 27B pada VPS tanpa GPU?

Untuk menjalankan Qwen 3.8 27B pada VPS, anda memerlukan tag qwen3.8:27b, dan setakat 21 Oktober 2026, pustaka Ollama menyediakannya sebagai tag yang boleh ditarik secara lokal: 27.3 bilion parameter, kuantisasi Q4_K_M, lesen Apache 2.0, tetingkap konteks 256K, dan muat turun bersaiz 18 GB yang merangkumi projektor visi sekitar 0.9 GB. Ollama menambah sokongan Qwen 3.8 27B dalam v0.32.12, yang dikeluarkan pada 14 Ogos 2026, jadi pemasangan yang lebih lama perlu dinaik taraf terlebih dahulu. Setakat 29 Oktober 2026, keluaran stabil terkini ialah v0.40.13, yang diterbitkan pada 28 Oktober 2026.

Jawapan ringkasnya ialah ya pada VPS bersaiz 32 GB atau lebih besar, namun ia berjalan dengan perlahan. Model padat 27B pada Q4 memerlukan kira-kira 17 GB RAM untuk berat (weights) sahaja, sebelum satu token konteks pun disimpan. Ini menolak pelan 8 GB dan 16 GB sepenuhnya. Pada VPS DDR4 dua saluran yang biasa, hadnya adalah sekitar 3 token sesaat, iaitu lebih perlahan daripada kelajuan membaca kebanyakan orang.

Tag 27B yang lebih awal masih terdapat dalam pustaka: qwen3.6:27b dan qwen3.5:27b kedua-duanya merupakan binaan Q4_K_M dengan saiz yang serupa. Qwen3.8-27B mengekalkan seni bina Qwen3.6-27B, dan fail konfigurasi rasmi untuk kedua-duanya memberikan susun atur lapisan yang sama, jadi pengiraan memori di bawah terpakai untuk kedua-duanya. Semak senarai langsung sebelum anda menyalin sebarang arahan, di halaman tag qwen3.8 Ollama. Pengiraan di sini bergantung pada kiraan parameter, bit bagi setiap berat dan susun atur perhatian (attention layout) dan bukannya pada nombor versi.

Tag Ollama yang perlu ditarik dan cara menyemaknya

Menarik tag yang tidak wujud akan menghasilkan ralat yang jelas, jadi perkara ini boleh diselesaikan dengan cepat pada pelayan itu sendiri. Tag yang wujud masih mungkin tidak boleh dijalankan secara setempat. Inilah yang sering mengelirukan pengguna bagi GLM 5.2, yang disenaraikan dalam pustaka tetapi hanya disediakan daripada awan Ollama.

ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27b

ollama show memaparkan seni bina, bilangan parameter, panjang konteks dan kuantisasi bagi tag yang anda miliki. Jika baris parameter memaparkan 27.3B dan baris kuantisasi memaparkan Q4_K_M, anda mempunyai binaan yang digunakan dalam panduan ini. Pustaka itu juga menyediakan qwen3.8:27b-q8_0 dan qwen3.8:27b-bf16 untuk pemberat yang sama pada ketepatan lebih tinggi, varian 27b-mtp, serta tag 27b-nvfp4, 27b-mxfp8, 27b-mlx dan 27b-mlx-bf16 yang dilabel MLX pada halaman tag. Format ini ditujukan kepada Apple Silicon, bukan VPS Linux. Berbeza daripada qwen3.6, entri qwen3.8 tidak mempunyai tag 35b-a3b. Model MoE (mixture of experts) itu masih berada di bawah qwen3.6 dan berfungsi dengan sangat berbeza pada CPU. Maklumat lanjut diberikan di bawah.

Kiraan parameter darab bait per pemberat

CartaQwen3.8 27B weights in RAM, by quantisation
Data di sebalik carta ini
[
  {
    "label": "Q4_K_M",
    "size_gb": 17,
    "bits_per_weight": 4.98,
    "notes": "published tag qwen3.8:27b, language model file"
  },
  {
    "label": "Q5_K_M",
    "size_gb": 19.5,
    "bits_per_weight": 5.7,
    "notes": "computed, no official library tag exists"
  },
  {
    "label": "NVFP4",
    "size_gb": 18,
    "bits_per_weight": 5.27,
    "notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
  },
  {
    "label": "Q8_0",
    "size_gb": 29,
    "bits_per_weight": 8.5,
    "notes": "published tag 27b-q8_0, language model file"
  },
  {
    "label": "BF16",
    "size_gb": 55,
    "bits_per_weight": 16.1,
    "notes": "published tag 27b-bf16, language model file"
  }
]

Rumus ini adalah satu baris. Bait pemberat = parameter * bit per pemberat / 8. Pada kadar 4 bit yang tepat, 27.3 bilion parameter bersamaan 13.7 GB. Fail model bahasa dalam tag Q4_K_M yang diedarkan adalah 17 GB, yang menghasilkan 4.98 bit per pemberat secara praktikal.

Jurang tersebut bukanlah satu ralat. Format K-quant tidak menyimpan setiap tensor pada lebar nominal. Tensor yang paling banyak kehilangan kualiti di bawah pemampatan diberikan lebih banyak bit. Senarai tensor Ollama untuk fail qwen3.8:27b yang diedarkan menunjukkan tensor berikut pada Q6_K: lapisan output, kira-kira separuh daripada unjuran turun feed-forward, unjuran V attention dalam kira-kira separuh daripada lapisan full-attention, dan kira-kira separuh daripada unjuran QKV bercantum dalam lapisan linear-attention. Tensor penormalan yang kecil kekal pada ketepatan 32-bit penuh. Embedding token, unjuran Q dan K attention, serta gate dan unjuran naik feed-forward kekal pada Q4_K seperti kebanyakan model lain. Nama pada format tersebut adalah purata, dan purata itu berada berhampiran 5. Kesan yang sama ditunjukkan pada hujung skala yang satu lagi: 55 GB untuk BF16 adalah 16.1 bit per pemberat dan bukannya 16 rata. Di situ, embedding token adalah BF16 seperti yang lain, dan lebihan kecil datang daripada metadata fail, tensor penormalan yang dikekalkan pada 32-bit, serta saiz yang disenaraikan dibundarkan kepada gigabait terdekat.

Peruntukkan bajet untuk keseluruhan tag, bukan sekadar fail model bahasa. Setiap tag GGUF bagi qwen3.8:27b juga menyertakan projektor visi sekitar 0.9 GB, itulah sebabnya tag Q4_K_M disenaraikan pada 18 GB.

Q5_K_M tidak mempunyai tag yang diterbitkan dalam entri pustaka qwen3.8 rasmi, jadi baris 19.5 GB dikira pada kadar biasa 5.7 bit per pemberat untuk format tersebut dan bukannya diukur. Q8_0 hampir menggandakan Q4 kepada 29 GB. Pada mesin yang hanya menggunakan CPU, penggandaan itu menelan kos trafik memori dua kali ganda bagi setiap token, jadi ia juga secara kasarnya mengurangkan separuh token per saat anda. Q4_K_M adalah lalai yang tepat di sini atas sebab itu sahaja. Jika anda mahukan aspek kualiti bagi keputusan tersebut dan bukannya aspek memori, perbandingan yang lebih teliti antara Q4, Q8 dan fp16 menunjukkan di mana output sebenarnya mula merosot.

Kos cache KV apabila konteks berkembang

Berat model ialah kos tetap. Cache KV (cache key dan value, iaitu keadaan perhatian yang disimpan model bagi setiap token yang telah dilihat) berkembang secara linear mengikut panjang konteks. Di sinilah kebanyakan pengguna sebenarnya kehabisan RAM.

CartaKV cache size by context length, Qwen3.8 27B
Data di sebalik carta ini
[
  {
    "label": "4k tokens",
    "kv_f16_gb": 0.25,
    "kv_q8_gb": 0.13
  },
  {
    "label": "8k tokens",
    "kv_f16_gb": 0.5,
    "kv_q8_gb": 0.25
  },
  {
    "label": "16k tokens",
    "kv_f16_gb": 1,
    "kv_q8_gb": 0.5
  },
  {
    "label": "32k tokens",
    "kv_f16_gb": 2,
    "kv_q8_gb": 1
  },
  {
    "label": "64k tokens",
    "kv_f16_gb": 4,
    "kv_q8_gb": 2
  },
  {
    "label": "128k tokens",
    "kv_f16_gb": 8,
    "kv_q8_gb": 4
  }
]

Angka tersebut datang daripada fail konfigurasi model itu sendiri. Qwen3.8-27B, seperti Qwen3.6-27B, ialah model dengan perhatian hibrid. Hanya 16 daripada 64 lapisannya menggunakan perhatian penuh dan mengekalkan cache yang berkembang bagi setiap token. Lapisan tersebut mempunyai 4 kepala key/value di bawah GQA (grouped-query attention) dan dimensi kepala sebanyak 256. Sebanyak 48 lapisan yang lain menggunakan perhatian linear (Gated DeltaNet) dan sebaliknya menyimpan keadaan bersaiz tetap. Mengikut pengiraan saya, saiznya sekitar 150 MB bagi setiap slot perbualan tanpa mengira panjang konteks. Jumlahnya ialah 64 KiB bagi setiap token pada f16. Maka, saiznya ialah 2 GB pada 32k token dan 8 GB pada 128k. Jangan anggap pengiraan saya tepat untuk pelayan anda. Muatkan model dan baca lajur SIZE dalam ollama ps, yang melaporkan jumlah berat model, cache dan overhed sebagai satu angka.

Konteks 256K pada kad model boleh dicapai dengan seni bina ini, tetapi bukan tanpa kos. Mengisi konteks tersebut pada f16 memerlukan kira-kira 16 GB cache tambahan di atas berat model, sedangkan mesin itu telah menggunakan 17 GB untuk berat model. Ollama tidak memberikan keseluruhan tetingkap konteks secara lalai. Dokumentasi panjang konteksnya menetapkan lalai berdasarkan VRAM: 4k token di bawah 24 GiB, 32k daripada 24 hingga 48 GiB, dan 256k pada 48 GiB atau lebih. VPS CPU sahaja tidak mempunyai VRAM, jadi ia menggunakan tahap 4k. Anda boleh menaikkannya dengan sengaja menggunakan OLLAMA_CONTEXT_LENGTH. Pemboleh ubah seluruh pelayan itu bukan satu-satunya kawalan. Menetapkan num_ctx pada permintaan individu membolehkan anda mengekalkan lalai yang rendah untuk semua permintaan lain, sementara satu tugas yang panjang mendapat tetingkap yang lebih besar. Naikkannya secara berperingkat dan semak ollama ps selepas setiap perubahan.

Dua tetapan membantu mengurangkan saiz cache. OLLAMA_KV_CACHE_TYPE=q8_0 menyimpan cache pada 8 bit dan bukannya 16 bit. Dengan itu, penggunaan pada 32k token berkurang daripada 2 GB kepada 1 GB. Tetapan ini memerlukan flash attention. Oleh itu, tetapkan OLLAMA_FLASH_ATTENTION=1 juga dan sahkan pengurangan tersebut dalam ollama ps, bukannya menganggap tetapan itu telah digunakan. Jika anda belum pernah mengubah jenis cache, panduan q8_0 berbanding f16 untuk cache KV Ollama menerangkan cara menetapkan kedua-dua pemboleh ubah serta membaca angka sebelum dan selepas perubahan. OLLAMA_NUM_PARALLEL=1 juga sama penting. Ollama boleh mengendalikan beberapa permintaan serentak, dan setiap slot mendapat bahagian konteksnya sendiri. Oleh itu, peningkatan paralelisme secara senyap menggandakan cache yang perlu anda peruntukkan. Nilai lalai semasa ialah 1, dan penggantian di bawah menetapkannya kepada nilai tersebut. Jika lebih daripada seorang akan menggunakan mesin ini, penggandaan itulah yang mula menimbulkan masalah. Bilangan pengguna serentak yang boleh dilayan oleh model self-hosted ditentukan oleh slot cache dan kedalaman baris gilir jauh lebih awal daripada bilangan teras CPU.

Kapasiti yang dimuatkan dalam RAM 8, 16, 32 dan 64 GB

CartaUsable context by VPS RAM tier, f16 cache, headless Linux
Data di sebalik carta ini
[
  {
    "label": "8 GB",
    "q4_max_ctx_ktok": 0,
    "q8_max_ctx_ktok": 0,
    "notes": "Weights alone exceed the box. Use a 4b or 8b model."
  },
  {
    "label": "16 GB",
    "q4_max_ctx_ktok": 0,
    "q8_max_ctx_ktok": 0,
    "notes": "17 GB of weights does not fit in 16 GB of RAM."
  },
  {
    "label": "32 GB",
    "q4_max_ctx_ktok": 128,
    "q8_max_ctx_ktok": null,
    "notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
  },
  {
    "label": "64 GB",
    "q4_max_ctx_ktok": 256,
    "q8_max_ctx_ktok": 256,
    "notes": "Both fit with the full 256K window."
  }
]

Baca dua nombor tersebut sebagai ribuan token konteks yang dimuatkan bersama pemberat (weights) dan projektor visi, pada cache f16, di atas VPS Linux tanpa kepala (headless) dengan baki kira-kira 1.5 GB untuk sistem pengendalian dan sedikit margin tambahan. Sifar bermaksud pemberat itu sendiri tidak muat, jadi tiada apa yang boleh dimuatkan; null bermaksud pemberat muat tetapi tiada angka konteks yang boleh digunakan disahkan untuk peringkat tersebut.

8 GB dan 16 GB bukanlah kapasiti yang hampir mencukupi. Pemberat 17 GB tidak muat ke dalam RAM 16 GB, dan tiada tetapan konteks yang boleh mengubahnya. Menambah swap juga tidak akan membantu. Ollama melakukan memory-map pada fail GGUF, jadi sebaik sahaja halaman residen melebihi RAM, kernel akan mula membuang dan membaca semula halaman tersebut, dan setiap token kemudiannya akan menarik gigabait data daripada cakera. Pelayan akan berada pada iowait yang tinggi dan menghasilkan kurang daripada satu token sesaat.

32 GB adalah titik permulaan. Pemberat mengambil 17 GB, projektor visi menambah kira-kira 0.9 GB, dan anda mempunyai baki kira-kira 12.5 GB, yang meliputi kira-kira 128k token konteks f16 dengan margin. Pemberat Q8_0 pada 29 GB muat dalam 32 GB, tetapi konteks yang boleh digunakan juga bergantung pada projektor visi, cache, sistem pengendalian dan memori runtime. Semak jumlah jejak memori pada pelayan anda sebelum menganggap Q8 boleh dijalankan pada peringkat ini.

64 GB adalah kapasiti yang selesa. Q4 memberikan ruang untuk tetingkap penuh 256k, dan pemberat Q8_0 juga muat dengan 256k penuh di belakangnya. Sebelum membayar untuk 64 GB bagi mendapatkan Q8, pastikan anda jelas tentang apa yang anda beli: output yang sedikit lebih baik pada separuh kelajuan, pada mesin yang sudah pun perlahan. Q4 sudah mencapai 128k token pada pelan 32 GB, dan itu adalah pertukaran yang lebih baik untuk hampir semua orang.

Sejauh manakah kelajuan inferens CPU pada VPS?

Menjana satu token daripada model padat bermaksud membaca setiap pemberat daripada memori sekali. Bukan sebahagian daripadanya. Kesemuanya. Jadi, had kelajuan bukan bilangan teras anda, tetapi lebar jalur memori dibahagikan dengan saiz pemberat. Pada Q4, jumlah trafik memori bagi setiap token ialah 17 GB.

CartaTheoretical token ceiling from memory bandwidth, 17 GB of weights
Data di sebalik carta ini
[
  {
    "label": "DDR4-2666, 2 channel",
    "mem_bandwidth_gb_s": 42.6,
    "ceiling_tok_s": 2.5
  },
  {
    "label": "DDR4-3200, 2 channel",
    "mem_bandwidth_gb_s": 51.2,
    "ceiling_tok_s": 3
  },
  {
    "label": "DDR5-4800, 2 channel",
    "mem_bandwidth_gb_s": 76.8,
    "ceiling_tok_s": 4.5
  },
  {
    "label": "DDR4-3200, 8 channel",
    "mem_bandwidth_gb_s": 204.8,
    "ceiling_tok_s": 12
  },
  {
    "label": "DDR5-4800, 12 channel",
    "mem_bandwidth_gb_s": 460.8,
    "ceiling_tok_s": 27.1
  }
]

Itu ialah had maksimum, bukan hasil ukuran. Output sebenar biasanya hanya mencapai kira-kira 50 hingga 70 peratus daripada angka yang ditunjukkan kerana kependaman memori dan prefetch yang tidak sempurna bermakna anda tidak pernah mencapai puncak teori. VPS DDR4-3200 dua saluran mempunyai had maksimum 3 token sesaat, jadi jangkakan kira-kira 2. Mesin DDR5-4800 dua saluran mempunyai had maksimum 4.5, jadi jangkakan kira-kira 3.

Baris pelayan besar disertakan dengan satu peringatan. Platform EPYC dua belas saluran mempunyai lebar jalur memori sebanyak 460.8 GB/s dan had maksimum 27.1 token sesaat, tetapi anda tidak menyewa keseluruhan EPYC. Lebar jalur memori ialah sumber pada peringkat hos yang dikongsi oleh setiap penyewa pada mesin tersebut. Oleh itu, slice 8 vCPU tidak disertakan dengan lebar jalur dua belas saluran yang eksklusif. Panduan yang memfokuskan GPU biasanya mengabaikan perkara ini. Inilah sebabnya dua pelan VPS dengan bilangan vCPU yang sama boleh berbeza sehingga tiga kali ganda pada model yang sama.

Menambah vCPU juga tidak lagi membantu selepas tahap awal atas sebab yang sama. Apabila teras meminta data lebih cepat daripada yang dapat dihantar oleh pengawal memori, thread tambahan hanya menambah overhed penjadualan. Tiada pemboleh ubah persekitaran seluruh pelayan dalam Ollama untuk menetapkan bilangan thread. Oleh itu, tetapkan num_thread dalam permintaan options kepada bilangan teras fizikal anda, ukur prestasinya, kemudian cuba separuh daripada nombor tersebut. Pada banyak pelan dikongsi, tetapan yang lebih rendah adalah lebih pantas.

Pemprosesan prompt berfungsi secara berbeza. Prefill, iaitu proses melalui input anda sebelum token pertama muncul, lebih terikat pada pengiraan berbanding lebar jalur. Oleh itu, prestasinya meningkat mengikut bilangan teras. Kesan praktikalnya ialah jeda yang panjang sebelum output bermula bagi prompt yang besar, diikuti kadar stabil yang perlahan seperti di atas. Ukur kedua-dua bahagian secara berasingan dengan --verbose. Perintah ini mencetak prompt eval rate dan eval rate bagi setiap permintaan.

Jika model padat 27B terlalu perlahan, semak tag qwen3.6:35b-a3b sebelum berputus asa menggunakan CPU. Tag tersebut mengaktifkan kira-kira 3 bilion parameter bagi setiap token, bukannya kesemua 27.3 bilion parameter. Oleh itu, trafik memori bagi setiap token berkurang hampir satu susunan magnitud, walaupun saiz fail pada cakera lebih besar. Anda menukar jejak RAM dengan kelajuan. Pilihan runtime juga penting di sini, dan Ollama dan llama.cpp mendedahkan kawalan penalaan CPU yang berbeza untuk kod inferens asas yang sama.

Bilakah masa yang sesuai untuk menyewa GPU secara jam

CartaGPU memory bandwidth and token ceiling on the same 17 GB of weights
Data di sebalik carta ini
[
  {
    "label": "L40S, 48 GB",
    "mem_bandwidth_gb_s": 864,
    "ceiling_tok_s": 51
  },
  {
    "label": "RTX 4090, 24 GB",
    "mem_bandwidth_gb_s": 1008,
    "ceiling_tok_s": 59
  },
  {
    "label": "A100, 80 GB",
    "mem_bandwidth_gb_s": 2039,
    "ceiling_tok_s": 120
  },
  {
    "label": "H100 SXM, 80 GB",
    "mem_bandwidth_gb_s": 3350,
    "ceiling_tok_s": 197
  }
]

Formula yang sama jika diaplikasikan pada lebar jalur memori GPU yang diterbitkan memberikan kategori jawapan yang berbeza. Kad pengguna 24 GB mempunyai had siling sebanyak 59 token sesaat pada pemberat ini. Kad pusat data semasa mencapai 197. Ini bukanlah jurang yang boleh ditutup dengan sekadar melaraskan kiraan thread. Kad tersebut menjalankan memorinya pada 1008 GB/s, manakala VPS anda hanya beroperasi pada kadar puluhan GB/s.

Oleh itu, tentukan pilihan berdasarkan beban kerja dan bukannya keutamaan peribadi. Inferens CPU adalah jawapan yang tepat apabila kerja bersifat tak segerak (asynchronous) dan tiada sesiapa yang menunggu hasilnya: contohnya ringkasan timbunan dokumen pada waktu malam, atau tugasan klasifikasi harian yang berjalan semasa anda tidur. Sewa GPU sebaik sahaja ada pengguna yang menunggu output, atau sebaik sahaja permintaan tiba lebih pantas daripada keupayaan pelayan anda untuk menyelesaikannya. Runtime CPU tidak terhad kepada satu permintaan pada satu masa: dokumentasi pelayan llama.cpp menjelaskan penyahkodan selari dan continuous batching pada CPU sama seperti pada GPU, dan Ollama juga boleh melayani permintaan selari, dengan kos penggunaan cache yang lebih tinggi. Perkara yang menentukan keputusan ini ialah kadar penyajian (serving rate) yang diukur berbanding kadar ketibaan permintaan, jadi buatlah ujian masa bagi batch yang realistik pada mesin anda sendiri. Apabila permintaan tiba lebih pantas daripada kadar tersebut, baris gilir akan semakin panjang.

Perbandingan kos tidaklah sejelas yang disangka. VPS 64 GB mengenakan bayaran setiap jam sepanjang bulan tidak kira sama ada model dimuatkan atau tidak, manakala sewaan GPU secara jam memisahkan caj pengkomputeran daripada caj storan yang boleh diteruskan walaupun selepas penggunaan dihentikan. Jika penggunaan sebenar anda hanyalah dua jam sehari, GPU sewaan boleh menjadi lebih pantas dan lebih murah. Tentukan kitaran tugas (duty cycle) anda terlebih dahulu, kemudian barulah buat pengiraan harga. Memilih VPS dengan GPU merangkumi perkara yang perlu diperiksa pada instans itu sendiri, dan vLLM mengatasi Ollama apabila anda melayani permintaan serentak pada GPU kerana ia melakukan batching dengan lebih sempurna.

Terdapat pilihan ketiga yang sering dilupakan orang. Kekalkan model 27B pada CPU untuk kerja batch dan gunakan model API yang dihoskan untuk laluan interaktif. Tiada syarat yang mewajibkan satu model untuk melayani kedua-dua keperluan tersebut.

Pasang Ollama dan ukur keupayaan pelayan anda

Skrip pemasangan yang digunakan adalah skrip rasmi, dan ia menyediakan servis systemd yang berjalan sebagai pengguna ollama khusus.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -g

ollama --version sepatutnya memaparkan 0.32.12 atau versi terkemudian, iaitu keluaran pertama dengan sokongan Qwen 3.8 27B. Semak free -g sebelum anda memuat turun apa-apa. Ia melaporkan nilai dalam GiB, jadi pelan yang diiklankan dengan 32 GB RAM mungkin menunjukkan sekitar 29 dalam lajur total; bandingkan memori yang tersedia dengan berat model dan bajet cache di atas.

Tetapkan pilihan runtime dalam override systemd dan bukannya dalam shell anda. Model tersebut berjalan di dalam servis, jadi ia tidak akan melihat persekitaran interaktif anda.

sudo systemctl edit ollama
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"
sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."

Output --verbose ialah ukuran yang anda perlukan. eval rate ialah token per saat anda semasa penjanaan. prompt eval rate ialah kelajuan prefill anda. load duration ialah tempoh masa yang diambil untuk membaca berat model daripada cakera, itulah sebabnya OLLAMA_KEEP_ALIVE=60m ditetapkan: pada CPU, memuatkan semula 17 GB daripada cakera pada setiap permintaan memakan kos yang lebih tinggi daripada permintaan itu sendiri. Had masa melahu lalai ialah lima minit, cukup singkat sehingga baris gilir kelompok dengan jurang antara item akan menanggung kos muatan tersebut berulang kali, dan pilihan untuk mengekalkan model dalam memori merangkumi kedua-dua medan keep_alive bagi setiap permintaan dan mengekalkan tetapan tersebut selepas but semula.

Semasa model dimuatkan, semak jejak memori daripada terminal kedua.

ollama ps

Lajur SIZE ialah jejak memori sebenar termasuk cache KV, dan ia sepatutnya berada hampir dengan berat model ditambah projektor penglihatan serta baris untuk panjang konteks anda dalam carta KV. Pada 8192 token dengan cache 8-bit, bahagian cache yang berkembang hanyalah sekitar suku gigabait, berbanding 0.5 GB jika ia kekal pada f16, dengan keadaan linear-attention tetap di atasnya. Lajur PROCESSOR sepatutnya memaparkan 100% CPU. Jika ia memaparkan nilai lain, sesuatu telah menuntut GPU dan nombor kelajuan dalam panduan ini tidak menggambarkan pelayan anda.

Mod kegagalan dan rentetan tepat yang akan dipaparkan

Model gagal dimuatkan. Ollama mencetak satu baris yang menamakan kedua-dua angka dalam bentuk model requires more system memory (18.6 GiB) than is available (15.2 GiB). Ini ialah kegagalan yang baik kerana Ollama membuat semakan sebelum memperuntukkan memori, bukannya membiarkan kernel menanganinya. Kurangkan panjang konteks, gunakan tag yang lebih kecil atau beralih kepada pelan yang lebih besar.

Proses hilang ketika menghasilkan jawapan. Klien tidak memaparkan maklumat yang berguna, manakala journalctl -u ollama -n 50 menunjukkan servis sedang dimulakan semula. Jalankan dmesg -T | tail. Baris yang mengandungi Out of memory: Killed process ... (ollama) bermaksud kernel telah menjalankan OOM killer. Keadaan ini berlaku apabila semakan pramuat berjaya tetapi cache berkembang melebihi anggaran semasa perbualan yang panjang. Kurangkan panjang konteks.

Pull gagal serta-merta. Error: pull model manifest: file does not exist bermaksud tag itu tiada dalam pustaka. Nombor versi yang belum dikeluarkan akan menghasilkan mesej ini, begitu juga kesilapan taip pada tag. qwen3.8:27b itu sendiri ialah tag yang sah. Oleh itu, jika tag tepat itu gagal, semak kesilapan taip terlebih dahulu. Sahkan tag pada halaman pustaka sebelum menyalahkan rangkaian anda. Jika tag yang sah berjaya diambil tetapi tidak dapat dijalankan, semak ollama --version terhadap 0.32.12.

Semuanya berfungsi tetapi sangat perlahan. Kelajuan kurang daripada satu token sesaat pada mesin dengan RAM yang mencukupi menunjukkan paging, bukannya kekurangan kapasiti pengiraan. Jalankan vmstat 1 semasa menjana output. Nilai bukan sifar dalam lajur si atau so bermaksud kernel sedang menggunakan swap. Penyelesaiannya ialah mengurangkan konteks atau bilangan model yang dimuatkan. Nilai wa yang tinggi dan stabil tanpa aktiviti swap bermaksud weight yang dipetakan ke memori sedang dibaca semula dari cakera. Ini menunjukkan weight tersebut sebenarnya tidak muat dalam memori.

Token pertama mengambil masa 30 saat, kemudian output menjadi lebih pantas. Itu ialah prefill dan keadaan ini normal. System prompt yang panjang perlu diproses semula bagi setiap permintaan yang tidak menggunakan cache. Oleh itu, pendekkan system prompt sebelum melaraskan perkara lain.

Kegunaan sebenar model 27B yang hanya menggunakan CPU

Tetapkan jangkaan berdasarkan angka, bukan harapan. Pada kelajuan dua hingga empat token sesaat, jawapan sepanjang 500 token mengambil masa antara dua hingga empat minit. Ini tidak praktikal untuk sembang, tetapi sangat sesuai untuk baris gilir (queue). Model yang berfikir sebelum membalas akan memburukkan lagi pengiraan ini, kerana token penaakulan tersembunyi dijana pada kadar perlahan yang sama seperti jawapan, jadi memadankan tahap usaha penaakulan dengan tugasan adalah antara satu-satunya cara untuk memendekkan balasan tanpa menukar model. Ringkasan dokumen, pelabelan pukal, pengekstrakan medan daripada tunggakan fail, dan semakan kod tanpa pengawasan semuanya boleh menerima kelajuan ini, kerana tiada sesiapa yang menunggu balasan tersebut. Bantuan pengekodan berada tepat pada garisan tersebut, jadi menghalakan ejen pengekodan kepada model yang anda hoskan berbaloi untuk tugasan latar belakang seperti mesej komit dan rangka kerja ujian, bukan untuk cadangan dalam talian yang anda perlu tunggu.

Hujah privasi adalah hujah yang sebenar. Model ini berjalan pada perkakasan yang anda sewa dan kawal, tiada permintaan keluar dari kotak tersebut, dan tiada bil bagi setiap token. Ini sangat berharga untuk data yang dikawal selia walaupun pada kelajuan tiga token sesaat. Timbangkan secara jujur berbanding alternatifnya: mengehos sendiri model skala frontier memerlukan perkakasan yang jauh lebih besar, dan model 27B pada CPU adalah titik paling murah pada lengkung tersebut di mana outputnya masih berbaloi untuk dibaca.

Untuk menanda aras mana-mana perkara tersebut, anda memerlukan input berstruktur sebenar, dan kebanyakan API data awam memerlukan akaun sebelum anda boleh mengukur daya pemprosesan. Skema demo Strasmore (kami menjalankannya) mendokumentasikan SQL baca sahaja ke atas data ekuiti dan opsyen AS tanpa kunci dan tanpa pendaftaran, menggunakan nama jadual yang layak pangkalan data: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5. Had demo adalah 500 baris dan 20 saat bagi setiap panggilan, dengan sejarah dari 1 Januari 2025 dan seterusnya, yang pastinya lebih daripada apa yang boleh digunakan oleh kotak berkelajuan dua token sesaat. Senarai lajur penuh ada di https://ai.strasmore.com/api/demo/schema.

Jika ini adalah pemasangan Ollama pertama anda, panduan lengkap untuk menjalankan Ollama pada VPS merangkumi penyediaan servis, API HTTP dan peraturan firewall yang diandaikan oleh panduan ini sudah anda miliki. Jangan dedahkan port 11434 kepada internet. API tempatan Ollama tidak memerlukan pengesahan, jadi sesiapa sahaja yang mencapai port tersebut boleh menggunakan model anda.

FAQ

Adakah model Qwen 3.8 27B tersedia di Ollama?

Ya. Setakat 21 Oktober 2026, pustaka Ollama mempunyai entri qwen3.8, dan qwen3.8:27b (juga ditandakan latest) merupakan binaan Q4_K_M bersaiz 18 GB bagi model padat 27.3 bilion parameter, lengkap dengan projektor visi dan tetingkap konteks 256K. Ia berjalan secara setempat dan memerlukan Ollama v0.32.12 atau lebih baharu. Tag qwen3.6:27b dan qwen3.5:27b yang lebih lama masih disenaraikan. Semak https://ollama.com/library/qwen3.8/tags untuk senarai terkini. Tag yang tidak wujud akan gagal dengan ralat Error: pull model manifest: file does not exist.

Berapa banyak RAM yang saya perlukan untuk menjalankan model Qwen 27B pada VPS?

32 GB adalah minimum praktikal untuk Q4_K_M. Berat model adalah 17 GB, projektor visi menambah kira-kira 0.9 GB, sistem pengendalian memerlukan sekitar 1.5 GB, dan cache KV menambah kira-kira 1 GB bagi setiap 16,000 token konteks pada f16, kerana hanya 16 daripada 64 lapisan model yang mengekalkan cache yang berkembang. Pelan 16 GB tidak mampu memuatkan berat model sama sekali, dan swap tidak membantu kerana fail tersebut dipetakan ke memori (memory-mapped) dan kernel hanya membaca semula fail itu daripada cakera pada setiap token. 64 GB memberikan ruang untuk tetingkap 256K penuh, walaupun dengan berat Q8_0 pada 29 GB.

Berapa banyak token sesaat yang akan diberikan oleh model 27B pada CPU?

Bahagikan lebar jalur memori anda dengan saiz berat model, kemudian ambil 50 hingga 70 peratus daripada nilai tersebut. VPS DDR4-3200 dwi-saluran mempunyai had siling hampir 3 token sesaat dan memberikan kira-kira 2. Kotak DDR5-4800 dwi-saluran mempunyai had siling hampir 4.5 dan memberikan kira-kira 3. Platform pelayan berbilang saluran kelihatan jauh lebih baik di atas kertas, tetapi lebar jalur memori dikongsi merentasi setiap penyewa pada hos, jadi ukur prestasi anda sendiri dengan ollama run qwen3.8:27b --verbose dan baca baris eval rate.

Patutkah saya menggunakan Q4 atau Q8 pada VPS yang hanya menggunakan CPU?

Q4_K_M, dalam hampir setiap keadaan. Q8_0 adalah 29 GB berbanding 17 GB, jadi beratnya muat dalam 32 GB, tetapi projektor, cache, sistem pengendalian dan runtime hanya meninggalkan sedikit ruang; 64 GB memberikan ruang untuk konteks yang panjang. Ia memindahkan hampir dua kali ganda memori bagi setiap token, yang mengurangkan token sesaat anda kepada kira-kira separuh. Perbezaan kualiti antara Q4_K_M dan Q8_0 pada model 27B adalah kecil untuk kebanyakan tugas. Gunakan RAM tersebut untuk konteks yang lebih panjang, kerana itu mengubah keupayaan model berbanding cara ia menyusun ayat.

Bilakah menyewa GPU lebih murah daripada VPS RAM besar?

Apabila kitaran tugas anda rendah atau terdapat pengguna yang sedang menunggu. GPU dengan memori 24 GB mempunyai had siling teori kira-kira 59 token sesaat pada berat ini, berbanding anggaran 2 atau 3 pada VPS biasa; caj pengkomputeran GPU setiap jam berhenti apabila instans dihentikan, tetapi storan kekal mungkin masih dikenakan bayaran. VPS 64 GB mengenakan bil sepanjang bulan sama ada model dimuatkan atau tidak. Kira berapa jam sehari anda benar-benar menjana token. Titik pulang modal bergantung pada kadar sewaan, runtime dan caj storan kekal. Kerja kelompok berkeutamaan rendah yang berterusan adalah situasi di mana VPS yang sentiasa aktif lebih menguntungkan.

Adakah artikel ini berguna?