Ollama atau llama.cpp untuk VPS CPU sahaja?
Ketahui beza Ollama dan llama.cpp, kesan quantisation terhadap RAM VPS CPU sahaja, serta keadaan apabila kedua-duanya tidak sesuai untuk model anda.
Ollama berbanding llama.cpp: lapisan manakah yang anda mahu jalankan?
Ollama dan llama.cpp bukan pesaing seperti yang dimaksudkan oleh soalan itu. llama.cpp ialah enjin inferens: enjin ini memuatkan fail model dan menukarkan prompt kepada token. Ollama ialah pengurus model, daemon latar belakang dan API HTTP yang berjalan di atas enjin tersebut. README Ollama masih menyenaraikan llama.cpp sebagai backend inferensnya (disemak pada 27 October 2026). Jadi, soalan sebenar ialah lapisan manakah yang anda mahu kendalikan pada VPS anda, bukan yang mana lebih pantas.
Jalankan Ollama apabila anda mahukan servis yang mengambil model berdasarkan nama dan terus berfungsi tanpa pemantauan berterusan. Jalankan llama.cpp secara terus apabila pelayan itu kecil dan anda perlu memilih fail model, saiz konteks serta bilangan thread yang tepat, kerana pada VPS kecil setiap tetapan tersebut menggunakan memori yang anda tidak miliki.
Apakah sebenarnya setiap projek itu
llama.cpp ialah pelaksanaan inferens transformer dalam C dan C++ yang dibina berasaskan pustaka ggml. Ia membaca fail GGUF. GGUF (GGML universal file format) ialah bekas satu fail yang mengandungi weights, tokeniser dan metadata yang diperlukan oleh enjin untuk menjalankan model. Projek ini menyediakan binari berasingan untuk tugas yang berbeza. llama-server ialah pelayan HTTP, llama-cli ialah prompt interaktif dan llama-bench mengukur throughput. Projek ini kini menerbitkan release mengikut semantic versioning (MAJOR.MINOR.PATCH), dan v0.7.0, yang diterbitkan pada 15 October 2026, merupakan release terkini pada 27 October 2026. Tag nightly dengan nombor build masih diterbitkan bersama-sama release tersebut, beberapa kali sehari, dan tag terbaharu pada 27 October 2026 ialah b11913.
Ollama ialah program Go. Daemon latar belakang yang dimulakan dengan ollama serve memuatkan model dan menjawab permintaan HTTP, manakala client command line berkomunikasi dengan daemon tersebut. Di belakang kedua-duanya terdapat registry di ollama.com yang menyimpan model yang telah dipakejkan. Ollama menggunakan semantic versioning. v0.32.5 diterbitkan pada 27 July 2026, manakala v0.40.12 dikeluarkan pada 27 October 2026 pada 00:07 UTC. ollama pull mengambil GGUF bersama prompt template dan set parameter lalai, kemudian menyimpannya di bawah /usr/share/ollama/.ollama/models pada Linux. Fail tersebut berada pada root disk dan setiap satunya boleh berukuran beberapa gigabait. Oleh itu, pada VPS dengan root volume 25 GB, anda wajar mengetahui apa yang ditinggalkan oleh pull dan cara memindahkan direktori model ke lokasi lain sebelum muat turun ketiga memenuhi ruangnya.
Perbezaan utama terletak pada cara pemakejan itu. Ollama menentukan quantisation, template dan context length untuk anda, serta memberikan satu nama yang perlu diingati. llama.cpp mendedahkan pilihan tersebut sebagai flag, dengan nilai lalai automatik bagi tetapan yang tidak anda tetapkan.
Sumbu 1: kawalan model dan kuantisasi
Kuantisasi menyimpan pemberat dalam bit yang lebih sedikit berbanding 16 atau 32 bit model asal. Binaan GGUF yang biasa menggunakan purata kira-kira 4, 5 atau 8 bit bagi setiap pemberat. Ketepatan tidak seragam di seluruh fail. Dalam sumber pengkuantisasi llama.cpp (dibaca pada 27 October 2026), binaan Q4_K_M mengekalkan kebanyakan tensor pada 4 bit, tetapi menggunakan Q6_K 6 bit untuk lapisan output serta tensor value attention dan feed-forward down dalam kira-kira separuh daripada lapisan. Tensor kecil seperti norm pula tidak dikuantisasikan langsung. Dengan cara ini, model 8 billion parameter boleh dimuatkan dalam RAM VPS biasa. Penamaan GGUF mudah difahami apabila anda mengetahui polanya: Q4_K_M bermaksud kuantisasi K 4 bit dengan saiz sederhana. Nombor yang lebih tinggi mengekalkan lebih banyak ketepatan dan menggunakan lebih banyak memori.
Data di sebalik carta ini
[
{
"label": "Q2_K",
"file_size_gib": 2.96
},
{
"label": "Q3_K_M",
"file_size_gib": 3.74
},
{
"label": "Q4_K_M",
"file_size_gib": 4.58
},
{
"label": "Q5_K_M",
"file_size_gib": 5.34
},
{
"label": "Q6_K",
"file_size_gib": 6.14
},
{
"label": "Q8_0",
"file_size_gib": 7.95
}
]Itulah saiz fail yang diterbitkan dalam repositori bartowski/Meta-Llama-3.1-8B-Instruct-GGUF di Hugging Face, dibaca pada 2 August 2026 dan ditukar daripada bytes kepada GiB. Terdapat 6 binaan bagi satu model. Binaan terkecil berukuran 2.96 GiB, berbanding 7.95 GiB bagi binaan terbesar. Lalai biasa, Q4_K_M, berukuran 4.58 GiB. Pada VPS 4 GiB, pilihan tunggal itu menentukan sama ada model boleh dimuatkan atau tidak. Saiz hanya separuh daripada pertimbangan tersebut. Baris yang mampu anda gunakan tidak semestinya baris yang wajar digunakan. kos sebenar Q4, Q8 dan fp16 terhadap kualiti jawapan menentukan sama ada gigabait tambahan memberikan peningkatan yang boleh anda perhatikan.
Dengan llama.cpp, anda menentukan nama fail. Oleh itu, anda memilih baris tersebut sendiri.
llama-server -m ~/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf \
-c 4096 -t 4 --host 127.0.0.1 --port 8080-c ialah saiz konteks dalam token, -t ialah bilangan thread, dan -ngl menetapkan bilangan lapisan yang dipindahkan ke GPU (0 pada pelayan yang hanya menggunakan CPU). Tetapan yang tidak ditetapkan akan menggunakan nilai lalai. --fit diaktifkan secara lalai untuk melaraskan argumen yang tidak ditetapkan supaya sesuai dengan memori peranti.
Dengan Ollama, kuantisasi disertakan bersama tag yang anda tarik. ollama ls menunjukkan kandungan yang sebenarnya terdapat pada disk. Jika registry tidak menyediakan binaan yang anda mahu, import sendiri fail GGUF. Tulis Modelfile:
FROM ./Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf
PARAMETER num_ctx 4096Kemudian bina dan semak hasilnya:
ollama create llama31-q4 -f ./Modelfile
ollama lsPanjang konteks ialah tetapan yang sering menyebabkan masalah. Ollama memilih nilai lalainya berdasarkan VRAM yang tersedia. Pelayan tanpa GPU akan menggunakan bucket paling kecil, iaitu 4096 token. Jika anda menghantar dokumen 20,000 token, token tambahan akan dibuang sebelum model melihatnya. Oleh itu, jawapan boleh kelihatan meyakinkan tetapi salah kerana model hanya membaca sebahagian dokumen tersebut. Tingkatkan nilai ini dengan OLLAMA_CONTEXT_LENGTH pada daemon, atau dengan PARAMETER num_ctx dalam Modelfile. Jika hanya satu tugas memerlukan tetingkap yang lebih besar, num_ctx boleh ditetapkan bagi setiap permintaan dan bukan untuk seluruh pelayan, supaya cache tambahan tidak digunakan oleh tugas lain yang dikendalikan daemon. llama.cpp juga tidak mempunyai nilai lalai yang wajar dipercayai. Tetapkan -c secara eksplisit dan pastikan nilai yang ditetapkan diketahui.
Aritmetik memori yang jarang ditunjukkan
Fail model bukan satu-satunya kos. Cache KV (cache kunci/nilai) menyimpan satu entri bagi setiap lapisan untuk setiap token dalam konteks, dan saiznya bertambah apabila perbualan berkembang.
Kira untuk Llama 3.1 8B. Model ini mempunyai 32 lapisan, 8 kepala kunci/nilai dan dimensi kepala 128. Setiap token menyimpan kunci dan nilai, masing-masing pada 2 bait dalam f16, jadi 2 x 8 x 128 x 2 = 4096 bait bagi setiap lapisan. Merentas 32 lapisan, jumlahnya ialah 128 KiB bagi setiap token. Konteks 4096 token oleh itu memerlukan 512 MiB, manakala konteks 32,768 token memerlukan 4 GiB.
Jadi, model Q4_K_M 8B dengan konteks 4k memerlukan kira-kira 4.58 GiB untuk pemberat, ditambah kira-kira 0.5 GiB untuk cache serta runtime itu sendiri. Ia tidak muat dalam RAM 4 GiB. Ia muat dalam 8 GiB dengan ruang yang mencukupi untuk beroperasi. Jika konteks dinaikkan kepada 32k pada mesin 8 GiB yang sama, cache sahaja akan menggunakan semua ruang lebihan. Pantau penggunaan secara langsung dengan free -h semasa model dimuatkan, dan jangan percaya anggaran yang tidak diukur. Jika anda membuat anggaran untuk model yang jauh melebihi 8B, pengiraan yang sama bagi model 27B pada VPS CPU sahaja menunjukkan kapasiti sebenar setiap peringkat dari 8 hingga 64 GB.
Ollama menggandakan kesannya. OLLAMA_NUM_PARALLEL ditetapkan kepada 1 secara lalai, dan memori yang diperlukan oleh model meningkat mengikut hasil darab nilai itu dengan panjang konteks. Jika kedua-duanya dinaikkan serentak, daemon secara senyap-senyap meminta RAM beberapa kali ganda daripada jangkaan anda. Pengiraan yang sama juga menetapkan had pengguna serentak, kerana setiap permintaan serentak memerlukan bahagian cache KV sendiri. Inilah sebab pelayan yang lancar untuk seorang pengguna tersekat apabila digunakan oleh lima orang.
Paksi 2: daemon yang perlu anda kendalikan
Skrip pemasangan Ollama menulis unit systemd, mencipta pengguna sistem ollama dan mengaktifkan servis tersebut. Pengurusan kitar hayat tersedia tanpa perlu menulisnya sendiri. Konfigurasi dilakukan melalui systemd:
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_KEEP_ALIVE=30m"sudo systemctl daemon-reload
sudo systemctl restart ollama
journalctl -e -u ollamaOLLAMA_KEEP_ALIVE lebih penting pada VPS CPU berbanding persekitaran lain. Secara lalai, model disimpan dalam memori selama 5 minit sebelum dinyahmuat. Permintaan seterusnya perlu memuatkan semula keseluruhan fail sebelum memberikan jawapan. Jika kernel masih menyimpan fail itu dalam cache halaman, proses ini pantas. Namun, hanya RAM yang tidak digunakan dapat mengekalkannya di situ. Apabila kerja lain menyebabkan fail itu dikeluarkan daripada cache, fail tersebut perlu dibaca semula dari cakera. Akibatnya, pemuatan semula 4.58 GiB boleh mengubah masa jawapan daripada dua saat kepada tiga puluh saat pada storan yang perlahan. Nilai keep-alive yang panjang menghapuskan kependaman itu, tetapi menggunakan RAM secara berterusan. Kedua-duanya ialah kos sebenar. Pilih pilihan yang kurang menjejaskan sistem. Jika anda mahu model kekal dalam memori, menetapkan keep_alive supaya model kekal tersedia semasa tempoh tidak aktif dan selepas reboot hanya memerlukan beberapa baris serta mengelakkan anda daripada memanaskan model secara manual setiap kali pelayan dimulakan semula.
llama.cpp tidak menyediakan daemon atau pengguna servis, jadi anda perlu menyediakan kedua-duanya sendiri. Dari direktori llama.cpp yang anda gunakan untuk membina perisian, pasang binari dan pustakanya ke dalam /usr/local, cipta pengguna llama dan berikan pengguna itu salinan model:
sudo cmake --install build
sudo ldconfig
sudo useradd --system --no-create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
sudo install -o llama -g llama -m 644 ~/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf /srv/models/model-Q4_K_M.ggufJika anda menggunakan arkib release dan bukannya membina sendiri, arahkan ExecStart kepada llama-server di dalam arkib tersebut kerana arkib menyimpan pustakanya bersebelahan dengan binari. Kemudian tulis unit itu seperti berikut dalam /etc/systemd/system/llama-server.service:
[Unit]
Description=llama.cpp server
After=network-online.target
[Service]
ExecStart=/usr/local/bin/llama-server -m /srv/models/model-Q4_K_M.gguf -c 4096 -t 4 --host 127.0.0.1 --port 8080
Restart=always
RestartSec=3
User=llama
[Install]
WantedBy=multi-user.targetAktifkan unit tersebut dengan sudo systemctl enable --now llama-server. Proses itu kemudiannya mengekalkan model sepanjang hayatnya. Secara lalai, model tidak dinyahmuat apabila tidak aktif. Namun, menambah --sleep-idle-seconds mengaktifkan penyahmuatan dan pemuatan semula secara automatik tanpa menghentikan servis. Jika menulis unit merupakan perkara baharu bagi anda, coraknya sama seperti menjalankan servis sendiri di bawah systemd pada VPS.
Paksi 3: API yang akan digunakan oleh aplikasi anda
Paksi ini kini jauh lebih sempit. Kedua-dua projek kini menggunakan format chat OpenAI, jadi kebanyakan pustaka klien boleh digunakan dengan mana-mana projek selepas hanya menukar base URL.
Ollama mendengar pada 127.0.0.1:11434. Laluan serasi OpenAI ialah http://localhost:11434/v1/chat/completions, dan Ollama turut menyediakan API asli pada /api/chat. Laluan serasi Anthropic juga didokumenkan. Tiada satu pun laluan ini membolehkan model mencari maklumat sendiri. Jika aplikasi anda memerlukan jawapan yang lebih baharu daripada data latihan model, rancang untuk menghubungkan carian web melalui API Ollama, Open WebUI atau gelung alat ringkas.
curl -X POST http://localhost:11434/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{"model": "llama31-q4", "messages": [{"role": "user", "content": "Say this is a test"}]}'Apabila dimulakan dengan flag di atas, llama-server mendengar pada 127.0.0.1:8080. Jika dibiarkan, perisian ini kini menggunakan port 9931 secara lalai (disemak pada 27 October 2026). Oleh itu, kekalkan --port pada command line jika aplikasi anda menjangkakan port 8080. Perisian ini menyediakan /v1/chat/completions, /v1/completions dan /v1/embeddings, selain endpoint /completion sendiri serta web UI terbina dalam. Ia juga menyediakan laluan operasi yang tiada pada Ollama: /health untuk readiness probe, /props untuk tetapan model yang dimuatkan, /slots untuk menunjukkan operasi setiap request slot, dan /metrics dalam format Prometheus selepas anda menambah --metrics kerana endpoint itu dilumpuhkan secara lalai. Jika anda merancang untuk memantau servis ini, perbezaan itu mungkin menjadi faktor penentu.
Kedua-dua server tidak mengaktifkan authentication secara automatik. Kedua-duanya menggunakan loopback secara lalai atas sebab yang munasabah. Akses kedua-duanya melalui SSH tunnel atau dari belakang reverse proxy. Jangan sekali-kali buka port 11434 atau 8080 kepada Internet.
Apa yang boleh dilakukan oleh VPS CPU sahaja secara jujur
VPS CPU sahaja menjalankan model kecil dengan perlahan. Itulah ringkasan yang jujur, dan bahagian yang berguna adalah mengetahui di mana hadnya. Lakukan pengukuran sebelum anda mereka bentuk apa-apa di sekelilingnya:
llama-bench -m ~/models/Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf -p 512 -n 128Lajur pp ialah kelajuan pemprosesan prompt dan lajur tg ialah kelajuan penjanaan token, kedua-duanya dalam unit token sesaat. Pada pelan vCPU kongsi, model 8B pada Q4_K_M biasanya mencapai angka tunggal yang rendah untuk tg. Pemprosesan prompt adalah bahagian yang membebankan: keseluruhan prompt diproses sebelum token output pertama muncul, jadi prompt sistem yang panjang menambah masa menunggu pada setiap permintaan. Panjang balasan adalah separuh daripada beban yang boleh anda kawal, kerana pada tiga token sesaat, model yang meleret sehingga 600 token akan memegang sumber pelayan selama 200 saat, lebih tiga minit untuk penjanaan sahaja, jadi mengehadkan output dengan num_predict adalah cara paling murah untuk menghalang satu jawapan yang panjang lebar daripada menyebabkan tamat masa (timeout).
Boleh digunakan pada CPU: model 1B hingga 4B untuk melakukan klasifikasi, pengekstrakan, ringkasan pendek atau penghalaan. Balasan tiba dalam beberapa saat dan memori mencukupi untuk pelan biasa. Untuk contoh kerja pada saiz tersebut dan bukannya julat saiz, Nemotron 3.5 Lightning yang dimuat turun dan diukur pada VPS memberikan tag yang tepat, RAM yang sebenarnya diminta, dan kelajuan yang dikekalkan tanpa GPU. Tidak boleh digunakan pada CPU: sembang interaktif pada kelajuan membaca, pembantu pengekodan, kerja dokumen panjang, atau apa-apa sahaja dengan gelung ejen yang membuat banyak panggilan secara berturutan. Gelung yang membuat dua belas panggilan pada empat saat setiap satu mengambil masa seminit sebelum ia menghasilkan apa-apa. Jika pembantu pengekodan adalah rancangan anda, menghalakan ejen kepada model yang anda hos sendiri menjelaskan tugasan yang mana model tempatan kecil benar-benar berkesan dan yang mana perlu kekal pada API yang dihoskan.
Terdapat dua jalan keluar apabila angka tersebut tidak memuaskan. Jika masalahnya ialah konkurensi, iaitu ramai pengguna mengakses satu model serentak, pilihan enjin akan berubah, dan perbandingan Ollama dengan vLLM untuk penyediaan serentak merangkumi perkara tersebut. Jika masalahnya ialah kelajuan mentah, jawapannya ialah VPS dengan GPU yang dilampirkan, di mana -ngl mula membawa makna. Sebelum melakukan mana-mana pilihan, dapatkan garis dasar untuk perkakasan itu sendiri, kerana lebar jalur cakera dan memori membentuk masa beban sama seperti CPU. Penanda aras VPS yang boleh diulang berbaloi untuk dilakukan dalam masa sejam.
Pasang llama.cpp dengan build yang dipin
Kedua-dua projek berubah setiap minggu. Oleh itu, catat versi yang anda gunakan. One-liner daripada upstream memasang build semasa:
curl -LsSf https://llama.app/install.sh | sh
llama serve -hf ggml-org/Qwen3.5-0.8B-GGUFUntuk menetapkan build tertentu, ambil tarball prabina daripada halaman releases. Projek ini kini turut menerbitkan releases dengan versi semantik: v0.7.0 ialah versi terkini pada 27 October 2026, dan halaman releasesnya merujuk nightly b11669 untuk binari. v0.8.0 menyusul pada 28 October 2026, dan halaman releasesnya merujuk nightly b11960 untuk binari. Arahan di bawah menggunakan b10224, iaitu tag semasa pada 2 August 2026. Gantikan dengan tag yang telah anda uji:
curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10224/llama-b10224-bin-ubuntu-x64.tar.gz
tar xf llama-b10224-bin-ubuntu-x64.tar.gz
find . -type f -name 'llama-server'Atau bina tag yang sama daripada kod sumber:
sudo apt update && sudo apt install -y build-essential cmake git libssl-dev
git clone https://github.com/ggml-org/llama.cpp
cd llama.cpp
git checkout b10224
cmake -B build
cmake --build build --config Release -j $(nproc)libssl-dev ialah dependency yang didokumenkan untuk ciri HTTPS. Proses kompilasi mengambil masa beberapa minit dan memerlukan lebih banyak RAM daripada yang tersedia pada pelan paling kecil. Oleh itu, bina pada pelayan yang lebih besar dan salin binari tersebut jika pelayan kecil kehabisan sumber.
Pasang Ollama dengan versi yang ditetapkan
curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.32.5 sh
ollama -vSkrip ini membaca OLLAMA_VERSION. Dengan itu, anda boleh mengekalkan keluaran yang diketahui stabil tanpa mengambil keluaran yang baru diterbitkan pagi ini. v0.32.5 diterbitkan pada 27 July 2026. Terdapat juga kaedah manual jika anda tidak mahu menyalurkan skrip terus ke shell:
sudo rm -rf /usr/lib/ollama
curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst | sudo tar x -C /usr
ollama -vKaedah manual tidak mencipta unit systemd atau pengguna servis. Oleh itu, anda perlu menciptanya sendiri. Panduan lengkap Ollama pada VPS menerangkan langkah persediaan servis tersebut.
Mod kegagalan dan rentetan yang akan dipaparkan
Ollama enggan memuatkan model. Ollama keluaran lama menyemak saiz sebelum memuatkan model, dan ollama run mengembalikan baris dalam bentuk ini:
Error: model requires more system memory (5.6 GiB) than is available (3.2 GiB)Kod sumber Ollama semasa tidak lagi mengandungi mesej itu (disemak pada 27 October 2026). Ollama kini menyerahkan proses pemuatan kepada llama-server. Oleh itu, model yang tidak muat akan dilaporkan sebagai kegagalan runner, dengan ralat yang bermula seperti berikut:
llama-server reported out-of-memory during startup
llama-server process has terminatedDalam kedua-dua keadaan, penyelesaiannya sama. Turunkan satu baris kuantisasi, kurangkan panjang konteks atau pilih model yang lebih kecil.
llama.cpp tidak gagal, tetapi berjalan sangat perlahan. Secara lalai, llama.cpp menggunakan pemetaan memori untuk fail GGUF. Oleh itu, fail yang lebih besar daripada RAM masih boleh dimulakan. Kernel kemudian memuatkan dan mengeluarkan weights dari cakera bagi setiap token. Penjanaan merosot kepada beberapa saat bagi setiap token, manakala penggunaan cakera kekal pada 100 peratus. Hantar --load-mode none untuk melumpuhkan pemetaan memori. Pilihan itu menggantikan --no-mmap, yang didokumenkan sebagai deprecated dalam binaan b10224 yang dipinkan dan tidak lagi muncul dalam binaan semasa (disemak pada 29 October 2026). Apabila kernel campur tangan, dmesg memaparkan sebabnya:
Out of memory: Killed process 1234 (llama-server)Fail model langsung tidak boleh dimuatkan. GGUF yang dibina untuk keluarga model yang lebih baharu daripada engine anda akan menghasilkan ralat yang menyatakan architecture yang tidak dikenalinya. <arch> ialah nama yang disimpan dalam metadata fail:
llama_model_load: error loading model: unknown model architecture: '<arch>'Penyelesaiannya ialah menaik taraf engine, bukan menggunakan fail yang berbeza. Inilah kesan menggunakan versi yang dipinkan, dan sebab nombor binaan perlu dicatat. Anda perlu tahu versi asal yang hendak dinaik taraf.
API memberikan respons secara setempat tetapi tidak dari aplikasi anda. Ollama bind pada 127.0.0.1:11434, jadi host lain menerima ralat connection refused. Tetapkan OLLAMA_HOST=0.0.0.0:11434 melalui systemctl edit ollama hanya apabila port itu berada di belakang firewall atau rangkaian peribadi, kerana API tersebut tidak mempunyai authentication.
Respons pertama selepas jeda sangat lambat. Proses unload selepas 5 minit tanpa aktiviti telah berlaku, dan model sedang dimuatkan semula dari cakera jika page cache tidak menyimpannya. ollama ps yang dijalankan sejurus sebelum request tidak memaparkan model yang dimuatkan, lalu mengesahkan keadaan itu. Tingkatkan OLLAMA_KEEP_ALIVE.
Jadi, yang manakah patut anda jalankan?
Jalankan Ollama apabila anda mahu model diuruskan secara automatik dan endpoint yang menyerupai OpenAI tanpa kerja tambahan. Ini ialah pilihan lalai yang sesuai untuk deployment pertama serta untuk keadaan apabila pilihan model akan kerap berubah.
Jalankan llama.cpp secara terus apabila memori cukup terhad sehingga anda perlu memilih baris kuantisasi sendiri, apabila anda mahu /health, /slots dan /metrics untuk pemantauan, atau apabila anda memerlukan flag yang tidak didedahkan oleh Ollama. Ini ialah pilihan yang tepat pada VPS apabila model hanya muat dengan sedikit lebihan ruang, kerana tetapan yang membolehkannya dimuatkan ialah tetapan yang dipilih oleh Ollama bagi pihak anda.
Menjalankan kedua-duanya ialah perkara biasa. Gunakan Ollama untuk eksperimen dan llama.cpp untuk satu-satunya model yang anda letakkan dalam production dan tidak mahu berubah.
FAQ
Adakah Ollama sekadar pembalut untuk llama.cpp?
Hampir, tetapi pembalut itu menjalankan kerja sebenar. README Ollama menyenaraikan llama.cpp sebagai backend inferensnya (disemak pada 27 October 2026). Ollama menambah registry model, templat prompt yang menukar mesej sembang kepada prompt, set parameter pensampelan lalai, daemon yang memunggah model ketika tidak aktif dan API HTTP. Apabila anda membandingkan token sesaat dengan tetapan yang sama, anda sebenarnya membandingkan enjin yang sama dengan dirinya sendiri. Pilihan sebenar anda ialah lapisan pengurusan.
Yang manakah lebih pantas pada VPS CPU sahaja?
Kedua-duanya berkongsi enjin yang sama. Oleh itu, dengan fail model, quantisation, saiz konteks dan bilangan thread yang sama, prestasinya hampir sama. Perbezaan yang biasanya dilaporkan berpunca daripada tetapan lalai yang berbeza, terutamanya panjang konteks dan bilangan thread, bukan daripada enjin. Ukur dengan llama-bench -m <file> -p 512 -n 128 dan bandingkan lajur tg pada pelayan anda sendiri sebelum mempercayai mana-mana angka yang diterbitkan.
Bolehkah saya menggunakan fail GGUF sendiri dengan Ollama?
Ya. Letakkan fail itu pada pelayan, tulis Modelfile yang baris pertamanya ialah FROM ./your-model.gguf, tambahkan mana-mana baris PARAMETER yang diperlukan seperti num_ctx, kemudian jalankan ollama create your-name -f ./Modelfile. ollama ls akan menyenaraikannya bersama model yang anda tarik daripada registry. Inilah cara untuk menggunakan quantisation yang tidak disediakan oleh registry.
Berapa banyak RAM yang diperlukan untuk model 8B?
Peruntukkan ruang untuk saiz fail, cache KV dan runtime. Binaan Q4_K_M bagi Llama 3.1 8B berukuran kira-kira 4.58 GiB pada cakera, manakala konteks 4096 token menambah kira-kira 512 MiB cache. Oleh itu, RAM 8 GiB mencukupi, tetapi 4 GiB tidak mencukupi. Saiz cache meningkat mengikut konteks. Model yang sama dengan konteks 32,768 token memerlukan kira-kira 4 GiB cache dengan sendirinya. Dengan Ollama, ingat bahawa keperluan itu turut meningkat mengikut OLLAMA_NUM_PARALLEL.