SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor

Perbezaan Ollama pull vs run dan Lokasi Fail Model

Ketahui beza ollama pull dan run untuk skrip anda. Ketahui lokasi fail model yang memenuhi cakera root VPS anda serta cara memindahkan direktori storan ke lokasi lain.

Perbezaan antara ollama pull dan ollama run

ollama pull memuat turun model dan berhenti. Bagi model sembang tempatan, ollama run memuat turun model hanya jika ia tiada, kemudian memuatkannya ke dalam memori dan membuka sesi sembang interaktif. Proses muat turun adalah sama dan fail disimpan di lokasi yang sama. Hanya run yang terus berjalan selepas itu. Model embedding adalah pengecualian bagi bahagian sembang: dokumentasi rasmi menunjukkan ollama run embeddinggemma "Hello world" mencetak embedding sebagai tatasusunan JSON dan bukannya balasan. Tanpa teks input, ollama run akan menolak model embedding dengan embedding models require input text.

Perbezaan tunggal itu menentukan arahan mana yang sesuai untuk skrip dan mana yang sesuai untuk papan kekunci.

ollama pull gemma4
ollama run gemma4
ollama run gemma4 "Reply with one word: ready"

Baris pertama mengambil model dan keluar, jadi ia selamat digunakan dalam penyediaan (provisioning) dan unit systemd. Baris kedua membuka sesi sembang; taip /bye atau tekan Ctrl+D untuk keluar. Baris ketiga menghantar satu prompt, mencetak jawapan dan keluar, iaitu bentuk yang diperlukan oleh skrip apabila ia memerlukan jawapan dan bukannya sesi. Bentuk ketiga itu masih membiarkan panjang balasan ditentukan sepenuhnya oleh model, jadi soalan satu baris boleh dibalas dengan tiga perenggan, dan mengehadkan jawapan dengan num_predict adalah cara untuk memastikan run yang diskripkan kekal dalam saiz yang boleh digunakan oleh pemanggil. Nama model berubah dengan pantas, jadi anggap gemma4 di sini sebagai pemegang tempat: ia adalah contoh yang digunakan oleh dokumentasi rasmi Ollama setakat Oktober 2026; gantikan dengan model sembang tempatan lain untuk aliran kerja yang sama. Tag yang berakhir dengan :cloud, seperti gemma4:cloud, adalah berbeza: Ollama menjalankannya pada pelayan mereka sendiri tanpa memuat turun pemberat model, jadi ruang cakera di bawah adalah untuk model tempatan. Jika anda lebih suka menggantikan dengan model yang telah disesuaikan oleh seseorang dengan pelayan sebenar, menjalankan Nemotron 3.5 Lightning pada VPS memberikan tag tepat untuk ditarik (pull) dan memori yang dijangkakan.

Mengapa ollama run pertama kelihatan seolah-olah terhenti

run pertama pada VPS baharu boleh kelihatan tidak mengeluarkan sebarang output selama beberapa minit. Tiada apa-apa yang rosak. Prompt sembang tidak akan muncul sehingga model berada dalam cakera dan dimuatkan ke dalam memori, jadi run sedang melakukan muat turun bersaiz berbilang gigabait sebelum ia mempunyai apa-apa untuk dipaparkan kepada anda.

Dua perkara menyembunyikan proses tersebut. Ollama menulis bar kemajuannya ke standard error, jadi di mana-mana sahaja aliran tersebut dibuang atau hanya dibaca selepas itu, seperti skrip yang berakhir dengan 2>/dev/null atau cron job, tiada apa-apa yang memberitahu anda bahawa muat turun sedang berjalan. Kemudian, sebaik sahaja bait-bait tersebut sampai, fail tersebut masih perlu dibaca daripada cakera ke dalam RAM sebelum token pertama, dan pada VPS yang kecil, bacaan tersebut adalah perlahan. Jika pelayan tidak mempunyai memori yang mencukupi untuk model tersebut, kernel akan mula melakukan swapping dan tempoh menunggu menjadi jauh lebih lama.

Pantau proses tersebut daripada sesi kedua dan bukannya membuat andaian:

df -h /
watch -n5 df -h /

Pada pelayan baharu, ruang bebas yang berkurangan secara berperingkat bermakna muat turun masih berjalan. Ruang bebas yang berhenti berkurangan semasa arahan masih sibuk tidak mengesahkan bahawa proses pemuatan telah bermula: selepas memuat turun, Ollama melakukan fasa verifying sha256 digest berasingan yang membaca fail sebelum menulis manifest dan melengkapkan proses pull. Pelayan yang sudah menyimpan model boleh mengelirukan anda pada Ollama 0.40.2: larian pertama model yang dimuat turun dengan versi lebih lama menulis salinan yang dinaik taraf di latar belakang dan menyimpan salinan asal sebagai sandaran, jadi ruang bebas boleh berkurangan tanpa sebarang muat turun berlaku. Ollama 0.40.3, yang dikeluarkan pada 11 Oktober 2026, telah menghentikan naik taraf latar belakang tersebut.

Inilah sebabnya mengapa proses pull perlu dilakukan lebih awal. Pengguna yang menaip ollama run tidak sepatutnya menjadi orang yang menanggung masa menunggu muat turun tersebut.

Muat turun model sebelum diminta

Perkara yang sama terpakai untuk apa-apa yang bukan manusia: ejen pengekodan yang dihalakan ke endpoint Ollama anda akan mendapat ralat model-not-found jika model tempatan yang diminta belum dimuat turun; permintaan inferens tidak akan memuat turunnya secara automatik. Pada pelayan baharu, muat turun model dalam skrip yang sama dengan pemasangan pelayan:

curl -fsSL https://ollama.com/install.sh | sh
ollama pull gemma4

Jika anda menyediakan pelayan buat kali pertama, pemasangan penuh Ollama pada VPS merangkumi servis itu sendiri dan siapa yang dibenarkan untuk mengaksesnya. Selepas itu, perkara yang wajar disediakan ialah proses muat turun yang tidak terhenti apabila terminal anda ditutup, kerana muat turun yang terputus di tengah jalan akan menyebabkan stor model anda tidak lengkap.

Jalankannya di dalam tmux, atau serahkannya kepada systemd sebagai unit one-shot yang berjalan semasa but. Tulis /etc/systemd/system/ollama-pull.service:

[Unit]
Description=Pre-pull Ollama models
Wants=ollama.service network-online.target
After=ollama.service network-online.target

[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/sh -c 'until ollama list >/dev/null 2>&1; do sleep 2; done'
ExecStart=/bin/sh -c 'ollama pull gemma4'

[Install]
WantedBy=multi-user.target

Kedua-dua arahan dijalankan melalui /bin/sh -c dengan sengaja. ExecStart= biasa menerima laluan mutlak atau nama boleh laku ringkas yang diselesaikan melalui laluan carian tetap systemd; command -v ollama menunjukkan laluan yang ditemui oleh shell semasa anda. Melalui shell menggunakan PATH servis dan bukannya laluan yang disalin daripada panduan. ExecStart yang pertama juga penting: After=ollama.service bermaksud unit pelayan telah dimulakan, yang tidak sama dengan sedia, jadi gelung menunggu sehingga ollama list memberi respons sebelum muat turun bermula.

sudo systemctl daemon-reload
sudo systemctl enable --now ollama-pull.service
journalctl -u ollama-pull.service

Jurnal sepatutnya menunjukkan muat turun selesai tanpa ralat, dan ollama list sepatutnya memaparkan model tersebut. Untuk memastikan tag yang berubah sentiasa terkini, tambah pemasa systemd atau entri cron mingguan yang menjalankan muat turun yang sama. Memuat turun semula tag yang telah berubah akan memuat turun lapisan baharu dan, bagi kebanyakan model, memadamkan lapisan lama yang tidak lagi digunakan pada akhir muat turun tersebut.

Apa yang berlaku apabila proses pull terganggu

Setiap lapisan model disimpan di bawah hash kandungannya sendiri. Oleh itu, proses pull yang terganggu bukanlah kerja yang sia-sia: jalankan ollama pull yang sama sekali lagi, dan lapisan yang telah selesai akan dikesan serta dilangkau, supaya muat turun diteruskan bermula daripada lapisan yang terputus.

Satu tindakan boleh memusnahkan kemajuan tersebut. Apabila pelayan Ollama bermula, ia akan membuang muat turun separa dan lapisan tersimpan yang tidak dirujuk oleh mana-mana manifest model, dan cebisan yang ditinggalkan oleh proses pull yang terhenti adalah tergolong dalam kategori ini. Keluaran semasa (0.40.11, disemak 26 Oktober 2026) melangkau mana-mana fail yang ditulis dalam tempoh satu jam yang lalu, jadi memulakan semula pelayan sejurus selepas proses pull terhenti adalah selamat, tetapi memulakan semula beberapa jam kemudian akan membuang bahagian yang telah anda muat turun. Cuba semula proses pull terlebih dahulu dan lakukan restart kemudian. Jika muat turun separa perlu dikekalkan selepas restart, tetapkan OLLAMA_NOPRUNE=1 dalam persekitaran servis, kemudian buang semula tetapan tersebut, kerana pemboleh ubah itu juga mematikan proses pembersihan pada akhir setiap pull, dan kedua-dua proses pembersihan itulah yang menghalang lapisan terbiar daripada terkumpul pada cakera.

Jika proses pull terhenti dengan no space left on device, kosongkan ruang storan sebelum mencuba semula. Jika df melaporkan cakera penuh dan du pada direktori model tidak menunjukkan penggunaan ruang tersebut, ruang itu telah digunakan oleh perkara lain, dan sebab mengapa df dan du tidak sepadan perlu dibaca sebelum anda memadamkan apa-apa.

Di manakah Ollama menyimpan model pada VPS?

Tanya pelayan anda sendiri dan jangan terus mempercayai laluan daripada mana-mana panduan, termasuk panduan ini. Lokasi tersebut berbeza antara pemasangan pakej dan kontena, dan ia berubah lagi jika seseorang telah menetapkan OLLAMA_MODELS.

systemctl cat ollama.service
getent passwd ollama
sudo find / -xdev -type d -name blobs 2>/dev/null

systemctl cat mencetak fail unit bersama setiap drop-in, jadi baris OLLAMA_MODELS yang ditetapkan oleh anda atau yang terbina dalam imej anda akan dipaparkan di situ. Tanpa baris tersebut, storan terletak di bawah direktori home akaun yang menjalankan servis tersebut, dan getent passwd mencetak direktori home itu pada medan keenam yang dipisahkan oleh kolon. find mencari satu sistem fail untuk direktori blobs, iaitu tempat lapisan (layers) sebenarnya ditulis. Abaikan -xdev jika model mungkin sudah berada pada mount yang berasingan.

Sekarang, buat pengukuran dan baca angka anda sendiri:

ollama list
df -h /
sudo du -sh /the/directory/you/found
sudo du -h -d1 /the/directory/you/found

Storan tersebut mempunyai dua jenis kandungan. Direktori manifest (manifests, yang digabungkan oleh manifests-v2 pada keluaran semasa) menyimpan fail kecil yang menyenaraikan lapisan yang membentuk setiap tag model. blobs menyimpan lapisan itu sendiri, setiap satunya dinamakan mengikut hash kandungannya, dan hampir keseluruhan saiz storan berada di situ. Oleh kerana lapisan dikongsi antara tag, dua model yang dibina berdasarkan weight yang sama masing-masing melaporkan saiz sendiri dalam ollama list walaupun hanya menduduki ruang tersebut sekali pada cakera, jadi saiz yang disenaraikan boleh berjumlah lebih daripada apa yang dilaporkan oleh du untuk direktori tersebut. Kejutan sebaliknya datang daripada Ollama 0.40.2: model yang dinaik taraf di latar belakang menyimpan salinan asal pada cakera sebagai sandaran, yang tidak ditunjukkan dua kali oleh ollama list, jadi du boleh melaporkan saiz yang jauh lebih besar daripada yang dicadangkan oleh senarai. Nota keluaran 0.40.2 menyertakan skrip yang memadamkan hanya sandaran tersebut.

Fail model memenuhi sistem fail root VPS yang kecil dengan lebih cepat berbanding apa sahaja yang mungkin anda pasang, dan faktor tunggal terbesar yang mempengaruhi saiznya ialah format weight. Memilih antara q4, q8 dan fp16 boleh menjimatkan gigabait bagi setiap model.

Alihkan model ke volum data dengan OLLAMA_MODELS

Jika pelan anda mempunyai cakera kedua atau volum data yang lebih besar, alihkan storan sebelum sistem fail root penuh. Hentikan pelayan terlebih dahulu supaya anda tidak menyalin fail yang sedang ditulis.

sudo systemctl stop ollama
sudo mkdir -p /mnt/data/ollama-models
sudo rsync -a /the/directory/you/found/ /mnt/data/ollama-models/
sudo chown -R ollama:ollama /mnt/data/ollama-models
sudo systemctl edit ollama.service

systemctl edit membuka editor pada fail drop-in, supaya unit pakej kekal tidak disentuh dan naik taraf pakej tidak akan menimpa perubahan anda. Tambahkan dua baris ini:

[Service]
Environment="OLLAMA_MODELS=/mnt/data/ollama-models"
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama list

systemctl show sepatutnya memaparkan laluan baharu anda, dan ollama list sepatutnya menunjukkan model yang sama seperti sebelum pengalihan. Jika senarai kosong, pastikan direktori baharu mengandungi storan yang telah disalin dan pelayan boleh membacanya. Servis dijalankan sebagai pengguna ollama, jadi pengguna tersebut memerlukan akses baca dan tulis ke destinasi, yang merupakan fungsi baris chown di atas. Semak journalctl -e -u ollama untuk ralat kebenaran yang menamakan laluan baharu tersebut. Padamkan salinan lama hanya selepas senarai itu betul, kerana pengalihan yang gagal ditambah dengan sumber yang telah dipadam bermakna anda perlu memuat turun semuanya semula.

Pilihan lain mengekalkan laluan asal dan melekapkan (mount) volum data ke atasnya:

echo '/mnt/data/ollama-models /the/directory/you/found none bind 0 0' | sudo tee -a /etc/fstab
sudo mount -a
findmnt /the/directory/you/found
df -h /

findmnt yang memaparkan lekap bermakna bind tersebut aktif. Bind mount membantu apabila sesuatu yang lain pada mesin sudah menjangkakan lokasi lalai. Ia mempunyai satu perangkap: fail yang anda salin keluar masih berada di bawah titik lekap pada cakera root, disembunyikan oleh lekap tersebut, jadi ruang tidak akan dikembalikan sehingga anda menyahlekap (unmount) dan memadamkannya. Pemboleh ubah persekitaran adalah pilihan yang lebih mudah untuk dijelaskan kepada sesiapa sahaja yang log masuk seterusnya.

Di mana kontena menyimpannya

Imej rasmi menyimpan model dalam apa sahaja yang anda lekapkan (mount), bukan dalam mana-mana direktori hos milik pengguna ollama. Perintah jalankan yang didokumentasikan adalah:

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

ollama sebelum titik bertindih ialah volum Docker bernama, dan /root/.ollama ialah tempat pelayan menulis di dalam kontena. Jadi, du terhadap laluan daripada bahagian sebelumnya tidak menemui apa-apa, kerana tiada apa-apa di sana. Paparkan lokasi dan saiz sebenar:

docker volume inspect ollama
docker system df -v
docker exec -it ollama ollama list

Baca medan Mountpoint daripada docker volume inspect, kemudian jalankan sudo du -sh terhadapnya. Untuk meletakkan model pada volum data, gantikan volum bernama dengan direktori hos (-v /mnt/data/ollama:/root/.ollama) dan cipta semula kontena tersebut. Kontena menulis sebagai root, jadi direktori hos tersebut akhirnya dimiliki oleh root. Di bawah Podman tanpa root (rootless), root kontena dipetakan kepada UID dan GID pengguna hos anda secara lalai, manakala ID kontena lain menggunakan julat bawahan: menjalankan Ollama di bawah Podman tanpa root merangkumi pemetaan tersebut.

Satu amaran tentang pembersihan. docker volume prune biasa hanya mengalih keluar volum tanpa nama, jadi ia membiarkan volum bernama ollama tidak terusik, tetapi docker volume prune --all mengalih keluar setiap volum yang tidak dirujuk oleh mana-mana kontena, termasuk volum bernama. Alih keluar atau cipta semula kontena ollama tanpa volumnya dan prune --all kemudiannya akan memadamkan setiap model yang anda muat turun, tanpa cara untuk mendapatkannya semula kecuali memuat turunnya sekali lagi. Baca cara untuk mencantas penggunaan cakera Docker pada VPS sebelum menjalankan pencantasan pada kotak yang mengehoskan model.

Alih keluar model menggunakan ollama rm, bukan rm

ollama list
ollama rm gemma4
ollama list
df -h /

ollama rm memadamkan manifes untuk tag tersebut, kemudian memadamkan lapisan yang tidak lagi dirujuk oleh mana-mana manifes. Ruang storan akan kembali sebaik sahaja fail tersebut dinyahpaut, jadi df bertindak serta-merta. Oleh kerana lapisan dikongsi, memadamkan satu daripada dua tag yang berkait rapat mungkin membebaskan ruang yang jauh lebih kecil daripada saiz yang dipaparkan oleh ollama list di sebelahnya. Ini adalah kelakuan yang betul, bukan pemadaman yang gagal.

Memadamkan fail secara manual akan merosakkan pasangan data tersebut. Alih keluar blob dengan rm dan manifes masih menyenaraikannya, jadi ollama list akan terus memaparkan model tersebut dan sebarang percubaan untuk menggunakannya akan gagal apabila lapisan yang hilang itu dibaca. Alih keluar manifes secara manual dan lapisannya akan kekal pada cakera tanpa sebarang rujukan, memakan ruang yang tidak akan dilaporkan oleh mana-mana arahan Ollama kepada anda. Jika anda telah memadamkan blob, ollama rm pada tag tersebut akan membersihkan entri yang tertinggal; jika anda memadamkan manifes, tiada entri tag yang tinggal untuk dialih keluar. Memulakan semula pelayan akan membersihkan lapisan yang tidak mempunyai rujukan sebaik sahaja ia berusia lebih daripada satu jam.

Satu perbezaan terakhir, kerana kedua-duanya sering dikelirukan. ollama rm adalah berkaitan dengan cakera. ollama stop gemma4 memunggah model daripada memori dan tidak membebaskan sebarang ruang cakera. Berapa lama model kekal dalam RAM selepas muat turun selesai adalah tetapan yang berasingan, dan mengekalkan model yang dimuatkan dan bukannya memuat semula pada setiap permintaan membincangkan perkara ini.

FAQ

Apakah perbezaan antara ollama pull dan ollama run?

ollama pull memuat turun model ke cakera dan kemudian keluar. ollama run menyemak sama ada model sudah ada pada cakera, memuat turunnya jika belum ada, memuatkannya ke dalam memori, dan kemudian bagi model sembang, membuka sesi sembang interaktif. Kedua-duanya menulis fail yang sama ke direktori yang sama. Gunakan pull dalam penyediaan (provisioning) dan skrip, dan gunakan run apabila pengguna berada di hadapan papan kekunci. ollama run <model> "your prompt" menghantar satu prompt dan keluar, yang merupakan bentuk boleh skrip bagi run.

Mengapa ollama run pertama saya kelihatan tergantung?

Ia mungkin sedang memuat turun, mengesahkan muat turun, atau memuatkan model tersebut. Prompt sembang tidak akan muncul sehingga model berada pada cakera dan dimuatkan ke dalam memori, manakala saiz model adalah beberapa gigabait. Ollama menulis bar kemajuannya ke standard error, jadi run di dalam skrip yang membuang aliran tersebut, atau di dalam cron job, tidak akan menunjukkan apa-apa semasa ia berfungsi. Buka sesi kedua dan jalankan watch -n5 df -h /: pada mesin baharu, ruang bebas yang berkurangan secara berperingkat bermakna muat turun sedang berjalan. Muat turun model lebih awal untuk mengelakkan masa menunggu muat turun dan pengesahan; proses memuatkan model tetap mengambil masa.

Di manakah Ollama menyimpan modelnya?

Lokasinya bergantung pada pemasangan, jadi paparkan lokasinya dan jangan membuat andaian. Jalankan systemctl cat ollama.service untuk melihat sama ada OLLAMA_MODELS ditetapkan dalam unit atau drop-in. Jika tidak, storan tersebut terletak di bawah direktori home akaun yang menjalankan servis tersebut, yang dipaparkan oleh getent passwd ollama. sudo find / -xdev -type d -name blobs 2>/dev/null mencari direktori layer secara terus. Bagi imej kontena, storan berada di dalam volume yang dipasang (mounted), dan docker volume inspect ollama memaparkan Mountpoint hosnya.

Bagaimanakah cara saya memindahkan model Ollama ke cakera lain?

Hentikan servis, salin storan ke lokasi baharu dengan rsync -a, berikan hak milik direktori kepada akaun servis dengan sudo chown -R ollama:ollama <directory>, kemudian jalankan sudo systemctl edit ollama.service dan tambahkan Environment="OLLAMA_MODELS=<directory>" di bawah baris [Service]. Muat semula dengan sudo systemctl daemon-reload dan mulakan semula servis. Sahkan dengan systemctl show ollama --property=Environment dan ollama list. Jika senarai kosong, semak sama ada direktori baharu mengandungi storan yang disalin dan pengguna ollama boleh membacanya; semak journalctl -e -u ollama untuk ralat kebenaran (permission).

Adakah memadam fail model akan mengosongkan ruang?

Memadam fail secara manual akan mengosongkan bait tetapi menyebabkan storan menjadi tidak konsisten. Jika anda memadam blob, manifest masih menyenaraikan model tersebut, jadi ia akan terus muncul dalam ollama list dan gagal apabila digunakan. Jika anda memadam manifest, layer-nya akan kekal pada cakera tanpa rujukan. Gunakan ollama rm <model>, yang memadam manifest dan kemudian layer yang tidak diperlukan oleh model lain. Jika blob telah dipadam secara manual, jalankan ollama rm pada tag tersebut untuk membersihkan entri. Jika manifest telah dipadam, tiada entri tag yang tinggal untuk dibuang. Mulakan semula pelayan untuk membuang layer yang tidak dirujuk oleh mana-mana manifest sebaik sahaja ia berusia lebih daripada satu jam.

Adakah artikel ini berguna?