Cara Jalankan Ollama dalam Podman Rootless di VPS
Ketahui cara menjalankan Ollama melalui Podman rootless pada VPS. Panduan ini merangkumi konfigurasi Quadlet, pendayakan lingering, label SELinux, dan akses melalui SSH.
Jalankan Ollama dalam Podman rootless pada VPS
Untuk menjalankan Ollama dalam Podman rootless pada pelayan, lima perkara mesti dipenuhi yang boleh diketepikan dalam panduan desktop. Pengguna tanpa keistimewaan yang khusus memiliki container tersebut. Lingering diaktifkan untuk pengguna itu supaya container terus berjalan selepas anda log keluar. Fail Quadlet menyerahkan container kepada systemd supaya container dimulakan semula selepas reboot. Direktori model mempunyai label SELinux pada distribution yang menguatkuasakan SELinux. API hanya mendengar pada loopback, dan anda mengaksesnya melalui tunnel SSH (secure shell).
Ollama ialah pelayan untuk large language models (LLM). Ollama menyimpan model weights pada cakera, memuatkannya ke dalam memori dan menjawab permintaan HTTP pada port 11434. API tempatannya tidak memerlukan log masuk atau API key, jadi rangkaian ialah satu-satunya kawalan akses yang tersedia di sini. Podman menjalankan container tanpa daemon dan tanpa root, jadi apa-apa yang terlepas daripada container bermula sebagai pengguna biasa tanpa keistimewaan. Jika anda mahu membaca perbandingan runtime terlebih dahulu, lihat perbezaan Podman dan Docker pada VPS. Jika anda mahu mengelakkan container sepenuhnya, memasang Ollama terus pada VPS ialah pilihan yang lebih ringkas.
Fedora disertakan dengan Podman dan SELinux (security-enhanced Linux) secara lalai. Perintah di bawah mengandaikan Podman 5 atau lebih baharu. Unit Quadlet juga memerlukan cgroup v2, yang disenaraikan dalam dokumentasi Podman sebagai keperluan Quadlet tanpa mengira versi Podman. Semak kedua-duanya sebelum bermula: podman --version untuk yang pertama dan podman info | grep -i cgroup untuk yang kedua. Baris cgroupVersion mesti memaparkan v2. Pada Ubuntu 24.04, pakej podman dalam archive ialah versi 4.9.3, yang lebih lama daripada baris tersebut. Oleh itu, semak versi terlebih dahulu pada sistem itu.
Mengapa versi komputer riba memerlukan perubahan pada pelayan
Fedora Magazine telah menerbitkan panduan langkah demi langkah yang jelas mengenai tindanan ini pada 5 Ogos 2026: Menjalankan Ollama Secara Setempat dengan Podman pada Fedora Linux, oleh Yazan Monshed. Ia merupakan pengenalan yang baik untuk jam pertama anda menggunakan alatan tersebut. Panduan itu juga disasarkan untuk komputer riba, dan empat daripada pilihannya berkelakuan berbeza pada mesin yang mempunyai alamat IP awam.
- Ia memulakan bekas dengan
podman run -dbiasa. Bekas yang dimulakan secara manual tidak akan kembali selepas but semula, kerana tiada arahan yang diberikan untuk memulakannya secara automatik. - Ia menggunakan tag bergerak
ollama/ollama. Pada komputer riba, anda akan perasan pada hari tingkah laku tersebut berubah. Pada pelayan, tanda pertama ialah skrip yang berhenti berfungsi secara tiba-tiba pada waktu malam. - Ia menerbitkan dengan
-p 11434:11434, yang mengikat setiap antara muka. Di sebalik penghala rumah, ia tidak boleh dicapai dari internet. Pada VPS, ia menjadi API inferens awam tanpa sebarang kata laluan. - Ia dijalankan sebagai pengguna log masuk anda sendiri. Pada pelayan, akaun yang memiliki bekas tersebut tidak sepatutnya memiliki apa-apa yang lain, supaya jika berlaku pencerobohan, ia hanya akan mendarat di direktori rumah yang kosong.
Tiada satu pun daripada perkara tersebut salah untuk mesin yang ia ditulis untuknya. Setiap item hanyalah keputusan yang perlu anda semak semula apabila mesin tersebut boleh dicapai dari mana-mana sahaja dan tiada sesiapa yang duduk di hadapannya.
Cipta pengguna tanpa keistimewaan dan semak subuid
Rootless Podman memetakan ID pengguna dalaman container (UID) kepada blok ID yang belum digunakan pada hos. Blok tersebut diisytiharkan dalam /etc/subuid dan /etc/subgid. Podman juga menyokong mod satu-UID, tetapi konfigurasikan julat subordinate untuk persediaan ini.
sudo dnf install -y podman # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgidgrep sepatutnya memaparkan dua baris, satu daripada setiap fail, dan setiap baris menamakan julat yang mengandungi 65536 ID:
/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536Nombor permulaan anda akan berbeza, dan itu tidak menjadi masalah. Jika grep tidak memaparkan apa-apa, useradd tidak memperuntukkan julat. Podman melaporkan pemetaan yang tiada dengan mesej seperti ini:
Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuidPeruntukkan julat yang tidak digunakan oleh pengguna lain, kemudian maklumkan kepada Podman bahawa pemetaan lamanya sudah lapuk:
sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migrateMengunci kata laluan menyekat log masuk menggunakan kata laluan sebagai ollama; tindakan ini tidak menyekat kaedah pengesahan lain seperti kunci SSH. Anda boleh mengakses akaun tersebut daripada pengguna pentadbir anda dengan sudo -iu ollama.
Aktifkan lingering supaya servis terus berjalan selepas logout
Instance systemd pengguna biasanya bermula semasa log masuk dan berhenti selepas logout terakhir. /run/user/<uid> turut dipadam apabila instance itu berhenti. Servis yang diurus oleh instance tersebut akan berhenti apabila instance itu berhenti. Lingering memastikan instance pengguna terus berjalan tanpa sesi yang dilampirkan.
sudo loginctl enable-linger ollama
loginctl show-user ollama --property=LingerPerintah itu sepatutnya memaparkan Linger=yes. Aktifkannya sebelum mencipta unit supaya user manager dan direktori runtime-nya tersedia tanpa sesi log masuk.
Terdapat satu lagi langkah yang sering terlepas pandang. sudo -iu ollama memberikan anda shell tetapi bukan session bus, jadi systemctl --user gagal serta-merta:
Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not definedsystemd mencari user bus di $XDG_RUNTIME_DIR/bus, tetapi sudo -i tidak menetapkan pemboleh ubah tersebut. Tetapkannya secara manual dalam setiap shell pentadbir yang digunakan untuk mengurus servis ini:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user statusLokasi blob model dan jumlah ruang cakera yang perlu disediakan
Ollama menulis weights ke dalam /root/.ollama/models dalam container. Bind satu direktori daripada home pengguna ke path tersebut supaya fail disimpan di lokasi yang boleh anda ukur: /home/ollama/ollama-data/models. Blob disimpan dalam models/blobs sebagai fail beralamat kandungan, manakala models/manifests menyimpan indeks kecil yang menamakan fail tersebut. Jika anda menggunakan named volume seperti dalam artikel Fedora Magazine, pepohon yang sama berada di bawah /home/ollama/.local/share/containers/storage/volumes/<volume>/_data. Dalam kedua-dua keadaan, ollama pull dan ollama run menulis weights ke dalam pepohon yang sama. Perbezaan antara kedua-dua arahan hanyalah sama ada sesi chat dibuka selepas muat turun selesai.
Tentukan saiz cakera sebelum anda memuat turun apa-apa. Saiz muat turun yang diterbitkan memberikan anggaran minimum.
Data di sebalik carta ini
[
{
"label": "gemma3:4b",
"download_gb": 3.4
},
{
"label": "mistral:7b",
"download_gb": 4.4
},
{
"label": "qwen3:8b",
"download_gb": 5.2
},
{
"label": "gemma3:12b",
"download_gb": 8.2
},
{
"label": "qwen3:14b",
"download_gb": 9.3
},
{
"label": "gemma3:27b",
"download_gb": 17
},
{
"label": "qwen3:30b",
"download_gb": 19
}
]Semua 7 baris ialah angka yang diterbitkan di ollama.com/library, bukan saiz yang diukur pada cakera. Tag terkecil di sini, gemma3:4b, memuat turun 3.4 GB. Tag terbesar, qwen3:30b, memuat turun 19 GB. Imej container pula menggunakan ruang tambahan dalam storan Podman sendiri. Oleh itu, semak kedua-dua angka bersama podman system df dan df -h /home. Untuk prestasi yang baik, sediakan kira-kira saiz fail model dalam RAM, serta ruang tambahan untuk context window. RAM fizikal bukan had mutlak: pemetaan memori berasaskan cakera atau swap yang mencukupi boleh membolehkan model 19 GB berjalan pada VPS 16 GB, tetapi dengan prestasi yang lebih rendah.
Tetapkan tag imej, dan gunakan nama pendaftaran penuh
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9Gunakan tag versi yang telah dikeluarkan, 0.32.9 pada Ogos 2026, dan bukan latest. Keluaran yang lebih baharu telah tersedia: pada 30 Oktober 2026, tag versi biasa yang terbaharu di Docker Hub ialah 0.40.13. Oleh itu, semak halaman tag dan gunakan keluaran semasa dalam arahan pull serta baris Image=. Tag versi yang ditetapkan menghalang keluaran yang tidak anda pilih daripada dijalankan pada pelayan. Oleh itu, perubahan tingkah laku biasanya berpunca daripada perubahan yang anda buat. Namun, tag masih merupakan penuding, bukan cap jari. Registry boleh mengalihkannya ke imej lain apabila seseorang menolak imej menggunakan nama yang sama. Hanya digest yang ditetapkan secara kekal. Podman menerima kedua-dua bentuk dalam Image=. Jika restart pada 04:00 mesti menjalankan binari yang telah anda uji dengan tepat, jalankan podman images --digests docker.io/ollama/ollama selepas pull dan tulis Image=docker.io/ollama/ollama@sha256:<digest> sebagai gantinya. Docker Hub turut menerbitkan tag -rc dan -rocm untuk versi yang sama. Pilih tag biasa kecuali anda mempunyai GPU AMD.
Tulis hos registry juga. Pada Fedora, nama pendek dalam unit systemd tidak mempunyai terminal untuk memaparkan gesaan. Unit tersebut gagal dengan:
Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are definedMenjalankan pull secara manual terlebih dahulu adalah pilihan, tetapi berguna kerana muat turun berbilang gigabait tidak lagi berlaku dalam tempoh tamat masa permulaan unit.
Unit Quadlet yang kekal selepas but semula
Quadlet ialah penjana systemd untuk Podman. Anda menulis fail .container, systemd menukarkannya menjadi servis semasa but, dan podman generate systemd tidak lagi diperlukan. Simpan ini sebagai /home/ollama/.config/containers/systemd/ollama.container, yang dimiliki oleh pengguna ollama.
[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target
[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1
[Service]
Restart=always
TimeoutStartSec=900
[Install]
WantedBy=default.targetNama fail menetapkan nama servis, jadi ollama.container menjadi ollama.service.
systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.servicestatus sepatutnya menunjukkan active (running). Jangan jalankan systemctl --user enable ollama.service. Unit tersebut tidak wujud sebagai fail pada cakera, jadi systemd akan menolak:
Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.Bahagian [Install] sudah melakukan tugas tersebut. Quadlet mencipta pautan mula-semasa-but itu sendiri semasa daemon-reload, itulah sebabnya arahan tersebut tidak bersifat pilihan. TimeoutStartSec=900 meliputi permulaan pertama yang masih perlu menarik imej, memandangkan tempoh lalai 90 saat tidak mencukupi untuk muat turun bersaiz berbilang gigabait dan systemd akan mematikan proses tersebut sebagai gagal. OLLAMA_KEEP_ALIVE=30m menyimpan model dalam memori antara permintaan dan bukannya membuangnya selepas lima minit; pertukaran (trade-offs) dijelaskan dalam mengekalkan model Ollama dalam memori. Jika mana-mana kosa kata systemd di sini adalah baharu, cara servis dan pemasa systemd berfungsi pada VPS meliputi unit-unit tersebut.
Mengapa direktori model memberikan ralat permission denied di bawah SELinux
Pada Fedora, RHEL, Rocky dan AlmaLinux, SELinux dikuatkuasakan secara lalai. Proses kontena berjalan dalam domain container_t, manakala direktori dalam home pengguna dilabelkan sebagai user_home_t. Polisi tidak membenarkan satu pihak mengakses pihak yang lain, menyebabkan Ollama tidak dapat mencipta pepohon modelnya dan kontena tersebut terhenti. getenforce akan mencetak Enforcing pada sistem ini, dan penafian akses akan direkodkan:
sudo ausearch -m avc -ts recentAnda akan melihat baris yang menamakan domain dan label sasaran:
avc: denied { write } for pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0:Z pada penghujung baris Volume= adalah penyelesaiannya. Ia melabelkan semula direktori hos kepada container_file_t dan menandakannya dengan kategori MCS (multi-category security) peribadi yang hanya dibawa oleh kontena ini. :z huruf kecil menggunakan label kongsi, iaitu pilihan yang tepat apabila dua kontena membaca direktori yang sama.
Satu amaran mengenai :Z, kerana ia bersifat destruktif dan senyap. Pelabelan semula berfungsi secara rekursif. Jika anda menghalakannya ke /home/ollama, setiap fail dalam direktori home tersebut akan dilabelkan semula, yang akan menyebabkan akses kunci SSH pengguna tersebut terputus. Sentiasa berikan :Z subdirektori khusus yang tidak mengandungi fail lain. Named volumes tidak memerlukan langkah ini kerana Podman melabelkannya dengan betul semasa penciptaan. Jika anda memerlukan gambaran lebih luas, asas SELinux untuk pelayan menjelaskan tentang konteks dan boolean. Pada Ubuntu dan Debian, AppArmor digunakan sebagai ganti, :Z tidak memberikan kesan di sana, dan membiarkannya dalam unit adalah selamat.
Tutup port 11434 dan akses API melalui SSH
PublishPort=127.0.0.1:11434:11434 mengikat bahagian hos pada loopback. Sahkan perkara ini:
ss -ltnp | grep 11434
curl http://127.0.0.1:11434Output ss mesti menunjukkan 127.0.0.1:11434, dan curl mesti memberikan respons Ollama is running. Jika ss menunjukkan 0.0.0.0:11434 atau *:11434, port sedang mendengar pada semua antara muka. Sama ada internet boleh mencapainya bergantung pada peraturan firewall anda dan rangkaian di hadapan pelayan. Oleh itu, listener wildcard tidak semestinya terdedah secara automatik. Namun, jangan bergantung padanya: dokumentasi Ubuntu menyatakan bahawa ufw pada awalnya dilumpuhkan secara lalai, dan peraturan firewall ialah satu lagi perkara yang mesti sentiasa betul. Betulkan alamat bind supaya port tidak pernah mendengar secara terbuka sejak awal.
Pastikan bahagian yang anda bind adalah betul. Alamat dalam PublishPort ialah alamat hos. Di dalam container, Ollama mesti terus mendengar pada semua antara muka, iaitu tetapan lalai imej tersebut. Menetapkan Environment=OLLAMA_HOST=127.0.0.1 akan mengikat Ollama pada loopback container itu sendiri. Podman pula memajukan trafik yang diterbitkan ke alamat rangkaian container. Oleh itu, setiap permintaan akan ditolak, termasuk permintaan daripada hos.
Port 11434 yang terbuka menimbulkan dua risiko. Ollama tidak mempunyai pengesahan. Jadi, sesiapa yang boleh mencapai port itu boleh menyenaraikan model anda melalui /api/tags, menjalankan inference pada CPU dan kuota bandwidth anda melalui /api/generate, memuat turun model baharu ke cakera anda serta memadam model yang tersedia. Kedua, HTTP biasa ke port jauh menghantar prompt dan hasil completion dalam teks jelas. Ini membolehkan setiap mesin di sepanjang laluan membacanya. Kedua-dua masalah ini hilang jika port tersebut tidak pernah keluar dari hos.
Daripada workstation anda, majukan port melalui SSH:
ssh -N -L 11434:127.0.0.1:11434 you@vps.example.comKini, http://127.0.0.1:11434 pada laptop anda ialah Ollama pada pelayan, dalam sesi SSH yang disulitkan. Jika laptop anda sudah menjalankan Ollama, bind tempatan akan gagal dengan bind [127.0.0.1]:11434: Address already in use. Gunakan -L 11435:127.0.0.1:11434 dan arahkan client anda ke 11435.
Jika client pelayar memerlukannya, letakkan reverse proxy dengan kata laluan di hadapannya. Site block Caddy adalah ringkas, dan caddy hash-password mencetak hash bcrypt yang diperlukan:
ollama.example.com {
basic_auth {
you $2a$14$replace_with_the_generated_hash
}
reverse_proxy 127.0.0.1:11434
}Caddy mendapatkan sijil melalui TLS (transport layer security) sendiri, jadi trafik disulitkan. Uji client anda dahulu: client yang tidak boleh menghantar header Authorization akan gagal terhadap basic auth dengan 401 Unauthorized kosong. Terowong SSH tidak mempunyai masalah ini. Sebab itu terowong SSH menjadi cadangan lalai di sini.
Tarik model dan semak keseluruhan laluan
podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models/api/tags mengembalikan JSON yang menyenaraikan gemma3:4b. /api/generate mengembalikan objek JSON dengan medan response, selepas jeda sementara weight dimuatkan dari cakera. du sepatutnya melaporkan nombor yang hampir dengan saiz muat turun yang diterbitkan. Kemudian buktikan bahagian yang menjadi tujuan utama panduan ini:
sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.serviceactive bermaksud proses masih kekal berjalan, bahagian [Install] dan daemon-reload semuanya berfungsi seperti yang sepatutnya. Jika laporan menunjukkan inactive, semak ketiga-tiga perkara tersebut dahulu, kemudian periksa journalctl --user -u ollama.service untuk mencari ralat semasa permulaan.
Mod kegagalan, dengan rentetan yang akan anda lihat
Container hilang selepas reboot. Semak loginctl show-user ollama --property=Linger dahulu kerana tanpa Linger=yes, instance systemd pengguna tidak akan bermula semasa boot. Jika lingering diaktifkan, semak bahagian [Install] dalam fail .container, jalankan systemctl --user daemon-reload dan periksa journalctl --user -u ollama.service untuk melihat ralat permulaan.
Error: statfs /home/ollama/ollama-data: no such file or directory. Sumber bind mount mesti wujud sebelum container bermula. Podman tidak mencipta direktori pada host untuk anda. Jalankan mkdir -p ~/ollama-data sebagai pengguna ollama.
Permulaan gagal selepas 90 saat. journalctl --user -u ollama.service menunjukkan Start operation timed out. Terminating. kerana proses menarik image masih berjalan. Tarik image secara manual atau kekalkan TimeoutStartSec=900.
Container bermula kemudian keluar. podman logs ollama dan sudo ausearch -m avc -ts recent bersama-sama menunjukkan sama ada masalah itu berpunca daripada label SELinux. AVC yang menamakan container_t dan user_home_t bermaksud :Z tiada.
Permintaan daripada host ditolak. curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused dengan servis active biasanya bermaksud OLLAMA_HOST ditetapkan kepada alamat loopback di dalam container. Buang baris itu.
Penjanaan sangat perlahan atau container dihentikan. Tanpa GPU, inferens berjalan pada CPU dan model besar sememangnya lambat. Pemetaan memori berasaskan disk atau swap menjadikan inferens lebih perlahan apabila model tidak muat dalam RAM fizikal. Container yang terhenti di tengah-tengah permintaan dengan signal: killed dalam log memerlukan punca yang disemak; jika log kernel mengesahkan proses itu dihentikan kerana kehabisan memori, pilih tag yang lebih kecil daripada carta di atas.
Mengemas kini imej yang dipinkan
Pinning bermaksud kemas kini ialah tugas yang anda lakukan, bukan perubahan yang berlaku tanpa kawalan anda. Edit Image= dalam ollama.container, kemudian muat semula dan mulakan semula:
systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --versionModel disimpan dalam bind mount, jadi model kekal tanpa perubahan apabila imej digantikan. AutoUpdate=registry dalam bahagian [Container] mengkonfigurasi semakan digest terhadap registry; podman auto-update, yang dijalankan secara manual atau melalui pemasa systemd, menarik imej yang berubah dan memulakan semula unit. Kaedah ini sesuai untuk tag yang sentiasa berubah. Jika digunakan bersama tag versi, arahan itu hanya dijalankan apabila penerbit menerbitkan semula tag yang sama. Keadaan itu ialah perubahan tidak dirancang yang hendak dielakkan oleh pinning, jadi jangan aktifkan pilihan ini di sini. Sandarkan /home/ollama/ollama-data/models/manifests dan fail .container, tetapi jangan sertakan blob: saiznya besar, dan ollama pull akan mengambilnya semula pada mesin baharu.
FAQ
Mengapakah container Podman rootless saya berhenti apabila saya log keluar?
Instance systemd pengguna dan direktori /run/user/<uid> biasanya dimusnahkan selepas sesi terakhir untuk pengguna itu berakhir. Keadaan ini menghentikan servis yang diurus oleh instance tersebut. Jalankan sudo loginctl enable-linger ollama dan sahkan bahawa loginctl show-user ollama --property=Linger memaparkan Linger=yes. Aktifkan lingering sebelum anda mencipta unit Quadlet supaya user manager dan direktori runtime-nya tersedia tanpa sesi log masuk.
Adakah saya memerlukan label SELinux pada direktori model Ollama?
Pada Fedora, RHEL, Rocky dan AlmaLinux, ya, jika anda memasang bind direktori host. Container berjalan dalam domain container_t, manakala direktori dalam folder home dilabel sebagai user_home_t. Oleh itu, operasi tulis ditolak dan Ollama keluar. Tambahkan :Z pada baris Volume= dan berikan direktori kecil khusus kepadanya. Proses pelabelan semula dilakukan secara rekursif, dan menetapkan :Z kepada seluruh direktori home akan menyebabkan akses kunci SSH pengguna itu gagal. Named volume dilabel dengan betul oleh Podman dan tidak memerlukan apa-apa tambahan.
Berapa banyak ruang cakera yang diperlukan oleh model Ollama?
Mulakan dengan saiz muat turun yang diterbitkan di ollama.com/library. Saiznya adalah antara 3.4 GB untuk gemma3:4b hingga 19 GB untuk qwen3:30b. Tambahkan saiz image Podman, kemudian sediakan ruang lebihan kerana model kedua tidak menggantikan model pertama pada cakera. Semak df -h /home sebelum memuat turun dan du -sh ~/ollama-data/models selepas itu. Untuk prestasi yang baik, sediakan kira-kira saiz fail model dalam RAM serta ruang tambahan untuk context window. Pemetaan memori berasaskan cakera atau swap yang mencukupi boleh membolehkan model yang lebih besar berjalan dengan kurang RAM fizikal, tetapi prestasinya akan menurun.
Adakah selamat untuk mendedahkan port 11434 pada VPS?
Tidak. Ollama dikeluarkan tanpa sebarang pengesahan, jadi sesiapa yang dapat mencapai port itu boleh menyenaraikan model anda, memadamkannya, memuat turun model baharu ke cakera anda, serta menjalankan inference menggunakan CPU dan kuota bandwidth anda. HTTP biasa melalui Internet juga menghantar setiap prompt dan completion dalam teks jelas. Ikat bahagian host pada 127.0.0.1 dengan PublishPort=127.0.0.1:11434:11434, sahkan menggunakan ss -ltnp | grep 11434, dan capainya melalui SSH tunnel atau reverse proxy yang memerlukan kata laluan.