VPSలో rootless Podmanతో Ollamaను ఎలా నడపాలి
ప్రత్యేక user, lingering, reboot తర్వాత ప్రారంభమయ్యే Quadlet unit, SELinux labels, మూసివేసిన portతో VPSలో Ollamaను సురక్షితంగా నడపడం నేర్చుకోండి.
rootless Podmanలో VPSపై Ollamaను నడపడం
సర్వర్పై rootless Podmanలో Ollamaను నడపాలంటే desktop walkthroughలో వదిలేయగల ఐదు అంశాలు తప్పనిసరిగా సరిగ్గా ఉండాలి. containerకు ఒక ప్రత్యేక unprivileged user యజమానిగా ఉండాలి. ఆ user కోసం lingering ప్రారంభించి ఉండాలి. అందువల్ల మీరు logout అయిన తర్వాత కూడా container నడుస్తూనే ఉంటుంది. Quadlet file containerను systemdకు అప్పగించాలి. అందువల్ల reboot తర్వాత అది మళ్లీ ప్రారంభమవుతుంది. SELinux అమలు చేసే distributionsలో model directoryకి SELinux label ఉండాలి. API loopbackపై మాత్రమే listen చేయాలి. దాన్ని SSH (secure shell) tunnel ద్వారా మాత్రమే యాక్సెస్ చేయాలి.
Ollama అనేది large language models (LLM) కోసం server. ఇది model weightsను diskపై నిల్వ చేసి, memoryలోకి load చేసి, port 11434పై HTTP requestsకు సమాధానం ఇస్తుంది. దీని local APIకి login లేదా API key అవసరం లేదు. కాబట్టి ఇక్కడ మీకు లభించే ఏకైక access control network మాత్రమే. Podman daemon లేకుండా, root లేకుండా containersను నడుపుతుంది. అందువల్ల container నుంచి బయటపడే ఏదైనా మొదట సాధారణ unprivileged userగా మాత్రమే నడుస్తుంది. Runtime comparisonను ముందుగా చూడాలనుకుంటే VPSపై Podman మరియు Docker ఎలా భిన్నంగా ఉంటాయో చదవండి. Containersను పూర్తిగా వదిలేయాలనుకుంటే, VPSపై Ollamaను నేరుగా install చేయడం తక్కువ దశలతో పూర్తవుతుంది.
Fedoraలో Podman మరియు SELinux (security-enhanced Linux) రెండూ defaultగా అందుబాటులో ఉంటాయి. దిగువ commands Podman 5 లేదా దాని తరువాతి versionను ఊహిస్తున్నాయి. Quadlet unitకు cgroup v2 కూడా అవసరం. Podman version ఏదైనా అయినా, Podman documentationలో ఇది Quadlet requirementగా పేర్కొనబడింది. ప్రారంభించే ముందు రెండింటినీ తనిఖీ చేయండి: మొదటిదానికి podman --version, రెండవదానికి podman info | grep -i cgroup ఉపయోగించండి. అక్కడ cgroupVersion line తప్పనిసరిగా v2గా ఉండాలి. Ubuntu 24.04లో archiveలోని podman package version 4.9.3. ఇది ఆ lineలోని versionకంటే పాతది. కాబట్టి అక్కడ ముందుగా versionను తనిఖీ చేయండి.
సర్వర్లో laptop వెర్షన్కు మార్పులు ఎందుకు అవసరం
Fedora Magazine 5 August 2026న ఈ stack గురించి స్పష్టమైన మార్గదర్శకాన్ని ప్రచురించింది: Fedora Linuxలో Podmanతో Ollamaను స్థానికంగా నడపడం, రచయిత Yazan Monshed. ఈ toolsతో ప్రారంభించడానికి ఇది మొదటి గంటకు మంచి మార్గదర్శకం. అయితే ఇది laptopను లక్ష్యంగా చేసుకుంది. public IP address ఉన్న machineలో దాని నాలుగు ఎంపికలు భిన్నంగా పనిచేస్తాయి.
- ఇది plain
podman run -dతో containerను ప్రారంభిస్తుంది. చేతితో ప్రారంభించిన container reboot తర్వాత మళ్లీ ప్రారంభం కాదు, ఎందుకంటే దాన్ని ప్రారంభించమని ఏ వ్యవస్థకూ చెప్పలేదు. - ఇది మారుతూ ఉండే
ollama/ollamatagను ఉపయోగిస్తుంది. laptopలో ప్రవర్తన మారిన రోజును మీరు గమనిస్తారు. serverలో మొదటి సంకేతం, రాత్రికి రాత్రే ఒక script పనిచేయడం ఆపేయడం. - ఇది
-p 11434:11434తో publish చేస్తుంది. ఇది ప్రతి interfaceకు bind అవుతుంది. home router వెనుక ఇది internet నుంచి చేరుకోలేనిది. VPSలో ఇది password లేకుండా public inference APIగా మారుతుంది. - ఇది మీ స్వంత login userగా నడుస్తుంది. serverలో containerను కలిగి ఉన్న accountకు ఇతర వస్తువుల యాజమాన్యం ఉండకూడదు. అప్పుడు container breakout జరిగినా అది ఖాళీ home directoryలోనే ముగుస్తుంది.
ఇవేవీ అవి రాయబడిన machineకు తప్పు కావు. box ప్రతి చోటు నుంచి చేరుకోగలిగినప్పుడు, దాని ముందు ఎవరూ కూర్చోని పరిస్థితిలో, ప్రతి అంశాన్ని మళ్లీ పరిశీలించాలి.
అధికారాలు లేని user ను సృష్టించి, subuid ను పరిశీలించండి
Rootless Podman container లోని అంతర్గత user IDs (UID) ను host పై ఉపయోగించని IDల బ్లాక్కు map చేస్తుంది. ఆ బ్లాక్ను /etc/subuid మరియు /etc/subgid లో ప్రకటిస్తారు. Podman single-UID mode కు కూడా మద్దతు ఇస్తుంది, కానీ ఈ setup కోసం subordinate ranges ను configure చేయండి.
sudo dnf install -y podman # or: sudo apt install -y podman
sudo useradd --create-home --shell /bin/bash --comment "Ollama container owner" ollama
sudo passwd --lock ollama
grep ollama /etc/subuid /etc/subgidgrep రెండు lines ను print చేయాలి. ప్రతి file నుంచి ఒక line వస్తుంది, మరియు ప్రతి line 65536 IDs పరిధిని పేర్కొంటుంది:
/etc/subuid:ollama:100000:65536
/etc/subgid:ollama:100000:65536మీ starting number భిన్నంగా ఉంటుంది. అది సమస్య కాదు. grep ఎలాంటి output ఇవ్వకపోతే, useradd ఎలాంటి range ను allocate చేయలేదు. Mapping కనిపించకపోతే Podman ఇలాంటి message ను చూపిస్తుంది:
Error: cannot find UID/GID for user ollama: no subuid ranges found for user "ollama" in /etc/subuidమరే ఇతర user ఉపయోగించని range ను assign చేసి, పాత mapping stale అయిందని Podman కు తెలియజేయండి:
sudo usermod --add-subuids 100000-165535 --add-subgids 100000-165535 ollama
sudo -iu ollama podman system migratePassword ను lock చేయడం వల్ల ollama గా password login నిలిపివేయబడుతుంది. అయితే SSH keys వంటి ఇతర authentication methods నిలిపివేయబడవు. మీ admin user నుంచి sudo -iu ollama తో ఈ account ను access చేయండి.
logout తర్వాత కూడా సేవ కొనసాగేందుకు lingering ను ప్రారంభించండి
వినియోగదారుడి systemd instance సాధారణంగా login సమయంలో ప్రారంభమై, చివరి logout తర్వాత ఆగిపోతుంది. దానితో పాటు /run/user/<uid> కూడా తొలగించబడుతుంది. ఆ instance నిర్వహించే సేవలు అది ఆగినప్పుడు ఆగిపోతాయి. Lingering వల్ల session జతచేయబడకపోయినా user instance నడుస్తూనే ఉంటుంది.
sudo loginctl enable-linger ollama
loginctl show-user ollama --property=Lingerదాని output Linger=yes గా ఉండాలి. Unit సృష్టించే ముందు దీన్ని enable చేయండి. అప్పుడు login session లేకపోయినా user manager మరియు దాని runtime directory అందుబాటులో ఉంటాయి.
ఇంకో దశ ఉంది. చాలామంది దీనిని ఊహించరు. sudo -iu ollama మీకు shell ఇస్తుంది, కానీ session bus ఇవ్వదు. అందువల్ల systemctl --user వెంటనే విఫలమవుతుంది:
Failed to connect to bus: $DBUS_SESSION_BUS_ADDRESS and $XDG_RUNTIME_DIR not definedsystemd user bus కోసం $XDG_RUNTIME_DIR/bus వద్ద చూస్తుంది. sudo -i ఆ variable ను set చేయదు. ఈ సేవను నిర్వహించే ప్రతి admin shell లో దాన్ని చేతితో set చేయండి:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user statusమోడల్ blobs ఎక్కడ నిల్వ అవుతాయి, ఎంత disk space అవసరమో ఎలా ప్రణాళిక చేయాలి
Ollama weights ను container లోని /root/.ollama/models లో రాస్తుంది. ఆ path పైకి user's home నుంచి ఒక directory ను bind చేయండి. అప్పుడు files ను కొలవగలిగే ప్రదేశంలో చూడవచ్చు: /home/ollama/ollama-data/models. Blobs content-addressed files గా models/blobs లో ఉంటాయి. వాటి పేర్లను సూచించే చిన్న index models/manifests లో ఉంటుంది. Fedora Magazine post లో ఉన్నట్లుగా named volume ఉపయోగిస్తే, అదే tree /home/ollama/.local/share/containers/storage/volumes/<volume>/_data కింద ఉంటుంది. ఏ పద్ధతినైనా ollama pull మరియు ollama run weights ను ఒకే tree లో రాస్తాయి. ఈ రెండు commands ను వేరు చేసేది download పూర్తయిన తర్వాత chat session ఒకసారి ప్రారంభమవుతుందా లేదా అన్నది మాత్రమే.
ఏదైనా pull చేయడానికి ముందు disk size ను నిర్ణయించండి. ప్రచురించిన download sizes కనీస అవసరాన్ని తెలియజేస్తాయి.
ఈ చార్ట్ వెనుక ఉన్న డేటా
[
{
"label": "gemma3:4b",
"download_gb": 3.4
},
{
"label": "mistral:7b",
"download_gb": 4.4
},
{
"label": "qwen3:8b",
"download_gb": 5.2
},
{
"label": "gemma3:12b",
"download_gb": 8.2
},
{
"label": "qwen3:14b",
"download_gb": 9.3
},
{
"label": "gemma3:27b",
"download_gb": 17
},
{
"label": "qwen3:30b",
"download_gb": 19
}
]ఇక్కడి మొత్తం 7 rows ollama.com/library లో ప్రచురించిన figures ఆధారంగా ఉన్నాయి. ఇవి disk పై కొలిచిన sizes కావు. ఇక్కడి చిన్నest tag gemma3:4b, ఇది 3.4 GB download చేస్తుంది. పెద్దది qwen3:30b, ఇది 19 GB download చేస్తుంది. Container image Podman యొక్క స్వంత storage లో దీనికి అదనంగా నిల్వ అవుతుంది. అందువల్ల podman system df మరియు df -h /home ఉపయోగించి రెండు సంఖ్యలను కలిపి పరిశీలించండి. మంచి performance కోసం, model file size కు సమానమైన RAM తో పాటు context window కోసం అదనపు స్థలాన్ని ప్రణాళిక చేయండి. Physical RAM hard cutoff కాదు. Disk-backed memory mapping లేదా తగినంత swap ఉంటే, 16 GB VPS పై 19 GB model నడవవచ్చు, అయితే performance తగ్గుతుంది.
ఇమేజ్ tag ను pin చేసి, పూర్తి registry పేరును ఉపయోగించండి
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
mkdir -p ~/ollama-data ~/.config/containers/systemd
podman pull docker.io/ollama/ollama:0.32.9విడుదల చేసిన version tag ను ఉపయోగించండి. 0.32.9 ను ఆగస్టు 2026 నాటికి ఉపయోగించాలి, latest ను కాదు. అప్పటి నుంచి కొత్త releases విడుదలయ్యాయి. 30 October 2026 నాటికి Docker Hub లోని తాజా plain version tag 0.40.13. అందువల్ల tags page ను పరిశీలించి, pull command లోనూ Image= line లోనూ ప్రస్తుత release ను ఉపయోగించండి. మీరు ఎంచుకోని releases server పైకి రాకుండా pinned version tag నిరోధిస్తుంది. అందువల్ల behaviour లో మార్పు సాధారణంగా మీరు చేసిన మార్పే అవుతుంది. అయితే tag ఇప్పటికీ pointer మాత్రమే; అది fingerprint కాదు. అదే పేరుతో ఎవరైనా మళ్లీ push చేసినప్పుడు registry ఆ tag ను వేరే image కు మార్చుతుంది. Digest మాత్రమే స్థిరంగా ఉంటుంది. Image= లో Podman ఈ రెండు రూపాల్లో ఏదో ఒకదాన్ని అంగీకరిస్తుంది. 04:00 సమయంలో జరిగే restart మీరు పరీక్షించిన అదే binary ను తప్పనిసరిగా నడపాలంటే, pull తర్వాత podman images --digests docker.io/ollama/ollama ను అమలు చేసి, దాని బదులు Image=docker.io/ollama/ollama@sha256:<digest> ను రాయండి. అదే versions కోసం Docker Hub -rc మరియు -rocm tags ను కూడా ప్రచురిస్తుంది. మీ వద్ద AMD GPU ఉంటే తప్ప plain tag ను ఎంచుకోండి.
Registry host ను కూడా రాయండి. Fedora లో systemd unit లోని short name కు prompt చూపించడానికి terminal ఉండదు. అందువల్ల unit ఈ error తో విఫలమవుతుంది:
Error: short-name "ollama/ollama" did not resolve to an alias and no unqualified-search registries are definedముందుగా చేతితో pull చేయడం తప్పనిసరి కాదు. అయితే ఇది ఉపయోగకరం, ఎందుకంటే multi-gigabyte download unit యొక్క start timeout లోపల జరగకుండా బయటకు మార్చుతుంది.
రీబూట్ తర్వాత కూడా కొనసాగే Quadlet యూనిట్
Quadlet అనేది Podman యొక్క systemd జనరేటర్. మీరు ఒక .container ఫైల్ను రాస్తే, systemd దానిని బూట్ సమయంలో ఒక సర్వీస్గా మారుస్తుంది, అప్పుడు podman generate systemd అవసరం ఉండదు. దీనిని ollama యూజర్ యాజమాన్యంలో /home/ollama/.config/containers/systemd/ollama.containerగా సేవ్ చేయండి.
[Unit]
Description=Ollama API (rootless)
After=network-online.target
Wants=network-online.target
[Container]
Image=docker.io/ollama/ollama:0.32.9
ContainerName=ollama
PublishPort=127.0.0.1:11434:11434
Volume=/home/ollama/ollama-data:/root/.ollama:Z
Environment=OLLAMA_KEEP_ALIVE=30m
Environment=OLLAMA_MAX_LOADED_MODELS=1
[Service]
Restart=always
TimeoutStartSec=900
[Install]
WantedBy=default.targetఫైల్ పేరు సర్వీస్ పేరును నిర్ణయిస్తుంది, కాబట్టి ollama.container అనేది ollama.serviceగా మారుతుంది.
systemctl --user daemon-reload
systemctl --user start ollama.service
systemctl --user status ollama.servicestatus అనేది active (running)ని చూపాలి. systemctl --user enable ollama.serviceని రన్ చేయవద్దు. ఈ యూనిట్ డిస్క్పై ఫైల్గా ఉండదు, కాబట్టి systemd దానిని తిరస్కరిస్తుంది:
Failed to enable unit: Unit file /run/user/1001/systemd/generator/ollama.service is transient or generated.[Install] విభాగం ఇప్పటికే ఆ పనిని చేస్తుంది. daemon-reload సమయంలో Quadlet స్వయంగా బూట్-అప్ లింక్ను సృష్టిస్తుంది, అందుకే ఆ కమాండ్ ఐచ్ఛికం కాదు. TimeoutStartSec=900 అనేది ఇమేజ్ను డౌన్లోడ్ చేయాల్సిన మొదటి ప్రారంభాన్ని కవర్ చేస్తుంది, ఎందుకంటే మల్టీ-గిగాబైట్ డౌన్లోడ్ కోసం డిఫాల్ట్ 90 సెకన్లు సరిపోవు మరియు systemd ఆ ప్రారంభాన్ని విఫలమైనట్లుగా పరిగణించి ఆపివేస్తుంది. OLLAMA_KEEP_ALIVE=30m అనేది ఐదు నిమిషాల తర్వాత మోడల్ను అన్లోడ్ చేయడానికి బదులుగా అభ్యర్థనల మధ్య దానిని మెమరీలో ఉంచుతుంది; దీనికి సంబంధించిన లాభనష్టాలు Ollama మోడల్ను మెమరీలో ఉంచడంలో ఉన్నాయి. ఇక్కడ ఉన్న systemd పదజాలం ఏదైనా కొత్తగా ఉంటే, VPSపై systemd సర్వీసులు మరియు టైమర్లు ఎలా పనిచేస్తాయి అనేది ఆ యూనిట్ల గురించి వివరిస్తుంది.
SELinux కింద model directoryకి permission denied ఎందుకు వస్తుంది
Fedora, RHEL, Rocky మరియు AlmaLinuxలో SELinux డిఫాల్ట్గా enforcing మోడ్లో ఉంటుంది. Container process container_t domainలో నడుస్తుంది. User homeలోని directoryకి user_home_t label ఉంటుంది. Policy ఈ రెండింటినీ పరస్పరం ఉపయోగించడానికి అనుమతించదు. అందువల్ల Ollama తన model treeని సృష్టించలేక container exit అవుతుంది. ఈ systemsలో getenforce, Enforcing ను చూపిస్తుంది. Denial ఇలా record అవుతుంది:
sudo ausearch -m avc -ts recentDomain మరియు target label పేర్లతో ఒక line కనిపిస్తుంది:
avc: denied { write } for pid=1842 comm="ollama" name="models" dev="vda1" ino=131077 scontext=system_u:system_r:container_t:s0:c214,c827 tcontext=unconfined_u:object_r:user_home_t:s0 tclass=dir permlisted=0Volume= line చివరలో ఉన్న :Z పరిష్కారం. ఇది host directoryని container_file_tకి relabel చేసి, ఈ containerకే చెందిన private MCS (multi-category security) categoryని దానికి జతచేస్తుంది. Lowercase :z బదులుగా shared labelను ఉపయోగిస్తుంది. రెండు containers ఒకే directoryని చదవాల్సినప్పుడు అదే అవసరం.
:Z గురించి ఒక హెచ్చరిక: ఇది destructiveగా, ఎలాంటి output లేకుండా పనిచేస్తుంది. Relabelling recursiveగా జరుగుతుంది. దానికి /home/ollamaను ఇస్తే, ఆ home directoryలోని ప్రతి file relabel అవుతుంది. దాంతో ఆ userకు SSH key access పనిచేయదు. :Zకు ఎల్లప్పుడూ ప్రత్యేక subdirectoryని ఇవ్వండి. అందులో ఇతర files ఏవీ ఉండకూడదు. Named volumesకు ఇది అవసరం లేదు. Podman వాటిని సృష్టించే సమయంలో సరైన labelsను అమలు చేస్తుంది. మరింత పూర్తి వివరాల కోసం server కోసం SELinux ప్రాథమికాలు contexts మరియు booleansను వివరిస్తుంది. Ubuntu మరియు Debianలో AppArmor ఉపయోగించబడుతుంది. అక్కడ :Z ఎలాంటి పని చేయదు. Unitలో దాన్ని ఉంచినా ఎటువంటి సమస్య ఉండదు.
11434 port ను మూసివేసి SSH ద్వారా APIని యాక్సెస్ చేయండి
PublishPort=127.0.0.1:11434:11434 host వైపు loopbackకు bind అవుతుంది. దీన్ని నిర్ధారించండి:
ss -ltnp | grep 11434
curl http://127.0.0.1:11434ss outputలో 127.0.0.1:11434 కనిపించాలి. అలాగే curl కు Ollama is running సమాధానం ఇవ్వాలి. ss లో 0.0.0.0:11434 లేదా *:11434 కనిపిస్తే, port ప్రతి interfaceపై listening చేస్తోంది. ఆ portను internet నుంచి చేరుకోగలరా అనేది మీ firewall నియమాలు మరియు server ముందు ఉన్న networkపై ఆధారపడి ఉంటుంది. అందువల్ల wildcard listener ఉన్నంత మాత్రాన అది తప్పనిసరిగా బహిర్గతం అవుతుందని కాదు. అయినప్పటికీ దీనిపై ఆధారపడకండి. Ubuntu documentation ప్రకారం ufw మొదటగా defaultగా disabled అయి ఉంటుంది. Firewall rule సరిగ్గా కొనసాగడం కూడా అవసరం. Port మొదటి నుంచే publicగా listening చేయకుండా bind addressను సరిచేయండి.
మీరు ఏ వైపు binding చేస్తున్నారో స్పష్టంగా గుర్తించండి. PublishPort లోని address host address. Container లో Ollama అన్ని interfacesపై listening చేయాలి. ఇదే image default. Environment=OLLAMA_HOST=127.0.0.1 ను సెట్ చేస్తే Ollama container యొక్క స్వంత loopbackకు bind అవుతుంది. Podman published trafficను container network addressకు పంపుతుంది. అందువల్ల host నుంచైనా ప్రతి request తిరస్కరించబడుతుంది.
Openగా ఉన్న 11434 port మీకు రెండు విధాలుగా ప్రమాదం కలిగిస్తుంది. Ollamaలో authentication లేదు. కాబట్టి ఈ portను చేరుకోగల ఎవరైనా /api/tags ద్వారా మీ models జాబితాను చూడగలరు. /api/generate ద్వారా మీ CPU మరియు bandwidth allowance ఉపయోగించి inference నడపగలరు. మీ diskపై కొత్త modelsను pull చేయగలరు. మీ వద్ద ఉన్న modelsను delete చేయగలరు. రెండవది, remote portకు plain HTTP ద్వారా prompts మరియు completions పంపితే అవి cleartextగా వెళ్తాయి. కాబట్టి మార్గంలోని ప్రతి machine వాటిని చదవగలదు. Port serverను విడిచిపెట్టకపోతే ఈ రెండు సమస్యలు ఉండవు.
మీ workstation నుంచి SSH ద్వారా portను forward చేయండి:
ssh -N -L 11434:127.0.0.1:11434 you@vps.example.comఇప్పుడు మీ laptopలోని http://127.0.0.1:11434, SSH session encryptionలో ఉన్న server Ollamaను సూచిస్తుంది. మీ laptopలో Ollama ఇప్పటికే నడుస్తుంటే, local bind bind [127.0.0.1]:11434: Address already in use తో విఫలమవుతుంది. -L 11435:127.0.0.1:11434 ను ఉపయోగించి మీ clientను 11435కు point చేయండి.
Browser clientకు ఇది అవసరమైతే, ముందు password కలిగిన reverse proxyను ఉంచండి. Caddy site block చిన్నదిగా ఉంటుంది. అవసరమైన bcrypt hashను caddy hash-password ప్రింట్ చేస్తుంది:
ollama.example.com {
basic_auth {
you $2a$14$replace_with_the_generated_hash
}
reverse_proxy 127.0.0.1:11434
}Caddy స్వయంగా TLS (transport layer security) ద్వారా certificateను పొందుతుంది. అందువల్ల traffic encryptedగా ఉంటుంది. ముందుగా మీ clientను test చేయండి. Authorization headerను పంపలేని clients, basic authకు bare 401 Unauthorized తో పంపినప్పుడు విఫలమవుతాయి. SSH tunnelకు ఈ సమస్య లేదు. అందుకే ఇక్కడ దానినే default recommendationగా సూచిస్తున్నాం.
మోడల్ను pull చేసి, పూర్తి మార్గాన్ని తనిఖీ చేయండి
podman exec -it ollama ollama pull gemma3:4b
curl -s http://127.0.0.1:11434/api/tags
curl -s http://127.0.0.1:11434/api/generate -d '{"model":"gemma3:4b","prompt":"Reply with the single word: ready","stream":false}'
du -sh ~/ollama-data/models/api/tags, gemma3:4b ను జాబితా చేసే JSON ను అందిస్తుంది. డిస్క్ నుంచి weights లోడ్ అయ్యే సమయంలో కొంత విరామం తర్వాత /api/generate, response field కలిగిన JSON object ను అందిస్తుంది. du, ప్రచురించిన download size కు దగ్గరగా ఉండే సంఖ్యను చూపాలి. ఇప్పుడు ఈ పూర్తి guide ఉద్దేశించిన భాగం సరిగ్గా పనిచేస్తోందని నిరూపించండి:
sudo reboot
# reconnect, then:
sudo -iu ollama
export XDG_RUNTIME_DIR=/run/user/$(id -u)
systemctl --user is-active ollama.serviceactive అంటే సేవ కొనసాగుతూ ఉందని అర్థం. అంటే [Install] section మరియు daemon-reload రెండూ సరిగ్గా పనిచేశాయి. ఇది inactive ను చూపిస్తే, ముందుగా ఆ మూడింటినీ తనిఖీ చేయండి. తర్వాత startup errors కోసం journalctl --user -u ollama.service ను పరిశీలించండి.
మీకు కనిపించే సందేశాలతో వైఫల్య పరిస్థితులు
రీబూట్ తర్వాత container కనిపించదు. ముందుగా loginctl show-user ollama --property=Linger ను తనిఖీ చేయండి. Linger=yes లేకపోతే, వినియోగదారుడి systemd instance boot సమయంలో ఎప్పటికీ ప్రారంభం కాదు. lingering ఆన్లో ఉంటే, .container ఫైల్లోని [Install] విభాగాన్ని తనిఖీ చేయండి, systemctl --user daemon-reload ను అమలు చేయండి, అలాగే startup లోపాల కోసం journalctl --user -u ollama.service ను పరిశీలించండి.
Error: statfs /home/ollama/ollama-data: no such file or directory. container ప్రారంభమయ్యే ముందు bind mount source తప్పనిసరిగా ఉండాలి. Podman మీ తరఫున host directories ను సృష్టించదు. ollama వినియోగదారుగా mkdir -p ~/ollama-data ను అమలు చేయండి.
90 seconds వద్ద ప్రారంభం విఫలమవుతుంది. image pull ఇంకా కొనసాగుతోందని journalctl --user -u ollama.service లో Start operation timed out. Terminating. చూపిస్తుంది. చేతితో pull చేయండి లేదా TimeoutStartSec=900 ను అలాగే ఉంచండి.
Container ప్రారంభమై ఆగిపోతుంది. ఇది SELinux label సమస్యో కాదో podman logs ollama మరియు sudo ausearch -m avc -ts recent కలిసి తెలియజేస్తాయి. container_t మరియు user_home_t పేర్లను చూపించే AVC ఉంటే, :Z లేదు అని అర్థం.
Host నుంచి వచ్చే అభ్యర్థనలు తిరస్కరించబడతాయి. service active తో curl: (7) Failed to connect to 127.0.0.1 port 11434: Connection refused సాధారణంగా OLLAMA_HOST ను container లోని loopback address కు సెట్ చేశారని సూచిస్తుంది. ఆ line ను తొలగించండి.
Generation చాలా నెమ్మదిగా ఉంటుంది లేదా container ఆపివేయబడుతుంది. GPU లేకపోతే inference CPUపై నడుస్తుంది. పెద్ద model సహజంగానే నెమ్మదిగా ఉంటుంది. Model physical RAMలో సరిపోకపోతే disk-backed memory mapping లేదా swap inference ను మరింత నెమ్మదిగా చేస్తాయి. Logsలో signal: killed కనిపిస్తూ, అభ్యర్థన మధ్యలో container ఆగిపోతే కారణాన్ని తనిఖీ చేయాలి. Kernel log out-of-memory kill ను నిర్ధారిస్తే, పై chart నుంచి చిన్న tag ను ఎంచుకోండి.
Pinned image ను నవీకరించడం
Pinning వల్ల updates మీ నియంత్రణలో ఉంటాయి. అవి స్వయంచాలకంగా జరగవు. ollama.container లోని Image= ను సవరించి, తరువాత reload చేసి restart చేయండి:
systemctl --user daemon-reload
systemctl --user restart ollama.service
podman exec ollama ollama --versionModels bind mount లో ఉంటాయి. అందువల్ల image మారినా అవి మారకుండా అలాగే ఉంటాయి. [Container] section లోని AutoUpdate=registry registry కు వ్యతిరేకంగా digest checks ను configure చేస్తుంది. podman auto-update ను మాన్యువల్గా లేదా దాని systemd timer ద్వారా అమలు చేస్తే మారిన image ను pull చేసి unit ను restart చేస్తుంది. మారుతూ ఉండే tag కు ఇది అనుకూలంగా ఉంటుంది. Version tag పక్కన ఉంచితే publisher అదే tag ను మళ్లీ push చేసినప్పుడు మాత్రమే ఇది అమలవుతుంది. Pinning ద్వారా నివారించాల్సిన అనుకోని మార్పు ఇదే. కాబట్టి దీన్ని ఇక్కడ off గా ఉంచండి. /home/ollama/ollama-data/models/manifests మరియు .container file కు backup తీసుకోండి. Blobs ను backup చేయవద్దు. అవి పెద్దవిగా ఉంటాయి, మరియు కొత్త box లో ollama pull వాటిని మళ్లీ fetch చేస్తుంది.
FAQ
నా rootless Podman container నేను logout అయినప్పుడు ఎందుకు ఆగిపోతుంది?
వినియోగదారుడి చివరి session ముగిసిన తర్వాత, ఆ వినియోగదారుడి systemd instance మరియు దాని /run/user/<uid> directory సాధారణంగా తొలగించబడతాయి. దాంతో ఆ instance నిర్వహిస్తున్న services ఆగిపోతాయి. sudo loginctl enable-linger ollama ను run చేసి, loginctl show-user ollama --property=Linger, Linger=yes ను print చేస్తోందని నిర్ధారించండి. Quadlet unit ను create చేయడానికి ముందు lingering ను enable చేయండి. అప్పుడు login session లేకపోయినా user manager మరియు దాని runtime directory అందుబాటులో ఉంటాయి.
Ollama model directory పై SELinux labels అవసరమా?
Fedora, RHEL, Rocky మరియు AlmaLinux పై, host directory ను bind mount చేస్తే అవసరం. Container container_t domain లో run అవుతుంది. Home folder లోని directory కి user_home_t label ఉంటుంది. అందువల్ల write నిరాకరించబడుతుంది మరియు Ollama exit అవుతుంది. Volume= line కు :Z ను append చేయండి. దానికి ప్రత్యేక subdirectory ఇవ్వండి. Relabelling recursive గా జరుగుతుంది. :Z ను మొత్తం home directory కి point చేస్తే ఆ user యొక్క SSH key access పనిచేయదు. Podman named volumes కు సరైన labels ఇస్తుంది. వాటికి అదనపు configuration అవసరం లేదు.
Ollama model కు ఎంత disk space అవసరం?
ollama.com/library లో ప్రచురించిన download size ను ఆధారంగా తీసుకోండి. అది 3.4 GB ఉన్న gemma3:4b నుండి 19 GB ఉన్న qwen3:30b వరకు ఉంటుంది. దానికి Podman image size ను అదనంగా లెక్కించండి. తరువాత కొంత ఖాళీని ఉంచండి, ఎందుకంటే రెండవ model disk పై మొదటి model ను భర్తీ చేయదు. Pull చేయడానికి ముందు df -h /home ను, తరువాత du -sh ~/ollama-data/models ను check చేయండి. మంచి performance కోసం, model file size కు సమానమైన RAM తో పాటు context window కోసం అదనపు స్థలాన్ని సుమారుగా కేటాయించండి. Disk-backed memory mapping లేదా తగినంత swap వల్ల తక్కువ physical RAM తో పెద్ద model run కావచ్చు. అయితే performance తగ్గుతుంది.
VPS పై port 11434 ను బయటకు expose చేయడం సురక్షితమేనా?
లేదు. Ollama లో ఏ విధమైన authentication ఉండదు. అందువల్ల ఆ port ను చేరుకోగల ఎవరైనా మీ models ను list చేయగలరు, వాటిని delete చేయగలరు, మీ disk పై కొత్త models ను pull చేయగలరు, అలాగే మీ CPU మరియు bandwidth allowance ఉపయోగించి inference run చేయగలరు. Internet పై plain HTTP ఉపయోగిస్తే ప్రతి prompt మరియు completion cleartext లో పంపబడుతుంది. Host side ను 127.0.0.1 కు PublishPort=127.0.0.1:11434:11434 తో bind చేయండి. ss -ltnp | grep 11434 తో నిర్ధారించండి. తరువాత SSH tunnel ద్వారా లేదా password అవసరమయ్యే reverse proxy ద్వారా దాన్ని access చేయండి.