Ollama pull vs run: models ఎక్కడ నిల్వ అవుతాయి
ollama pull download చేసి ఆగుతుంది; ollama run chat తెరుస్తుంది. రెండు commands filesను ఒకే చోట ఉంచుతాయి. VPS root disk ఎందుకు నిండుతుందో, వాటిని ఎలా move చేయాలో తెలుసుకోండి.
ollama pull vs ollama run
ollama pull ఒక model ను download చేసి ఆగిపోతుంది. స్థానిక chat model కోసం, ollama run model అందుబాటులో లేకపోతే మాత్రమే దాన్ని download చేసి, తరువాత memoryలో load చేసి interactive chatను తెరుస్తుంది. Download రెండింటిలోనూ ఒకే విధంగా జరుగుతుంది, files కూడా ఒకే ప్రదేశంలో నిల్వ అవుతాయి. తరువాత కూడా కొనసాగేది run మాత్రమే. Chat భాగానికి embedding models మినహాయింపు: అధికారిక documentation ప్రకారం, ollama run embeddinggemma "Hello world" replyకు బదులుగా embeddingను JSON arrayగా ముద్రిస్తుంది. Input text లేకపోతే, ollama run embedding modelను embedding models require input textతో reject చేస్తుంది.
ఈ ఒక్క తేడానే scriptలో ఏ command ఉండాలి, keyboard ముందు ఏ command ఉపయోగించాలి అన్నది నిర్ణయిస్తుంది.
ollama pull gemma4
ollama run gemma4
ollama run gemma4 "Reply with one word: ready"మొదటి line modelను fetch చేసి exit అవుతుంది. అందువల్ల provisioningలో మరియు systemd unitలో దీనిని సురక్షితంగా ఉపయోగించవచ్చు. రెండోది chat sessionను తెరుస్తుంది; దానిని వదిలేందుకు /bye type చేయండి లేదా Ctrl+D నొక్కండి. మూడోది ఒకే promptను పంపి, answerను ముద్రించి exit అవుతుంది. Sessionకు బదులుగా answer అవసరమైనప్పుడు scriptకు ఇదే సరైన రూపం. అయితే ఈ మూడో రూపంలో reply పొడవును model పూర్తిగా నిర్ణయిస్తుంది. అందువల్ల one-line questionకు మూడు paragraphs రావచ్చు. num_predictతో answerను పరిమితం చేయడం వల్ల scripted run caller ఉపయోగించగల పరిమాణంలోనే ఉంటుంది. Model names త్వరగా మారుతుంటాయి. కాబట్టి ఇక్కడి gemma4ను placeholderగా పరిగణించండి. ఇది October 2026 నాటికి అధికారిక Ollama documentationలో ఉపయోగించిన example. ఇదే workflow కోసం మరో local chat modelను substitute చేయండి. :cloudతో ముగిసే tags, ఉదాహరణకు gemma4:cloud, భిన్నంగా పనిచేస్తాయి: Ollama వాటిని model weightsను download చేయకుండా తన స్వంత serversపై నడుపుతుంది. అందువల్ల క్రింద పేర్కొన్న disk space local models కోసం మాత్రమే. ఇప్పటికే నిజమైన serverకు అనుగుణంగా పరిమాణం నిర్ణయించిన modelను ఉపయోగించాలనుకుంటే, VPSపై Nemotron 3.5 Lightningను నడపడం ద్వారా pull చేయాల్సిన exact tag మరియు అవసరమైన memory తెలుసుకోవచ్చు.
మొదటి ollama run ఆగిపోయినట్లు ఎందుకు కనిపిస్తుంది
కొత్త VPSపై మొదటి run ఎటువంటి output లేకుండా కొన్ని నిమిషాలు కొనసాగవచ్చు. ఏదీ విఫలమవలేదు. Model diskలోకి download అయి memoryలోకి load అయ్యే వరకు chat prompt కనిపించదు. అందువల్ల run మీకు చూపించడానికి ఏమీ లేకముందే multi-gigabyte download చేస్తోంది.
ఆ పని కనిపించకుండా పోవడానికి రెండు కారణాలు ఉన్నాయి. Ollama తన progress barను standard errorకు రాస్తుంది. కాబట్టి ఆ streamను discard చేసే లేదా తరువాత మాత్రమే చదివే సందర్భాల్లో, ఉదాహరణకు 2>/dev/nullతో ముగిసే script లేదా cron jobలో, download జరుగుతోందని తెలియజేసేది ఏదీ ఉండదు. తరువాత bytes diskలోకి వచ్చినా, మొదటి token రావడానికి ముందు fileను disk నుంచి RAMలోకి చదవాలి. చిన్న VPSలో ఈ read నెమ్మదిగా ఉంటుంది. Modelకు అవసరమైన memory boxలో లేకపోతే, kernel swapping ప్రారంభిస్తుంది. దాంతో వేచి ఉండే సమయం మరింత పెరుగుతుంది.
అంచనా వేయకుండా, రెండవ session నుంచి దీన్ని గమనించండి:
df -h /
watch -n5 df -h /కొత్త boxలో free space దశలవారీగా తగ్గుతుంటే download ఇంకా కొనసాగుతోందని అర్థం. Command ఇంకా busyగా ఉన్నప్పటికీ free space తగ్గడం ఆగిపోవడం loading ప్రారంభమైందని నిర్ధారించదు. Download పూర్తయిన తరువాత Ollama ప్రత్యేకమైన verifying sha256 digest దశను నిర్వహిస్తుంది. ఈ దశలో filesను చదివిన తరువాత manifestను రాసి pullను పూర్తి చేస్తుంది. ఇప్పటికే models ఉన్న boxలో Ollama 0.40.2 తప్పుదారి పట్టించవచ్చు. పాత versionతో download చేసిన modelను మొదటిసారి run చేసినప్పుడు, backgroundలో upgraded copyని రాసి originalను backupగా ఉంచేది. అందువల్ల download ఏదీ లేకపోయినా free space తగ్గవచ్చు. 11 October 2026న విడుదలైన Ollama 0.40.3 ఈ background upgradeను pause చేసింది.
అందుకే ముందుగానే pull చేయాలి. ollama run అని type చేసే వ్యక్తి download కోసం వేచి ఉండకూడదు.
అడిగేలోపే model ను pull చేయండి
వ్యక్తి కాని ఇతర సందర్భాల్లో కూడా ఇదే నియమం వర్తిస్తుంది: మీ Ollama endpoint కు అనుసంధానించిన coding agent అభ్యర్థించిన local model ముందుగా pull చేయకపోతే model-not-found error పొందుతుంది; inference request దాన్ని download చేయదు. కొత్త box లో server ను install చేసే అదే script లో model ను కూడా pull చేయండి:
curl -fsSL https://ollama.com/install.sh | sh
ollama pull gemma4మీరు server ను మొదటిసారి ప్రారంభిస్తుంటే, VPS పై పూర్తి Ollama install service వివరాలతో పాటు దాన్ని ఎవరు చేరుకోగలరో వివరిస్తుంది. ఆ తర్వాత terminal కు పరిమితం కాకుండా కొనసాగే pull ను ఏర్పాటు చేయడం ఉపయోగకరం. Download మధ్యలో ఆగిపోతే model store సగం మాత్రమే నిండిపోతుంది.
దాన్ని tmux లో నడపండి. లేదా boot సమయంలో ఒకసారి మాత్రమే నడిచే unit గా systemd కు అప్పగించండి. /etc/systemd/system/ollama-pull.service ను వ్రాయండి:
[Unit]
Description=Pre-pull Ollama models
Wants=ollama.service network-online.target
After=ollama.service network-online.target
[Service]
Type=oneshot
RemainAfterExit=yes
ExecStart=/bin/sh -c 'until ollama list >/dev/null 2>&1; do sleep 2; done'
ExecStart=/bin/sh -c 'ollama pull gemma4'
[Install]
WantedBy=multi-user.targetరెండు commands ఉద్దేశపూర్వకంగా /bin/sh -c ద్వారా నడుస్తాయి. సాధారణ ExecStart= absolute path లేదా systemd యొక్క స్థిర search path ద్వారా గుర్తించే సరళమైన executable name ను అంగీకరిస్తుంది; మీ ప్రస్తుత shell కనుగొనే path ను command -v ollama చూపిస్తుంది. Shell ద్వారా నడపడం వల్ల guide నుంచి copy చేసిన path కు బదులుగా service PATH ఉపయోగించబడుతుంది. మొదటి ExecStart కూడా ముఖ్యమే: After=ollama.service అంటే server unit ప్రారంభమైందని మాత్రమే; అది ready గా ఉందని కాదు. అందువల్ల pull ప్రారంభించే ముందు loop ollama list సమాధానం ఇచ్చే వరకు వేచి ఉంటుంది.
sudo systemctl daemon-reload
sudo systemctl enable --now ollama-pull.service
journalctl -u ollama-pull.serviceJournal లో pull ఎలాంటి error లేకుండా పూర్తయినట్లు కనిపించాలి. తరువాత ollama list model ను చూపించాలి. మారుతూ ఉండే tag ను తాజాగానే ఉంచాలంటే, అదే pull ను నడిపే systemd timer లేదా వారానికి ఒకసారి అమలయ్యే cron entry ను జోడించండి. మారిన tag ను మళ్లీ pull చేస్తే కొత్త layers download అవుతాయి. సాధారణంగా, అదే pull చివర్లో మరే ఇతరది ఉపయోగించని పాత layers తొలగించబడతాయి.
pull మధ్యలో ఆగిపోతే ఏమి జరుగుతుంది
మోడల్లోని ప్రతి layer దాని స్వంత content hash కింద నిల్వ చేయబడుతుంది. అందువల్ల మధ్యలో ఆగిపోయిన pull వృథా పని కాదు: అదే ollama pull మళ్లీ అమలు చేస్తే, ఇప్పటికే పూర్తయిన layers గుర్తించబడతాయి మరియు skip చేయబడతాయి. అందువల్ల download ఆగిపోయిన layer నుంచే కొనసాగుతుంది.
ఒక చర్య ఆ పురోగతిని నాశనం చేయగలదు. Ollama server ప్రారంభమైనప్పుడు, ఏ model manifest కూడా సూచించని partial downloads మరియు stored layers ను అది తొలగిస్తుంది. ఆగిపోయిన pull వదిలిన pieces కూడా ఇదే వర్గంలోకి వస్తాయి. ప్రస్తుత releases (0.40.11, 26 October 2026న తనిఖీ చేసినవి) గత గంటలో రాయబడిన ఏ fileనూ skip చేస్తాయి. కాబట్టి pull ఆగిపోయిన వెంటనే server restart చేయడం సమస్య కాదు. కానీ కొన్ని గంటల తర్వాత restart చేస్తే, మీరు ఇప్పటికే download చేసిన piece తొలగించబడుతుంది. ముందుగా pull ను retry చేసి, తరువాత restart చేయండి. Partial download నిజంగా restart తర్వాత కూడా ఉండాల్సి వస్తే, service environmentలో OLLAMA_NOPRUNE=1 ను set చేయండి. తరువాత దాన్ని తీసివేయండి. ఎందుకంటే ఆ variable ప్రతి pull ముగింపులో జరిగే cleanup ను కూడా నిలిపివేస్తుంది. Orphaned layers diskపై పేరుకుపోకుండా నిరోధించేది ఈ రెండు cleanup చర్యలే.
no space left on device తో pull ఆగిపోయి ఉంటే, retry చేయడానికి ముందు ఖాళీ స్థలాన్ని అందుబాటులోకి తెచ్చండి. df disk నిండిపోయిందని చూపిస్తే, model directoryపై du చూపించే పరిమాణం దానికి సరిపోకపోతే, స్థలం వేరే చోట వినియోగించబడింది. ఏదైనా తొలగించే ముందు df మరియు du చూపించే పరిమాణాలు ఎందుకు భిన్నంగా ఉంటాయో తెలిపే కారణాలు చదవడం ఉపయోగకరం.
VPSలో Ollama మోడళ్లను ఎక్కడ నిల్వ చేస్తుంది?
ఈ guideలోని pathతో సహా ఏ guideలోని pathనైనా నమ్మే బదులు, మీ స్వంత boxను అడగండి. package install మరియు container మధ్య ఈ స్థానం మారుతుంది. ఎవరైనా OLLAMA_MODELS సెట్ చేసి ఉంటే, స్థానం మళ్లీ మారుతుంది.
systemctl cat ollama.service
getent passwd ollama
sudo find / -xdev -type d -name blobs 2>/dev/nullsystemctl cat unit fileను, దానికి సంబంధించిన ప్రతి drop-inతో కలిపి చూపిస్తుంది. అందువల్ల మీరు సెట్ చేసిన లేదా మీ imageలో ముందే చేర్చిన OLLAMA_MODELS line అక్కడ కనిపిస్తుంది. అలాంటి line లేకపోతే, service ఏ accountగా నడుస్తుందో ఆ account home directory కింద store ఉంటుంది. getent passwd ఆ home directoryని colonతో వేరు చేసిన fieldలలో sixth fieldగా చూపిస్తుంది. find ఒక filesystemలో blobs directory కోసం search చేస్తుంది. Layers వాస్తవంగా అక్కడే రాయబడతాయి. Models ప్రత్యేక mountలో ఇప్పటికే ఉండే అవకాశం ఉంటే -xdev ను తొలగించండి.
ఇప్పుడు పరిమాణాన్ని కొలిచి, మీ స్వంత సంఖ్యలను పరిశీలించండి:
ollama list
df -h /
sudo du -sh /the/directory/you/found
sudo du -h -d1 /the/directory/you/foundStoreలో రెండు రకాల content ఉంటుంది. Manifest directories (ప్రస్తుత releasesలో manifests, manifests-v2తో కలిపి) ప్రతి model tag కోసం అది నిర్మించబడిన layers జాబితాను చూపించే చిన్న filesను కలిగి ఉంటాయి. blobs లో layers ఉంటాయి. ప్రతి layer దాని content hash పేరుతో ఉంటుంది. పరిమాణంలో దాదాపు మొత్తం ఇక్కడే ఉంటుంది. Tags మధ్య layers share అవుతాయి. అందువల్ల ఒకే weights ఆధారంగా నిర్మించిన రెండు models, ollama listలో ఒక్కొక్కటి తమ స్వంత పరిమాణాన్ని చూపించినా, diskలో ఆ స్థలాన్ని ఒక్కసారి మాత్రమే ఉపయోగిస్తాయి. కాబట్టి చూపించిన పరిమాణాలను కలిపితే directory కోసం du చూపించే పరిమాణం కంటే ఎక్కువ రావచ్చు. దీనికి విరుద్ధమైన పరిస్థితి Ollama 0.40.2లో కనిపిస్తుంది. Backgroundలో upgrade చేసిన models తమ అసలు copyని backupగా diskలో ఉంచుతాయి. ollama list దానిని రెండుసార్లు చూపించదు. అందువల్ల du జాబితా సూచించే పరిమాణం కంటే చాలా ఎక్కువ చూపించవచ్చు. 0.40.2 release notesలో ఆ backupsను మాత్రమే తొలగించే script ఉంది.
మీరు install చేసే ఇతర వాటికంటే model files చిన్న VPS root filesystemను వేగంగా నింపుతాయి. వాటి పరిమాణంపై అత్యంత ప్రభావం చూపించే అంశం weight format. ప్రతి modelకు gigabytes ఆదా చేయాలంటే q4, q8 మరియు fp16 మధ్య ఎంపిక ఉపయోగకరంగా ఉంటుంది.
OLLAMA_MODELS తో models ను data volume కు తరలించడం
మీ ప్రణాళికలో రెండవ disk లేదా ఎక్కువ పరిమాణం కలిగిన data volume ఉంటే, root filesystem నిండకముందే store ను తరలించండి. ముందుగా server ను ఆపండి. లేకపోతే ఇంకా రాయబడుతున్న file ను copy చేసే అవకాశం ఉంటుంది.
sudo systemctl stop ollama
sudo mkdir -p /mnt/data/ollama-models
sudo rsync -a /the/directory/you/found/ /mnt/data/ollama-models/
sudo chown -R ollama:ollama /mnt/data/ollama-models
sudo systemctl edit ollama.servicesystemctl edit drop-in file ను editor లో తెరుస్తుంది. దాంతో packaged unit మారదు, package upgrade మీ మార్పును overwrite చేయదు. ఈ రెండు lines ను జోడించండి:
[Service]
Environment="OLLAMA_MODELS=/mnt/data/ollama-models"sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment
ollama listsystemctl show మీ కొత్త path ను చూపించాలి. ollama list తరలింపుకు ముందు చూపించిన models నే చూపించాలి. list ఖాళీగా ఉంటే, కొత్త directory లో copy చేసిన store ఉందో లేదో, అలాగే server దాన్ని read చేయగలదో లేదో తనిఖీ చేయండి. service ollama user గా నడుస్తుంది. అందువల్ల destination కు ఆ user కు read మరియు write access ఉండాలి. పైన ఉన్న chown line ఈ access ను నిర్ధారిస్తుంది. కొత్త path కు సంబంధించిన permission errors కోసం journalctl -e -u ollama ను తనిఖీ చేయండి. list సరైనదని నిర్ధారించిన తర్వాతే పాత copy ను delete చేయండి. move విఫలమైన తర్వాత source ను delete చేస్తే, అన్నింటినీ మళ్లీ download చేయాల్సి వస్తుంది.
మరొక ఎంపికలో అసలు path ను అలాగే ఉంచి, దానిపై data volume ను mount చేయండి:
echo '/mnt/data/ollama-models /the/directory/you/found none bind 0 0' | sudo tee -a /etc/fstab
sudo mount -a
findmnt /the/directory/you/found
df -h /findmnt mount ను చూపిస్తే bind సక్రియంగా ఉందని అర్థం. box లోని మరేదైనా ఇప్పటికే default location ను ఆశిస్తున్నప్పుడు bind mount ఉపయోగకరంగా ఉంటుంది. అయితే దీనికి ఒక జాగ్రత్త ఉంది: మీరు బయటకు copy చేసిన files root disk లోని mount point కింద ఇంకా ఉంటాయి. mount వాటిని దాచిపెడుతుంది. అందువల్ల unmount చేసి వాటిని remove చేసే వరకు ఆ space తిరిగి లభించదు. తరువాత login అయ్యే వ్యక్తికి వివరించడానికి ఈ రెండు ఎంపికల్లో environment variable సులభమైనది.
కంటైనర్ వాటిని వేరే చోట ఉంచుతుంది
అధికారిక image models ను ఏ host directory లోనూ నిల్వ చేయదు. మీరు mount చేసే ప్రదేశంలోనే నిల్వ చేస్తుంది. ఆ ప్రదేశం ollama user కు చెందినది కాదు. Documentation లో ఇచ్చిన run command ఇది:
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollamaColon కు ముందు ఉన్న ollama named Docker volume. /root/.ollama అనేది container లో server రాసే ప్రదేశం. అందువల్ల మునుపటి section లోని paths పై du అమలు చేసినా ఏదీ కనిపించదు. ఎందుకంటే models అక్కడ లేవు. నిజమైన location మరియు size ను చూపించండి:
docker volume inspect ollama
docker system df -v
docker exec -it ollama ollama listdocker volume inspect నుంచి Mountpoint field విలువను చదివి, దానిపై sudo du -sh అమలు చేయండి. Models ను data volume లో ఉంచాలంటే named volume స్థానంలో host directory (-v /mnt/data/ollama:/root/.ollama) ఉపయోగించి container ను మళ్లీ సృష్టించండి. Container root గా రాస్తుంది. అందువల్ల ఆ host directory యాజమాన్యం root కు చెందుతుంది. Rootless Podman లో container root సాధారణంగా మీ host user యొక్క UID మరియు GID కు map అవుతుంది. ఇతర container IDs subordinate ranges ను ఉపయోగిస్తాయి: rootless Podman లో Ollama ను నడపడం ఆ mapping గురించి వివరిస్తుంది.
Cleanup గురించి ఒక హెచ్చరిక. సాధారణ docker volume prune anonymous volumes ను మాత్రమే తొలగిస్తుంది. అందువల్ల named ollama volume అలాగే ఉంటుంది. అయితే docker volume prune --all ఏ container కూడా refer చేయని ప్రతి volume ను తొలగిస్తుంది. ఇందులో named volumes కూడా ఉంటాయి. Volume లేకుండా ollama container ను తొలగించి లేదా మళ్లీ సృష్టించిన తరువాత, prune --all అమలు చేస్తే మీరు download చేసిన ప్రతి model తొలగిపోతుంది. వాటిని మళ్లీ download చేయడం తప్ప తిరిగి పొందే మార్గం ఉండదు. Models ఉన్న server పై prune అమలు చేయడానికి ముందు VPS లో Docker disk usage ను ఎలా prune చేయాలి చదవండి.
ollama rm తో model ను తొలగించండి, rm తో కాదు
ollama list
ollama rm gemma4
ollama list
df -h /ollama rm ఆ tag కోసం manifest ను తొలగిస్తుంది. తరువాత ఏ manifest సూచించని layers ను తొలగిస్తుంది. ఆ files unlink అయిన వెంటనే disk space తిరిగి అందుబాటులోకి వస్తుంది. అందువల్ల df వెంటనే మారుతుంది. Layers భాగస్వామ్యం చేయబడతాయి. కాబట్టి దగ్గరగా సంబంధం ఉన్న రెండు tags లో ఒకదాన్ని తొలగించినప్పుడు, దాని పక్కన ollama list చూపిన పరిమాణం కంటే చాలా తక్కువ space మాత్రమే విడుదల కావచ్చు. ఇది సరైన ప్రవర్తన. Delete విఫలమైందని కాదు.
Files ను చేతితో తొలగిస్తే ఈ జతలో అనుసంధానం దెబ్బతింటుంది. rm తో blob ను తొలగిస్తే manifest లో అది ఇంకా జాబితాలో ఉంటుంది. అందువల్ల ollama list model ను ఇంకా చూపిస్తుంది. Missing layer ను చదివే సమయంలో దాన్ని ఉపయోగించే ప్రతి ప్రయత్నం విఫలమవుతుంది. Manifest ను చేతితో తొలగిస్తే, దానికి సూచించే ఏదీ లేకపోయినా దాని layers disk లోనే ఉంటాయి. అవి space ను ఆక్రమిస్తాయి. ఏ Ollama command కూడా వాటిని మీకు చూపదు. మీరు ఇప్పటికే blob ను తొలగించి ఉంటే, tag పై ollama rm అమలు చేస్తే మిగిలిన entry తొలగుతుంది. Manifest ను తొలగించి ఉంటే, తొలగించడానికి tag entry మిగలదు. ఏదీ సూచించని layers ఒక గంటకు మించి పాతవి అయిన తర్వాత server ను restart చేస్తే అవి తొలగించబడతాయి.
చివరి తేడా ఒకటి ఉంది. ఈ రెండింటినీ తరచుగా కలిపి భావిస్తారు. ollama rm disk కు సంబంధించినది. ollama stop gemma4 model ను memory నుంచి unload చేస్తుంది. ఇది disk space ను ఏదీ విడుదల చేయదు. Download పూర్తయిన తర్వాత model RAM లో ఎంతకాలం resident గా ఉండాలో నిర్ణయించే setting వేరు. ప్రతి request లో మళ్లీ load చేయకుండా model ను loaded గా ఉంచడం దాని గురించి వివరిస్తుంది.
FAQ
ollama pull మరియు ollama run మధ్య తేడా ఏమిటి?
ollama pull ఒక model ను disk కు download చేసి ముగుస్తుంది. ollama run ఆ model ఇప్పటికే disk లో ఉందో పరిశీలిస్తుంది; లేకపోతే download చేసి, memoryలోకి load చేసి, chat model అయితే interactive chat session ను ప్రారంభిస్తుంది. రెండూ ఒకే directoryలో ఒకే files ను రాస్తాయి. Provisioning మరియు scriptsలో pull ను ఉపయోగించండి. వ్యక్తి keyboard వద్ద ఉన్నప్పుడు run ను ఉపయోగించండి. ollama run <model> "your prompt" ఒక prompt ను పంపి ముగుస్తుంది. ఇది run యొక్క scriptలో ఉపయోగించగల రూపం.
నా మొదటి ollama run నిలిచిపోయినట్లు ఎందుకు కనిపిస్తుంది?
అది download, download verification లేదా model loading చేస్తున్నదై ఉండవచ్చు. Model diskలో ఉండి memoryలోకి load అయ్యే వరకు chat prompt కనిపించదు. ఒక model పరిమాణం అనేక gigabytes ఉంటుంది. Ollama తన progress bar ను standard error కు రాస్తుంది. అందువల్ల ఆ stream ను discard చేసే scriptలో లేదా cron jobలో ఉన్న run పని చేస్తున్న సమయంలో మీకు ఏమీ కనిపించదు. రెండవ session తెరిచి watch -n5 df -h / నడపండి. కొత్తగా సిద్ధం చేసిన boxలో free space దశలవారీగా తగ్గుతుంటే download కొనసాగుతోందని అర్థం. Download మరియు verification కోసం వేచి ఉండాల్సిన సమయాన్ని తొలగించడానికి model ను ముందుగానే pull చేయండి. అయితే loadingకు ఇంకా సమయం పడుతుంది.
Ollama తన models ను ఎక్కడ నిల్వ చేస్తుంది?
స్థానం installationపై ఆధారపడి ఉంటుంది. అందువల్ల ఊహించకుండా దాన్ని print చేయండి. Unit లేదా drop-inలో OLLAMA_MODELS set అయిందో లేదో చూడటానికి systemctl cat ollama.service నడపండి. అది set కాకపోతే store, service నడిచే account యొక్క home directory కింద ఉంటుంది. ఆ directoryని getent passwd ollama print చేస్తుంది. Layer directoryని నేరుగా గుర్తించడానికి sudo find / -xdev -type d -name blobs 2>/dev/null ఉపయోగించండి. Container image కోసం store mounted volume లోపల ఉంటుంది. దాని host Mountpoint ను docker volume inspect ollama print చేస్తుంది.
Ollama models ను మరొక disk కు ఎలా తరలించాలి?
Serviceను ఆపండి. rsync -a ఉపయోగించి storeను కొత్త స్థానానికి copy చేయండి. sudo chown -R ollama:ollama <directory> తో directory ownershipను service accountకు ఇవ్వండి. తరువాత sudo systemctl edit ollama.service నడిపి, [Service] line కింద Environment="OLLAMA_MODELS=<directory>" ను జోడించండి. sudo systemctl daemon-reload తో reload చేసి restart చేయండి. systemctl show ollama --property=Environment మరియు ollama list తో నిర్ధారించండి. List ఖాళీగా ఉంటే, కొత్త directoryలో copy చేసిన store ఉందో లేదో పరిశీలించండి. అలాగే ollama user దాన్ని చదవగలదో లేదో తనిఖీ చేయండి. Permission errors కోసం journalctl -e -u ollama ను పరిశీలించండి.
Model files తొలగిస్తే space ఖాళీ అవుతుందా?
Filesను చేతితో తొలగిస్తే bytes ఖాళీ అవుతాయి. కానీ store అసంగత స్థితిలో మిగులుతుంది. ఒక blobను తొలగిస్తే manifestలో ఆ model ఇంకా జాబితాలో ఉంటుంది. అందువల్ల అది ollama list లో కనిపిస్తూనే ఉంటుంది, ఉపయోగించినప్పుడు విఫలమవుతుంది. ఒక manifestను తొలగిస్తే, దాన్ని సూచించే ఏదీ లేకపోయినా దాని layers diskలో మిగిలిపోతాయి. ollama rm <model> ను ఉపయోగించండి. ఇది ముందుగా manifestను తొలగించి, మరే ఇతర modelకు అవసరం లేని layersను తరువాత తొలగిస్తుంది. ఒక blobను ఇప్పటికే చేతితో తొలగించి ఉంటే, ఆ tagలోని entryని తొలగించడానికి ollama rm నడపండి. Manifest తొలగించబడితే, తొలగించాల్సిన tag entry మిగలదు. ఏ manifest కూడా సూచించని layers ఒక గంట కంటే ఎక్కువ పాతవైన తర్వాత వాటిని తొలగించడానికి serverను restart చేయండి.