Jak utrzymać model Ollama w pamięci RAM i VRAM
Ollama zwalnia model po 5 minutach bezczynności. Ustaw OLLAMA_KEEP_ALIVE w systemd override i załaduj model po restarcie, aby uniknąć opóźnień.
Dlaczego Ollama zwalnia model po kilku minutach?
Ollama utrzymuje model w pamięci przez pięć minut od ostatniego żądania, a następnie zwalnia zajmowane zasoby. Przy kolejnym żądaniu wagi modelu trzeba ponownie załadować do RAM lub VRAM, dlatego przed pojawieniem się pierwszego tokenu występuje opóźnienie. Z tego powodu interfejs czatu lub agent programistyczny działa szybko, po pewnym czasie przestaje odpowiadać, a przy kolejnej wiadomości znów działa wolno. Nic nie jest uszkodzone. Upłynął limit czasu bezczynności.
Ten limit nosi nazwę keep_alive. Jest ustawiany osobno dla każdego modelu i jest odliczany od nowa po zakończeniu każdego żądania. Model, który aktualnie obsługuje żądanie, nigdy nie jest zwalniany, ponieważ serwer usuwa z pamięci tylko model bez aktywnego żądania. W październiku 2026 wartość domyślna wynosi pięć minut i dotyczy każdego modelu ładowanego przez ten serwer.
Limit czasu bezczynności można ustawić w dwóch miejscach: w polu keep_alive pojedynczego żądania albo za pomocą OLLAMA_KEEP_ALIVE jako wartości domyślnej serwera. Konfiguracja typu systemd drop-in powoduje, że domyślna wartość serwera zostaje zachowana po restarcie. W tym poradniku przyjęto, że Ollama działa już jako usługa. Jeśli tak nie jest, należy rozpocząć od instalacji Ollama na VPS i następnie wrócić do tego poradnika.
Które modele są obecnie załadowane i kiedy wygasają?
ollama psNAME ID SIZE PROCESSOR CONTEXT UNTIL
qwen3:8b 500a1f067a9f 6.6 GB 100% GPU 4096 4 minutes from nowPusty wynik oznacza, że nic nie jest załadowane, więc następne żądanie musi najpierw załadować model. PROCESSOR wskazuje, gdzie zostały umieszczone wagi. 100% GPU i 100% CPU to jednoznaczne przypadki. Podział taki jak 25%/75% CPU/GPU oznacza, że tylko część modelu znajduje się w pamięci VRAM, a pozostała część jest wykonywana przez procesor, co spowalnia generowanie. Zwykle wynika to z braku wystarczającej ilości pamięci, ale ustawienie num_gpu ograniczające liczbę warstw przekazywanych do GPU powoduje taki sam podział.
UNTIL to odliczanie czasu. Wyświetlana jest wartość względna, taka jak 4 minutes from now. Wartość Forever jest wyświetlana, gdy model załadowano z ujemną wartością keep_alive. Po wygaśnięciu wyświetlana jest wartość Stopping..., również wtedy, gdy aktywne żądania opóźniają wyładowanie modelu.
Zestaw kolumn zmieniał się między wydaniami, dlatego należy odczytywać nagłówek zamiast zliczać pola w skrypcie. Ollama v0.40.5, sprawdzona 2026-10-30, wyświetla również kolumnę RUNNER między CONTEXT a UNTIL. Zawiera ona nazwę runnera obsługującego model, dlatego nagłówek może mieć o jedną kolumnę więcej niż w powyższym przykładzie. W przypadku automatyzacji należy użyć API:
curl -s http://localhost:11434/api/psKażdy wpis zawiera expires_at, czyli znacznik czasu bezwzględnego, taki jak 2026-08-09T14:38:31.83753Z, oraz size_vram, czyli część tego modelu znajdującą się w pamięci GPU. Wartość size_vram równa 0 oznacza, że model działa na CPU.
Rzeczywisty koszt ponownego ładowania
Nie należy tego zgadywać. Ollama podaje czas ładowania w każdej odpowiedzi jako load_duration, w nanosekundach.
sudo apt install -y jq
ollama stop qwen3:8b
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "prompt": "hi", "stream": false}' | jq '{load_duration, total_duration}'Przed wykonaniem dwóch wywołań API należy zaczekać, aż ollama ps przestanie wyświetlać model po ollama stop. Pierwsze wywołanie ładuje model, dlatego jego load_duration ma dużą wartość. Aby odczytać czas w sekundach, należy podzielić tę wartość przez 1000000000. Drugie wywołanie jest wykonywane, gdy model znajduje się już w pamięci, dlatego podana wartość jest znacznie mniejsza. Różnica między tymi dwiema wartościami to koszt ponoszony przez każdego użytkownika po wygaśnięciu licznika. Jest to główny powód zmiany keep_alive. Po zwolnieniu modelu pamięć podręczna stron jądra często nadal zawiera plik modelu. Dlatego na serwerze z dostępną pamięcią RAM ponowne ładowanie może przebiegać szybciej niż pierwsze ładowanie po uruchomieniu systemu. Po odzyskaniu tej pamięci wagi modelu są odczytywane z dysku. Jeśli przeniesiono katalog modelu na drugi wolumin, szybkość tego woluminu wyznacza minimalny czas każdego zimnego ładowania. Informacje o szybkości generowania przed tą przerwą i po niej zawiera sekcja jak zmierzyć liczbę tokenów na sekundę na własnym serwerze.
Utrzymanie modelu Ollama w pamięci przy jednym żądaniu
Wraz z żądaniem należy wysłać keep_alive. Ustawienie dotyczy tego modelu od chwili zakończenia żądania.
curl -s http://localhost:11434/api/chat -d '{
"model": "qwen3:8b",
"messages": [{"role": "user", "content": "hello"}],
"keep_alive": "30m"
}'Akceptowane są cztery formy wartości:
- ciąg określający czas trwania:
"30m","24h","90s" - zwykła liczba interpretowana jako liczba sekund:
3600 - wartość ujemna,
-1lub"-1m", oznaczająca całkowity brak limitu bezczynności 0, oznaczające wyładowanie modelu, gdy nie będzie obsługiwał żadnych aktywnych żądań
Wartość przekazana w żądaniu zastępuje domyślną wartość serwera w obu kierunkach. Ma to istotne znaczenie: wartość keep_alive wysłana przez klienta ma pierwszeństwo przed każdym ustawieniem skonfigurowanym na serwerze.
Model można również załadować bez generowania danych. Należy wysłać wyłącznie nazwę modelu. Serwer załaduje model i zwróci pustą odpowiedź z "done": true.
curl -s http://localhost:11434/api/generate -d '{"model": "qwen3:8b", "keep_alive": "30m"}'Tę komendę należy uruchomić po restarcie lub po pobraniu nowego modelu, aby pierwsze rzeczywiste żądanie użytkownika nie musiało czekać na jego załadowanie. CLI wykonuje tę samą operację za pomocą flagi:
ollama run --keepalive 30m qwen3:8b "hello"Utrzymywanie modelu w pamięci za pomocą OLLAMA_KEEP_ALIVE
Serwer odczytuje OLLAMA_KEEP_ALIVE podczas uruchamiania i stosuje tę wartość dla każdego modelu, który nie posiada własnej konfiguracji. Obsługiwane są te same formaty, co w przypadku pola żądania, więc 30m, 3600 oraz -1 działają poprawnie.
Kluczową kwestią jest to, w jakim środowisku zmienna musi zostać ustawiona. Wykonanie export OLLAMA_KEEP_ALIVE=30m w sesji SSH nie przynosi efektu, ponieważ instalacja pakietowa uruchamia serwer jako usługę systemd, działającą na własnym koncie użytkownika i w odizolowanym środowisku. Powłoka logowania użytkownika i wspomniana usługa nie współdzielą środowiska. Jest to najczęstsza przyczyna, dla której ustawienie wydaje się być ignorowane.
Zapewnienie trwałości po restarcie za pomocą pliku typu drop-in systemd
sudo systemctl edit ollama.serviceEdytor otworzy się z dwoma znacznikami komentarza. Wpisz treść pomiędzy nimi: systemd odrzuca wszystko, co zostanie umieszczone poniżej drugiego znacznika.
[Service]
Environment="OLLAMA_KEEP_ALIVE=30m"Zapisanie pliku tworzy /etc/systemd/system/ollama.service.d/override.conf. Jest to plik typu drop-in, a nie edycja dostarczonej jednostki, więc aktualizacja pakietu Ollama, która zastępuje ollama.service, nie usunie Twoich ustawień. Jeśli pliki typu drop-in oraz pliki jednostek są nowością, przewodnik po usługach i timerach systemd wyjaśnia ich działanie.
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=EnvironmentOstatnie polecenie wyświetla środowisko, w którym usługa będzie faktycznie uruchamiana. Jeśli OLLAMA_KEEP_ALIVE=30m brakuje w tej linii, oznacza to, że plik drop-in nie został uwzględniony, a przyczyną jest niemal zawsze brak nagłówka [Service] lub wpisanie linii poniżej znacznika. Sam restart usuwa wszystkie załadowane modele, więc kolejne żądanie spowoduje zimny start. Rozgrzej usługę za pomocą powyższego wywołania preload. Plik drop-in zachowuje ustawienie po restarcie, ale nie sam model: usługa uruchamia się jako ollama serve bez załadowanych danych, dlatego wywołuj polecenie preload po każdym uruchomieniu systemu.
Koszty utrzymywania modelu w pamięci
Kolumna SIZE w ollama ps oznacza pamięć zajętą przez cały czas trwania okna bezczynności, a nie tylko podczas przetwarzania żądania. Model 8B przy kwantyzacji 4-bit zajmuje około 5 do 6 GB. Model 27B to zupełnie inna skala, dlatego warto przeanalizować arytmetykę pamięci dla uruchomienia go na VPS z samym CPU, zanim zdecydujesz się na utrzymywanie go w pamięci. Ustawienie keep_alive na -1 wyłącza wygaszanie bezczynności; późniejsze żądania dla tego samego modelu mogą zresetować jego limit czasu lub wymusić przeładowanie, gdy zmienią się opcje uruchomieniowe. Na małym serwerze VPS jest to bezpośredni kompromis między modelem a bazą danych, aplikacją webową i zadaniami budowania.
Monitoruj rzeczywiste wartości, zamiast polegać na szacunkach. Uruchom to polecenie, gdy model jest załadowany, a następnie ponownie po ollama stop:
free -hKolumna available wskazuje pamięć, którą jądro systemu mogłoby jeszcze przydzielić nowemu procesowi. Na serwerze z GPU NVIDIA, nvidia-smi pokazuje analogiczną sytuację w VRAM. Jeśli zasoby się wyczerpią, jądro zakończy proces, aby odzyskać pamięć:
sudo dmesg -T | grep -i "out of memory"Wiersz wskazujący na ollama oznacza, że ofiarą padł serwer modelu. Wiersz wskazujący na bazę danych oznacza, że model wygrał rywalizację, a istotny proces został zamknięty. Oba scenariusze wynikają z tej samej decyzji: zbyt długiego okna podtrzymania (keep-alive) na serwerze bez zapasu pamięci.
Dwa koszty są często pomijane. Dłuższy kontekst rezerwuje większą pamięć podręczną KV (key value cache, czyli stan uwagi dla każdego tokena utrzymywany przez model podczas generowania), a ta pamięć jest częścią rozmiaru rezydentnego. Jej wielkość wynika z num_ctx, więc zwiększenie okna kontekstu zwiększa ilość pamięci zajmowanej przez model przez cały okres bezczynności, a nie tylko podczas generowania odpowiedzi. Wartość OLLAMA_NUM_PARALLEL powyżej 1 rezerwuje tę pamięć podręczną raz na każdy równoległy slot, jeśli model wspiera taką równoległość. Ollama v0.40.16 wymusza równoległość 1 dla modeli bez możliwości uzupełniania (completion), w tym modeli embeddingowych; harmonogram nie traktuje już w sposób szczególny mllama ani qwen3next. Jeśli planujesz obsługiwać kilka osób za pomocą jednego modelu, zaplanuj pamięć pod kątem liczby slotów, a nie tylko samych wag.
Rozsądne ustawienie domyślne: jeden model na serwerze z zapasem pamięci może używać -1. Na współdzielonym serwerze należy użyć okna pokrywającego przerwy między żądaniami, na przykład 30m, aby pamięć była zwalniana po zakończeniu pracy.
Natychmiastowe wyładowanie modelu
ollama stop qwen3:8bPo zażądaniu wygaśnięcia polecenie nie zwraca żadnych danych. Wyładowanie czeka na zakończenie aktywnych żądań, dlatego polecenie może zakończyć się przed zwolnieniem pamięci. Nie zwraca też żadnych danych dla modelu, który został pobrany, ale obecnie nie jest załadowany. Polecenie nie sprawdza, jakie modele są załadowane. Wysyła żądanie wyładowania, a serwer odpowiada powodzeniem niezależnie od tego, czy coś znajdowało się w pamięci. Błąd couldn't find model "qwen3:8b" to stop pojawia się tylko wtedy, gdy na tym serwerze nie zainstalowano modelu o podanej nazwie. Zwykle oznacza to literówkę w nazwie lub tagu. Dlatego brak komunikatu po wykonaniu ollama stop nie potwierdza zwolnienia pamięci. Potwierdza to ollama ps. Wersja API jest żądaniem bez promptu, z ustawieniem keep_alive na 0:
curl -s http://localhost:11434/api/chat -d '{"model": "qwen3:8b", "messages": [], "keep_alive": 0}'Odpowiedź zawiera "done_reason": "unload". Należy używać tego rozwiązania zamiast restartowania usługi. systemctl restart ollama również zwalnia pamięć, ale wyładowuje wszystkie pozostałe załadowane modele i przerywa każde aktualnie wykonywane żądanie.
Uruchamianie więcej niż jednego modelu na jednym serwerze
OLLAMA_MAX_LOADED_MODELS ogranicza liczbę modeli załadowanych jednocześnie. Według stanu z października 2026 domyślny limit wynosi trzy modele na GPU albo trzy modele na hoście korzystającym wyłącznie z CPU. Limit dotyczy liczby modeli, ale rzeczywistym ograniczeniem jest pamięć. Dlatego drugi duży model może nie zostać załadowany na długo przed osiągnięciem limitu trzech modeli.
Gdy żądany jest nowy model, a dostępna pamięć jest niewystarczająca lub osiągnięto limit, scheduler wyładowuje jeden z aktualnie załadowanych modeli, aby zwolnić miejsce. W pierwszej kolejności wybiera model, który nie obsługuje aktywnego żądania. Może również wyładować model, którego licznik czasu jeszcze nie wygasł, w tym model załadowany z użyciem -1, ale najpierw próbuje modele z krótszymi oknami czasowymi. Ujemna wartość keep_alive oznacza brak limitu bezczynności. Nie blokuje wag przed żądaniem dotyczącym innego modelu.
Te decyzje są widoczne w dzienniku usługi, ale przypadek osiągnięcia limitu jest zapisywany wyłącznie na poziomie debug. Dodaj drugi wpis Environment="OLLAMA_DEBUG=1" do tego samego pliku drop-in, uruchom usługę ponownie i monitoruj dziennik:
sudo journalctl -u ollama -fOdczytaj przyczynę podaną obok żądania, które wywołało wyładowanie modelu. max runners achieved, unloading one to make room oznacza osiągnięcie limitu OLLAMA_MAX_LOADED_MODELS. Może to nastąpić nawet wtedy, gdy oba modele zmieściłyby się w pamięci. Zwiększ limit, jeśli free -h pokazuje dostępny zapas pamięci. Wiersz informujący, że nowy model prawdopodobnie przekroczy dostępną pamięć, a następnie wyładowanie modelu oznacza, że kontrola dopasowania w schedulerze odrzuciła jednoczesne załadowanie modeli z uwzględnieniem dostępnego zapasu pamięci. W takim przypadku należy uruchamiać mniej modeli na tym hoście albo ustawić długie okno dla modelu, który musi szybko odpowiadać, oraz 0 dla modelu wywoływanego rzadko.
Wskazówki wykraczające poza kolejne wydania
Ollama często publikuje nowe wersje, a jej ustawienia domyślne ulegają zmianie, dlatego należy sprawdzać aktualną kompilację zamiast zapamiętywać konkretne liczby:
ollama --version
ollama serve --helpollama serve --help zawiera listę zmiennych środowiskowych, które dana kompilacja faktycznie odczytuje, w tym OLLAMA_KEEP_ALIVE. Dwie zasady sprawdzają się w kolejnych wydaniach i można na nich polegać. Wartość w żądaniu ma pierwszeństwo przed ustawieniem domyślnym serwera. Z kolei ollama ps stanowi wiarygodne źródło informacji o tym, co zostało załadowane, niezależnie od deklaracji w pliku konfiguracyjnym.
Jeśli serwerem zarządza edytor lub agent, przed przypisaniem winy serwerowi należy sprawdzić, co wysyła klient. Wskazywanie agenta programistycznego na własny serwer Ollama opisuje, gdzie znajdują się te ustawienia żądań.
FAQ
Dlaczego Ollama wyładowuje mój model po 5 minutach?
Pięć minut to domyślna wartość keep_alive — licznik bezczynności uruchamiany przez Ollama po zakończeniu żądania. Po jego upływie serwer zwalnia wagi modelu. Następne żądanie musi więc załadować je ponownie, a ponowne ładowanie powoduje odczuwalną przerwę. Wartość można zwiększyć dla jednego żądania, wysyłając "keep_alive": "30m" w treści JSON, albo dla całego serwera za pomocą zmiennej środowiskowej OLLAMA_KEEP_ALIVE.
Jak trwale zachować załadowany model Ollama w pamięci?
Należy użyć wartości ujemnej: "keep_alive": -1 w żądaniu albo OLLAMA_KEEP_ALIVE=-1 dla serwera. Następnie ollama ps wyświetla Forever w kolumnie UNTIL. Usuwa to licznik bezczynności, ale nie zmienia niczego więcej. Jeśli zażądano innego modelu, a pamięć jest niewystarczająca, harmonogram nadal wyładuje ten model, aby zwolnić miejsce. Późniejsze żądania tego samego modelu mogą również zmienić jego limit czasu albo wywołać ponowne ładowanie po zmianie opcji runnera. Restart lub ponowne uruchomienie systemu także usuwa ten stan, dlatego później należy ponownie załadować model.
Dlaczego zmienna OLLAMA_KEEP_ALIVE jest ignorowana?
Należy sprawdzić, gdzie została ustawiona. Uruchom systemctl show ollama --property=Environment. Jeśli zmiennej nie ma w wynikach, serwer jej nie otrzymał, ponieważ zmienna wyeksportowana w powłoce nie jest przekazywana do usługi systemd. Ustaw ją za pomocą sudo systemctl edit ollama.service, a następnie uruchom sudo systemctl daemon-reload i sudo systemctl restart ollama. Inną przyczyną może być klient, który wysyła własną wartość keep_alive w żądaniu. Zastępuje ona domyślną wartość serwera.
Jak zwolnić pamięć bez ponownego uruchamiania Ollama?
ollama stop qwen3:8b żąda wygaśnięcia tego jednego modelu i pozostawia działający serwer oraz wszystkie pozostałe załadowane modele. Przed wyładowaniem modelu aktywne żądania muszą zostać zakończone. Za pośrednictwem API należy wysłać żądanie bez promptu i z "keep_alive": 0. Odpowiedź będzie zawierać "done_reason": "unload". Należy potwierdzić operację za pomocą ollama ps. Po zakończeniu wyładowywania model nie powinien być już wyświetlany na liście.