Ollama num_predict: jak ograniczyć liczbę tokenów
Parametr num_predict pozwala kontrolować długość odpowiedzi modelu. Wyjaśniamy hierarchię ustawień, różnicę względem num_ctx oraz interpretację flagi done_reason: length.
Działanie parametru num_predict w Ollama
num_predict to opcja w Ollama, która ogranicza liczbę tokenów generowanych przez model w pojedynczej odpowiedzi. Limit dotyczy wyłącznie tokenów wyjściowych, więc długość promptu nie jest wliczana do tego ograniczenia. Po osiągnięciu limitu generowanie zostaje przerwane w bieżącym miejscu, czasami w połowie słowa, a odpowiedź zwraca flagę done_reason ustawioną na length.
To pełny zakres działania tej funkcji. Trudność polega na tym, że Ollama oferuje trzy niezależne miejsca do zdefiniowania tej wartości, a ustawienie znajdujące się najbliżej żądania ma priorytet. Niemal każde zgłoszenie o treści "num_predict nie działa" wynika z faktu, że jedna warstwa konfiguracji po cichu nadpisuje drugą.
num_predict to nie to samo co num_ctx
Te dwie opcje są w Ollama mylone częściej niż jakiekolwiek inne, a pomyłka ta generuje realne straty czasu podczas debugowania.
num_ctx określa, ile model może przeczytać. Jest to rozmiar okna kontekstowego, które mieści prompt oraz wszystko, co zostało do tej pory wygenerowane. Zwiększenie tej wartości zwiększa zużycie pamięci, ponieważ pamięć podręczna kluczy/wartości (key/value cache), którą model utrzymuje dla tych tokenów, rośnie wraz z oknem. Dobieranie rozmiaru num_ctx do sprzętu to osobne zadanie, które posiada własne scenariusze awaryjne.
num_predict określa, ile model może napisać. Jest to reguła zatrzymania, a nie alokacja zasobów. Zwiększenie tej wartości wydłuża czas oczekiwania na odpowiedź, zamiast zużywać pamięć RAM, i żadne zasoby nie są rezerwowane z wyprzedzeniem.
Parametry te spotykają się w jednym punkcie. Wygenerowane tokeny trafiają do okna kontekstowego w miarę ich tworzenia. W Ollama v0.40.11 przesuwanie kontekstu (context shift) jest domyślnie włączone dla większości modeli, więc po zapełnieniu okna starsze tokeny są usuwane, a generowanie trwa dalej. Gdy przesuwanie jest wyłączone – ponieważ żądanie zawiera "shift": false lub model nie obsługuje przesuwania – odpowiedź może zostać przerwana również z powodu zapełnienia okna, a nie osiągnięcia limitu. Ollama raportuje length w obu przypadkach, dlatego liczbą, która pozwala je rozróżnić, jest eval_count, co zostało omówione poniżej.
Ustawienie wartości za pomocą Modelfile
Plik Modelfile pozwala na stałe zapisać wartość w tworzonym modelu. Należy utworzyć plik:
FROM qwen3:8b
PARAMETER num_ctx 8192
PARAMETER num_predict 512Następnie należy zbudować model i sprawdzić jego parametry:
ollama create qwen3-capped -f Modelfile
ollama show --parameters qwen3-cappedollama show --parameters wyświetla jeden wiersz dla każdego zapisanego parametru wraz z jego wartością. Jeśli num_predict nie znajduje się w tym wyniku, model nie posiada narzuconego limitu i stosowane są wartości domyślne Ollama. ollama show --modelfile qwen3-capped wyświetla pełną definicję, co jest również najszybszym sposobem na skopiowanie parametrów, z którymi dostarczany jest istniejący model. Tworzenie modelu z limitem w ten sposób prawie nie zajmuje dodatkowego miejsca na dysku, ponieważ nowy wpis wykorzystuje ponownie pliki wag (blobs) pobrane wcześniej przez model bazowy, zamiast je kopiować. Warto wiedzieć, gdzie Ollama przechowuje te pliki, zanim dysk systemowy VPS zostanie zapełniony.
Jest to właściwa warstwa dla wartości, którą mają dziedziczyć wszyscy użytkownicy modelu. Nie jest to jednak właściwa warstwa, jeśli oczekuje się, że wartość ta będzie ostateczna, ponieważ tak nie jest.
Ustawienie parametru w obiekcie options dla każdego żądania
Każdy punkt końcowy generowania przyjmuje obiekt options, wewnątrz którego umieszcza się num_predict:
curl http://localhost:11434/api/generate -d '{
"model": "qwen3:8b",
"prompt": "Explain what a reverse proxy does.",
"stream": false,
"options": { "num_predict": 128 }
}'/api/chat wykorzystuje ten sam klucz options o identycznym znaczeniu. Wartość zdefiniowana w tym miejscu dotyczy wyłącznie pojedynczego wywołania. Jest to warstwa wykorzystywana przez narzędzia: interfejsy czatu, skrypty, wrappery SDK oraz agenty programistyczne. Wszystkie one przesyłają obiekt options, niezależnie od tego, czy udostępniają użytkownikowi pole do jego edycji.
Ustawienie dla jednej sesji za pomocą parametru /set
Wewnątrz ollama run sesja interaktywna konfiguruje opcje dla pozostałej części bieżącej sesji:
>>> /set parameter num_predict 256
>>> /show parameters/show parameters wyświetla dane, które sesja wyśle wraz z następną wiadomością, co stanowi najszybszy sposób na potwierdzenie wprowadzenia zmian. Wartość pozostaje aktywna do momentu wpisania /bye. Aby ją zachować, /save qwen3-capped zapisuje bieżącą sesję wraz z parametrami jako nowy model. Żadne dane /set w tym miejscu nie są przesyłane do innych klientów.
Które ustawienie ma pierwszeństwo i dlaczego Twoje jest ignorowane
Kolejność jest krótka. Opcje przesłane wraz z żądaniem mają pierwszeństwo przed wszystkim innym. Linia PARAMETER num_predict w pliku Modelfile modelu stanowi rozwiązanie zapasowe, używane, gdy żądanie nie zawiera żadnej wartości. W przypadku braku obu, stosowane są wbudowane wartości domyślne Ollama.
/set parameter nie stanowi trzeciej reguły. Sesja interaktywna jest klientem API, więc to, co w niej ustawisz, jest wysyłane jako options danego żądania, co jest bezpośrednim powodem, dla którego nadpisuje ona Modelfile dla tej sesji.
Oto wyjaśnienie awarii. Dodajesz PARAMETER num_predict 512, przebudowujesz model, a odpowiedzi nadal osiągają tysiące tokenów. Twoje ustawienie jest obecne, a ollama show --parameters to potwierdza. Jest ono nadpisywane przy każdym żądaniu, ponieważ klient wysyła własny obiekt options zawierający własną liczbę, często wartość wpisaną w ekran ustawień miesiące temu i zapomnianą. ollama show odczytuje zapisany model. Nie może pokazać tego, co dociera przez HTTP.
Zweryfikuj stronę serwera za pomocą jednego polecenia. Wyślij żądanie, które wygeneruje długą odpowiedź, wymuś niski limit i odczytaj dwa pola:
curl -s http://localhost:11434/api/generate -d '{
"model": "qwen3-capped",
"prompt": "Describe the Linux boot process in detail.",
"stream": false,
"options": { "num_predict": 32 }
}' | jq '.done_reason, .eval_count'Szczegółowa odpowiedź znacznie przekracza 32 tokeny, więc należy spodziewać się "length" oraz 32. Zainstaluj jq za pomocą sudo apt install -y jq, jeśli go brakuje. Wartość 32 nie jest gwarantowana, ponieważ eval_count to tylko liczba tokenów wyjściowych, które serwer faktycznie wygenerował. Jeśli model zakończy pracę wcześniej, otrzymasz "stop" oraz mniejszą liczbę, a rozwiązaniem jest prompt wymuszający dłuższą odpowiedź. Gdy otrzymasz "length" oraz 32, oznacza to, że wartość żądania pokonała 512 zapisane w qwen3-capped, co dowodzi, że serwer respektuje opcje przesyłane w żądaniu. Nie informuje to jednak, co wysyła Twoja aplikacja, więc poszukiwania należy przenieść na stronę klienta. Aby uzyskać własny raport serwera dotyczący żądania, zrestartuj go z OLLAMA_DEBUG=1 w środowisku i monitoruj journalctl -u ollama -f podczas komunikacji aplikacji z serwerem.
Wartości ujemne oraz liczby, których nie należy kopiować
num_predict akceptuje również wartości ujemne, które pełnią rolę wskaźników, a nie liczników. Jedna wartość ujemna oznacza „brak limitu, kontynuuj generowanie”. Inna oznaczała „wypełnij pozostały kontekst”. Według stanu na październik 2026 r. dokumentacja Ollama Modelfile podaje wartość domyślną -1, czyli generowanie nieskończone, a wcześniejsze wersje tej samej tabeli wskazywały -2 dla wypełniania kontekstu.
Należy traktować te informacje jako zależne od wersji, ponieważ uległy one zmianie. Dokumentacja przez długi czas podawała wartość domyślną 128, zanim wpis poprawiono na -1, dlatego wiele poradników wciąż powiela starą liczbę. Zachowanie również uległo zmianie. Ollama v0.40.11, czyli wydanie aktualne na dzień 25 października 2026 r., przekazuje modele GGUF do nadrzędnego procesu llama-server, który wymaga określonego limitu. W związku z tym zastępuje on każdą wartość ujemną oraz każdy limit przekraczający dziesięciokrotność num_ctx wartością równą dziesięciokrotności num_ctx. „Nieskończoność” oznacza zatem 81,920 tokenów dla modelu qwen3-capped wspomnianego powyżej, a -2 nie zachowuje się już inaczej niż -1. Należy zapoznać się z dokumentacją parametrów Modelfile dla wersji, która jest aktualnie uruchomiona, a następnie potwierdzić zachowanie za pomocą testu eval_count opisanego powyżej. Wartość zweryfikowana na własnym serwerze jest bardziej wiarygodna niż jakakolwiek wartość znaleziona w sieci, wliczając w to niniejszy wpis.
Dlaczego długość wyjściowa jest głównym kosztem na VPS bez GPU
Ollama jest darmowa do uruchomienia na własnej maszynie, więc lokalna generacja nie jest limitowana, a za długą odpowiedź płaci się czasem oczekiwania. Generowanie składa się z dwóch faz o bardzo różnych prędkościach. Tokeny promptu są przetwarzane w partiach, wiele naraz. Tokeny wyjściowe są generowane pojedynczo, a każdy z nich wymaga przejścia przez używane wagi. Na VPS bez GPU to przejście jest ograniczone przepustowością pamięci, więc jeden wygenerowany token kosztuje znacznie więcej niż jeden token promptu. Ponieważ to przejście musi odczytać każdą wagę używaną przez token (wszystkie w modelu gęstym lub tylko aktywne w modelu typu mixture-of-experts, takim jak Nemotron 3.5 Lightning, który aktywuje około 3B ze swoich 30B parametrów na token), liczba bajtów zajmowanych przez każdą wagę wyznacza limit szybkości generowania tokenów. Dlatego właśnie wersja q4 dekoduje szybciej niż ten sam model w q8 lub fp16.
Poproś o odpowiedź bez streamingu, a liczby będą widoczne:
"prompt_eval_count": 11,
"prompt_eval_duration": 13074791,
"eval_count": 18,
"eval_duration": 52479709Czas trwania podano w nanosekundach. W tym bloku, będącym przykładową odpowiedzią opublikowaną w dokumentacji API Ollama w październiku 2026 roku, a nie pomiarem konkretnego serwera, 11 tokenów promptu zajęło około 0,013 sekundy, podczas gdy 18 tokenów wyjściowych zajęło około 0,052 sekundy. Daje to w przybliżeniu 1,2 milisekundy na token promptu wobec 2,9 milisekundy na token wyjściowy. Nawet w jednowierszowej odpowiedzi każdy wygenerowany token kosztował ponad dwa razy więcej niż każdy odczytany token, a przy długiej odpowiedzi to strona wyjściowa zajmuje najwięcej czasu. Twoja własna szybkość generowania to eval_count podzielone przez eval_duration przeliczone na sekundy, a pomiar tokenów na sekundę na własnym sprzęcie warto wykonać raz przed jakąkolwiek optymalizacją. Ta szybkość zależy od modelu w takim samym stopniu jak od maszyny, więc jeśli długie odpowiedzi generują realne koszty, model stworzony do szybkiego dekodowania, taki jak Nemotron 3.5 Lightning na VPS, pozwala odzyskać część czasu, który w przeciwnym razie chroni niski limit.
Arytmetyka robi resztę. Przy 8 tokenach na sekundę odpowiedź o długości 2000 tokenów zajmuje maszynę na ponad cztery minuty, a model nie wie, że oczekiwałeś tylko akapitu. Model wnioskujący zużywa część tego budżetu na myślenie, zanim napisze choćby słowo, o które prosiłeś, a to myślenie jest generowane token po tokenie, tak jak wszystko inne. Dlatego wysiłek wnioskowania, o który prosisz jest kolejnym czynnikiem wpływającym na ten sam rachunek. Niektóre modele wpadają również w pętlę, powtarzając frazę, dopóki coś ich nie zatrzyma. Bez limitu to pojedyncze żądanie obciąża rdzeń, dopóki nie osiągnie dziesięciokrotności num_ctx tokenów, ponieważ przesunięcie kontekstu uniemożliwia zakończenie pełnego okna. num_predict to ustawienie, które nakłada ograniczenie, co ma największe znaczenie na małym samodzielnie hostowanym VPS z Ollama, gdzie jedno długie żądanie zajmuje całą maszynę.
Ucięte dane wyjściowe to zazwyczaj limit, a nie błąd modelu
Objawy wskazują na awarię modelu. Odpowiedź urywa się w połowie zdania. JSON nie poddaje się parsowaniu, ponieważ brakuje zamykającego nawiasu klamrowego. Odruchowo obwinia się model lub kwantyzację. Najpierw należy przeczytać odpowiedź.
done_reason odpowiada bezpośrednio na pytanie. stop oznacza, że generowanie zakończyło się przed osiągnięciem jakiegokolwiek limitu, ponieważ model wyemitował token końca sekwencji lub dane wyjściowe dopasowały się do jednego z ciągów w opcji stop, co kończy odpowiedź w miejscu wystąpienia dopasowania. length oznacza, że generowanie zostało przerwane z powodu braku miejsca. Gdy widoczny jest komunikat length, należy porównać eval_count z limitem: dokładna zgodność oznacza, że zatrzymał go num_predict, a mniejsza liczba oznacza, że wypełniło się okno kontekstowe, co może wystąpić tylko przy wyłączonym przesunięciu kontekstu.
Podczas strumieniowania te pola docierają w ostatnim fragmencie, tym zawierającym "done": true. Wiele bibliotek klienckich odrzuca ten fragment i przekazuje kodowi tylko tekst, dlatego to samo ucięcie wygląda na niewyjaśnione wewnątrz aplikacji, a jest oczywiste w curl. Jeśli biblioteka ukrywa te dane, należy wysłać jedno żądanie z curl, aby sprawdzić, co faktycznie przekazał serwer.
Jeden dodatkowy punkt pozwala uniknąć straty popołudnia. Zwiększenie num_predict nie sprawia, że model pisze więcej. Usuwa jedynie górny limit. Jeśli odpowiedź kończy się na 200 tokenach z done_reason równym stop, oznacza to, że model uznał odpowiedź za zakończoną lub dopasował się jeden z ciągów stop, a zwiększenie limitu nic nie zmieni. Krótkie odpowiedzi z stop wynikają z problemów z promptem lub ciągami zatrzymania. Krótkie odpowiedzi z length wynikają z problemów z limitem.
Wybór wartości
- W przypadku interaktywnego czatu pozostaw limit bez ograniczeń i użyj Ctrl+C, aby zatrzymać niekontrolowaną odpowiedź. Monitorujesz ekran na bieżąco.
- W przypadku zadań skryptowych ustaw limit. Brak ograniczeń w pętli sprawia, że zadanie wsadowe, które powinno zająć dziesięć minut, może nadal działać następnego dnia rano.
- W przypadku wyjścia strukturalnego ustaw limit powyżej największego oczekiwanego poprawnego dokumentu, a następnie traktuj
done_reasonzlengthjako błąd krytyczny i ponów próbę zamiast analizować otrzymane dane. - W przypadku agenta programistycznego wartość ta powinna znajdować się w konfiguracji samego agenta, ponieważ przesyła on własne opcje przy każdym żądaniu. Wskazywanie agentowi programistycznemu instancji Ollama opisuje, gdzie znajdują się te ustawienia.
Limit zlicza tokeny, a nie słowa czy znaki, więc nie należy go szacować. Wygeneruj jedną reprezentatywną odpowiedź bez limitu, odczytaj eval_count i ustaw limit z odpowiednim zapasem powyżej tej wartości. Rodziny modeli tokenizują tekst w różny sposób, więc wartość pasująca do modelu Llama może uciąć tę samą odpowiedź pochodzącą z modelu Qwen 3 na tym samym VPS.
FAQ
Jaka jest różnica między num_ctx a num_predict w Ollama?
num_ctx to rozmiar okna kontekstowego, który określa, ile danych model może odczytać: prompt oraz wszystko, co zostało do tej pory wygenerowane. Wpływa to na zużycie pamięci, ponieważ pamięć podręczna kluczy i wartości (key/value cache) rośnie wraz z tym parametrem. num_predict określa, ile tokenów model może wygenerować w jednej odpowiedzi. Wpływa to na czas przetwarzania, a nie na pamięć, ponieważ żadne zasoby nie są rezerwowane z wyprzedzeniem. Wygenerowane tokeny wliczają się do obu limitów, więc jeśli przesunięcie kontekstu jest wyłączone, odpowiedź może zostać przerwana przez którykolwiek z nich.
Dlaczego moje ustawienie num_predict wydaje się być ignorowane?
Ponieważ wartość przesłana w żądaniu nadpisuje wartość zapisaną w modelu. Umieszczenie PARAMETER num_predict 512 w pliku Modelfile, a następnie używanie tego modelu przez interfejs czatu lub agenta programistycznego, powoduje, że klient wysyła własny obiekt options, którego wartość ma pierwszeństwo. ollama show --parameters nadal wyświetla Twoją wartość, ponieważ odczytuje zapisany model i nie widzi tego, co dociera przez HTTP. Wyślij jedno żądanie z curl przy użyciu "options": {"num_predict": 32} oraz promptem wymagającym długiej odpowiedzi, a następnie odczytaj done_reason i eval_count. length z eval_count równym 32 wykaże, że wartość z żądania nadpisała tę zapisaną, co potwierdza poprawne działanie serwera i przenosi punkt poszukiwań na poziom aplikacji. stop z mniejszą liczbą oznacza jedynie, że model zakończył pracę wcześniej, więc ponów próbę z promptem wymuszającym dłuższą odpowiedź.
Jak sprawdzić, czy odpowiedź została przerwana przez num_predict?
Wyślij żądanie z "stream": false i odczytaj done_reason. Wartość stop oznacza, że model zakończył pracę samodzielnie lub napotkał jeden z Twoich ciągów stop. Wartość length oznacza, że wyczerpał się limit miejsca. Następnie porównaj eval_count ze swoim limitem: jeśli są identyczne, oznacza to, że num_predict zatrzymało proces, a jeśli eval_count jest mniejsze, oznacza to, że wypełniło się okno kontekstowe. Podczas strumieniowania oba pola docierają w ostatnim fragmencie z "done": true, co wiele bibliotek klienckich odrzuca, zanim Twój kod zdąży je przetworzyć.
Jaka jest domyślna wartość num_predict?
Sprawdź ją w swojej instalacji, zamiast polegać na artykułach. Według stanu na październik 2026 dokumentacja Modelfile w Ollama podaje wartość domyślną -1, co oznacza brak limitu generowania. Ten wpis został poprawiony po długim okresie dokumentowania 128. W wersji Ollama v0.40.11 ta otwarta wartość domyślna, podobnie jak każda wartość ujemna, w rzeczywistości zatrzymuje się na dziesięciokrotności num_ctx. Wartości ujemne są sygnałami kontrolnymi, a nie licznikami, a starsze wersje tej samej tabeli wymieniały również -2 dla wypełnienia pozostałego kontekstu. Sprawdź dokumentację parametrów Modelfile dla swojej wersji, a następnie potwierdź ją za pomocą ollama show --parameters i jednego żądania curl.
Czy zwiększenie num_predict sprawi, że model będzie pisał dłuższe odpowiedzi?
Nie. To jedynie usuwa górny limit. Jeśli odpowiedź kończy się z done_reason równym stop, oznacza to, że model uznał pracę za zakończoną lub dopasował jeden z Twoich ciągów stop, więc zwiększenie limitu nic nie zmieni. Długość w takim przypadku zależy od promptu: poproś o konkretną strukturę, liczbę sekcji lub określony poziom szczegółowości. Zwiększ num_predict tylko wtedy, gdy done_reason zwraca wartość length.