Ollama: NUM_PARALLEL i MAX_QUEUE. Kolejka żądań
Drugi request Ollama czeka czy kończy się błędem HTTP 503? Sprawdź działanie OLLAMA_NUM_PARALLEL i OLLAMA_MAX_QUEUE oraz koszt pamięci każdego slotu.
Co dzieje się z drugim żądaniem do Ollama, gdy pierwsze jest w trakcie generowania
Współbieżność Ollama jest określana przez trzy zmienne środowiskowe, a domyślnie jeden załadowany model obsługuje jedno żądanie w danym czasie. Drugie żądanie nie jest odrzucane i nie otrzymuje częściowej odpowiedzi. Oczekuje ono w kolejce, aż zwolni się miejsce, a następnie jest przetwarzane z normalną prędkością.
Przychodzące żądanie może spotkać jeden z trzech scenariuszy. Rozpoczyna się natychmiast w wolnym slocie. Oczekuje w kolejce. Lub kolejka jest już pełna, a serwer odrzuca żądanie z kodem HTTP 503. O tym, który scenariusz wystąpi, decydują OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE oraz OLLAMA_MAX_LOADED_MODELS. W obecnych wydaniach, stan na październik 2026, istnieje pewne zastrzeżenie. FAQ opisuje kolejkę w sposób ogólny, ale kod źródłowy harmonogramu jest bardziej precyzyjny. Błąd 503 dotyczy tylko żądań, które napływają w momencie, gdy model musi zostać załadowany lub przeładowany z innymi ustawieniami. Ollama nie odrzuca żądania, które może zostać obsłużone przez już załadowany model w jego obecnym stanie. Takie żądanie czeka na slot tak długo, jak to konieczne.
Ustawienia domyślne są bezpieczne, co jest również powodem, dla którego drugi użytkownik zgłasza, że serwer „zawiesił się”, mimo że nic nie uległo awarii. Dodanie slotów to zmiana w dwóch liniach. Problematyczna kwestia to pamięć. Każdy równoległy slot wymaga własnej pamięci podręcznej kluczy/wartości (KV cache), czyli bloku pamięci, w którym model przechowuje już przetworzone tokeny. Dodanie slotów bez zwiększenia VRAM (pamięci wideo na GPU) sprawia, że wolna odpowiedź zamienia się w błąd ładowania. Na serwerze działającym wyłącznie na CPU ta sama pamięć podręczna jest pobierana z pamięci RAM systemu.
Co kontrolują parametry OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE oraz OLLAMA_MAX_LOADED_MODELS
Są to wartości domyślne w aktualnych wydaniach Ollama na październik 2026. Zamiast polegać na poniższych liczbach, należy sprawdzić własną konfigurację, korzystając z linii dziennika przedstawionej poniżej.
OLLAMA_NUM_PARALLELokreśla, ile żądań jednocześnie obsługuje jeden załadowany model. Wartość domyślna to 1, co oznacza, że żądania są przetwarzane jedno po drugim.OLLAMA_MAX_LOADED_MODELSokreśla, ile różnych modeli pozostaje jednocześnie w pamięci. Wartość domyślna to 0, co oznacza, że Ollama dokonuje wyboru automatycznie: trzy modele na GPU oraz trzy na maszynie bez GPU.OLLAMA_MAX_QUEUEto, zgodnie z definicją w FAQ, maksymalna liczba żądań, które Ollama ustawi w kolejce w stanie obciążenia przed odrzuceniem kolejnych zapytań. Wartość domyślna to 512. Żądanie, które nadejdzie w momencie, gdy kolejka jest pełna, zostaje natychmiast odrzucone. W obecnym kodzie harmonogramu do tej kolejki trafiają jednak tylko te żądania, których model musi zostać najpierw załadowany lub przeładowany. Żądania dotyczące modelu, który jest już załadowany, pomijają tę kolejkę i oczekują na wolny slot, a czas tego oczekiwania nie jest ograniczony. Jeden z opiekunów projektu opisał to jako efekt uboczny implementacji harmonogramu, a twórcy Ollama śledzą poprawkę jako zgłoszenie funkcji (issue #7758), które w październiku 2026 roku pozostawało otwarte.
Najgorszy scenariusz zużycia pamięci to iloczyn dwóch pierwszych parametrów. Dwa załadowane modele z czterema slotami każdy oznaczają osiem alokacji slotów pamięci podręcznej KV, które muszą być jednocześnie aktywne, a Ollama podejmie próbę ich obsłużenia. Na maszynie z pojedynczym GPU zazwyczaj lepiej jest utrzymywać jeden model i przydzielić mu sloty, ponieważ obliczenia pozostają wtedy na poziomie, który można wykonać w pamięci.
Dlaczego każdy równoległy slot kosztuje VRAM
Gdy Ollama ładuje model, uruchamia osobny proces wykonawczy. Istotne są tutaj dwa przekazywane argumenty: -c to całkowity kontekst, dla którego proces wykonawczy alokuje pamięć podręczną KV, a -np to liczba równoległych sekwencji. Ollama ustawia -c jako iloczyn długości kontekstu na żądanie oraz liczby slotów. Proces wykonawczy dzieli następnie tę sumę równo między sloty, dzięki czemu każde żądanie otrzymuje zadeklarowaną długość kontekstu.
To jedyne ograniczenie i powód, dla którego równoległość nie jest darmowa. Przejście z jednego slotu na cztery wymaga czterokrotnie większej pamięci podręcznej KV przy tej samej długości kontekstu na żądanie. Między slotami nie ma współdzielenia zasobów, a przydział bezczynnego slotu nie jest przekazywany do zajętego, ponieważ podział jest ustalany w momencie uruchomienia procesu. Na GPU ta pamięć to VRAM. Na serwerze z samym CPU jest to pamięć RAM systemu, a zasada mnożenia pozostaje taka sama.
Można odczytać rzeczywiste wartości zamiast tych, które zamierzano ustawić:
journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"Ta linia zawiera pełne polecenie uruchomienia procesu wykonawczego, w tym -c oraz -np. Jeśli -np wynosi 1 po ustawieniu zmiennej, należy najpierw sprawdzić typ modelu. Wersja Ollama v0.40.15 wprowadziła obsługę równoległych żądań dla modeli GGUF typu recurrent oraz vision, więc wcześniejsze ograniczenie do jednego slotu dla tych modeli już nie obowiązuje. Modele embedding nadal otrzymują jeden slot w harmonogramie. W przypadku modelu GGUF typu completion należy sprawdzić, czy ustawienie dociera do serwera, co wyjaśnia kolejna sekcja.
Jeśli wagi modelu wraz z pamięcią podręczną KV nie mieszczą się w VRAM, Ollama przenosi część warstw do pamięci RAM systemu, a te warstwy są przetwarzane przez CPU. Warstwy CPU są znacznie wolniejsze niż warstwy GPU, co powoduje spowolnienie każdego żądania, w tym pojedynczego żądania, od którego rozpoczęto pracę. Zwiększenie równoległości może zatem obniżyć przepustowość zamiast ją zwiększyć. W przypadku wystarczająco dużego modelu same wagi rozstrzygają kwestię przed wykonaniem jakichkolwiek obliczeń dla slotów, dlatego samodzielne hostowanie modelu wielkości Kimi K3 jest kwestią liczby posiadanych kart, a nie liczby ustawionych slotów.
ollama psKolumna PROCESSOR wskazuje 100% GPU, gdy całość mieści się w pamięci. Podział typu 35%/65% CPU/GPU oznacza, że część modelu działa na CPU. Kolumna SIZE uwzględnia pamięć podręczną KV, więc rośnie ona wraz ze zwiększeniem liczby slotów i przeładowaniem modelu. Należy zwiększyć OLLAMA_NUM_PARALLEL, zrestartować usługę, wysłać jedno żądanie i ponownie uruchomić ollama ps: to jest koszt pamięciowy wprowadzonych zmian, zmierzony, a nie oszacowany. Jeśli pomiar wykaże, że model przestał się mieścić, należy pamiętać, że wagi stanowią drugą połowę tego samego budżetu, a przejście z fp16 na kompilację q8 lub q4 często zwalnia więcej VRAM niż kosztuje dodanie kolejnego slotu.
Długość kontekstu i liczba slotów mnożą się, więc muszą być dobierane łącznie. Duży kontekst przy czterech slotach oznacza cztery duże konteksty. W przypadku dostrajania okna kontekstowego num_ctx dla modelu, należy zmieniać tylko jeden z tych parametrów naraz, w przeciwnym razie nie będzie wiadomo, który z nich zapełnił kartę.
Jak skonfigurować te zmienne, aby przetrwały restart
W systemie Linux Ollama działa jako usługa systemd. Wykonanie export OLLAMA_NUM_PARALLEL=4 w powłoce nie przynosi żadnych zmian, ponieważ systemd uruchamia usługę w odrębnym środowisku i nie ma dostępu do zmiennych powłoki użytkownika. Należy użyć pliku typu drop-in.
sudo systemctl edit ollama.serviceDodaj poniższą treść w edytorze, który zostanie otwarty:
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"Następnie przeładuj konfigurację i zrestartuj usługę:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentsystemctl show wyświetla zmienne, które systemd przekaże do procesu. Jeśli zmienna nie pojawia się na liście, oznacza to, że plik drop-in nie został zapisany lub pominięto daemon-reload. Potwierdź ustawienia również z poziomu serwera:
journalctl -u ollama --no-pager | grep "server config" | tail -1Ollama loguje konfigurację serwera podczas uruchamiania w linii zawierającej komunikat server config. Ta mapa przedstawia wartości środowiskowe zgłaszane przez Ollama i jest najszybszym sposobem na sprawdzenie, czy zmienna została poprawnie zastosowana. Wyświetla ona ustawioną wartość, a nie liczbę slotów faktycznie przydzielonych dla konkretnego modelu. Aby sprawdzić tę drugą wartość, należy odczytać -np w linii runnera powyżej.
Model, który został już załadowany, zachowuje liczbę slotów, z którą został uruchomiony, ponieważ wartość ta jest przypisana do procesu runnera w momencie startu. Powyższy restart powoduje zwolnienie wszystkich zasobów, więc kolejne żądanie wymusi przeładowanie modelu z nowymi ustawieniami i jednorazowe wydłużenie czasu ładowania. Czas, przez jaki model pozostaje w pamięci po tym procesie, jest kontrolowany oddzielnie, co opisano w utrzymywanie modelu Ollama w pamięci między żądaniami.
Jak z perspektywy klienta wyglądają stany obsłużonych, zakolejkowanych i odrzuconych żądań
Wyślij kilka żądań jednocześnie i zmierz czas ich wykonania. Poniższe polecenie uruchamia osiem żądań strumieniowych równolegle i wyświetla status oraz czas dla każdego z nich:
for i in $(seq 1 8); do
curl -s -o /dev/null \
-w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
waitttfb to czas do otrzymania pierwszego bajta strumienia, który jest zbliżony do czasu do pierwszego tokena (TTFT), ponieważ pierwszy przesłany fragment zawiera pierwszy token.
Obsługa równoległa. Każde żądanie raportuje podobny czas ttfb, a wartość total rośnie dla wszystkich jednocześnie. GPU jest współdzielone między aktywnymi slotami, więc każda odpowiedź jest wolniejsza niż w przypadku pojedynczego żądania, ale w ciągu minuty kończy się ich więcej. Jest to tryb pracy, który uzyskuje się po zwiększeniu wartości OLLAMA_NUM_PARALLEL.
Kolejkowanie. Pierwsze żądania odpowiadają szybko, a kolejne wykazują dużą wartość ttfb, po której następuje normalne generowanie. Czas oczekiwania wynika z kolejki, a nie z modelu. Użytkownik obserwujący okno czatu widzi długą pauzę, a następnie tekst generowany z pełną prędkością. Taki schemat – powolny start i szybkie generowanie – jest sygnaturą kolejki, a nie przeciążonego GPU.
Odrzucenie. Klient otrzymuje http=503 niemal natychmiast, a treść odpowiedzi to:
{"error":"server busy, please try again. maximum pending requests exceeded"}Ten komunikat oznacza, że kolejka szeregowania była pełna w momencie nadejścia żądania. Nie informuje on o stanie VRAM ani o modelu. W obecnych wydaniach kolejka ta przechowuje tylko żądania, których model nie został jeszcze załadowany lub musi zostać przeładowany z innymi ustawieniami. Jeśli model jest już załadowany w pamięci podczas uruchamiania powyższej pętli, każde żądanie powinno zwrócić kod 200, niezależnie od tego, jak nisko ustawisz OLLAMA_MAX_QUEUE. Przepełnienie objawia się wtedy wydłużeniem czasu ttfb.
Jeden istotny limit: Ollama nie publikuje głębokości kolejki. ollama ps oraz endpoint /api/ps raportują modele, które są załadowane, a nie żądania, które oczekują. Kolejkę należy zatem mierzyć od strony klienta, obserwując czas do pierwszego bajta, lub zliczać odpowiedzi 503 na poziomie komponentu znajdującego się przed usługą.
Dlaczego mniejsza wartość MAX_QUEUE jest często lepszym ustawieniem
Kolejka o rozmiarze 512 brzmi na dużą, jednak w przypadku pojedynczego slotu jest niemal bezużyteczna. Żądanie 300 czeka na zakończenie 299 generacji. W najlepszym przypadku trwa to minuty. Każdy klient HTTP przerywa połączenie znacznie wcześniej, więc wywołujący otrzymuje błąd przekroczenia czasu po stronie klienta, który nie informuje o przyczynie i nie pozwala systemom monitoringu na wygenerowanie alertu.
Mniejsza kolejka zamienia przepełnienie w natychmiastowy błąd 503, ale tylko dla żądań oczekujących na załadowanie lub przeładowanie modelu, na przykład w przypadku nagłego wzrostu ruchu po restarcie lub podczas wymiany modeli. Według stanu na październik 2026, żądania do modelu, który jest już załadowany, omijają OLLAMA_MAX_QUEUE i oczekują na wolny slot bez limitu. Zmniejszenie kolejki nie skróci zatem czasu oczekiwania na obciążonym serwerze z jednym rezydentnym modelem. Aby uzyskać szybką odmowę w takiej sytuacji, należy ograniczyć współbieżność przed Ollama, zgodnie z opisem w następnej sekcji. Kod 503 jest użyteczny: reverse proxy może ponowić próbę, klient może zastosować mechanizm back-off, pulpit nawigacyjny może zliczyć błąd, a użytkownik może go odczytać. Limit należy wyznaczyć na podstawie własnych pomiarów. Jeśli generacja trwa około dziesięciu sekund, a klient czeka sześćdziesiąt, to w tym oknie czasowym może zostać obsłużonych około sześciu żądań na slot, a dopuszczenie do oczekiwania większej liczby żądań powoduje jedynie przekroczenia czasu.
Kiedy umieścić kolejkę przed Ollama
Wbudowana kolejka działa zgodnie z zasadą first in, first out (FIFO) i nie rozpoznaje wywołującego. W przypadku jednej aplikacji komunikującej się z jednym serwerem to wystarcza, a dodanie kolejnej infrastruktury wprowadzałoby tylko dodatkowe źródła awarii. Dodatkowy komponent przed Ollama jest potrzebny, gdy zachodzi jeden z poniższych warunków.
- Potrzebne są priorytety. Czat interaktywny nie powinien czekać za zadaniem wsadowym generującym podsumowanie. Kolejka Ollama nie obsługuje priorytetów, dlatego zadania wsadowe trzeba zatrzymywać poza nią i przekazywać stopniowo.
- Potrzebna jest sprawiedliwa obsługa klientów. Jeden klient może zająć wszystkie sloty i samodzielnie zgromadzić oczekujące żądania. Wszyscy pozostali będą wtedy czekać za tym klientem albo otrzymają 503, jeśli ich żądanie wymaga załadowania modelu.
- Potrzebny jest ograniczony czas oczekiwania. Ollama będzie bezterminowo przetrzymywać żądania dotyczące już załadowanego modelu, dlatego jedynym niezawodnym ograniczeniem jest limit ustawiony przed Ollama.
- Zadania muszą przetrwać restart. Kolejka znajduje się w pamięci serwera. Po restarcie Ollama wszystkie oczekujące żądania zostaną utracone.
- Potrzebne są rzeczywiste ponowienia z narastającym opóźnieniem, zapisywane w miejscu umożliwiającym późniejszą kontrolę.
Lżejszym rozwiązaniem jest reverse proxy. W nginx limit_conn ogranicza liczbę jednoczesnych połączeń, a limit_req ogranicza tempo napływu żądań od jednego klienta, dzięki czemu nadmiarowe żądania są odrzucane przez proxy i nigdy nie trafiają do Ollama. Cięższym rozwiązaniem jest kolejka zadań z bazą danych, umieszczona przed workerem wywołującym Ollama. Jest to właściwy wybór, gdy żądania muszą przetrwać restart procesu. Dobór rozmiaru takiego rozwiązania dla rzeczywistego ruchu wymaga osobnej analizy: planowanie self-hosted LLM dla użytkowników równoczesnych omawia odpowiednie obliczenia, a uruchamianie Ollama na VPS opisuje instalację bazową, na której zakłada się użycie tych zmiennych.
Gdy właściwą odpowiedzią jest inny serwer
Istnieje ograniczenie, którego nie da się usunąć samą zmianą konfiguracji. Podczas ładowania modelu Ollama dzieli pamięć podręczną KV na równe, stałe sloty. Pamięć bezczynnego slotu nie może zostać wykorzystana przez zajęty slot, a liczby slotów nie można zmienić bez wyładowania modelu. Taka architektura dobrze sprawdza się w przypadku jednej osoby, małego zespołu albo agenta programistycznego.
Serwery projektowane z myślą o wielu jednoczesnych użytkownikach działają inaczej. Przydzielają pamięć podręczną KV na żądanie, w małych stronach, i dodają przychodzące żądania do już działającej partii. Dzięki temu pamięć odpowiada rzeczywistemu obciążeniu, zamiast być dzielona według stałego podziału. Jeżeli celem jest obsługa dużej liczby jednoczesnych użytkowników na jednej karcie GPU, ta różnica architektoniczna ma większe znaczenie niż dowolna wartość OLLAMA_NUM_PARALLEL. Porównanie Ollama i vLLM jest właściwym miejscem, aby podjąć tę decyzję. Nie należy jednak zmieniać serwera wyłącznie z zasady. Inny serwer wymaga większego nakładu pracy operacyjnej, a w przypadku ruchu generowanego przez kilka osób wbudowane działanie jest właściwym rozwiązaniem. Jeżeli rzeczywiste pytanie brzmi, czy w ogóle samodzielnie uruchamiać serwer modelu, porównanie prywatnego serwera AI dostępnego wyłącznie na podstawie wyceny z samodzielnym zbudowaniem tego samego stosu na wynajętym GPU pomaga podjąć tę decyzję, w tym określić, kiedy lepszym zakupem jest API.
Pomiar własnej przepustowości i czasu do pierwszego tokena
Publikowane wartości liczby tokenów na sekundę pochodzą z cudzych jednostek GPU, modeli, kwantyzacji, długości kontekstu oraz promptów. Żaden z tych parametrów nie odpowiada Twoim, dlatego każdą przeczytaną liczbę należy traktować jako przybliżoną wskazówkę i przeprowadzić pomiar na własnej maszynie.
Ollama zwraca czasy w końcowym obiekcie JSON każdej odpowiedzi. eval_count to liczba wygenerowanych tokenów, a eval_duration to czas poświęcony na ich generowanie, wyrażony w nanosekundach.
sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
| jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'Uruchom to z jednym slotem, a następnie ponownie przy poziomie współbieżności, którego faktycznie oczekujesz. Porównaj dwie wartości decydujące o zadowoleniu użytkowników: czas do pierwszego tokena oraz liczbę tokenów na sekundę dla każdego żądania. Przepustowość na żądanie zawsze spada wraz z dodawaniem kolejnych slotów. Pytanie brzmi, czy spadek ten nie przekracza akceptowalnego dla użytkowników poziomu. Pomiar liczby tokenów na sekundę w lokalnym modelu LLM omawia tę metodę bardziej szczegółowo, w tym sposób utrzymania stałego promptu pomiędzy uruchomieniami.
Publiczny punkt końcowy z dużą kolejką jest celem ataku typu denial of service
Ustawienie OLLAMA_HOST=0.0.0.0:11434 udostępnia API na wszystkich interfejsach, a lokalne API nie wymaga uwierzytelniania. Ollama posiada wbudowane logowanie dla modeli chmurowych, publikowania oraz prywatnych pobrań. Bezpośrednia inferencja w chmurze pod adresami https://ollama.com/api oraz https://ollama.com/v1 wymaga klucza API. Przy domyślnej kolejce otwarty punkt końcowy zaakceptuje do 512 żądań oczekujących na załadowanie modelu od każdego, kto go znajdzie. W przypadku modelu, który jest już załadowany, serwer będzie przetrzymywał każde połączenie bez limitu, tak długo, jak klient pozostaje połączony. Takie blokowanie serwera prawie nic nie kosztuje atakującego: długie prompty, brak logowania, brak limitów prędkości, brak opłat. Własni użytkownicy otrzymują wtedy odpowiedzi 503 lub długo czekają, podczas gdy maszyna jest stale obciążona.
Należy pozostawić nasłuchiwanie na interfejsie loopback i uzyskiwać dostęp przez tunel SSH lub sieć prywatną, albo umieścić przed usługą warstwę uwierzytelniania i ograniczania prędkości (rate limiting). Artykuł Zabezpieczanie punktu końcowego Ollama API omawia oba te rozwiązania. Dopiero po ich wdrożeniu należy dostosować kolejkę, ponieważ jej długość jest jedynie ustawieniem wydajnościowym i nie zapewnia żadnej ochrony.
FAQ
Dlaczego drugie żądanie do Ollama czeka na zakończenie pierwszego?
Ponieważ OLLAMA_NUM_PARALLEL domyślnie wynosi 1, załadowany model przetwarza jedno żądanie naraz, a pozostałe oczekują w kolejce. Oczekujące żądanie utrzymuje otwarte połączenie HTTP i nie przesyła danych, dopóki nie zwolni się slot, co z perspektywy klienta wygląda jak wolne działanie modelu. Wskazówką jest charakterystyka czasowa: długa pauza, po której tekst pojawia się z pełną prędkością, oznacza oczekiwanie w kolejce, natomiast powolne generowanie od pierwszego tokena oznacza wolny model. Zwiększ liczbę slotów za pomocą pliku drop-in systemd i zrestartuj usługę. Następnie sprawdź wartość -np w linii uruchomieniowej, ponieważ modele osadzeń (embedding) nadal otrzymują jeden slot w harmonogramie.
Co oznacza komunikat "server busy, please try again. maximum pending requests exceeded"?
Jest to błąd przepełnienia kolejki Ollama, zwracany z kodem statusu HTTP 503. Liczba żądań oczekujących na zaplanowanie, czyli oczekujących na załadowanie lub przeładowanie modelu, osiągnęła OLLAMA_MAX_QUEUE (wartość domyślna to 512), więc najnowsze żądanie zostało odrzucone zamiast dodane do kolejki. Żądania do modelu, który jest już załadowany, nie wliczają się do tego limitu. Błąd ten występuje głównie podczas nagłych skoków obciążenia przy starcie lub w trakcie przełączania modeli. Nie jest to błąd pamięci ani błąd modelu. Zwiększenie kolejki sprawia jedynie, że klienci czekają dłużej przed otrzymaniem tego samego odrzucenia, dlatego właściwym rozwiązaniem jest zwiększenie liczby slotów (jeśli dostępna jest pamięć VRAM), zmniejszenie obciążenia wejściowego lub zastosowanie kolejki przed serwerem, która potrafi ponawiać żądania i ustalać priorytety.
Czy zwiększenie OLLAMA_NUM_PARALLEL przyspiesza Ollama?
Nie. Pozwala to na jednoczesne przetwarzanie większej liczby żądań, z których każde działa wolniej niż w przypadku pracy samodzielnej, ponieważ współdzielą one jeden procesor graficzny. Zwiększa to również zapotrzebowanie na pamięć podręczną KV, ponieważ Ollama uruchamia proces z całkowitym kontekstem równym iloczynowi długości kontekstu i liczby slotów. Jeśli wynik nie mieści się już w VRAM, Ollama przenosi warstwy do CPU, co spowalnia każde żądanie, nawet jeśli jest ono jedynym aktywnym. Sprawdź ollama ps po wprowadzeniu zmian i upewnij się, że kolumna PROCESSOR nadal wskazuje 100% GPU.
Czy po zmianie tych zmiennych muszę restartować Ollama?
Tak. Serwer odczytuje je podczas startu, a uruchomiony model zachowuje liczbę slotów ustaloną w procesie uruchomieniowym w momencie startu. Edytuj plik drop-in za pomocą sudo systemctl edit ollama.service, a następnie wykonaj sudo systemctl daemon-reload i sudo systemctl restart ollama. Potwierdź zmiany za pomocą systemctl show ollama --property=Environment, a następnie sprawdź linię server config w journalctl -u ollama, która zawiera listę skonfigurowanych zmiennych środowiskowych raportowanych przez Ollama.
Ile slotów równoległych należy ustawić?
Zacznij od 1 i zwiększaj wartość o jeden krok. Po każdym kroku zrestartuj Ollama, wyślij jedno żądanie w celu załadowania modelu i uruchom ollama ps. Zatrzymaj się na ostatniej wartości, przy której PROCESSOR nadal wskazuje 100% GPU, a kolumna SIZE pozostawia zapas dla najdłuższego obsługiwanego kontekstu. Następnie zmierz czas do pierwszego tokena oraz liczbę tokenów na sekundę przy tym ustawieniu pod rzeczywistym obciążeniem i cofnij się o jeden krok, jeśli prędkość pojedynczego żądania spadła poniżej akceptowalnego poziomu.