SSD Nodes Learn Hosting plans →
Przewodniki Matt ConnorAutor: Matt Connor

llama.cpp na VPS: serwer GGUF i systemd

Instrukcja uruchamia llama.cpp z przypiętym tagiem b10488, API zgodnym z OpenAI, nasłuchem na 127.0.0.1 oraz limitami pamięci w systemd.

Co zostanie skonfigurowane

Uruchomienie serwera llama.cpp na VPS oznacza użycie jednego pliku binarnego, llama-server, który ładuje pojedynczy plik modelu GGUF i obsługuje żądania HTTP za pośrednictwem interfejsu API zgodnego z OpenAI. Należy skierować zgodnego klienta do http://127.0.0.1:8080/v1, a następnie przetestować funkcje używane przez aplikację: zgodność jest częściowa. Instalacja to prostsza część.

Pozostałe zadania dotyczą administracji: przypięcia wersji, pozostawienia portu dostępnym wyłącznie na localhost, utworzenia jednostki systemd oraz określenia działania systemu po wyczerpaniu pamięci. Tego dotyczy ten poradnik. Jeśli nie wybrano jeszcze jednej z dwóch oczywistych opcji, najpierw należy przeczytać porównanie Ollama i llama.cpp, ponieważ ten poradnik celowo uzupełnia pominiętą w nim część praktyczną.

Wybierz znacznik wydania i zapisz go

llama.cpp używa znaczników z numerem kompilacji, takich jak b10488, dla nocnych kompilacji deweloperskich oraz znaczników wersji semantycznych, vX.Y.Z, dla oficjalnych wydań. b10488 to przypięta kompilacja używana w tym poradniku, wydana 18 August 2026. „Latest” jest wartością zmienną, a jedyną wersją, którą można obsługiwać, jest wersja przetestowana. Wybierz znacznik, zapisz go i używaj tego samego ciągu znaków w poleceniu klonowania, nazwie pliku binarnego oraz notatkach.

Znacznik b10488 udostępnia również gotowe archiwa. W przypadku VPS x86 z wyłącznym użyciem CPU jest to llama-b10488-bin-ubuntu-x64.tar.gz. Jeśli używany jest VPS ARM zamiast x86, obok znajduje się także archiwum arm64.

curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | head

Przed rozpakowaniem wyświetl zawartość archiwum, aby ustalić, gdzie zostaną umieszczone pliki. Te pliki binarne są powiązane z biblioteką C obrazu, w którym je zbudowano. W starszej dystrybucji ich uruchomienie kończy się błędem wskazującym wersję GLIBC_, która nie jest zainstalowana. Kompilacja ze źródeł na małym VPS trwa kilka minut i eliminuje całą tę klasę problemów. Dlatego poniżej użyto tej metody.

Zbuduj llama-server ze stałego tagu

sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2

--branch b10488 w repozytorium sklonowanym za pomocą --depth 1 przełącza je na ten tag i nie pobiera niczego więcej. Dzięki temu kompilacja nie zmieni się w trakcie pracy.

libssl-dev ma znaczenie, ponieważ opcja LLAMA_OPENSSL jest domyślnie włączona. Umożliwia ona późniejsze pobieranie modeli przez HTTPS przez plik binarny. Bez plików deweloperskich OpenSSL ta kompilacja ze stałego tagu wyświetli ostrzeżenie, że obsługa HTTPS jest wyłączona, zamiast zakończyć konfigurację błędem.

-DBUILD_SHARED_LIBS=OFF dołącza llama.cpp i GGML do pliku wykonywalnego. Zależności od bibliotek systemowych pozostają jednak zewnętrzne. Domyślna kompilacja umieszcza biblioteki współdzielone obok pliku wykonywalnego. Dlatego skopiowanie samego pliku wykonywalnego do /usr/local/bin kończy się błędem error while loading shared libraries: libllama.so.

-t llama-server kompiluje wyłącznie cel serwera. Domyślna kompilacja tworzy również pozostałe narzędzia i testy. Na VPS z dwoma rdzeniami oznacza to kilka dodatkowych minut kompilacji plików, które nie będą używane.

-j 2 jest ustawione celowo. Każde równoległe zadanie kompilacji zajmuje własny zestaw roboczy pamięci. Dlatego -j $(nproc) na małym planie kończy się błędem c++: fatal error: Killed signal terminated program cc1plus. Jest to mechanizm jądra kończący działanie kompilatora z powodu braku pamięci. Należy zmniejszyć liczbę zadań albo dodać przestrzeń wymiany na potrzeby kompilacji.

Jedną z opcji można zmienić: GGML_NATIVE jest domyślnie włączone, więc kompilator optymalizuje plik wykonywalny pod kątem procesora używanego podczas kompilacji. Jest to właściwe ustawienie, gdy kompilacja odbywa się na maszynie, na której plik będzie uruchamiany. Jeśli plik zostanie skompilowany raz, a następnie skopiowany na inny host, należy dodać -DGGML_NATIVE=OFF. W przeciwnym razie plik wykonywalny używający instrukcji niedostępnych na drugim procesorze zakończy działanie błędem Illegal instruction (core dumped) podczas pierwszego wnioskowania.

Zainstaluj go pod nazwą zawierającą tag.

./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server

--version wyświetla numer kompilacji i commit. Muszą one odpowiadać tagowi, na który przełączono repozytorium. Jeśli tak nie jest, skompilowano inną wersję. Zachowanie numeru w nazwie pliku i wskazywanie na niego za pomocą dowiązania symbolicznego oznacza, że aktualizacja wymaga jednego ln -sfn i jednego restartu. Wycofanie zmian wymaga użycia tego samego polecenia ze starym numerem.

Pobierz model GGUF i najpierw sprawdź miejsce na dysku

GGUF to jedyny format pliku ładowany przez llama.cpp. Jeden plik zawiera wagi, tokenizator i metadane, więc nie trzeba instalować żadnych dodatkowych elementów. Sufiks nazwy pliku określa kwantyzację, czyli precyzję, z jaką przechowywane są wagi: Q4_K_M to wariant mieszany 4-bitowy, Q8_0 to wariant 8-bitowy, a f16 to nieskwantyzowany plik o połówkowej precyzji.

Przed rozpoczęciem pobierania utwórz konto usługi i katalog na modele.

sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srv

Serwer może samodzielnie pobrać model za pomocą -hf. Jest to najszybszy sposób na sprawdzenie, czy kompilacja działa.

sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
  -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080

LLAMA_CACHE ustawia katalog pobierania. Bez tej opcji lub XDG_CACHE_HOME plik zostanie zapisany w ~/.cache/llama.cpp na koncie, z którego wykonano polecenie; poniższa jednostka nadaje mu uprawnienia tylko do odczytu dla /srv/llama. Następnie uruchom ls -lh /srv/models, ponieważ nazwa pliku w pamięci podręcznej jest tworzona na podstawie nazwy repozytorium, a nie zwykłej nazwy pliku.

W przypadku usługi pobierz plik do wybranej ścieżki, aby plik jednostki miał stabilny punkt odniesienia.

sudo -u llama curl -L --output-dir /srv/models -O \
  https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf

Miejsce na dysku jest pierwszym ograniczeniem, na które najczęściej się natrafia. Poniżej podano opublikowane rozmiary plików dla dwóch modeli, sprawdzone 18 August 2026.

WykresGGUF file size on disk, published figures, 18 August 2026
Dane, na których opiera się ten wykres
[
  {
    "label": "gemma-3-1b-it Q4_K_M",
    "size_gb": 0.81
  },
  {
    "label": "gemma-3-1b-it Q8_0",
    "size_gb": 1.07
  },
  {
    "label": "gemma-3-1b-it f16",
    "size_gb": 2.01
  },
  {
    "label": "gpt-oss-20b MXFP4",
    "size_gb": 12.11
  }
]

Plik 4-bitowy dla modelu 1B ma rozmiar 0.81 GB. Ten sam model bez kwantyzacji zajmuje 2.01 GB, więc wybór formatu zmienia rozmiar ponad dwukrotnie. Model 20B w formacie MXFP4 zajmuje 12.11 GB, a po pobraniu nadal trzeba wczytać go do pamięci. Jeśli rozważany jest konkretny model z danej rodziny, analogiczne zestawienie rozmiarów dla GLM pokazuje, jak szybko główny model przestaje mieścić się na VPS, podczas gdy jego mniejszy wariant nadal się mieści.

Przed każdym pobraniem sprawdź df -h. System plików root, który zapełni się podczas transferu o rozmiarze 12 GB, uniemożliwi zapis wszystkim pozostałym komponentom, w tym dziennikowi.

Uruchomienie ręczne i weryfikacja

sudo -u llama /usr/local/bin/llama-server \
  --model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 \
  --ctx-size 4096 --parallel 1 --threads 2 --no-webui

W drugiej sesji sprawdź, czy serwer jest gotowy do pracy.

curl -s http://127.0.0.1:8080/health

Podczas ładowania pliku zwracany jest kod HTTP 503 oraz następująca treść:

{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}

Po zakończeniu ładowania treść odpowiedzi to {"status": "ok" }. Następnie wyślij właściwe żądanie.

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'

Obiekt JSON zawierający tablicę choices oznacza, że serwer działa poprawnie. Pole model występuje w odpowiedzi, ponieważ klienci OpenAI zawsze je przesyłają. Serwer ma załadowany tylko jeden model, więc wartość ta nie służy do wyboru żadnego z nich.

Interfejs API zgodny z OpenAI i inne elementy dostępne na porcie

POST /v1/chat/completions, POST /v1/completions, POST /v1/responses i POST /v1/embeddings to trasy zgodne z OpenAI, a GET /v1/models zwraca informacje o załadowanym modelu. Embeddings wymagają modelu z poolingiem innym niż none. GET /health to opisane wcześniej sprawdzenie gotowości, GET /props zwraca bieżące ustawienia serwera, a GET /metrics udostępnia liczniki Prometheus po uruchomieniu z --metrics.

W przypadku wywołań zgodnych z OpenAI SDK ustaw bazowy URL na http://127.0.0.1:8080/v1 i podaj niepusty ciąg klucza API, jeśli SDK tego wymaga. Nie gwarantuje to zgodności z każdą funkcją SDK. Klucz nie jest weryfikowany, dopóki samodzielnie nie ustawisz --api-key lub --api-key-file.

Nie przyjmuj deklarowanej przez inną osobę przepustowości jako wartości właściwej dla własnego planu. Szybkość wnioskowania na CPU zależy od liczby rdzeni, przepustowości pamięci oraz innych użytkowników współdzielących hosta, dlatego zmierz liczbę tokenów na sekundę na własnym serwerze i uznaj ten wynik za miarodajny. Kradzież czasu procesora przez obciążonego sąsiada jest widoczna jako szybkość generowania zmieniająca się z godziny na godzinę.

Zostaw usługę na 127.0.0.1 i umieść przed nią proxy

--host domyślnie przyjmuje wartość 127.0.0.1, dlatego serwer pozostaje niedostępny z zewnątrz, dopóki ta wartość nie zostanie zmieniona. Należy pozostawić ją bez zmian. Proxy należy wykorzystać do obsługi kont użytkowników, limitów liczby żądań oraz rejestrowania audytowego. Wbudowane uwierzytelnianie API korzysta ze statycznych kluczy: --api-key przyjmuje jeden klucz lub listę kluczy rozdzielonych przecinkami, a --api-key-file odczytuje po jednym kluczu w każdym wierszu. Otwarty port inferencji zapewnia bezpłatne zasoby obliczeniowe każdemu, kto go znajdzie. Ten sam błąd popełniony w przypadku Ollama ma taki sam charakter: zabezpieczenie samodzielnie hostowanego modelu API ma tutaj zastosowanie bez zmian.

Terminację TLS (Transport Layer Security) należy skonfigurować w nginx, a ruch przekazywać do portu loopback.

server {
    listen 443 ssl;
    server_name llm.example.com;

    location /v1/ {
        proxy_pass http://127.0.0.1:8080;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_buffering off;
        proxy_read_timeout 600s;
    }
}

proxy_buffering off przekazuje odpowiedzi strumieniowe do klienta w miarę ich odbierania przez nginx. Przy włączonym buforowaniu nginx buforuje dane z upstreamu zamiast przekazywać każde zdarzenie natychmiast. proxy_read_timeout 600s zapewnia czas na dostarczenie wolnych odpowiedzi. Jest to najdłuższy czas oczekiwania nginx między dwoma odczytami z serwera, a nie limit całej odpowiedzi. Dlatego przy domyślnej wartości 60 sekund żądanie niestrumieniowe, które przez ten czas nie wyśle żadnych danych, zakończy się przekroczeniem limitu czasu. W b10488 odpowiedzi strumieniowe wysyłają domyślnie co 30 sekund pakiety podtrzymujące połączenie SSE, również podczas długiego przetwarzania promptu. Certyfikat można uzyskać za pomocą Certbot i Let's Encrypt w nginx.

Jednostka systemd

Napisz /etc/systemd/system/llama-server.service.

[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target

[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes

[Install]
WantedBy=multi-user.target

Ustawienia znajdują się w Environment= wierszach, ponieważ llama-server odczytuje zmienne LLAMA_ARG_* dla większości flag, a argument wiersza poleceń zastępuje odpowiadającą mu zmienną. Dzięki temu rozmiar kontekstu można zmienić w jednym miejscu, a ExecStart pozostaje wystarczająco krótkie, aby można je było szybko odczytać.

ProtectSystem=strict ustawia system plików tej jednostki w trybie tylko do odczytu. Wyjątkiem są między innymi prywatne katalogi tymczasowe, co jest wystarczające, ponieważ serwer tylko odczytuje model. Dodaj ReadWritePaths=/srv/models i Environment=LLAMA_CACHE=/srv/models, jeśli sama usługa ma pobierać modele za pomocą -hf. ProtectHome=yes ukrywa /home, /root i /run/user. Nie ukrywa katalogu domowego tego konta usługi znajdującego się w /srv/llama, ale ProtectSystem=strict ustawia ten katalog w trybie tylko do odczytu.

sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pager

enable --now to część, którą często się pomija. Bez enable serwer nie uruchomi się po następnym restarcie. Jeśli potrzebne są zadania harmonogramu związane z usługą, na przykład nocne sprawdzanie dostępności nowej wersji, właściwym mechanizmem jest usługa systemd wraz z timerem.

Zdecyduj, co ma się stać w przypadku OOM, zanim do niego dojdzie

Zużycie pamięci obejmuje dwa elementy, które podlegają limitowi w różny sposób. Plik modelu jest domyślnie mapowany w pamięci, więc jego strony są obsługiwane z pliku: kernel może je usunąć i ponownie odczytać z dysku. Pamięć podręczna KV, czyli stan dla poszczególnych tokenów przechowywany przez serwer dla każdej aktywnej rozmowy, jest pamięcią anonimową. Nie można jej usunąć, dlatego to ona powoduje zakończenie procesu.

Dlatego oba limity w jednostce pełnią różne funkcje. MemoryHigh=3G to limit miękki: po jego przekroczeniu kernel nakłada na cgroup presję odzyskiwania pamięci, więc zmapowane strony modelu są usuwane i przy następnym tokenie ponownie odczytywane z dysku. Usługa nadal działa, ale działa wolniej. MemoryMax=3500M to twardy limit: kernel najpierw odzyskuje pamięć w możliwym zakresie, a jeśli nadal nie można utrzymać zużycia poniżej limitu, OOM killer uruchamia się w jednostce, co jest jednoznacznie widoczne w dzienniku.

llama-server.service: A process of this unit has been killed by the OOM killer.

Ustaw --ctx-size samodzielnie. Wartość domyślna to 0, czyli kontekst, z którym wytrenowano model. W przypadku nowoczesnego modelu obsługującego długi kontekst powoduje to przydzielenie bardzo dużej pamięci podręcznej KV podczas uruchamiania. Usługa kończy wtedy działanie, zanim obsłuży choć jedno żądanie. --parallel samo w sobie nie zwielokrotnia tego kosztu: --ctx-size określa całkowity rozmiar pamięci podręcznej KV współdzielonej przez wszystkie sloty, więc --ctx-size 4096 --parallel 4 przydziela każdej rozmowie około 1,024 tokenów, a nie czterokrotnie większą ilość pamięci. Przydzielenie każdemu slotowi pełnego kontekstu oznacza pomnożenie --ctx-size przez liczbę slotów. Zużycie pamięci rośnie wraz z tą liczbą, dlatego pozostaw --parallel jako 1, dopóki nie będzie potrzebna współbieżność.

Dzięki Restart=on-failure zatrzymana usługa uruchamia się ponownie. Systemd przestaje ją uruchamiać ponownie z użyciem start request repeated too quickly dopiero wtedy, gdy liczba uruchomień przekroczy skonfigurowany limit częstotliwości. Zastosowane tutaj pięciosekundowe opóźnienie między restartami nie przekracza domyślnego limitu pięciu uruchomień w ciągu dziesięciu sekund. Zatrzymaj ciągłe restarty za pomocą sudo systemctl stop llama-server, popraw limit lub rozmiar kontekstu, a następnie wyczyść stan błędu za pomocą sudo systemctl reset-failed llama-server i uruchom usługę ponownie.

Podczas obsługi żądania obserwuj rzeczywistą wartość za pomocą systemctl show llama-server -p MemoryCurrent. Ograniczanie pamięci i CPU procesu za pomocą systemd zawiera szczegółowe omówienie tych dyrektyw.

Unikaj swapu w przypadku tego obciążenia. Model przeniesiony do swapu zamienia każdy token w odczyty z dysku z losowymi przesunięciami. Mapowanie pliku modelu w pamięci zapewnia podobny efekt przy mniejszych skutkach ubocznych, ponieważ kernel odczytuje potrzebne strony bezpośrednio z pliku.

Gdzie Ollama jest lepszym rozwiązaniem

To punkt, w którym trzeba wybrać jedno z dwóch rozwiązań. Wybierz llama-server, gdy potrzebujesz jednego procesu z określonymi flagami, przypiętą wersją i wybranym plikiem, bez zmian zachodzących poza kontrolą, ponieważ nic innego nie działa w tle.

Wybierz Ollama, gdy potrzebujesz zarządzania modelami: pobierania modeli po nazwie, przechowywania kilku modeli na dysku, wyładowywania nieużywanego modelu oraz aktualizowania za pomocą jednego polecenia zamiast ponownego procesu budowania. Są to rzeczywiste zadania, które w przeciwnym razie trzeba byłoby samodzielnie oskryptować. Uruchamianie Ollama na VPS polega na wykonaniu tego samego zadania przy innym rozłożeniu kompromisów. Oba rozwiązania udostępniają API zgodne z OpenAI, ale przed przełączeniem w dowolnym kierunku należy przetestować endpointy i funkcje używane przez klienta.

Aktualizowanie przypiętej kompilacji

Zastąp bNNNNN znacznikiem nightly build, do którego następuje aktualizacja. Oficjalne znaczniki wydań używają zamiast tego vX.Y.Z.

cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-server

Stary plik binarny pozostaje na dysku, dlatego wycofanie zmiany wymaga jednego ln -sfn do llama-server-b10488 i jednego restartu. Przed aktualizacją należy zapoznać się z informacjami o wydaniu. Pliki GGUF mają wersje, ale zgodność wsteczna nie jest uniwersalna: bieżący loader odrzuca GGUFv1. Zmieniane są również nazwy flag: w b10488 flagi --mlock i --no-mmap były już przestarzałe i zastępowano je flagą --load-mode, a od 11 października 2026 bieżąca dokumentacja serwera nie wymienia ich już, dlatego plik jednostki przekazujący usuniętą flagę kończy działanie przy uruchamianiu komunikatem o nierozpoznanym argumencie. Zmieniają się również wartości domyślne: bieżące kompilacje nasłuchują domyślnie na porcie 9931, podczas gdy b10488 używał portu 8080. Z tego powodu w każdym poleceniu i w jednostce port jest ustawiany jawnie.

Tryby awarii i komunikaty wyświetlane w takich sytuacjach

error while loading shared libraries: libllama.so po skopiowaniu pliku binarnego w inne miejsce. Domyślna kompilacja tworzy obok niego biblioteki współdzielone. Skompiluj ponownie z użyciem -DBUILD_SHARED_LIBS=OFF albo skopiuj cały katalog build/bin.

Illegal instruction (core dumped) podczas uruchamiania lub przy pierwszym żądaniu. Plik binarny skompilowano z włączoną opcją GGML_NATIVE dla innego procesora niż ten, na którym jest uruchamiany. Skompiluj ponownie na tym komputerze albo skonfiguruj kompilację za pomocą -DGGML_NATIVE=OFF.

c++: fatal error: Killed signal terminated program cc1plus podczas kompilacji. Kompilator został zakończony, ponieważ używał zbyt dużo pamięci. Zmniejsz -j albo dodaj przestrzeń wymiany na czas kompilacji i usuń ją później.

curl: (7) Failed to connect ... Connection refused z laptopa. Jest to prawidłowe zachowanie: serwer nasłuchuje na adresie loopback VPS. Wykonaj test bezpośrednio na VPS albo otwórz tunel za pomocą ssh -L 8080:127.0.0.1:8080 user@your-vps i użyj lokalnie http://127.0.0.1:8080.

HTTP 503 z komunikatem "message":"Loading model" przez pierwsze sekundy lub minuty po restarcie. Odczyt pliku o rozmiarze kilku gigabajtów zajmuje czas, a systemd zgłasza jednostkę jako aktywną natychmiast po uruchomieniu procesu, długo przed załadowaniem modelu do pamięci.

Żądania zawieszają się, a następnie zwracają 504 Gateway Time-out. Serwer nie wysyłał danych dłużej niż przez proxy_read_timeout, co może wystąpić w przypadku żądań bez strumieniowania. Żądania strumieniowane w b10488 domyślnie wysyłają pingi keepalive co 30 sekund podczas długiego przetwarzania promptu. Zwiększ proxy_read_timeout i wyłącz proxy_buffering, aby tokeny docierały do klienta w miarę ich generowania.

Jednostka wielokrotnie się uruchamia i zatrzymuje, a następnie kończy działanie z komunikatem start request repeated too quickly. Liczba jej uruchomień przekroczyła skonfigurowany limit częstotliwości. Sprawdź journalctl -u llama-server pod kątem wpisu dotyczącego OOM killera, a następnie zmniejsz --ctx-size albo zwiększ MemoryMax.

FAQ

Czy uruchamiać serwer llama.cpp czy Ollama na VPS?

Uruchom llama-server, gdy potrzebne jest przypięcie dokładnej kompilacji, przekazanie dokładnych flag oraz używanie jednego modelu w jednym pliku, który nie jest aktualizowany bez wiedzy użytkownika. Ollama należy uruchomić, gdy potrzebne jest zarządzanie modelami i aktualizacje wykonywane jednym poleceniem, ponieważ pobieranie modeli po nazwie, przechowywanie kilku modeli na dysku i zwalnianie nieużywanych modeli wymagałoby napisania własnych skryptów. Oba rozwiązania udostępniają API zgodne z OpenAI, ale przełączenie wymaga sprawdzenia używanych przez klienta endpointów i funkcji.

Którą wersję llama.cpp należy przypiąć?

Dowolny tag, który został rzeczywiście zbudowany i przetestowany. Nocne kompilacje deweloperskie używają tagów z numerem kompilacji, takich jak b10488, wydanych 18 August 2026; oficjalne wydania używają tagów zgodnych z wersjonowaniem semantycznym, vX.Y.Z. Repozytorium należy sklonować za pomocą --branch <tag>, zainstalować plik binarny pod nazwą zawierającą ten tag i wskazać go za pomocą dowiązania symbolicznego, aby aktualizacja i wycofanie wersji wymagały po jednym poleceniu.

Ile pamięci RAM wymaga llama-server?

Należy rozpocząć od rozmiaru pliku GGUF, a następnie dodać pamięć podręczną KV, której rozmiar rośnie wraz z --ctx-size. Ta wartość określa łączny budżet tokenów współdzielony przez wszystkie sloty --parallel, dlatego większa liczba slotów wymaga większej wartości --ctx-size, jeśli każdy slot ma zachować taki sam kontekst. Opublikowane wartości nie zastępują pomiaru własnej konfiguracji, ponieważ łączne zużycie zależy od modelu, kwantyzacji i dozwolonego kontekstu. Należy uruchomić systemctl show llama-server -p MemoryCurrent podczas obsługi żądania i użyć wyświetlonej wartości.

Dlaczego /health zwraca 503 z komunikatem „Loading model”?

Proces został uruchomiony, ale plik modelu nie znajduje się jeszcze w pamięci, dlatego serwer zwraca {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}. Jest to normalne po każdym restarcie i trwa tak długo, jak długo odczytywany jest plik. Staje się to problemem tylko wtedy, gdy klient lub proxy traktuje pierwszy kod 503 jako błąd krytyczny. Należy odpytywać /health do momentu, aż zwróci {"status": "ok" }.

Czy można bezpośrednio udostępnić llama-server w Internecie?

Nie należy wiązać go z 0.0.0.0 ani otwierać portu. Do obsługi kont, limitów częstotliwości żądań i rejestrowania audytowego należy użyć proxy; wbudowane uwierzytelnianie API korzysta ze statycznych kluczy ustawianych za pomocą --api-key lub --api-key-file. Należy pozostawić domyślne dowiązanie 127.0.0.1, umieścić nginx przed serwerem i skonfigurować TLS, a także ustawić --api-key, aby pojedynczy błąd w konfiguracji proxy nie udostępnił modelu wszystkim użytkownikom.

Czy ten artykuł był przydatny?