GLM 5.2 na VPS: jaki model uruchomić zamiast niego
GLM 5.2 w Ollama ma tylko tag cloud i wymaga około 377 GB samych wag. Sprawdź, który model mieści się na VPS oraz ile RAM wymaga każda kwantyzacja.
Czy można uruchomić GLM 5.2 na VPS?
Tak, ale nie za pomocą oficjalnego tagu Ollama. Według stanu na 25 października 2026, GLM 5.2 w bibliotece Ollama posiada dokładnie jeden tag, glm-5.2:cloud. Tag :cloud działa na serwerach Ollama. Twój serwer wysyła prompt i odbiera tokeny, więc wagi nigdy nie trafiają na Twój dysk. Z.ai publikuje wagi i dokumentuje wdrożenie lokalne przy użyciu SGLang oraz vLLM. Własne repozytorium wag Z.ai określa model na około 753 miliardy parametrów. Cztery bity na parametr przy 753 miliardach parametrów to w przybliżeniu 377 GB wag, a jest to czysta arytmetyka przed uwzględnieniem kontekstu, aktywacji czy systemu operacyjnego. Publikowane plany VPS przekraczają tę wartość pamięci: Paragon oferuje serwer E-48 z 512 GB RAM w cenie 580 EUR miesięcznie.
Modelem GLM, który mieści się na wynajętym serwerze, jest glm-4.7-flash. Jest on publikowany z wagami do pobrania w 4 tagach. Jest to model typu mixture-of-experts, co oznacza, że dla każdego tokena uruchamiana jest tylko niewielka część sieci, a Z.ai opisuje go jako 30B-A3B: 30 miliardów parametrów łącznie, około 3 miliardy aktywnych na token. Niniejszy przewodnik odpowiada zatem na pytanie, w oparciu o które można podjąć działanie. Przypnij tag, dobierz rozmiar serwera, zmierz własną prędkość i zachowaj prywatność punktu końcowego.
Zweryfikuj tag przed skopiowaniem jakiejkolwiek komendy, w tym tych zawartych w tym dokumencie. Biblioteka Ollama zmienia się bez powiadomienia. Otwórz listę tagów glm-4.7-flash i potwierdź, że tag nadal istnieje. Jeśli pojawiło się nowsze wydanie GLM z lokalnymi wagami, wybierz je i zanotuj, który tag faktycznie przetestowano.
Jeśli mimo wszystko chcesz używać GLM 5.2, ollama run glm-5.2:cloud działa po ollama signin i z perspektywy klienta zachowuje się jak każdy inny model Ollama. Zrozum, na co wyrażasz zgodę: prompt opuszcza Twój serwer. Jeśli powodem hostowania we własnym zakresie jest wymóg pozostania danych na Twojej maszynie, tag :cloud nie spełnia tego założenia.
Jakie tagi GLM istnieją i który z nich przypiąć
W tym kontekście istotne są dwa oficjalne wpisy GLM. glm-5.2 jest dostępny wyłącznie w chmurze w bibliotece Ollama. glm-4.7-flash to wersja lokalna; poniżej zestawiono jej opublikowane tagi wraz z rozmiarem pobierania wskazywanym przez Ollama dla każdego z nich. Jeśli wcześniej używano glm-5.1, należy odnotować, że Ollama wycofała go 25 września 2026 r. i jego strona w bibliotece nie zawiera obecnie żadnych modeli. Z.ai nadal publikuje wagi GLM-5.1 i dokumentuje wdrożenie lokalne, więc wycofanie przez Ollama nie sprawia, że model jest niedostępny w innych źródłach.
Dane, na których opiera się ten wykres
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]Są to wartości opublikowane na stronie biblioteki, a nie wyniki pomiarów. Zarówno latest, jak i q4_K_M mają przypisaną wartość 19 GB, dlatego latest wskazuje obecnie na kompilację Q4. Może się to zmienić przy każdej ponownej publikacji, dlatego nigdy nie należy wpisywać samego ollama pull glm-4.7-flash w skrypcie lub pliku Dockerfile. Należy określić kwantyzację. Największy tag, bf16, to pobranie o rozmiarze 60 GB, zawierające wagi bfloat16 bez kwantyzacji.
Wyszukiwanie w bibliotece zwraca również przesłane pliki z przestrzenią nazw, zawierające ukośnik w nazwie, takie jak someuser/glm-5.2. Ukośnik oznacza, że plik został opublikowany przez konto użytkownika, jest to więc ponowne przesłanie przez społeczność, a nie oficjalny wpis. Nikt nie gwarantuje, jakie wagi znajdują się w środku. Należy traktować taki plik w sposób, w jaki traktuje się każdy niepodpisany plik binarny znaleziony w sieci.
Instalacja Ollama i pobranie konkretnego tagu
Instalator Ollama dla systemu Linux to jedno polecenie.
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionInstalator tworzy usługę systemd, która działa jako użytkownik ollama. Przed pobraniem czegokolwiek należy potwierdzić, że usługa została uruchomiona.
systemctl status ollama --no-pagerActive: active (running) oznacza, że systemd uznaje usługę za działającą; nie potwierdza to gotowości API ani nasłuchiwania na porcie. Należy sprawdzić API oddzielnie za pomocą curl -fsS http://127.0.0.1:11434/api/tags pod domyślnym adresem i portem. Jeśli jednostka nie istnieje, instalator wykonał instalację samego pliku binarnego, a dokumentacja Ollama dla systemu Linux zawiera plik usługi, który należy utworzyć ręcznie.
Strona glm-4.7-flash zawiera minimalną wymaganą wersję Ollama. Starsza wersja pliku binarnego nie powoduje wolnego działania modelu, lecz jego odmowę: pobieranie kończy się niepowodzeniem z komunikatem, że model wymaga nowszej wersji Ollama. Aby dokonać aktualizacji, należy ponownie uruchomić skrypt instalacyjny. Na dzień 2 listopada 2026 r. aktualne wydanie to 0.40.13, co znacznie przewyższa wymagane minimum.
Teraz należy pobrać jeden tag według nazwy.
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls powinno wyświetlić glm-4.7-flash:q4_K_M o rozmiarze zbliżonym do opublikowanego 19 GB. Przerwane pobieranie nie pozostawia żadnych uruchamialnych plików, dlatego należy ponownie wykonać to samo polecenie. W przypadku planów o ograniczonej pojemności, przed pobraniem należy sprawdzić wolne miejsce na dysku: standardowa instalacja w systemie Linux zapisuje modele w /usr/share/ollama/.ollama/models, chyba że lokalizacja zostanie zmieniona za pomocą OLLAMA_MODELS. Przed rozpoczęciem należy sprawdzić stan za pomocą df -h /usr/share/ollama.
Ile pamięci RAM wymaga każda kwantyzacja?
Należy przyjąć rozmiar pliku do pobrania jako wartość minimalną, a następnie dodać do niej dodatkowe zasoby. Wagi muszą znajdować się w pamięci operacyjnej. Oprócz nich w pamięci przechowywana jest pamięć podręczna KV (key/value cache), czyli obszar wykorzystywany przez środowisko uruchomieniowe do zapamiętywania tokenów z trwającej konwersacji, a także bufory obliczeniowe oraz zasoby zajmowane przez system operacyjny. Serwer posiadający dokładnie 19 GB pamięci RAM nie uruchomi modelu z tagiem 19 GB.
Nie istnieje jeden uniwersalny mnożnik, ponieważ pamięć podręczna KV rośnie wraz z dopuszczalną długością kontekstu, a pozostałe parametry zmieniają się w zależności od wersji środowiska uruchomieniowego. Zamiast szacować, należy dokonać pomiaru. Wczytaj model z prostym zapytaniem, a następnie sprawdź ilość pamięci zarezerwowaną przez serwer.
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psollama ps wyświetla wczytany model wraz z kolumną SIZE oraz kolumną PROCESSOR. Wartość SIZE określa ilość pamięci faktycznie zarezerwowaną przez środowisko uruchomieniowe i to właśnie tę liczbę należy odnieść do planowanej konfiguracji. PROCESSOR wskazuje miejsce wykonywania obliczeń, zatem 100% CPU oznacza, że procesor graficzny nie został w ogóle wykorzystany.
Jeśli model nie mieści się w pamięci, Ollama może zwrócić błąd wczytywania przed rozpoczęciem generowania. Innymi możliwymi skutkami są zwiększone wykorzystanie partycji wymiany (swap) oraz zakończenie procesu przez mechanizm OOM (out-of-memory). Należy monitorować dzienniki usługi za pomocą journalctl -u ollama --no-pager oraz dzienniki jądra systemu za pomocą journalctl -k | grep -i "out of memory", zamiast zakładać, że każdy błąd pamięci przebiega bez powiadomienia.
Przejście z tagu Q4 o rozmiarze 19 GB na tag Q8 o rozmiarze 32 GB jest głównym narzędziem pozwalającym na kontrolę tego parametru. Kwantyzacja Q4 wiąże się z pewną utratą jakości wyjściowej, której skala zależy od rodzaju zadania; strukturalne dane wyjściowe oraz długie łańcuchy rozumowania cierpią bardziej niż swobodna konwersacja. Przed podjęciem decyzji warto zapoznać się z artykułem Czym różnią się Q4, Q8 i FP16 w praktyce, ponieważ w przypadku serwerów VPS bez akceleracji GPU wybór kwantyzacji zazwyczaj decyduje o tym, czy model w ogóle zostanie uruchomiony.
Co dzieje się na serwerze VPS bez GPU
Większość planów VPS nie oferuje GPU, a Ollama uruchomi model na CPU bez żadnego ostrzeżenia. To, czy wynik będzie użyteczny, zależy od obciążenia oraz cierpliwości użytkownika.
Architektura mixture-of-experts poprawia szybkość działania. Dla każdego tokena wykorzystywane są tylko około 3 miliardy z 30 miliardów parametrów, więc liczba operacji arytmetycznych na token jest znacznie mniejsza niż w przypadku gęstego modelu 30B. Nie zmniejsza się natomiast zapotrzebowanie na pamięć. Każdy ekspert musi pozostawać w pamięci, ponieważ router może wybrać dowolnego z nich dla kolejnego tokena. Zatem serwer wyposażony tylko w CPU nadal wymaga pełnych 19 GB lub więcej dla tagu Q4, a przepustowość jest ograniczona głównie przez przepustowość pamięci, a nie przez taktowanie procesora.
Ma to praktyczne konsekwencje: dwa plany o tej samej liczbie rdzeni i tej samej ilości pamięci RAM mogą generować tekst z zauważalnie różną prędkością, ponieważ różnią się podsystemami pamięci. Plan współdzielony wprowadza drugą zmienną, ponieważ czas kradzieży CPU przez sąsiedni proces objawia się jako liczba tokenów na sekundę, która zmienia się z godziny na godzinę. Jest to powód, dla którego opublikowane wyniki innych osób nie przewidują wydajności Twojego serwera, oraz powód, dla którego kolejna sekcja zawiera metodologię pomiaru zamiast tabeli wyników.
Pomiar własnej liczby tokenów na sekundę
Punkt końcowy generate w Ollama zwraca pola czasowe w końcowym obiekcie JSON. Należy podzielić liczbę wygenerowanych tokenów przez czas trwania generowania, aby uzyskać wynik dla danego planu i zapytania.
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count oznacza liczbę wygenerowanych tokenów, a eval_duration to czas w nanosekundach poświęcony na ich wygenerowanie, zatem eval_count / eval_duration * 1e9 to liczba tokenów na sekundę. prompt_eval_duration obejmuje odczyt zapytania, co użytkownik odczuwa jako czas oczekiwania na pojawienie się pierwszego tokena. load_duration to czas ładowania modelu z dysku; jest on duży przy pierwszym wywołaniu po restarcie i bliski zeru przy kolejnych.
Należy wykonać test trzykrotnie i zachować drugi oraz trzeci wynik, ponieważ pierwszy uwzględnia czas ładowania. Następnie należy powtórzyć test z znacznie dłuższym zapytaniem, ponieważ przetwarzanie zapytania skaluje się wraz z długością danych wejściowych, podczas gdy szybkość generowania pozostaje stała. Warto zapisać wyniki obok nazwy planu i zastosowanej kwantyzacji. Taka dokumentacja jest bardziej wartościowa niż jakikolwiek przeczytany benchmark, ponieważ została zmierzona na sprzęcie, za który ponoszone są opłaty.
Jak długość kontekstu zwiększa zużycie pamięci
Na serwerze bez GPU lub z mniej niż 24 GiB VRAM, Ollama domyślnie ustawia kontekst na 4096 tokenów. Model deklaruje znacznie większą wartość, 198K tokenów dla glm-4.7-flash, jednak nie jest ona dostępna domyślnie, a jej aktywacja wiąże się z kosztami zasobów.
Pamięć podręczna KV przechowuje jeden wektor klucza i jeden wektor wartości dla każdego tokena w każdej warstwie. Jej rozmiar rośnie liniowo wraz z liczbą dozwolonych tokenów. Zwiększenie z 4096 do 32768 tokenów oznacza ośmiokrotny wzrost kontekstu, co przekłada się na mniej więcej ośmiokrotny wzrost rozmiaru pamięci podręcznej KV. Na maszynie, której pamięć jest w pełni zajęta przez wagi modelu, ta dodatkowa alokacja powoduje przejście do swapu. To wyjaśnia, dlaczego serwer poprawnie obsługujący krótkie zapytania drastycznie zwalnia po wklejeniu długiego dokumentu. Jeśli na tej samej maszynie wymagany jest dłuższy kontekst, przechowywanie pamięci podręcznej KV w formacie q8_0 zamiast f16 zmniejsza alokację o około połowę, nie wpływając na wagi modelu. FAQ Ollamy określa q8_0 jako zajmujące około połowę pamięci f16, co jest wartością domyślną dla OLLAMA_KV_CACHE_TYPE, a kwantyzacja pamięci podręcznej ma zastosowanie tylko przy włączonym flash attention. Ollama automatycznie włącza flash attention, gdy backend i urządzenia je wspierają, a OLLAMA_FLASH_ATTENTION=1 wymusza jego użycie.
Wartość tę można ustawić dla każdego żądania za pomocą num_ctx w obiekcie opcji, podobnie jak w powyższym poleceniu curl, lub zmienić ustawienie domyślne serwera.
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=EnvironmentOstatnie polecenie powinno wyświetlić wartość OLLAMA_CONTEXT_LENGTH. Jeśli wynik dla Environment= jest pusty, plik nadpisujący konfigurację znajduje się w niewłaściwym katalogu lub pominięto przeładowanie. Po kolejnym załadowaniu modelu ollama ps powinno wskazywać wyraźnie większą wartość SIZE niż przy 4096. Wartość należy zwiększać stopniowo, każdorazowo monitorując ten parametr. Ustawianie długości kontekstu Ollama za pomocą num_ctx opisuje interakcję tego parametru z keep-alive oraz żądaniami równoległymi, z których każde zwielokrotnia ten sam koszt. Jeśli z serwera korzysta więcej niż jeden klient, limity współbieżności należy ustalić jednocześnie z kontekstem, ponieważ każdy równoległy slot posiada własną pamięć podręczną KV, a ustawienie kolejki decyduje o tym, czy drugie żądanie zostanie wstrzymane, czy odrzucone.
Gdy API jest tańsze niż własny serwer
Samodzielne hostowanie nie zawsze jest tańsze, a w przypadku tej rodziny modeli opublikowane cenniki wyraźnie to potwierdzają.
Dane, na których opiera się ten wykres
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]Według stanu na 25 października 2026 r. Z.ai wycenia GLM-5.2 na $1.4 za milion tokenów wejściowych oraz $4.4 za milion tokenów wyjściowych. Model GLM-4.7-Flash, który w tym przewodniku uruchamiamy lokalnie, kosztuje $0 w obu kierunkach. Są to ceny oficjalne, które ulegają zmianom, dlatego przed zaplanowaniem budżetu należy sprawdzić aktualną stronę z cennikiem.
Argument finansowy przemawiający za samodzielnym hostowaniem glm-4.7-flash jest obecnie słaby. Serwer VPS z odpowiednią ilością pamięci RAM generuje co miesiąc realne koszty, podczas gdy wydawca udostępnia ten sam model bezpłatnie. Korzyści z samodzielnego uruchomienia modelu są inne: prompty pozostają na maszynie, którą kontrolujesz, a wersja modelu nie zmienia się, dopóki sam jej nie zaktualizujesz. To dobre powody, by hostować model samodzielnie. Koszt w przypadku tego modelu i przy tych cenach do nich nie należy.
Rachunek zmienia się, gdy model, którego potrzebujesz, nie jest darmowy lub gdy dane zgodnie z prawem nie mogą opuścić Twojej sieci. Punkt rentowności między VPS z GPU a tokenami API przedstawia te obliczenia z uwzględnieniem wszystkich zmiennych. Jeśli nadal wybierasz maszynę, rzeczywisty miesięczny koszt VPS stanowi drugą połowę tego zestawienia.
Utrzymanie punktu końcowego na localhost
To krok, który jest często pomijany, a ma kluczowe znaczenie.
Ollama domyślnie wiąże się z adresem 127.0.0.1 na porcie 11434, więc jest dostępna wyłącznie z poziomu samego serwera. Należy to zweryfikować na własnej maszynie, zamiast zakładać, że tak jest w istocie.
ss -ltnp | grep 11434Oczekiwany wynik to 127.0.0.1:11434. Zobaczenie 0.0.0.0:11434 lub *:11434 oznacza, że API nasłuchuje na wszystkich interfejsach, w tym na publicznym.
Jest to istotne, ponieważ lokalne API Ollama domyślnie nie wymaga uwierzytelniania. Brak jest hasła, tokena czy listy dozwolonych adresów. Każdy, kto ma dostęp do portu 11434, może wyświetlić listę modeli, uruchamiać generowanie na opłacanych przez użytkownika zasobach sprzętowych, pobierać nowe modele aż do zapełnienia dysku oraz usuwać istniejące. Port 11434 jest powszechnie znanym domyślnym portem; OLLAMA_HOST pozwala na zmianę zarówno adresu wiązania, jak i portu.
Nie należy ustawiać OLLAMA_HOST=0.0.0.0. Ta zmienna zmienia adres, z którym wiąże się Ollama, a wiele poradników sugeruje ją jako rozwiązanie problemu, gdy klient na laptopie nie może nawiązać połączenia. Jest to błędne podejście. Zamiast tego należy przekierować port.
ssh -N -L 11434:127.0.0.1:11434 you@your-serverSSH nasłuchuje na porcie 11434 na laptopie i przekazuje każde połączenie do 127.0.0.1:11434 z perspektywy serwera, czyli miejsca, gdzie Ollama już domyślnie nasłuchuje. Tunel nie wymaga zatem zmian w OLLAMA_HOST, każdy klient skonfigurowany na http://localhost:11434 działa bez zmian, a żadne nowe zasoby nie są wystawiane na zewnątrz. W przypadku wielu użytkowników lub wielu maszyn należy umieścić serwer w prywatnej sieci tunelowej i powiązać Ollama z adresem tunelu, nigdy z 0.0.0.0.
Weryfikację należy przeprowadzić z lokalizacji innej niż serwer. Z poziomu laptopa, przy zamkniętym tunelu SSH:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out lub curl: (7) Failed to connect to prawidłowy wynik. Lista modeli w formacie JSON oznacza, że port jest otwarty na świat i wymaga natychmiastowego zabezpieczenia. Sieciowy firewall dostawcy jest odrębnym mechanizmem od tego działającego na maszynie, dlatego należy sprawdzić oba. Szersze zagadnienie bezpieczeństwa hostingu VPS obejmuje pozostałe podstawowe kwestie dla maszyny pozostawionej w trybie ciągłej pracy.
Jeśli glm-4.7-flash jest nadal zbyt duży
Gdy tag Q4 nie mieści się w planie, rozwiązaniem jest mniejszy model, a nie mniejszy kontekst. Ograniczanie kontekstu w celu zmieszczenia modelu powoduje, że model się uruchamia, ale zawodzi przy pierwszym dłuższym zapytaniu. Qwen 3 w wersjach 8B i 27B na VPS opisuje tę samą ścieżkę instalacji dla rozmiarów odpowiednich dla mniej wydajnych serwerów, a ogólny przewodnik po self-hostingu LLM za pomocą Ollama na VPS omawia elementy, które pozostają niezmienne niezależnie od wybranego modelu. Niezależnie od wyboru, należy przypiąć tag, przeprowadzić pomiary na własnej infrastrukturze i pozostawić punkt końcowy na interfejsie loopback.
FAQ
Czy GLM 5.2 może działać lokalnie na VPS?
Tak, przy użyciu wag opublikowanych przez Z.ai oraz wspieranego środowiska uruchomieniowego, takiego jak SGLang lub vLLM. Według stanu na 25 października 2026, GLM 5.2 występuje w bibliotece Ollama wyłącznie jako glm-5.2:cloud – jest to tag działający na infrastrukturze Ollama, który wymaga ollama signin do poprawnego funkcjonowania. Repozytorium wag Z.ai określa model na około 753 miliardy parametrów, więc nawet przy czterech bitach na parametr same wagi zajmują około 377 GB. Dostępne plany VPS o wysokiej pamięci RAM przekraczają tę wartość, w tym Paragon 512 GB E-48, jednak należy uwzględnić dodatkowe miejsce na narzut środowiska uruchomieniowego oraz kontekst. Mniejszy model GLM z wagami do pobrania, użyty w tym przewodniku, to glm-4.7-flash.
Ile pamięci RAM wymaga glm-4.7-flash?
Należy przyjąć rozmiar pobieranego tagu jako wartość minimalną i dodać do niej zapas na pamięć podręczną KV oraz system operacyjny. Ollama podaje rozmiar tagu Q4 jako 19 GB, Q8 jako 32 GB, a tag bfloat16 jako 60 GB. Nie istnieje jeden uniwersalny mnożnik, ponieważ pamięć podręczna KV rośnie wraz z ustawioną długością kontekstu. Należy załadować model, uruchomić ollama ps i odczytać kolumnę SIZE, aby uzyskać rzeczywistą wartość dla danej maszyny.
Jak zmierzyć liczbę tokenów na sekundę na własnym VPS?
Należy wysłać jedno żądanie do http://localhost:11434/api/generate za pomocą "stream": false, a następnie odczytać eval_count oraz eval_duration z odpowiedzi. Liczba tokenów na sekundę to eval_count / eval_duration * 1e9, ponieważ eval_duration jest raportowane w nanosekundach. Pierwsze uruchomienie należy pominąć, ponieważ load_duration w tym przypadku obejmuje odczyt wag z dysku. Test warto powtórzyć z długim promptem, ponieważ prompt_eval_duration rośnie wraz z długością danych wejściowych, podczas gdy szybkość generowania pozostaje stała.
Dlaczego nie należy ustawiać OLLAMA_HOST na 0.0.0.0?
Ponieważ lokalne API Ollama domyślnie nie wymaga uwierzytelniania, więc powiązanie go z 0.0.0.0 udostępnia je na każdym interfejsie IPv4; dostęp publiczny zależy wówczas wyłącznie od routingu i zapór sieciowych. Każdy, kto uzyska dostęp do portu 11434, może generować treści na danym sprzęcie i zmieniać zainstalowane modele. Należy zachować domyślne powiązanie 127.0.0.1, zweryfikować je za pomocą ss -ltnp | grep 11434 i łączyć się z API z laptopa przez tunel SSH, taki jak ssh -N -L 11434:127.0.0.1:11434 you@your-server.