Uruchamianie Qwen 3.8 27B na VPS przez Ollama
Dowiedz się, jak uruchomić model qwen3.8:27b na serwerze VPS bez GPU. Sprawdź wymagania RAM dla kwantyzacji Q4_K_M oraz przewidywaną wydajność w tokenach na sekundę.
Czy można uruchomić Qwen 3.8 27B na VPS bez GPU?
Aby uruchomić Qwen 3.8 27B na VPS, wymagany jest tag qwen3.8:27b. Według stanu na 21 października 2026 biblioteka Ollama udostępnia go jako tag możliwy do pobrania lokalnie: 27,3 miliarda parametrów, kwantyzacja Q4_K_M, licencja Apache 2.0, okno kontekstowe 256K oraz pobierany plik o rozmiarze 18 GB, który zawiera projektor wizyjny o wielkości około 0,9 GB. Wsparcie dla Qwen 3.8 27B dodano w Ollama w wersji v0.32.12, wydanej 14 sierpnia 2026, więc starsze instalacje wymagają wcześniejszej aktualizacji. Według stanu na 29 października 2026 najnowsze stabilne wydanie to v0.40.13, opublikowane 28 października 2026.
Krótka odpowiedź brzmi: tak, na VPS z 32 GB RAM lub więcej, ale działanie będzie powolne. Gęsty model 27B w kwantyzacji Q4 wymaga około 17 GB pamięci RAM na same wagi, jeszcze przed zapisaniem pierwszego tokena kontekstu. Wyklucza to całkowicie plany 8 GB i 16 GB. Na typowym dwukanałowym VPS z pamięcią DDR4 górny limit wynosi około 3 tokenów na sekundę, co jest tempem wolniejszym niż przeciętna szybkość czytania.
Wcześniejsze tagi 27B są nadal dostępne w bibliotece: qwen3.6:27b oraz qwen3.5:27b to kompilacje Q4_K_M o zbliżonym rozmiarze. Qwen3.8-27B zachowuje architekturę Qwen3.6-27B, a oficjalne pliki konfiguracyjne dla obu modeli wskazują na ten sam układ warstw, więc poniższe obliczenia pamięciowe mają zastosowanie do obu. Przed skopiowaniem jakiejkolwiek komendy należy sprawdzić aktualną listę na stronie tagu qwen3.8 w Ollama. Przedstawiona tu arytmetyka zależy od liczby parametrów, liczby bitów na wagę oraz układu mechanizmu uwagi, a nie od numeru wersji.
Który tag Ollama pobrać i jak to sprawdzić
Pobranie nieistniejącego tagu powoduje wyświetlenie jednoznacznego błędu, więc można szybko rozstrzygnąć tę kwestię bezpośrednio na serwerze. Istniejący tag nadal może nie nadawać się do uruchomienia lokalnie. Właśnie to często powoduje problemy z GLM 5.2, widocznym w bibliotece, ale udostępnianym wyłącznie z chmury Ollama.
ollama --version
ollama pull qwen3.8:27b
ollama show qwen3.8:27bollama show wyświetla architekturę, liczbę parametrów, długość kontekstu oraz kwantyzację faktycznie posiadanego tagu. Jeśli wiersz parametrów zawiera 27.3B, a wiersz kwantyzacji zawiera Q4_K_M, używana jest kompilacja, której dotyczy ten poradnik. Biblioteka zawiera również qwen3.8:27b-q8_0 i qwen3.8:27b-bf16 dla tych samych wag w wyższej precyzji, warianty 27b-mtp oraz tagi 27b-nvfp4, 27b-mxfp8, 27b-mlx i 27b-mlx-bf16, które na stronie tagów są oznaczone jako MLX. Jest to format przeznaczony dla Apple Silicon, a nie dla systemu Linux działającego na VPS. W przeciwieństwie do qwen3.6 wpis qwen3.8 nie ma tagów 35b-a3b. Te modele MoE (mixture of experts) nadal znajdują się w ramach qwen3.6 i działają na CPU w zupełnie inny sposób. Więcej informacji znajduje się poniżej.
Liczba parametrów a bajty na wagę
Dane, na których opiera się ten wykres
[
{
"label": "Q4_K_M",
"size_gb": 17,
"bits_per_weight": 4.98,
"notes": "published tag qwen3.8:27b, language model file"
},
{
"label": "Q5_K_M",
"size_gb": 19.5,
"bits_per_weight": 5.7,
"notes": "computed, no official library tag exists"
},
{
"label": "NVFP4",
"size_gb": 18,
"bits_per_weight": 5.27,
"notes": "published tag 27b-nvfp4, MLX build, one file including the vision encoder"
},
{
"label": "Q8_0",
"size_gb": 29,
"bits_per_weight": 8.5,
"notes": "published tag 27b-q8_0, language model file"
},
{
"label": "BF16",
"size_gb": 55,
"bits_per_weight": 16.1,
"notes": "published tag 27b-bf16, language model file"
}
]Wzór jest jednowierszowy. Bajty wag = parametry * bity na wagę / 8. Przy czystych 4 bitach, 27,3 miliarda parametrów zajmuje 13,7 GB. Plik modelu językowego w wydanej wersji Q4_K_M ma rozmiar 17 GB, co w praktyce daje 4.98 bita na wagę.
Ta różnica nie jest błędem. Formaty K-quant nie przechowują każdego tensora w nominalnej szerokości. Tensory, które tracą najwięcej jakości podczas kompresji, otrzymują więcej bitów. Lista tensorów Ollama dla wydanego pliku qwen3.8:27b pokazuje, że w formacie Q6_K znajdują się: warstwa wyjściowa, około połowa projekcji w dół (down projections) w sieciach feed-forward, projekcje V w mechanizmie uwagi w około połowie warstw pełnej uwagi oraz około połowa połączonych projekcji QKV w warstwach uwagi liniowej. Małe tensory normalizacji pozostają w pełnej precyzji 32-bitowej. Embedding tokenów, projekcje Q i K mechanizmu uwagi oraz bramki i projekcje w górę (up projections) sieci feed-forward pozostają w formacie Q4_K, podobnie jak większość modelu. Nazwa formatu jest średnią, a średnia ta oscyluje w okolicach 5. Ten sam efekt występuje na drugim końcu skali: 55 GB dla BF16 oznacza 16.1 bita na wagę, a nie równe 16. W tym przypadku embedding tokenów jest w formacie BF16, podobnie jak reszta, a niewielki nadmiar wynika z metadanych pliku, tensorów normalizacji utrzymanych w 32 bitach oraz zaokrąglenia podanego rozmiaru do najbliższego gigabajta.
Należy uwzględnić budżet dla całego tagu, a nie tylko dla pliku modelu językowego. Każdy tag GGUF dla qwen3.8:27b zawiera również projektor wizyjny o rozmiarze około 0,9 GB, dlatego tag Q4_K_M ma podany rozmiar 18 GB.
Dla formatu Q5_K_M nie opublikowano tagu w oficjalnej bibliotece qwen3.8, więc wiersz 19.5 GB został obliczony przy typowej wartości 5,7 bita na wagę dla tego formatu, zamiast zmierzony. Q8_0 niemal podwaja rozmiar Q4 do 29 GB. Na maszynie działającej wyłącznie na CPU to podwojenie zwiększa dwukrotnie ruch w pamięci na token, co w przybliżeniu zmniejsza o połowę liczbę tokenów na sekundę. Z tego powodu Q4_K_M jest właściwym ustawieniem domyślnym. Jeśli priorytetem jest jakość, a nie pamięć, dokładniejsze porównanie Q4, Q8 i fp16 wskazuje, w którym momencie jakość wyjściowa faktycznie zaczyna spadać.
Koszt pamięci podręcznej KV wraz ze wzrostem kontekstu
Wagi stanowią koszt stały. Pamięć podręczna KV (pamięć kluczy i wartości, czyli stan mechanizmu attention przechowywany przez model dla każdego tokenu, który został już przetworzony) rośnie liniowo wraz z długością kontekstu. To właśnie na niej najczęściej kończy się dostępna pamięć RAM.
Dane, na których opiera się ten wykres
[
{
"label": "4k tokens",
"kv_f16_gb": 0.25,
"kv_q8_gb": 0.13
},
{
"label": "8k tokens",
"kv_f16_gb": 0.5,
"kv_q8_gb": 0.25
},
{
"label": "16k tokens",
"kv_f16_gb": 1,
"kv_q8_gb": 0.5
},
{
"label": "32k tokens",
"kv_f16_gb": 2,
"kv_q8_gb": 1
},
{
"label": "64k tokens",
"kv_f16_gb": 4,
"kv_q8_gb": 2
},
{
"label": "128k tokens",
"kv_f16_gb": 8,
"kv_q8_gb": 4
}
]Podane wartości wynikają z własnego pliku konfiguracyjnego modelu. Qwen3.8-27B, podobnie jak Qwen3.6-27B, jest modelem z hybrydowym mechanizmem attention. Tylko 16 z 64 warstw używa pełnego mechanizmu attention i przechowuje pamięć podręczną rosnącą wraz z każdym tokenem. Warstwy te mają 4 głowy kluczy/wartości w ramach GQA (grouped-query attention) oraz wymiar głowy równy 256. Pozostałe 48 warstw używa mechanizmu linear attention (Gated DeltaNet) i zamiast tego przechowuje stan o stałym rozmiarze, który według przeprowadzonych obliczeń wynosi około 150 MB na slot konwersacji, niezależnie od długości kontekstu. Daje to 64 KiB na token przy f16, czyli 2 GB przy 32k tokenów oraz 8 GB przy 128k. Nie należy traktować tych obliczeń jako dokładnych dla własnego serwera. Należy załadować model i odczytać kolumnę SIZE w ollama ps, która podaje łączny rozmiar wag, pamięci podręcznej i narzutu.
Kontekst 256K z karty modelu jest osiągalny w tej architekturze, ale nie jest bezpłatny. Wypełnienie go przy f16 wymaga około 16 GB pamięci podręcznej oprócz wag, przy czym sam model zajmuje już 17 GB. Ollama nie udostępnia domyślnie pełnego okna kontekstu. Dokumentacja długości kontekstu Ollama określa wartość domyślną na podstawie VRAM: 4k tokenów poniżej 24 GiB, 32k od 24 do 48 GiB oraz 256k przy 48 GiB lub więcej. VPS używający wyłącznie CPU nie ma VRAM, więc trafia do poziomu 4k. Wartość tę można celowo zwiększyć za pomocą OLLAMA_CONTEXT_LENGTH. Ta zmienna ustawiana globalnie dla serwera nie jest jedynym mechanizmem regulacji. Ustawienie num_ctx dla pojedynczego żądania pozwala zachować niski koszt domyślny dla pozostałych żądań, a jednemu długiemu zadaniu przydzielić większe okno. Należy zwiększać tę wartość stopniowo i po każdej zmianie sprawdzać ollama ps.
Dwa ustawienia ograniczają rozmiar pamięci podręcznej. OLLAMA_KV_CACHE_TYPE=q8_0 przechowuje pamięć podręczną z użyciem 8 bitów zamiast 16, zmniejszając jej rozmiar dla 32k tokenów z 2 GB do 1 GB. Wymaga to flash attention, dlatego należy ustawić również OLLAMA_FLASH_ATTENTION=1 i potwierdzić zmniejszenie wartości w ollama ps, zamiast zakładać, że ustawienie zostało zastosowane. Jeśli wcześniej nie zmieniano typu pamięci podręcznej, porównanie q8_0 z f16 dla pamięci podręcznej KV Ollama opisuje ustawienie obu zmiennych oraz odczyt wartości przed zmianą i po niej. OLLAMA_NUM_PARALLEL=1 ma równie duże znaczenie. Ollama może obsługiwać kilka żądań jednocześnie, a każdy slot otrzymuje własną część kontekstu. Zwiększenie równoległości po cichu zwielokrotnia więc rozmiar pamięci podręcznej uwzględniony w budżecie. Bieżąca wartość domyślna wynosi już 1, a poniższe ustawienie wymusza pozostawienie tej wartości. Jeśli z serwera będzie korzystać więcej niż jedna osoba, problemy zaczynają się właśnie od tego zwielokrotnienia. Liczba użytkowników jednocześnie obsługiwanych przez model self-hosted zależy od liczby slotów pamięci podręcznej i długości kolejki na długo przed tym, zanim zacznie zależeć od liczby rdzeni.
Co mieści się w 8, 16, 32 i 64 GB pamięci RAM
Dane, na których opiera się ten wykres
[
{
"label": "8 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "Weights alone exceed the box. Use a 4b or 8b model."
},
{
"label": "16 GB",
"q4_max_ctx_ktok": 0,
"q8_max_ctx_ktok": 0,
"notes": "17 GB of weights does not fit in 16 GB of RAM."
},
{
"label": "32 GB",
"q4_max_ctx_ktok": 128,
"q8_max_ctx_ktok": null,
"notes": "Q4 fits with room for long context. Q8 weights fit, but usable context needs a measured total memory budget."
},
{
"label": "64 GB",
"q4_max_ctx_ktok": 256,
"q8_max_ctx_ktok": 256,
"notes": "Both fit with the full 256K window."
}
]Poniższe dwie liczby należy odczytywać jako tysiące tokenów kontekstu, które mieszczą się obok wag modelu i projektora wizyjnego, przy pamięci podręcznej f16, na serwerze VPS z systemem Linux bez interfejsu graficznego, z około 1,5 GB wolnej pamięci dla systemu operacyjnego i niewielkim marginesem bezpieczeństwa. Wartość zero oznacza, że same wagi nie mieszczą się w pamięci, więc nic nie zostanie uruchomione; wartość null oznacza, że wagi mieszczą się, ale dla danego poziomu nie potwierdzono użytecznej wartości kontekstu.
8 GB i 16 GB to wartości niewystarczające. 17 GB wag nie mieści się w 16 GB pamięci RAM i żadna zmiana ustawień kontekstu tego nie zmieni. Dodanie partycji swap również nie rozwiązuje problemu. Ollama mapuje plik GGUF do pamięci, więc gdy strony rezydentne przekroczą dostępną pamięć RAM, jądro zaczyna je usuwać i ponownie odczytywać, co sprawia, że każdy wygenerowany token wymusza odczyt gigabajtów danych z dysku. Serwer osiąga wysoki wskaźnik iowait i generuje znacznie mniej niż jeden token na sekundę.
32 GB to próg wejścia. Wagi zajmują 17 GB, projektor wizyjny dodaje około 0,9 GB, co pozostawia około 12,5 GB wolnej pamięci, co wystarcza na około 128k tokenów kontekstu f16 z zachowaniem marginesu. Wagi Q8_0 o rozmiarze 29 GB mieszczą się w 32 GB, jednak użyteczny kontekst zależy również od projektora wizyjnego, pamięci podręcznej, systemu operacyjnego i pamięci środowiska uruchomieniowego. Przed założeniem, że Q8 zadziała na tym poziomie, należy sprawdzić całkowite zużycie zasobów na serwerze.
64 GB zapewnia komfort pracy. Kwantyzacja Q4 pozostawia miejsce na pełne okno 256k, a wagi Q8_0 mieszczą się wraz z pełnym wsparciem dla 256k tokenów. Przed opłaceniem 64 GB pamięci w celu uzyskania Q8, należy rozważyć, co jest przedmiotem zakupu: nieco lepsza jakość wyjściowa przy dwukrotnie mniejszej prędkości na maszynie, która już wcześniej była wolna. Q4 osiąga 128k tokenów w planie 32 GB i dla większości użytkowników jest to korzystniejszy kompromis.
Jak szybka jest inferencja CPU na VPS?
Wygenerowanie jednego tokenu z modelu gęstego wymaga jednokrotnego odczytania z pamięci każdej wagi. Nie części wag. Wszystkich. Ograniczeniem prędkości nie jest więc liczba rdzeni, lecz przepustowość pamięci podzielona przez rozmiar wag. Przy Q4 oznacza to 17 GB transferu z pamięci na token.
Dane, na których opiera się ten wykres
[
{
"label": "DDR4-2666, 2 channel",
"mem_bandwidth_gb_s": 42.6,
"ceiling_tok_s": 2.5
},
{
"label": "DDR4-3200, 2 channel",
"mem_bandwidth_gb_s": 51.2,
"ceiling_tok_s": 3
},
{
"label": "DDR5-4800, 2 channel",
"mem_bandwidth_gb_s": 76.8,
"ceiling_tok_s": 4.5
},
{
"label": "DDR4-3200, 8 channel",
"mem_bandwidth_gb_s": 204.8,
"ceiling_tok_s": 12
},
{
"label": "DDR5-4800, 12 channel",
"mem_bandwidth_gb_s": 460.8,
"ceiling_tok_s": 27.1
}
]Są to wartości maksymalne, a nie pomiary. Rzeczywista wydajność wynosi około 50–70% pokazanej wartości, ponieważ opóźnienia pamięci i nieidealne pobieranie z wyprzedzeniem uniemożliwiają osiągnięcie teoretycznego maksimum. VPS z dwukanałową pamięcią DDR4-3200 ma limit 3 tokenów na sekundę, dlatego należy oczekiwać około 2. Serwer z dwukanałową pamięcią DDR5-4800 ma limit 4.5, dlatego należy oczekiwać około 3.
Wiersze dotyczące dużych serwerów wymagają zastrzeżenia. Platforma EPYC z dwunastoma kanałami pamięci ma przepustowość 460.8 GB/s i limit 27.1 tokenów na sekundę, ale nie wynajmuje się całej platformy EPYC. Przepustowość pamięci jest zasobem współdzielonym przez wszystkich użytkowników tego hosta, dlatego fragment z 8 vCPU nie zapewnia dwunastu kanałów wyłącznej przepustowości. W poradnikach koncentrujących się na GPU ten aspekt jest całkowicie pomijany. To właśnie dlatego dwa plany VPS z taką samą liczbą vCPU mogą różnić się trzykrotnie wydajnością dla tego samego modelu.
Zwiększanie liczby vCPU szybko przestaje pomagać z tego samego powodu. Gdy rdzenie żądają danych szybciej, niż kontroler pamięci może je dostarczać, dodatkowe wątki zwiększają narzut planowania i nie dają nic więcej. Ollama nie ma zmiennej środowiskowej ustawiającej liczbę wątków dla całego serwera, dlatego należy ustawić num_thread w żądaniu options na liczbę fizycznych rdzeni, wykonać pomiar, a następnie wypróbować połowę tej liczby. Na wielu współdzielonych planach niższa wartość jest szybsza.
Przetwarzanie promptu przebiega inaczej. Prefill, czyli przejście przez dane wejściowe przed pojawieniem się pierwszego tokenu, jest ograniczone przez moc obliczeniową, a nie przez przepustowość pamięci, dlatego skaluje się wraz z liczbą rdzeni. W praktyce oznacza to długie oczekiwanie przed rozpoczęciem generowania dla dużego promptu, a następnie powolne, stabilne tempo opisane powyżej. Obie części można zmierzyć osobno za pomocą --verbose, które dla każdego żądania wyświetla prompt eval rate oraz eval rate.
Jeśli gęsty model 27B działa po prostu zbyt wolno, przed rezygnacją z CPU należy sprawdzić znaczniki qwen3.6:35b-a3b. Aktywują one około 3 miliardów parametrów na token zamiast wszystkich 27.3 miliarda, dzięki czemu transfer danych na token zmniejsza się niemal o rząd wielkości, mimo że plik na dysku jest większy. W zamian za szybkość zwiększa się zajętość pamięci RAM. Istotny jest również wybór środowiska uruchomieniowego, a Ollama i llama.cpp udostępniają różne mechanizmy dostrajania CPU dla tego samego bazowego kodu inferencji.
Kiedy zamiast tego wynająć godzinę pracy GPU
Dane, na których opiera się ten wykres
[
{
"label": "L40S, 48 GB",
"mem_bandwidth_gb_s": 864,
"ceiling_tok_s": 51
},
{
"label": "RTX 4090, 24 GB",
"mem_bandwidth_gb_s": 1008,
"ceiling_tok_s": 59
},
{
"label": "A100, 80 GB",
"mem_bandwidth_gb_s": 2039,
"ceiling_tok_s": 120
},
{
"label": "H100 SXM, 80 GB",
"mem_bandwidth_gb_s": 3350,
"ceiling_tok_s": 197
}
]Ta sama formuła zastosowana do opublikowanej przepustowości pamięci GPU daje inną kategorię odpowiedzi. Karta konsumencka o pojemności 24 GB ma górny limit 59 tokenów na sekundę dla tych wag. Obecna karta klasy data centre osiąga 197. To nie jest różnica, którą można zniwelować poprzez dostrajanie liczby wątków. Karta pracuje z przepustowością pamięci 1008 GB/s, podczas gdy VPS osiąga wartości rzędu dziesiątek GB/s.
Należy zatem wyznaczyć granicę na podstawie obciążenia, a nie preferencji. Inferencja na CPU jest właściwym rozwiązaniem, gdy praca jest asynchroniczna i nikt na nią nie czeka: nocne podsumowywanie stosu dokumentów lub nocne zadanie klasyfikacji, które wykonuje się podczas snu. Wynajmij GPU w momencie, gdy użytkownik czeka na wynik lub gdy żądania napływają szybciej, niż serwer jest w stanie je przetworzyć. Środowiska uruchomieniowe CPU nie są ograniczone do jednego żądania naraz: dokumentacja serwera llama.cpp opisuje równoległe dekodowanie i ciągłe przetwarzanie wsadowe (continuous batching) zarówno na CPU, jak i na GPU, a Ollama również potrafi obsługiwać równoległe żądania, kosztem większego zużycia pamięci podręcznej. O decyzji decyduje zmierzona szybkość obsługi w stosunku do szybkości napływu żądań, dlatego należy zmierzyć czas realistycznej partii zadań na własnym serwerze. Gdy żądania napływają szybciej niż wynosi ta szybkość, kolejka rośnie.
Porównanie kosztów jest mniej oczywiste, niż się wydaje. VPS o pojemności 64 GB jest rozliczany za każdą godzinę miesiąca, niezależnie od tego, czy model jest załadowany, czy nie, podczas gdy godzinny wynajem GPU rozdziela opłaty za obliczenia od opłat za przechowywanie, które mogą być naliczane po zakończeniu pracy. Jeśli rzeczywiste wykorzystanie wynosi dwie godziny dziennie, wynajęte GPU może być zarówno szybsze, jak i tańsze. Najpierw należy określić cykl pracy, a następnie wycenić go. Wybór VPS z GPU zawiera informacje o tym, co sprawdzić na samej instancji, a vLLM wyprzedza Ollama, gdy obsługujesz równoległe żądania na GPU ponieważ poprawnie przetwarza je w partiach.
Istnieje trzecia opcja, o której często się zapomina. Pozostaw model 27B na CPU do pracy wsadowej i umieść hostowany model API przed ścieżką interaktywną. Nic nie wymaga, aby jeden model obsługiwał oba te zadania.
Instalacja Ollama i pomiar wydajności własnej jednostki
Skrypt instalacyjny jest oficjalnym narzędziem, które konfiguruje usługę systemd działającą jako dedykowany użytkownik ollama.
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
free -gollama --version powinno wyświetlić 0.32.12 lub nowszą wersję, czyli pierwsze wydanie z obsługą Qwen 3.8 27B. Przed pobraniem czegokolwiek sprawdź free -g. Raportuje ono wartości w GiB, więc plan reklamowany jako 32 GB RAM może wykazać około 29 w kolumnie total; porównaj dostępną pamięć z wagami i budżetem pamięci podręcznej powyżej.
Ustaw opcje środowiska uruchomieniowego w pliku override systemd, a nie w powłoce. Model działa wewnątrz usługi, więc nie widzi środowiska interaktywnego.
sudo systemctl edit ollama[Service]
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=1"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_FLASH_ATTENTION=1"
Environment="OLLAMA_KV_CACHE_TYPE=q8_0"
Environment="OLLAMA_KEEP_ALIVE=60m"sudo systemctl restart ollama
ollama pull qwen3.8:27b
ollama run qwen3.8:27b --verbose "Name two Linux distributions."Dane wyjściowe --verbose to pomiar, którego oczekiwano. eval rate to liczba tokenów na sekundę podczas generowania. prompt eval rate to szybkość przetwarzania wstępnego (prefill). load duration to czas odczytu wag z dysku, dlatego ustawiono OLLAMA_KEEP_ALIVE=60m: w przypadku procesora CPU, ponowne wczytywanie 17 GB z dysku przy każdym żądaniu kosztuje więcej niż samo żądanie. Domyślny limit czasu bezczynności wynosi pięć minut; jest on na tyle krótki, że kolejka zadań z przerwami między elementami wielokrotnie generuje ten koszt wczytywania, a opcje utrzymywania modelu w pamięci obejmują zarówno pole keep_alive dla pojedynczego żądania, jak i trwałość ustawienia po restarcie.
Gdy model jest załadowany, sprawdź zajętość pamięci z poziomu drugiej terminala.
ollama psKolumna SIZE to rzeczywiste zużycie pamięci, wliczając pamięć podręczną KV; powinna ona być zbliżona do sumy wag, projektora wizyjnego oraz wiersza dla długości kontekstu w tabeli KV. Przy 8192 tokenach i 8-bitowej pamięci podręcznej, rosnąca część pamięci podręcznej zajmuje tylko około ćwierć gigabajta, w porównaniu do 0.5 GB w przypadku f16, z uwzględnieniem stałego stanu uwagi liniowej (linear-attention). Kolumna PROCESSOR powinna wskazywać 100% CPU. Jeśli wyświetla cokolwiek innego, oznacza to, że inny proces zajął GPU, a wyniki szybkości przedstawione w tym przewodniku nie dotyczą Twojej jednostki.
Tryby awarii i dokładne komunikaty, które zostaną wyświetlone
Model nie chce się załadować. Ollama wyświetla wiersz zawierający nazwy obu wartości, w formacie model requires more system memory (18.6 GiB) than is available (15.2 GiB). To korzystny tryb awarii, ponieważ Ollama wykonuje sprawdzenie przed przydzieleniem pamięci, zamiast pozostawiać decyzję jądru. Należy zmniejszyć długość kontekstu, wybrać mniejszy tag albo przejść na większy plan.
Proces znika w trakcie generowania odpowiedzi. Klient nie wyświetla żadnych użytecznych informacji, a journalctl -u ollama -n 50 pokazuje ponowne uruchamianie usługi. Należy uruchomić dmesg -T | tail. Wiersz zawierający Out of memory: Killed process ... (ollama) oznacza, że jądro zakończyło proces przez OOM killer. Dzieje się tak, gdy kontrola przed załadowaniem zakończy się powodzeniem, ale pamięć podręczna przekroczy oszacowanie podczas długiej rozmowy. Należy zmniejszyć długość kontekstu.
Pobieranie kończy się natychmiast niepowodzeniem. Error: pull model manifest: file does not exist oznacza, że tagu nie ma w bibliotece. Dokładnie taki sam rezultat powoduje numer wersji, który nie został wydany, oraz każda literówka w tagu. Sam qwen3.8:27b jest prawidłowy, więc jeśli ten konkretny tag kończy się błędem, najpierw należy sprawdzić literówkę. Przed uznaniem, że problem dotyczy sieci, należy potwierdzić tag na stronie biblioteki. Jeśli prawidłowy tag zostanie pobrany, ale nie będzie działać, należy sprawdzić ollama --version względem 0.32.12.
Wszystko działa, ale działa nieznośnie wolno. Wynik poniżej jednego tokena na sekundę na hoście z wystarczającą ilością pamięci RAM wskazuje raczej na stronicowanie niż na niewystarczającą wydajność obliczeniową. Podczas generowania należy uruchomić vmstat 1. Niezerowa wartość w kolumnie si lub so oznacza, że jądro korzysta z pamięci wymiany. Należy wtedy zmniejszyć kontekst albo liczbę załadowanych modeli. Stała wysoka wartość wa bez aktywności pamięci wymiany oznacza, że wagi mapowane w pamięci są ponownie odczytywane z dysku. Oznacza to, że w praktyce nie mieszczą się w pamięci.
Pierwszy token pojawia się po 30 sekundach, a następnie generowanie przyspiesza. Jest to etap prefill i jest to normalne działanie. Długi prompt systemowy jest przetwarzany przy każdym żądaniu, dla którego nie można użyć pamięci podręcznej. Przed rozpoczęciem dalszego dostrajania należy skrócić prompt systemowy.
Do czego faktycznie nadaje się model 27B działający wyłącznie na CPU
Należy oprzeć oczekiwania na liczbach, a nie na założeniach. Przy prędkości od dwóch do czterech tokenów na sekundę, wygenerowanie odpowiedzi o długości 500 tokenów zajmuje od dwóch do czterech minut. Jest to czas nieakceptowalny w przypadku czatu, ale w pełni użyteczny dla zadań kolejkowych. Model, który „myśli” przed udzieleniem odpowiedzi, pogarsza ten wynik, ponieważ ukryte tokeny rozumowania są generowane z tą samą niską prędkością co odpowiedź. Dlatego dostosowanie poziomu rozumowania do zadania jest jednym z niewielu sposobów na skrócenie czasu odpowiedzi bez zmiany modelu. Podsumowywanie dokumentów, masowe tagowanie, ekstrakcja pól z zaległych plików oraz automatyczne przeglądy kodu tolerują takie opóźnienia, ponieważ nikt nie oczekuje natychmiastowej odpowiedzi. Asystenci programowania znajdują się na granicy użyteczności, dlatego skierowanie agenta programistycznego na własny model sprawdza się w zadaniach w tle, takich jak generowanie komunikatów commit czy szkieletów testów, a nie w przypadku sugestii wewnątrz edytora, na które trzeba czekać.
Argument dotyczący prywatności jest kluczowy. Model działa na sprzęcie, który jest wynajmowany i kontrolowany; żadne żądanie nie opuszcza serwera i nie występuje opłata za token. Jest to bardzo istotne w przypadku danych podlegających regulacjom, nawet przy prędkości trzech tokenów na sekundę. Należy uczciwie zestawić to z alternatywą: samodzielne hostowanie modelu klasy frontier wymaga o rząd wielkości większej mocy obliczeniowej, a model 27B na CPU stanowi najtańszy punkt na tej krzywej, w którym wygenerowany tekst jest nadal wartościowy.
Aby przeprowadzić benchmark, potrzebne są rzeczywiste, ustrukturyzowane dane wejściowe, a większość publicznych API wymaga założenia konta przed przystąpieniem do pomiaru przepustowości. Schemat demonstracyjny Strasmore (który utrzymujemy) dokumentuje dostęp typu read-only do danych SQL dotyczących amerykańskich akcji i opcji bez konieczności posiadania klucza czy rejestracji, przy użyciu nazw tabel kwalifikowanych bazą danych: https://ai.strasmore.com/api/demo/sql?sql=SELECT ticker, close FROM global_markets.delayed_stocks_minute_aggs LIMIT 5. Limity demonstracyjne wynowią 500 wierszy i 20 sekund na wywołanie, z historią od 1 stycznia 2025 roku, co jest wartością znacznie przekraczającą możliwości przetwarzania maszyny o wydajności dwóch tokenów na sekundę. Pełna lista kolumn znajduje się pod adresem https://ai.strasmore.com/api/demo/schema.
Jeśli jest to pierwsza instalacja Ollama, pełny przewodnik uruchamiania Ollama na VPS zawiera informacje o konfiguracji usługi, API HTTP oraz regułach firewalla, które w tym poradniku uznano za już wdrożone. Nie należy wystawiać portu 11434 na dostęp z Internetu. Lokalne API Ollama nie wymaga uwierzytelniania, więc każdy, kto uzyska dostęp do tego portu, może korzystać z modelu.
FAQ
Czy model Qwen 3.8 27B jest dostępny w Ollama?
Tak. Według stanu na 21 października 2026 biblioteka Ollama zawiera wpis qwen3.8, a qwen3.8:27b (oznaczony również jako latest) to kompilacja Q4_K_M o rozmiarze 18 GB dla modelu gęstego o 27,3 miliarda parametrów, wyposażona w projektor wizyjny i okno kontekstowe 256K. Model działa lokalnie i wymaga Ollama w wersji v0.32.12 lub nowszej. Starsze tagi qwen3.6:27b oraz qwen3.5:27b nadal znajdują się na liście. Aktualną listę można sprawdzić pod adresem https://ollama.com/library/qwen3.8/tags. Próba użycia nieistniejącego tagu kończy się błędem Error: pull model manifest: file does not exist.
Ile pamięci RAM potrzeba do uruchomienia modelu Qwen 27B na VPS?
32 GB to praktyczne minimum dla wersji Q4_K_M. Wagi zajmują 17 GB, projektor wizyjny dodaje około 0,9 GB, system operacyjny wymaga około 1,5 GB, a pamięć podręczna KV dodaje w przybliżeniu 1 GB na każde 16 000 tokenów kontekstu w formacie f16, ponieważ tylko 16 z 64 warstw modelu utrzymuje rosnącą pamięć podręczną. Plan 16 GB nie jest w stanie pomieścić wag, a partycja swap nie rozwiązuje problemu, ponieważ plik jest mapowany w pamięci, a jądro odczytuje go ponownie z dysku przy każdym tokenie. 64 GB zapewnia przestrzeń dla pełnego okna 256K, nawet przy wagach Q8_0 o rozmiarze 29 GB.
Ile tokenów na sekundę uzyska model 27B na procesorze CPU?
Należy podzielić przepustowość pamięci przez rozmiar wag, a następnie przyjąć od 50 do 70 procent tej wartości. Dwukanałowy VPS z pamięcią DDR4-3200 ma teoretyczny limit w pobliżu 3 tokenów na sekundę i osiąga około 2. Serwer dwukanałowy z DDR5-4800 ma limit w pobliżu 4.5 i osiąga około 3. Platformy serwerowe z większą liczbą kanałów wyglądają lepiej w specyfikacji, jednak przepustowość pamięci jest współdzielona między wszystkich użytkowników na hoście, dlatego należy dokonać własnego pomiaru za pomocą ollama run qwen3.8:27b --verbose i odczytać linię eval rate.
Czy na VPS z samym CPU używać kwantyzacji Q4 czy Q8?
W niemal każdym przypadku należy wybrać Q4_K_M. Wersja Q8_0 zajmuje 29 GB w porównaniu do 17 GB, więc wagi mieszczą się w 32 GB, ale projektor, pamięć podręczna, system operacyjny i środowisko uruchomieniowe pozostawiają niewielki margines; 64 GB pozwala na obsługę długiego kontekstu. Wersja Q8_0 przesyła niemal dwa razy więcej danych z pamięci na token, co redukuje liczbę tokenów na sekundę o około połowę. Różnica w jakości między Q4_K_M a Q8_0 dla modelu 27B jest w większości zadań niewielka. Lepiej przeznaczyć pamięć RAM na dłuższy kontekst, ponieważ zmienia to możliwości modelu, a nie tylko sposób formułowania odpowiedzi.
Kiedy wynajęcie GPU jest tańsze niż VPS z dużą ilością pamięci RAM?
Gdy cykl pracy jest krótki lub gdy czas oczekiwania użytkownika ma znaczenie. GPU z 24 GB pamięci ma teoretyczny limit około 59 tokenów na sekundę dla tych wag, w porównaniu do szacowanych 2 lub 3 na typowym VPS; godzinowe opłaty za obliczenia GPU kończą się w momencie zatrzymania instancji, choć stałe przechowywanie danych nadal może generować koszty. VPS z 64 GB RAM jest rozliczany przez cały miesiąc, niezależnie od tego, czy model jest załadowany. Należy obliczyć, ile godzin dziennie faktycznie generowane są tokeny. Punkt opłacalności zależy od stawek wynajmu, czasu pracy i kosztów przechowywania danych. VPS działający w trybie ciągłym jest korzystniejszy w przypadku przetwarzania wsadowego o niskim priorytecie.