VPS mit GPU oder CPU: Wann lohnt sich eine GPU?

Benötigen Sie einen VPS mit GPU, oder reicht eine CPU aus?

Ein VPS mit GPU verändert beim eigenen Betrieb eines Modells zwei Dinge: wie schnell Tokens erzeugt werden und wie groß ein Modell überhaupt sein darf, damit es in den Speicher passt. Sonst ändert sich nichts. Wenn Ihre Arbeitslast aus einem quantisierten Chatmodell mit 7B bis 27B besteht, das jeweils eine Person beantwortet, aus einem Embedding-Auftrag mit geringem Volumen oder aus der Sprachtranskription mit Whisper small, erledigt ein gewöhnlicher CPU-VPS mit ausreichend RAM die Aufgabe bereits. Beginnen Sie mit der CPU. Messen Sie den Wert, der Sie stört, und wechseln Sie dann zu einer leistungsfähigeren Konfiguration.

Der Grund ist die Speicherbandbreite. Wenn ein Sprachmodell ein Token erzeugt, liest es alle benötigten Gewichte aus dem Speicher. Ein auf 4 Bit quantisiertes 8B-Modell belegt auf der Festplatte ungefähr 4.7 GB und im Speicher etwa genauso viel. Für die Erzeugung eines Tokens müssen daher ungefähr 4.7 GB übertragen werden. Teilen Sie die Speicherbandbreite des Systems durch diesen Wert. Das Ergebnis ist die Obergrenze für Tokens pro Sekunde. Diese einzelne Division erklärt fast jeden Benchmark, den Sie lesen werden.

Was Ihnen eine GPU tatsächlich bringt

Bandbreite. Server-DDR5 in einem modernen Host verarbeitet Dutzende Gigabyte pro Sekunde. GPU-Speicher (VRAM, Videospeicher) verarbeitet Hunderte bis über tausend. Dieses Verhältnis bestimmt den Geschwindigkeitsgewinn, und er ist groß.

Kapazität bei hoher Geschwindigkeit. Ein CPU-System mit 64 GB RAM kann ein 70B-Modell mit 4 Bit laden. Es läuft, aber eher im Tempo des Lesens als des Gesprächs. Eine GPU hilft hier nur, wenn das Modell in den VRAM passt. Sobald Layer in den System-RAM ausgelagert werden, bestimmt wieder der langsame Pfad die Geschwindigkeit.

Durchsatz bei Stapelverarbeitung. Diesen Faktor unterschätzen viele. Eine GPU, die für einen Benutzer generiert, lässt den größten Teil ihrer Rechenleistung ungenutzt, weil sie auf den Speicher wartet. Bedienen Sie 20 Anfragen gleichzeitig, wird dasselbe Auslesen der Gewichte für alle 20 Anfragen verwendet. Der aggregierte Durchsatz in Tokens pro Sekunde steigt dadurch um ein Mehrfaches, während die Geschwindigkeit pro Benutzer kaum sinkt. Eine CPU kann dies nicht in gleicher Weise. Zwei gleichzeitige Benutzer teilen sich auf einem CPU-System die Leistung ungefähr zur Hälfte. Wenn Sie eine API entwickeln, die von vielen Clients aufgerufen wird, ist Stapelverarbeitung das wichtigste Argument für eine GPU, mehr als die rohe Geschwindigkeit eines einzelnen Datenstroms.

Prompt-Verarbeitung. Das Lesen eines langen Prompts ist rechengebunden, nicht speichergebunden. Hier haben GPUs den größten Geschwindigkeitsvorteil. Einen Kontext mit 30,000 Tokens verarbeitet eine CPU in einer Minute, eine GPU in wenigen Sekunden. Bei Retrieval-Konfigurationen, die Dokumente in jede Anfrage einfügen, ist dieser Unterschied ständig spürbar.

Grobe Richtwerte und ihre Interpretation

Der folgende Block enthält typische veröffentlichte Werte für einen einzelnen Datenstrom bei einem 8B-Modell mit 4-Bit-Quantisierung, Stand Juli 2026. Sie dienen als Orientierung in der richtigen Größenordnung und sind keine Zusage. Ihre Quantisierung, Kontextlänge und Inference Engine verändern diese Werte.

[
  {
    "label": "8 vCPU, DDR4",
    "mem_bandwidth_gbs": 40,
    "tokens_per_sec": 6
  },
  {
    "label": "16 vCPU, DDR5",
    "mem_bandwidth_gbs": 75,
    "tokens_per_sec": 11
  },
  {
    "label": "24GB GPU",
    "mem_bandwidth_gbs": 300,
    "tokens_per_sec": 50
  },
  {
    "label": "40GB data-centre GPU",
    "mem_bandwidth_gbs": 1555,
    "tokens_per_sec": 130
  }
]

Die Zeile für die 24-GB-GPU zeigt 50 Tokens pro Sekunde gegenüber 11 bei einem DDR5-CPU-System. Das entspricht ungefähr dem Fünffachen. Das passt eher zum Verhältnis der Speicherbandbreite als zu einem Unterschied bei der reinen Rechenleistung. Der tatsächliche Durchsatz liegt ebenfalls unter dem Quotienten aus Bandbreite und Modellgröße. Der Grund ist, dass die Attention über einen wachsenden Kontext zusätzlichen Aufwand verursacht, den die einfache Division nicht berücksichtigt.

Zum Vergleich: Ein Mensch liest ungefähr 5 bis 10 Wörter pro Sekunde. Ab 15 Tokens pro Sekunde fühlt sich die Ausgabe für einen einzelnen Leser bereits wie normales Tippen an. Deshalb sind viele Setups ohne GPU unauffällig ausreichend.

VRAM vor dem Kauf dimensionieren

Die Modellgröße ist die Untergrenze, nicht der tatsächliche Bedarf. Planen Sie die Gewichte, den KV-Cache (Key-Value-Cache, der von der Attention pro Token belegte Speicher) sowie etwa 1 GB Overhead ein.

Als praktische Faustregel gilt im Juli 2026: Nehmen Sie die Modellgröße in Gigabyte und addieren Sie 20 Prozent für einen normalen Kontext von 8k bis 16k. Ein 4.7-GB-Modell mit 8B benötigt etwa 6 GB VRAM. Ein 27B-Modell mit 4 Bit ist etwa 16 GB groß und benötigt ungefähr 20 GB. Ein 70B-Modell mit 4 Bit ist etwa 40 GB groß und benötigt eine 48-GB-Karte oder zwei kleinere Karten.

Lange Kontexte machen diese Faustregel unzuverlässig. Der KV-Cache wächst linear mit der Kontextlänge und kann bei 128k Tokens größer als die Gewichte selbst werden. Wenn Sie lange Kontexte verwenden möchten, dimensionieren Sie zuerst den Cache und prüfen Sie, welche Möglichkeiten zur Cache-Quantisierung Ihre Engine bietet.

Prüfen, was auf der Maschine tatsächlich vorhanden ist

Bestätigen Sie auf einer GPU-Instanz zuerst, dass der Treiber die Karte erkennt.

nvidia-smi

Die Ausgabe sollte eine Tabelle mit dem Namen der GPU, der Treiberversion und dem verwendeten Speicher im Verhältnis zum Gesamtspeicher enthalten. NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver bedeutet, dass der Treiber fehlt oder das Kernelmodul nach einem Kernel-Upgrade nicht neu erstellt wurde. Bei einem Standard-Ubuntu-Image lautet die übliche Lösung sudo apt install -y ubuntu-drivers-common && sudo ubuntu-drivers install. Starten Sie das System anschließend neu, damit das neue Modul geladen wird.

Für Container reicht der Treiber allein nicht aus. Docker benötigt das NVIDIA Container Toolkit, um das Gerät an den Container durchzureichen.

sudo apt-get update && sudo apt-get install -y --no-install-recommends ca-certificates curl gnupg2
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker

Beweisen Sie anschließend, dass die Geräteweiterleitung innerhalb eines Containers funktioniert:

sudo docker run --rm --gpus all ubuntu:24.04 nvidia-smi

Dieselbe Tabelle sollte angezeigt werden. Eine docker: Error response from daemon: could not select device driver-Zeile, die eine GPU-Fähigkeit nennt, die nicht erfüllt werden kann, bedeutet, dass das Toolkit installiert ist, Docker jedoch nie neu konfiguriert oder neu gestartet wurde. Führen Sie daher erneut die nvidia-ctk-Zeile und den Neustart aus. In Compose entspricht dies einem deploy.resources.reservations.devices-Eintrag, dessen driver auf nvidia gesetzt ist und dessen Liste der Fähigkeiten gpu enthält. Dieser Eintrag wird in die üblichen Servicedefinitionen eingefügt, die unter Docker Compose auf einem VPS beschrieben sind.

Messen Sie vor dem Upgrade

Führen Sie das Modell aus, das Sie tatsächlich verwenden möchten, auf dem vorhandenen CPU-System aus, und zeichnen Sie die Messwerte auf. Mit Ollama: ein LLM selbst auf einem VPS betreiben benötigen Sie dafür nur ein Flag:

ollama run llama3.1:8b --verbose "Summarise the causes of the 1929 crash in 200 words."

Die Ausgabe endet mit Zeitmessungen. eval rate ist Ihre Generierungsgeschwindigkeit in Tokens pro Sekunde. prompt eval rate gibt an, wie schnell der Rechner Ihre Eingabe gelesen hat. Diese beiden Werte zeigen, welches Upgrade hilft: Ein niedriger Wert für eval rate weist auf ein Problem mit der Speicherbandbreite hin. Ein niedriger Wert für prompt eval rate bei langen Eingaben weist auf ein Rechenproblem hin.

Prüfen Sie auf einem Rechner mit GPU, ob das Modell tatsächlich auf der GPU geladen wurde:

ollama ps

Die Spalte PROCESSOR enthält 100% GPU, wenn das Modell vollständig hineinpasst, oder einen Wert wie 43%/57% CPU/GPU, wenn dies nicht der Fall ist. Eine teilweise Aufteilung ist meist schlechter als erwartet, weil jeder Token weiterhin auf die langsamere Hälfte warten muss.

Die Kostenfrage

GPU-Instanzen kosten ein Mehrfaches einer vergleichbaren CPU-Instanz. Sie werden für jede Stunde abgerechnet, in der sie existieren, nicht für die von ihnen erzeugten Tokens. Eine ständig aktive GPU, die nur wenige Anfragen pro Tag verarbeitet, ist die teuerste Möglichkeit, Inferenz auszuführen. Der Break-even-Punkt ist die Auslastung: Eine ausgelastete GPU ist pro Token günstig, eine ungenutzte GPU verursacht reine Verschwendung.

Drei praktikable Muster funktionieren. Lassen Sie gleichmäßige Arbeitslasten mit geringem Volumen auf einem CPU-VPS laufen. Senden Sie gelegentlich schwierige Anfragen an eine gehostete API und zahlen Sie pro Token. Mieten Sie eine GPU für Batch-Jobs, Fine-Tuning oder einen umfangreichen Embedding-Lauf stundenweise und löschen Sie sie anschließend. Eine Kombination dieser Optionen ist üblich. Die im Abschnitt Kostenkontrolle für AI-Agenten auf einem ständig aktiven VPS beschriebene Budgetdisziplin gilt auch hier. Der Unterschied besteht darin, dass Leerlaufzeit die Kosten verursacht und nicht die Token-Anzahl.

Was ohne GPU weiterhin problemlos läuft

Embeddings mit geringem Volumen. Ein kleines Embedding-Modell verarbeitet auf wenigen CPU-Kernen mehrere hundert kurze Dokumente pro Minute. Ein Index, den Sie einmal erstellen, muss nicht schnell sein.

Whisper small und base für die Transkription. Faster-whisper transkribiert auf der CPU mit dem kleinen Modell nahezu in Echtzeit. Das reicht für eine Pipeline, die über Nacht läuft.

Quantisierte Chat-Modelle bis etwa 27B für ein oder zwei Benutzer. Langsam, lesbar und nutzbar.

Alles, was Sie als Batch-Aufgabe bezeichnen würden. Wenn niemand den Bildschirm beobachtet, ist die verstrichene Zeit eine Frage der Zeitplanung und keine Anforderung.

Was tatsächlich eine GPU benötigt: Training oder Fine-Tuning über einen kleinen Adapter hinaus, die Bereitstellung für viele gleichzeitige Benutzer, die Generierung von Bildern und Videos sowie Echtzeit-Sprache, bei der die Latenz das eigentliche Produkt ist.

FAQ

Wie viel VRAM benötige ich für ein 7B- oder 8B-Modell?

Etwa 6 GB für ein 4-Bit-quantisiertes 8B-Modell bei einem normalen Kontext von 8k bis 16k. Die Gewichte benötigen ungefähr 4.7 GB. Der verbleibende Speicher entfällt auf den KV-Cache und etwa 1 GB Overhead. Eine Karte mit 12 GB bietet ausreichend Spielraum für längere Kontexte. Wenn Sie einen Kontext von 128k verwenden möchten, müssen Sie den Cache separat dimensionieren. Er kann größer als die Gewichte werden.

Kann ich Ollama ohne GPU ausführen?

Ja. Ollama wechselt automatisch auf die CPU. Es benötigt nur ausreichend RAM, um das Modell zu laden. Rechnen Sie bei einem 4-Bit-quantisierten 8B-Modell je nach Speichergeschwindigkeit mit ungefähr 5 bis 12 Tokens pro Sekunde. Das entspricht bei einem Benutzer ungefähr der Lesegeschwindigkeit. Lange Prompts sind auf der CPU das eigentliche Problem. Das Verarbeiten von 30,000 Kontext-Tokens ist rechenintensiv und dauert deutlich länger als die Generierung der Antwort.

Warum ist meine GPU kaum schneller als die CPU?

Die häufigste Ursache ist, dass das Modell nicht vollständig in den VRAM passte. Deshalb werden einige Layer auf der CPU ausgeführt. Für jedes Token muss dann auf den langsameren Teil gewartet werden. Führen Sie ollama ps aus und prüfen Sie, ob die Spalte PROCESSOR den Wert 100% GPU enthält. Wenn eine Aufteilung angezeigt wird, verwenden Sie eine kleinere Quantisierung oder ein kleineres Modell. Eine weitere häufige Ursache ist ein kurzer Benchmark, bei dem die Ladezeit des Modells den Messwert dominiert.

Lohnt sich ein GPU-VPS für einen einzelnen Benutzer?

Normalerweise nicht. Eine Person liest 5 bis 10 Wörter pro Sekunde. Ein CPU-System erzeugt für Modelle bis etwa 13B bereits schneller Tokens. Für einen einzelnen Benutzer rechtfertigen lange Prompts, Bildgenerierung und Fine-Tuning die Kosten. Viele Benutzer gleichzeitig zu bedienen, ist das stärkste Argument. Durch Batching kann eine GPU zwanzig Anfragen zu annähernd den Kosten einer einzelnen Anfrage beantworten.

Sollte ich eine GPU stundenweise mieten oder sie dauerhaft ausführen?

Mieten Sie die GPU stundenweise, wenn die Auslastung unregelmäßig ist, etwa für Fine-Tuning, einen umfangreichen Embedding-Lauf oder einen Batch-Transkriptionsauftrag. Lassen Sie sie nur dauerhaft laufen, wenn die Karte ausgelastet bleibt. Eine GPU-Instanz wird nach ihrer Laufzeit und nicht nach der Anzahl erzeugter Tokens abgerechnet. Ein Assistent mit wenig Datenverkehr ist auf einem CPU-VPS oder über eine gehostete API mit Abrechnung pro Token günstiger als auf einer ungenutzten GPU.