GPU-VPS oder API: Ab wann lohnt sich die Miete?

Wo der Break-even tatsächlich liegt

Ein GPU-VPS ist ab einem bestimmten Punkt günstiger als eine API-Abrechnung pro Token: Wenn die feste Monatsmiete geteilt durch die Anzahl der tatsächlich in diesem Monat erzeugten Output-Tokens niedriger ist als der API-Preis für dieselben Tokens. Die Miete ändert sich nicht. Die API-Rechnung steigt mit jeder Anfrage. Die Antwort ist daher immer ein monatliches Volumen und niemals ein einfaches Ja oder Nein.

Rechnen Sie mit einem GPU-VPS der mittleren Leistungsklasse für $0.50 pro Stunde. Das entspricht bei einem Monat mit 730 Stunden $365. Gegenüber der API eines Frontier-Modells liegt der Break-even bei 24.3 Millionen Output-Tokens pro Monat. Gegenüber einem kleinen kommerziellen Modell sind es 73 Millionen. Gegenüber einem gehosteten Open-Weight-Modell derselben Größe erreichen Sie niemals den Break-even, weil eine einzelne GPU-Karte in einem Monat nicht genügend Tokens erzeugen kann, um den Schnittpunkt zu erreichen.

Veröffentlichte Break-even-Studien beantworten diese Frage nicht. Zwei Studien aus dem früheren Jahr 2026 setzen den Schnittpunkt bei einem H200 nahe 72% dauerhafter Auslastung und bei einem MI300X zwischen 22% und 48% Duty Cycle an. Beide vergleichen mit dem Serverless-Produkt desselben Anbieters. Außerdem setzen beide Beschleuniger voraus, die pro Stunde mehr kosten, als die meisten Leser hier pro Monat ausgeben. Die Berechnung ist identisch. Im Folgenden wird sie für eine Karte, ein Open-Modell im Bereich von 7B bis 30B und eine gewöhnliche nutzungsabhängige API-Abrechnung neu durchgeführt.

Jede Zahl unten ist eine Eingabe und kein Ergebnis. Ersetzen Sie alle Werte durch Ihre eigenen.

Die Formel, in die Sie Ihre eigenen Werte einsetzen können

cost_per_million = (hourly_rate * 1000000) / (tokens_per_second * 3600 * duty_cycle)

breakeven_millions_per_month = (hourly_rate * hours_per_month) / api_price_per_million

capacity_millions_per_month = (tokens_per_second * 3600 * hours_per_month) / 1000000

required_duty_cycle = breakeven_millions_per_month / capacity_millions_per_month

Es gibt vier Eingaben. Alle vier können Sie messen oder nachschlagen.

• hourly_rate sind die Kosten des GPU-VPS pro Stunde, einschließlich der Stunden, in denen er ungenutzt läuft. Wenn Sie monatlich zahlen, teilen Sie den Monatspreis durch 730.
• tokens_per_second ist die aggregierte Ausgaberate, die Ihr Server bei der tatsächlichen Anzahl paralleler Anfragen dauerhaft erreicht. Es handelt sich nicht um den Wert für einen einzelnen Datenstrom aus einer Anbieterübersicht.
• duty_cycle ist der Anteil des Monats, in dem die GPU Tokens erzeugt. Ein System, das Sie den ganzen Monat mieten und zwei Stunden pro Tag nutzen, kommt auf 8.3%.
• api_price_per_million ist der abgerechnete Preis, mit dem Sie die Ausgabe-Tokens vergleichen.

Im Beispiel werden auf beiden Seiten die Ausgabe-Tokens bepreist, weil diese bei Chat- und Agent-Aufgaben den größten Teil der Kosten verursachen. Wenn Ihre Prompts lang sind, addieren Sie die Eingabe auf beiden Seiten. Auf der API-Seite erscheint sie als separate Rechnungsposition. Auf Ihrem eigenen System benötigt die Prefill-Phase GPU-Zeit und ist daher bereits als niedrigere gemessene tokens_per_second berücksichtigt.

So messen Sie Tokens pro Sekunde, bevor Sie der Berechnung vertrauen

Alles Bisherige basiert auf einer gemessenen Zahl. Wenn Sie sie um den Faktor drei falsch bestimmen, ist auch das Ergebnis um den Faktor drei falsch. Messen Sie den Wert auf der Karte, die Sie mieten, mit dem Modell und der Quantisierung, die Sie tatsächlich einsetzen werden.

Ollama liefert den Wert für einen einzelnen Datenstrom mit einem Befehl:

ollama run qwen3:8b --verbose "Write 400 words about disk latency."

--verbose gibt nach der Antwort einen Zeitmessungsblock aus. Relevant ist die Zeile eval rate. Sie gibt die Generierungsgeschwindigkeit in Tokens pro Sekunde an. prompt eval rate ist die Prefill-Geschwindigkeit und normalerweise deutlich höher. Ihre Werte werden von diesen abweichen:

eval count:       412 token(s)
eval duration:    9.612s
eval rate:        42.86 tokens/s

Ein einzelner Datenstrom ist für ein Kostenmodell der falsche Wert. Dabei wird jeweils nur eine Anfrage auf einer Karte gemessen, die mehrere Anfragen gleichzeitig verarbeiten kann. Für den aggregierten Wert stellen Sie das Modell mit vLLM bereit und lesen den vom Server ausgegebenen Durchsatz ab:

pip install vllm
vllm serve Qwen/Qwen3-8B --max-model-len 8192

Während Anfragen verarbeitet werden, schreibt der Server in jedem Berichtsintervall eine Statuszeile ins Log. Die genauen Felder ändern sich zwischen vLLM-Releases. Lesen Sie daher die Ausgabe Ihrer Version und nicht meine:

Avg prompt throughput: 812.4 tokens/s, Avg generation throughput: 396.1 tokens/s, Running: 16 reqs, Waiting: 0 reqs, GPU KV cache usage: 21.7%

Avg generation throughput ist der Wert, den die Formel benötigt. Er steigt, wenn Sie weitere parallele Anfragen hinzufügen, bis der KV-Cache (Key-Value-Cache, der von vLLM im VRAM vorgehaltene Attention-Zustand pro Anfrage) vollständig belegt ist. Danach steigt er nicht weiter. Wenn Sie die Anzahl weiter erhöhen, werden Anfragen in eine Warteschlange gestellt, statt schneller verarbeitet zu werden. Das erkennen Sie an einem steigenden Wert Waiting. vLLM enthält außerdem den Lastgenerator vllm bench serve. Seine Flags ändern sich zwischen Versionen. Führen Sie daher vllm bench serve --help für die installierte Version aus, statt einen Befehl aus einem Blogbeitrag zu übernehmen.

Überwachen Sie die Karte, während der Test läuft:

nvidia-smi --query-gpu=utilization.gpu,memory.used,power.draw --format=csv -l 5

Wenn utilization.gpu während der Generierung nahe 100 % liegt, ist der Durchsatz der begrenzende Faktor. Der gemessene Wert entspricht dann der tatsächlichen Obergrenze. Bleibt die Auslastung niedrig, begrenzt etwas anderes die Leistung: zu wenige parallele Anfragen, ein langsamer Client oder ein Modell, das nicht vollständig in den VRAM passt und teilweise in den System-RAM ausgelagert wird. Ollama und vLLM treffen hier sehr unterschiedliche Abwägungen, und der Abstand zwischen beiden auf derselben Karte ist groß genug, um den Break-even-Punkt um mehrere Faktoren zu verschieben.

Wie die Rechnung über einen Monat aussieht

Das Rechenbeispiel verwendet einen GPU-VPS mit 24 GB für 0.50 $ pro Stunde und ein offenes 8B-Modell, das von vLLM bereitgestellt wird. Gemessen werden insgesamt 400 Ausgabetokens pro Sekunde bei 16 gleichzeitigen Anfragen. Die Miete bleibt gleich, unabhängig davon, ob Sie die Karte verwenden. Bei dieser Rate beträgt die Kapazität 1,051 Millionen Ausgabetokens pro Monat. Das ist die Menge, die die Karte erzeugt, wenn sie nie angehalten wird.

[
  {
    "output_tokens_millions": 5,
    "gpu_vps_usd": 365,
    "open_api_usd": 1,
    "small_api_usd": 25,
    "frontier_api_usd": 75
  },
  {
    "output_tokens_millions": 10,
    "gpu_vps_usd": 365,
    "open_api_usd": 2,
    "small_api_usd": 50,
    "frontier_api_usd": 150
  },
  {
    "output_tokens_millions": 25,
    "gpu_vps_usd": 365,
    "open_api_usd": 5,
    "small_api_usd": 125,
    "frontier_api_usd": 375
  },
  {
    "output_tokens_millions": 50,
    "gpu_vps_usd": 365,
    "open_api_usd": 10,
    "small_api_usd": 250,
    "frontier_api_usd": 750
  },
  {
    "output_tokens_millions": 100,
    "gpu_vps_usd": 365,
    "open_api_usd": 20,
    "small_api_usd": 500,
    "frontier_api_usd": 1500
  },
  {
    "output_tokens_millions": 250,
    "gpu_vps_usd": 365,
    "open_api_usd": 50,
    "small_api_usd": 1250,
    "frontier_api_usd": 3750
  },
  {
    "output_tokens_millions": 500,
    "gpu_vps_usd": 365,
    "open_api_usd": 100,
    "small_api_usd": 2500,
    "frontier_api_usd": 7500
  },
  {
    "output_tokens_millions": 1000,
    "gpu_vps_usd": 365,
    "open_api_usd": 200,
    "small_api_usd": 5000,
    "frontier_api_usd": 15000
  }
]

Die GPU-Kosten bleiben mit 365 Dollar konstant, weil die Miete nicht davon abhängt, was Sie mit der Karte tun. Jede API-Kostenlinie ist eine Gerade, die durch den Nullpunkt verläuft. Jedes Linienpaar schneidet sich genau einmal.

Bei 25 Millionen Ausgabetokens pro Monat stellt die Frontier-API 375 Dollar in Rechnung. Damit liegen die beiden Optionen weniger als zehn Dollar auseinander. Bei 50 Millionen stellt das kleine kommerzielle Modell 250 Dollar in Rechnung und ist weiterhin die günstigere Option. Bei 1000 Millionen Ausgabetokens, wofür die Karte 95 % des Monats ausgelastet sein muss, stellt die gehostete API für offene Gewichtungen 200 Dollar in Rechnung, gegenüber derselben Miete. Die Karte ist genau bei dem Volumen, bei dem sie am stärksten ausgelastet ist, um fast den Faktor zwei teurer.

Dieses letzte Ergebnis überrascht viele. Es ist jedoch kein Zufall. Ein gehosteter Endpunkt für ein Modell mit offenen Gewichtungen ist eine mit hoher Auslastung betriebene GPU-Flotte. Sein Preis liegt daher nahe an den Kosten einer vollständig ausgelasteten Karte. Eine gesättigte Flotte lässt sich nicht dadurch unterbieten, dass Sie eine einzelne Karte mieten und sie mit weniger als voller Auslastung betreiben. Unterbieten können Sie jedoch die Preise für Frontier-Modelle. Diese Preise richten sich nach den Fähigkeiten des Modells und nicht nach der Rechenzeit der Hardware.

Kosten pro 1 Million Ausgabetoken bei jedem Auslastungsgrad

Volumen und Auslastungsgrad beschreiben denselben Sachverhalt aus zwei Perspektiven. Die Miete kauft Betriebsstunden. Leerlaufstunden erzeugen nichts und kosten trotzdem Geld.

[
  {
    "label": "100% duty",
    "self_host_usd_per_million": "0.35",
    "open_api_usd_per_million": "0.20",
    "small_api_usd_per_million": "5.00",
    "frontier_api_usd_per_million": "15.00"
  },
  {
    "label": "50% duty",
    "self_host_usd_per_million": "0.69",
    "open_api_usd_per_million": "0.20",
    "small_api_usd_per_million": "5.00",
    "frontier_api_usd_per_million": "15.00"
  },
  {
    "label": "25% duty",
    "self_host_usd_per_million": "1.39",
    "open_api_usd_per_million": "0.20",
    "small_api_usd_per_million": "5.00",
    "frontier_api_usd_per_million": "15.00"
  },
  {
    "label": "10% duty",
    "self_host_usd_per_million": "3.47",
    "open_api_usd_per_million": "0.20",
    "small_api_usd_per_million": "5.00",
    "frontier_api_usd_per_million": "15.00"
  },
  {
    "label": "5% duty",
    "self_host_usd_per_million": "6.94",
    "open_api_usd_per_million": "0.20",
    "small_api_usd_per_million": "5.00",
    "frontier_api_usd_per_million": "15.00"
  },
  {
    "label": "2% duty",
    "self_host_usd_per_million": "17.36",
    "open_api_usd_per_million": "0.20",
    "small_api_usd_per_million": "5.00",
    "frontier_api_usd_per_million": "15.00"
  }
]

Die drei API-Spalten verwenden typische veröffentlichte Listenpreise mit Stand August 2026: 0.20 Dollar pro 1 Million Ausgabetoken für ein gehostetes Open-Weight-Modell mit 8B Parametern, 5.00 Dollar für ein kleines kommerzielles Modell und 15.00 Dollar für ein Frontier-Modell. Diese Werte dienen nur zur Veranschaulichung. Prüfen Sie die aktuelle Preisseite, bevor Sie eine Entscheidung treffen. Wenn Sie statt nutzungsabhängig abgerechneter Token mit einem pauschalen Monatstarif vergleichen, gilt eine andere Abonnementberechnung und der Schnittpunkt verschiebt sich erneut.

Wenn Sie die Karte dauerhaft mit voller Auslastung betreiben, kosten 1 Million Ausgabetoken 0.35 Dollar. Das ist tatsächlich günstig. Bei einem Auslastungsgrad von 10 % kosten dieselben 1 Million Token 3.47 Dollar. Bei 2 % Auslastung kosten sie 17.36 Dollar. Das liegt nicht in derselben Größenordnung wie die 0.20 Dollar, die ein gehostetes Open-Modell für identische Ausgaben berechnet.

Unterhalb eines Auslastungsgrads von etwa 10 % ist das Mieten einer GPU die teurere Option. Sie zahlen 3.47 Dollar pro 1 Million Token für Ausgaben, die für 0.20 Dollar angeboten werden. Mit der Differenz kaufen Sie Privatsphäre und eine Rechnung, die sich nicht verändert. Beides kann einen echten finanziellen Wert haben. Es ist jedoch kein Preisvorteil. Führen Sie diese Faktoren daher nicht als solchen an.

Der Break-even-Umfang für jede API-Stufe

[
  {
    "label": "Hosted open 8B API",
    "breakeven_tokens_millions": 1825,
    "required_duty_pct": 174
  },
  {
    "label": "Small commercial model",
    "breakeven_tokens_millions": 73,
    "required_duty_pct": 6.9
  },
  {
    "label": "Frontier model",
    "breakeven_tokens_millions": 24.3,
    "required_duty_pct": 2.3
  }
]

Gegenüber der Frontier-Stufe benötigen Sie 24.3 Millionen Ausgabetoken pro Monat. Das entspricht nur 2.3% der Leistung, die die Karte erbringen kann. Das ist eine niedrige Schwelle. Ein kleines Team, das während des Arbeitstags Coding-Agenten ausführt, überschreitet sie.

Gegenüber der kleinen kommerziellen Stufe benötigen Sie 73 Millionen Token pro Monat, also einen Auslastungsgrad von 6.9%. Gegenüber der gehosteten Open-Weight-Stufe beträgt der erforderliche Auslastungsgrad 174%. Alles über 100% ist definitionsgemäß nicht erreichbar: Die Karte müsste mehr Stunden laufen, als der Monat enthält. Eine Karte der mittleren Leistungsklasse kann bei diesem Stundensatz in diesem Vergleich nicht gewinnen. Das Ergebnis lässt sich daher nur durch eine günstigere Karte, eine schnellere Karte oder einen Grund ändern, der nicht im Preis liegt.

Was die Formel ausblendet

Die Formel berechnet die Kosten für GPU-Stunden und Tokens. Mehrere reale Kosten werden dabei nicht berücksichtigt.

Kaltstarts. Ein 8B-Modell mit 16-Bit-Gewichten benötigt etwa 16 GB. Das Laden von der lokalen Festplatte in den VRAM dauert mehrere zehn Sekunden. Wenn Sie die Instanz zwischen den Einsätzen stoppen, um Mietkosten zu sparen, warten Sie bei jeder ersten Anfrage erneut. Lassen Sie sie laufen, um diese Wartezeit zu vermeiden, sinkt jedoch die Auslastung. Dadurch steigen die Kosten pro Token. Dieser Zielkonflikt ist der zentrale Grund für serverloses Inference.

Speicher und Download. Modellgewichte sind groß. Ein 8B-Modell mit 16 Bit benötigt etwa 16 GB. Ein auf 4 Bit quantisiertes 30B-Modell benötigt etwa 18 GB. Ein 30B-Modell mit 16 Bit passt überhaupt nicht auf eine 24-GB-Karte. Im oberen Leistungsbereich wird die Grenze schnell erreicht. Ein offenes Modell mit einer Billion Parametern wie Kimi K3 zu betreiben bedeutet, dass allein die Gewichte größer sind als jede einzelne Karte, die Sie stundenweise mieten können. Sie bezahlen diesen Speicher jeden Monat. Bei jedem Neuaufbau bezahlen Sie außerdem mit zusätzlicher Zeit. Führen Sie du -sh ~/.cache/huggingface/hub nach einer Woche mit Experimenten aus. Das Verzeichnis wächst schneller als erwartet, weil jede einmal getestete Quantisierung weiterhin dort liegt.

Ihre eigene Zeit. Treiber- und CUDA-Versionen, Out-of-Memory-Fehler bei einer Kontextlänge, die am Vortag noch funktioniert hat, oder ein Modellupdate, das das Chat-Template ändert: Nichts davon erscheint in einer Kosten-pro-Token-Angabe. Alles davon kostet Sie jedoch Zeit am Abend. Wenn Sie eine solche Instanz noch nicht dimensioniert haben, sollten Sie vor einer monatlichen Anmietung lesen, was ein GPU-VPS tatsächlich bereitstellt.

Der Qualitätsunterschied. Dies ist der größte versteckte Kostenfaktor und am schwierigsten zu beziffern. Ein offenes 8B-Modell ist kein Frontier-Modell. Wenn es drei Versuche benötigt, während das Frontier-Modell einen Versuch benötigt, kostet eine tatsächlich brauchbare Antwort dreimal so viel wie der Diagrammwert. Außerdem kann es die Aufgabe trotzdem nicht lösen. Vergleichen Sie zunächst die Ergebnisse mit Ihren eigenen Prompts und erst danach den Preis. Bei Agent-Workloads besteht die übliche Lösung darin, Anfragen nach ihrem Schwierigkeitsgrad weiterzuleiten und die günstigen lokalen Tokens für Massenaufgaben zu verwenden. Darauf läuft ein großer Teil von der Kostenkontrolle für Agents auf einem VPS hinaus.

Vergessene Abrechnungsposten. Eine gestoppte GPU-Instanz wird häufig weiterhin für den zugeordneten Speicher und die reservierte IP-Adresse abgerechnet. Prüfen Sie die Rechnung und nicht nur die Preisseite.

Wann Self-Hosting aus anderen Gründen als dem Preis sinnvoll ist

Vier Fälle, in denen die Kostenrechnung nicht ausschlaggebend ist.

• Daten, die Ihren Kontrollbereich nicht verlassen dürfen. Wenn eine Compliance-Vorgabe verbietet, den Text an einen Drittanbieter zu übermitteln, ist der Preis pro Token nicht die relevante Frage.
• Konstant hohes Volumen nach einem festen Zeitplan. Ein Batch-Klassifizierungsjob, der jede Nacht sechs Stunden läuft, hat konstruktionsbedingt eine Auslastung von 25 % und verursacht keine überraschenden Kosten.
• Ratenbegrenzungen. Ihre eigene Grafikkarte hat eine Warteschlange, und diese gehört Ihnen.
• Ein Modell, das kein API anbietet. Wenn Sie einen bestimmten Fine-Tuning-Stand benötigen, gibt es nichts, womit Sie ihn vergleichen können.

Wenn Sie zuerst die günstige Variante testen möchten, kostet ein kleines Modell mit Ollama auf einem VPS auszuführen einen Nachmittag. Mit der Dimensionierung eines Open-Source-Modells für die Grafikkarte, die Sie mieten würden ermitteln Sie, welche GPU Sie tatsächlich benötigen. Messen Sie zunächst dort, bevor Sie einen Monat GPU-Mietzeit buchen.

FAQ

Bei welchem monatlichen Token-Volumen ist ein GPU-VPS günstiger als die API-Nutzung?

Teilen Sie die monatlichen Kosten der GPU durch den API-Preis pro Million Ausgabetokens. Eine Karte, die 365 $ pro Monat kostet, erreicht gegenüber einer Frontier-API mit 15.00 Dollar pro Million Tokens den Break-even bei 24.3 Millionen Ausgabetokens pro Monat. Gegenüber einem kleinen kommerziellen Modell mit 5.00 Dollar sind es 73 Millionen. Bei einem gehosteten Open-Weight-Modell mit 0.20 Dollar kann eine einzelne Karte der mittleren Leistungsklasse in einem Monat nicht genügend Tokens erzeugen, um überhaupt den Break-even zu erreichen.

Warum kostet eine gehostete Open-Weight-API weniger als meine eigene GPU?

Der Preis liegt nahe an den Kosten einer vollständig ausgelasteten GPU, während Ihre Karte nicht vollständig ausgelastet ist. Ein Anbieter, der Tausende gleichzeitige Anfragen verarbeitet, hält seine Flotte nahe an der Sättigungsgrenze. Dadurch kann er Tokens nahe den Grenzkosten ihrer Erzeugung verkaufen. Ihre Karte ist die meiste Zeit des Tages ungenutzt, aber Sie zahlen auch für diese ungenutzten Stunden. Bei einer Auslastung von 10 % betragen Ihre Kosten 3.47 Dollar pro Million Ausgabetokens, gegenüber 0.20 Dollar beim Anbieter.

Sollte ich neben den Ausgabetokens auch die Eingabetokens zählen?

Zählen Sie sie mit, wenn Ihre Prompts lang sind. Der Vergleich hier verwendet nur Ausgabetokens, weil diese bei Chat- und Agent-Aufgaben den maßgeblichen Anteil ausmachen. Wenn Sie die Eingabetokens hinzufügen, ändern sich beide Seiten. Bei der API erscheinen sie als separate, günstiger berechnete Position auf der Rechnung. Auf Ihrer eigenen Karte verbraucht das Prefill GPU-Zeit. Die Kosten dafür sind daher bereits in der gemessenen Gesamtzahl der Tokens pro Sekunde enthalten. Messen Sie mit den tatsächlichen Prompt-Längen. Dann bleiben beide Seiten vergleichbar.

Wie messe ich die für die Formel erforderlichen Tokens pro Sekunde?

Stellen Sie das Modell so bereit, wie Sie es verwenden werden. Lesen Sie anschließend die aggregierte Generierungsrate bei realer gleichzeitiger Auslastung ab. Mit Ollama gibt ollama run <model> --verbose eine eval rate in Tokens pro Sekunde aus. Das ist jedoch nur ein einzelner Stream und unterschätzt die Leistung eines Servers mit Batching. Bei vLLM protokolliert der laufende Server Avg generation throughput, während Anfragen verarbeitet werden. Diesen Wert sollten Sie verwenden. Beobachten Sie gleichzeitig nvidia-smi. Wenn die GPU-Auslastung während der Generierung nicht nahe 100 % liegt, haben Sie die Leistungsgrenze noch nicht erreicht.

Lohnt sich das Mieten eines GPU-VPS bei weniger als 10 % Auslastung?

Nicht aus Kostengründen. Bei einer Auslastung von 10 % zahlen Sie 3.47 Dollar pro Million Ausgabetokens, bei 2 % sind es 17.36 Dollar. Beide Werte liegen in diesem Vergleich über jeder nutzungsabhängig abgerechneten API mit Ausnahme der Frontier-Stufe. Mieten Sie unterhalb dieser Grenze nur dann, wenn Sie für Datenschutz oder ein Modell bezahlen, das keine API anbietet.