Claude selbst hosten: Die ehrliche Antwort

Können Sie Claude selbst hosten? Nein, und das ist der Grund

Sie können Claude nicht selbst hosten. Anthropic veröffentlicht die Modellgewichte nicht. Daher gibt es keine Datei zum Herunterladen, keinen Container zum Ausführen und keine Lizenz, mit der Sie das Modell auf Ihrer eigenen Hardware bereitstellen könnten. Jede Claude-Anfrage geht an die API von Anthropic oder an einen gehosteten Partner wie Amazon Bedrock, Google Vertex AI oder Microsoft Foundry. Claude auf einem eigenen Rechner auszuführen, ist kein Konfigurationsproblem. Das erforderliche Artefakt existiert außerhalb von Anthropic schlicht nicht.

Das ist die kurze Antwort. Die längere Antwort lautet: Die meisten Personen, die diese Frage stellen, benötigen die Modellgewichte tatsächlich nicht. Sie benötigen eines von drei Dingen, die alle auf einem von Ihnen kontrollierten Server möglich sind: ein leistungsfähiges Modell, das lokal ausgeführt wird, ein Gateway, das Ihre API-Schlüssel verwaltet und Ihre Ausgaben begrenzt, oder einen Coding-Agent, der auf Ihrem eigenen Rechner statt auf Ihrem Laptop läuft. Dieser Leitfaden behandelt alle drei Varianten einschließlich der Befehle.

Was „self-hosted Claude“ normalerweise bedeutet

Suchanfragen nach „self hosted Claude“ beziehen sich auf mehrere unterschiedliche Anforderungen. Dafür gibt es jeweils andere Lösungen.

Manche Nutzer möchten den Datenschutz verbessern. Ihre Prompts sollen das eigene Netzwerk nicht verlassen. Das lässt sich nur mit einem lokalen Modell mit offenen Gewichten erreichen, weil jede Claude-Anfrage definitionsgemäß an Anthropic gesendet wird.

Manche Nutzer möchten die Kosten kontrollieren. Sie befürchten, dass ein außer Kontrolle geratener Agent zu viele Credits verbraucht. Ein Gateway löst dieses Problem. Es funktioniert mit Claude, sodass die Modellqualität erhalten bleibt.

Manche Nutzer möchten nicht von einem Laptop abhängig sein. Sie möchten, dass ein Agent weiterarbeitet, während der Laptop zugeklappt ist. Ein VPS löst dieses Problem. Claude Code läuft darauf problemlos.

Manche Nutzer suchen nach einem „self hosted OpenRouter“. Auch das ist ein Gateway. Die übliche Lösung dafür ist LiteLLM.

Finden Sie zuerst heraus, welcher Anwendungsfall auf Sie zutrifft. Der richtige Aufbau unterscheidet sich in jedem Fall.

Ein Open-Weight-Modell mit Ollama selbst hosten

Wenn kein Prompt Ihren Server verlassen darf, verwenden Sie ein Open-Weight-Modell. Die Modellfamilien, die sich heute auf einem gemieteten Server tatsächlich einsetzen lassen, sind Llama, Qwen, Mistral, Gemma und DeepSeek. Für alle diese Familien werden Weights veröffentlicht, die Sie herunterladen und ausführen können.

Ollama ist der schnellste Einstieg. Das Installationsskript besteht aus einer Zeile und richtet unter Ubuntu einen systemd-Dienst ein.

curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama

systemctl status ollama sollte active (running) ausgeben. Laden Sie anschließend ein Modell herunter und senden Sie ihm eine Anfrage.

ollama pull qwen3:8b
ollama run qwen3:8b "Summarise what a reverse proxy does in two sentences."

Beim ersten pull werden mehrere Gigabyte heruntergeladen. Das Modell muss daher in den Arbeitsspeicher oder den GPU-Speicher passen, bevor es Anfragen beantworten kann. Als grobe Faustregel für quantisierte Modelle gilt: Ein Modell mit 8 Milliarden Parametern benötigt etwa 6 GB freien Speicher, ein Modell mit 14 Milliarden Parametern etwa 10 GB. Ein Modell mit 70 Milliarden Parametern benötigt mehr Speicher, als die meisten VPS-Tarife für allgemeine Zwecke bereitstellen. Wenn der Server zu wenig Speicher hat, beendet der Kernel den Prozess. Sie sehen dann Error: llama runner process has terminated und in dmesg eine Zeile mit einem Out-of-Memory-Fehler. Prüfen Sie free -h, bevor Sie das Modell dafür verantwortlich machen. Das gleiche Speicherbudget bestimmt außerdem, wie viel eines langen Prompts das Modell tatsächlich liest. Ollama kürzt alles nach einem relativ kleinen Standardfenster stillschweigend ab. Wenn lange Dokumente daher nur teilweise zusammengefasst zurückkommen, sollten Sie zuerst num_ctx erhöhen und den KV-Cache dimensionieren.

Ollama stellt außerdem eine HTTP-API unter 127.0.0.1:11434 bereit. Dadurch kann andere Software darauf zugreifen, statt Ollama nur als Chat-Anwendung zu verwenden.

curl http://127.0.0.1:11434/api/generate -d '{"model":"qwen3:8b","prompt":"ping","stream":false}'

Wenn die erste Anfrage nach einer längeren Pause 30 Sekunden dauert und die nächste sofort beantwortet wird, ist nichts defekt: Ollama entfernt das Modell nach fünf Minuten ohne Aktivität aus dem Speicher. Mit keep_alive bleibt es resident und muss nicht erneut geladen werden.

Binden Sie diesen Port an localhost. Ein offener Ollama-Port auf einer öffentlichen IP-Adresse stellt jedem, der ihn findet, kostenlos GPU-Ressourcen bereit. Der vollständige Aufbau einschließlich der systemd-Unit, der GPU-Erkennung und eines vorgeschalteten Reverse Proxys wird im Leitfaden zum Betrieb von Ollama auf einem VPS beschrieben. Wenn Sie mehr als einen Benutzer gleichzeitig bedienen, lesen Sie zuerst den Vergleich von Ollama und vLLM. Ollamas Design mit einem einzelnen Stream wird deutlich früher zum Engpass als die Hardware.

Seien Sie beim Vergleich realistisch. Ein gutes Open-Weight-Modell auf einem mittelgroßen VPS ist für Zusammenfassungen, Klassifizierung, Entwürfe und einfache Extraktion tatsächlich nützlich. Bei langen mehrstufigen Schlussfolgerungen, großen Codebasen und agentischer Tool-Nutzung kommt es nicht annähernd an ein gehostetes Frontier-Modell heran. Keine Optimierung der Prompts schließt diese Lücke. Wählen Sie das lokale Modell für Aufgaben, die es gut bewältigt, und verwenden Sie das gehostete Modell dort, wo die Aufgabe tatsächlich schwierig ist.

Betreiben Sie Ihr eigenes Gateway mit LiteLLM

Dies ist das „selbst gehostete OpenRouter“, nach dem viele suchen. Ein Gateway fungiert als Vermittler zwischen Ihren Anwendungen und jedem Modell-Anbieter. Ihre Anwendungen verwenden einen einzigen Schlüssel, der auf Ihren Server verweist. Die tatsächlichen Anbieter-Schlüssel befinden sich ausschließlich auf diesem Server. Sie können die Ausgaben pro Schlüssel begrenzen, verschiedene Anwendungen an unterschiedliche Modelle weiterleiten und jede Anfrage zentral protokollieren.

LiteLLM ist die gängige Wahl, da es eine OpenAI-kompatible API bereitstellt und Anfragen an Anthropic, Ollama sowie die meisten anderen Anbieter über denselben Endpunkt weiterleitet. Betreiben Sie es in Docker mit einer Konfigurationsdatei.

model_list:
  - model_name: claude
    litellm_params:
      model: anthropic/claude-sonnet-5
      api_key: os.environ/ANTHROPIC_API_KEY
  - model_name: local
    litellm_params:
      model: ollama/qwen3:8b
      api_base: http://127.0.0.1:11434

Speichern Sie dies als litellm_config.yaml und starten Sie den Proxy. Er hört auf Port 4000.

docker run -v $(pwd)/litellm_config.yaml:/app/config.yaml \
  -e ANTHROPIC_API_KEY=$ANTHROPIC_API_KEY \
  -e LITELLM_MASTER_KEY=sk-1234 \
  -p 4000:4000 docker.litellm.ai/berriai/litellm:latest \
  --config /app/config.yaml

LITELLM_MASTER_KEY ist das Administratorkennwort. Behandeln Sie es daher wie ein root-Passwort und verwenden Sie den Beispielwert nicht. Sprechen Sie den Proxy exakt so an, wie Sie eine gehostete API ansprechen würden.

curl http://localhost:4000/v1/chat/completions \
  -H 'Authorization: Bearer sk-1234' \
  -H 'Content-Type: application/json' \
  -d '{"model": "claude","messages": [{"role": "user","content": "Say hello in five words."}]}'

Eine erfolgreiche Antwort ist ein normales JSON mit einem choices-Array. Ein 401 deutet auf einen Authentifizierungsfehler hin. Bei diesem Setup ist die häufigste Ursache ein Authorization-Header, der nicht mit Ihrem Master-Schlüssel übereinstimmt. LiteLLM gibt diesen Fehler auch bei einem ungültigen virtuellen Schlüssel zurück. Zudem schlägt die Authentifizierung fehl, wenn ein Anbieter-Schlüssel vom Anbieter abgelehnt wird (etwa bei einem fehlerhaften ANTHROPIC_API_KEY); der Name des Anbieters erscheint dann in der Fehlermeldung im Format <Provider>Exception. Ein 400, das das Modell benennt, bedeutet oft, dass das model in Ihrer Anfrage mit keinem model_name in der Konfigurationsdatei übereinstimmt. LiteLLM gibt zudem 400 zurück, wenn eine Anfrage das Kontextfenster des Modells überschreitet. Lesen Sie daher die Fehlermeldung, bevor Sie die Konfiguration bearbeiten.

Der Grund, dies aufzubauen, anstatt Anthropic direkt aufzurufen, ist das Ausgabenlimit. Stellen Sie für jede Anwendung einen separaten virtuellen Schlüssel mit eigenem Budget aus.

curl 'http://0.0.0.0:4000/key/generate' \
--header 'Authorization: Bearer sk-1234' \
--header 'Content-Type: application/json' \
--data-raw '{"models": ["claude"], "max_budget": 100}'

Virtuelle Schlüssel und Budgets erfordern eine Postgres-Datenbank hinter dem Proxy. Das obige docker run enthält keine, fügen Sie daher zuerst -e DATABASE_URL=postgresql://user:password@host:5432/litellm hinzu. Ohne Datenbank schlägt dieser Aufruf mit No connected db. fehl.

Dieser Schlüssel kann ein Budget von einhundert Dollar nutzen und auf ein Modell zugreifen, jedoch auf nichts anderes. Wenn sich ein Agent um drei Uhr morgens fehlerhaft verhält, ist der Schadensradius auf einen Schlüssel begrenzt und betrifft nicht Ihr gesamtes Konto. Dieses Muster sowie die damit verbundene Überwachung sind das Thema von Agentenkosten auf einem VPS unter Kontrolle halten. Falls Sie noch entscheiden, ob Sie überhaupt pro Token bezahlen möchten, erläutert der Kostenvergleich zwischen API und Abonnement die mathematischen Grundlagen.

Beachten Sie, was das Gateway nicht leistet. Es macht Claude nicht lokal verfügbar und verbirgt Ihre Prompts nicht vor Anthropic. Anfragen verlassen weiterhin Ihren Server in Richtung des Anbieters. Was Sie gewinnen, ist die Kontrolle über Schlüssel, Ausgaben, Routing und Protokolle.

Führen Sie Claude Code auf Ihrem eigenen VPS aus

Der dritte Wunsch lässt sich am einfachsten erfüllen. Claude Code ist ein Client. Es wird als einzelne native Binärdatei installiert und kommuniziert über HTTPS mit der API. Wenn Sie es auf einem Server installieren, den Sie besitzen, arbeitet der Agent weiter, nachdem Sie Ihren Laptop ausgeschaltet haben. Außerdem beschränkt sich die Auswirkung eines Fehlers auf eine Maschine, die Sie neu aufsetzen können, statt auf Ihren Hauptrechner.

npm install -g @anthropic-ai/claude-code
claude --version

Das npm-Paket benötigt Node.js 22 oder höher. Auf einem älteren Node.js gibt die Installation jedoch nur eine EBADENGINE-Warnung aus und wird trotzdem abgeschlossen. Das von Anthropic empfohlene native Installationsprogramm curl -fsSL https://claude.ai/install.sh | bash benötigt Node.js überhaupt nicht. In beiden Fällen läuft die installierte claude-Binärdatei nicht auf Node. Anthropic nennt 4 GB RAM als Mindestanforderung. Planen Sie den VPS entsprechend.

Führen Sie es innerhalb von tmux aus, damit eine getrennte SSH-Verbindung keinen langen Auftrag beendet. Diese Konfiguration einschließlich der Sitzungsverwaltung wird in Claude Code mit tmux auf einem VPS ausführen beschrieben. Geben Sie dem Agenten einen eigenen Benutzer ohne privilegierte Rechte. Lesen Sie die Sicherheitsregeln für Claude Code auf einem Server bevor Sie ihm Schreibzugriff auf wichtige Daten geben.

Hier hosten Sie den Agenten selbst, nicht das Modell. Eine genaue Unterscheidung ist wichtig, weil beides häufig verwechselt wird. Ihnen gehören der Prozess, das Dateisystem, der ausgehende Netzwerkverkehr und die Logs. Anthropic betreibt weiterhin die Inferenz.

Was jede Option tatsächlich kostet

Preise ändern sich. Betrachten Sie diese Angaben daher als Größenordnung und nicht als Angebot. Am 17. Oktober 2026 wird Claude Sonnet 5.5 mit $2 pro Million Input-Tokens und $10 pro Million Output-Tokens angegeben, Claude Opus 5.5 mit $4 beziehungsweise $20. Sonnet 5, das Modell in der obigen Gateway-Konfiguration, wurde durch Sonnet 5.5 abgelöst, ist aber nicht veraltet: Auf der Seite zu den Modellabkündigungen von Anthropic wird es als Active geführt, mit einem Rückzug nicht vor dem 30. Juni 2027. Es kostet weiterhin dieselben $2 und $10. Opus 5 wird weiterhin mit $5 und $25 angegeben. Ein lokales Modell kostet nichts pro Token. Stattdessen kostet es den monatlichen Preis des Servers, der unabhängig von seiner Nutzung läuft.

Der Break-even-Punkt liegt niedriger als viele erwarten. Ein VPS mit genügend Arbeitsspeicher für ein brauchbares Open Model kostet jeden Monat echtes Geld und ist die meiste Zeit ungenutzt. Bei schwankender Nutzung ist die gehostete API normalerweise günstiger. Bei konstanter Nutzung oder wenn Ihre Daten Ihr Netzwerk nicht verlassen dürfen, ist das lokale Modell in beiden Punkten vorteilhaft.

Die ehrliche gemischte Antwort ist die, bei der die meisten Teams landen. Führen Sie ein Open Model lokal für Aufgaben mit hohem Volumen und geringer Schwierigkeit aus. Leiten Sie schwierige Anfragen an ein gehostetes Frontier-Modell weiter. Setzen Sie ein Gateway vor beide Modelle, damit die Anwendungen nicht wissen müssen, welches Modell verwendet wird. So können Sie die Aufteilung ändern, ohne Anwendungscode anzupassen. Diese Architektur ist die praktische Version von „self-hosted Claude“. Anders als die wörtliche Version existiert sie. Wenn Sie außerdem den gesamten Agent-Stack selbst betreiben möchten, behandelt die Übersicht selbst gehosteter KI-Agenten, was verfügbar ist.

FAQ

Kann ich Claudes Modellgewichte herunterladen und lokal ausführen?

Nein. Anthropic hat noch nie Gewichte für ein Claude-Modell veröffentlicht, und es gibt keine Lizenz, die Self-Hosting erlaubt. Alles, was online als herunterladbares „Claude-Modell“ beworben wird, ist entweder ein anderes Modell mit irreführendem Namen oder ein Wrapper, der die API aufruft. Wenn ein API-Schlüssel erforderlich ist, läuft es nicht lokal.

Welches Open Model kommt Claude am nächsten?

Es gibt keine exakte Entsprechung, und die führenden Modelle ändern sich alle paar Monate. Die Open-Weight-Modellfamilien Llama, Qwen, Mistral, Gemma und DeepSeek sind einen Test wert. Für Zusammenfassungen, Klassifizierung und einfache Codeänderungen ist ein gutes Open Model mit 8 bis 14 Milliarden Parametern tatsächlich nützlich. Bei langem mehrstufigem Reasoning und der agentischen Nutzung von Tools ist der Abstand zu einem gehosteten Frontier-Modell weiterhin groß. Testen Sie Ihre eigenen Prompts, statt sich auf ein Leaderboard zu verlassen.

Ist LiteLLM ein selbst gehostetes OpenRouter?

Funktional ja, was Routing und Schlüsselverwaltung betrifft. LiteLLM läuft auf Ihrem Server, stellt einen einzelnen OpenAI-kompatiblen Endpunkt bereit und fungiert als Proxy für Anthropic, Ollama und die meisten anderen Anbieter. Sobald eine Postgres-Datenbank angebunden ist, erhalten Sie Ausgabenlimits pro Schlüssel, außerdem Model-Routing und eine zentrale Stelle zum Lesen der Logs. Lokale Inferenz bietet LiteLLM jedoch nicht: Anfragen an Claude werden weiterhin an Anthropic übertragen.

Bleibt mein Code privat, wenn ich Claude Code auf meinem eigenen Server ausführe?

Nein. Claude Code sendet die Inhalte der gelesenen Dateien an die Anthropic API, unabhängig davon, wo der Prozess ausgeführt wird. Ein VPS isoliert den Agenten, schützt aber nicht die Vertraulichkeit der Inhalte. Weisen Sie ihm einen eigenen unprivilegierten Benutzer zu, halten Sie ihn von Zugangsdaten und nicht zugehörigen Repositories fern und behandeln Sie alles, was er lesen kann, als Inhalt, der den Server verlässt.