SSD Nodes Learn Hosting plans →
Anleitungen Matt ConnorVon Matt Connor · Aktualisiert 2026-10-28

Ollama Cloud oder eigener Server: Was ändert sich?

Ollama Cloud und ein eigener Ollama-Server nutzen denselben CLI-Befehl und dieselbe REST API. Erfahren Sie, welche Einstellungen wechseln und was Ihr Rechner verlässt.

Was Ollama Cloud ändert und was nicht

Ollama Cloud führt das Modell auf ollama.com statt auf Ihrer eigenen Hardware aus. Dabei bleiben derselbe ollama-Befehl und dieselbe REST API erhalten, die Sie bereits verwenden. Zwei Dinge ändern sich: der Modellname, den Sie anfordern, und der Speicherort der Zugangsdaten. Der Rest Ihrer Anwendung bleibt unverändert. Eine dokumentierte Ausnahme betrifft strukturierte Ausgaben und wird weiter unten behandelt.

Diese Bequemlichkeit birgt auch ein Risiko. Eine Anfrage an ein Cloud-Modell sieht in Ihrem Code genauso aus wie eine Anfrage an ein lokales Modell. Deshalb kann leicht unklar werden, welche Prompts auf einem von Ihnen kontrollierten Rechner ausgeführt und welche an ein Unternehmen gesendet werden, das Sie nicht kontrollieren. Dieser Leitfaden zeigt diese Grenze und anschließend, wie Sie ein lokales Modell als Fallback behalten. So legt ein einzelner Konfigurationswert fest, auf welcher Seite dieser Grenze Sie sich befinden.

Wenn Sie die lokale Seite noch nicht eingerichtet haben, beginnen Sie zuerst mit Ollama auf Ihrem eigenen VPS ausführen. Im Folgenden wird ein funktionierendes ollama auf einem Linux-Rechner vorausgesetzt.

Zwei Wege zu Ollama Cloud

Es gibt zwei Wege zu den gehosteten Modellen. Sie sind nicht austauschbar. Ihre Wahl bestimmt, wo das Zugangstoken gespeichert wird, welchen Modellnamen Sie angeben und was eine Paketaufzeichnung auf Ihrem Server zeigen würde.

Weg eins: Ihr lokaler Daemon leitet die Anfrage weiter. Sie melden sich einmal an und fordern anschließend ein Modell an, dessen Name auf -cloud endet.

ollama signin
ollama pull gpt-oss:120b-cloud
ollama run gpt-oss:120b-cloud

Einige Cloud-Modelle tragen stattdessen ein einfaches cloud-Tag, zum Beispiel gemma4:cloud. Dies ist die Form, die die Cloud-Dokumentation von Ollama inzwischen für die Anwendung und die CLI zeigt. Behandeln Sie beide Endungen, -cloud und :cloud, als Cloud-Modell.

ollama signin verknüpft diesen Rechner mit Ihrem ollama.com-Konto. ollama signout hebt die Verknüpfung auf. Nach der Anmeldung kommuniziert Ihre Anwendung weiterhin mit dem lokalen Port, den sie bisher verwendet hat:

curl http://localhost:11434/api/chat -d '{
  "model": "gpt-oss:120b-cloud",
  "messages": [{"role": "user", "content": "Why is the sky blue?"}],
  "stream": false
}'

Lesen Sie diese URL noch einmal. Dort steht localhost, aber die Inferenz findet nicht dort statt. Der lokale Daemon erkennt das Suffix -cloud, leitet die Anfrage an ollama.com weiter und streamt die Antwort zurück. Das ist der gesamte Zweck von Weg eins: Eine Anwendung, die bereits auf die Ollama API auf Port 11434 zeigt, behält ihre URL und ihren Client-Code. Für normale Chats benötigt sie lediglich eine andere Modellzeichenfolge. Eine Ausnahme bilden strukturierte Ausgaben. In der Ollama-Dokumentation steht: „Ollamas Cloud unterstützt derzeit keine strukturierten Ausgaben.“ Eine Anwendung, die im Parameter format ein JSON-Schema übergibt und darauf angewiesen ist, dass die Antwort diesem Schema entspricht, muss daher vor dem Wechsel zu einem Cloud-Modell angepasst werden: Validieren Sie die Antwort in Ihrem eigenen Code und wiederholen Sie die Anfrage, oder führen Sie diesen Aufruf weiterhin mit einem lokalen Modell aus.

Weg zwei: Ihr Client ruft ollama.com direkt auf. Der lokale Daemon ist dabei überhaupt nicht beteiligt. Erstellen Sie unter https://ollama.com/settings/keys einen Schlüssel und senden Sie ihn anschließend als Bearer-Token.

export OLLAMA_API_KEY=your_api_key
curl https://ollama.com/api/chat \
  -H "Authorization: Bearer $OLLAMA_API_KEY" \
  -d '{
    "model": "gpt-oss:120b",
    "messages": [{"role": "user", "content": "Why is the sky blue?"}],
    "stream": false
  }'

Beachten Sie den Modellnamen. Bei Weg zwei lautet er gpt-oss:120b, ohne das Suffix -cloud. Das Suffix teilt Ihrem lokalen Daemon mit, dass er die Anfrage an den Upstream weiterleiten soll. Es gehört daher ausschließlich zu Weg eins. Wenn Sie https://ollama.com aufrufen, befinden Sie sich bereits dort und geben den einfachen Namen an. Die maßgebliche Liste dieser Namen liefert der Host selbst:

curl https://ollama.com/api/tags

Führen Sie stattdessen diesen Befehl aus. Verlassen Sie sich nicht auf eine Modellliste, die in einem Artikel abgedruckt ist, auch nicht auf diese. Der Katalog ändert sich, und api/tags ist immer aktuell.

Welche Client-Aufrufe ändern sich und welche nicht

Die offiziellen Python- und JavaScript-Bibliotheken erhalten Host und Header beim Erstellen des Clients. Nach dieser Zeile bleibt alles unverändert. In Pfad eins ist der Konstruktor leer, weil standardmäßig der lokale Daemon verwendet wird:

from ollama import Client

client = Client()

messages = [{'role': 'user', 'content': 'Why is the sky blue?'}]

for part in client.chat('gpt-oss:120b-cloud', messages=messages, stream=True):
  print(part['message']['content'], end='', flush=True)

In Pfad zwei enthält der Konstruktor Host und Token:

import os
from ollama import Client

client = Client(
    host="https://ollama.com",
    headers={'Authorization': 'Bearer ' + os.environ.get('OLLAMA_API_KEY')}
)

messages = [{'role': 'user', 'content': 'Why is the sky blue?'}]

for part in client.chat('gpt-oss:120b', messages=messages, stream=True):
  print(part['message']['content'], end='', flush=True)

Der Aufruf client.chat(), die Streaming-Schleife, die Nachrichtenliste und die Struktur der Antwort sind in beiden Fällen identisch. Deshalb ist der Wechsel zwischen einem gehosteten und einem selbst gehosteten Dienst eine Konfigurationsänderung und keine Neuentwicklung. Das gilt nicht, wenn ein Aufruf von strukturierten Ausgaben abhängt, die Ollamas Cloud derzeit nicht unterstützt. Die OpenAI-kompatible Schnittstelle verhält sich lokal genauso: Richten Sie ein OpenAI-SDK auf http://localhost:11434/v1/ mit api_key='ollama', einem Platzhalter, den das SDK verlangt und den der lokale Server ignoriert.

Wo das Zugangsdaten-Token liegt und wer es verwenden kann

Bei Pfad zwei steht das Zugangsdaten-Token als OLLAMA_API_KEY in Ihrer Umgebung. Halten Sie es aus der Shell-History und aus Ihrem Repository heraus. Legen Sie es bei einem systemd-Dienst in einer Environment=-Zeile oder in einer root gehörenden Umgebungsdatei mit dem Modus 600 ab.

Pfad eins überrascht viele. Die Anmeldung gehört zum Daemon, nicht zu Ihnen. Die Ollama-FAQ dokumentiert die Dienstidentität unter Linux in /usr/share/ollama/.ollama/id_ed25519.pub. Diese Datei gehört dem Dienstbenutzer ollama. Die lokale API verwendet keine Authentifizierung pro Anfrage. Daher übernimmt jeder Aufrufer, der Port 11434 erreichen kann, Ihr Konto und verbraucht Ihr Kontingent. Solange der Daemon auf dem Loopback-Interface lauscht, ist das unproblematisch. Sobald Sie OLLAMA_HOST=0.0.0.0:11434 setzen, damit ein anderer Rechner den Dienst erreicht, wird aus einem offenen Port eine offene Abrechnungsbeziehung. Lesen Sie daher wie Sie eine Ollama-API mit vorgeschalteter Authentifizierung absichern, bevor Sie die Bind-Adresse erweitern.

Warum dasselbe Modell lokal weniger Kontext bietet

Dieser Unterschied überrascht viele, die davon ausgehen, dass sich ein Modell auf beiden Wegen identisch verhält. Das ist nicht der Fall. Die Ursache ist der verfügbare Speicher.

Ollama wählt anhand des auf dem System verfügbaren Grafikspeichers eine lokale Standardgröße für den Kontext.

DiagrammOllama documented default context length by local VRAM, October 2026
Die Daten hinter diesem Diagramm
[
  {
    "label": "Under 24 GiB VRAM",
    "default_context_tokens": "4,096"
  },
  {
    "label": "24 to 48 GiB VRAM",
    "default_context_tokens": "32,768"
  },
  {
    "label": "48 GiB VRAM or more",
    "default_context_tokens": "262,144"
  }
]

Ein VPS ohne GPU liegt in der untersten Stufe. Deshalb startet ein lokales Modell mit einem Kontext von 4,096 Tokens, während ein System mit einer großen Grafikkarte mit 262,144 Tokens startet. Cloud-Modelle ignorieren diese Stufen. Laut Ollama werden sie standardmäßig auf ihre maximale Kontextlänge gesetzt, weil der Speicher für diesen Kontext nicht Ihnen gehört.

Dieselbe Eingabe, die mit gpt-oss:120b-cloud funktioniert, kann bei einem lokalen Modell auf einem System mit wenig Speicher unbemerkt abgeschnitten werden. Erhöhen Sie die lokale Obergrenze ausdrücklich:

OLLAMA_CONTEXT_LENGTH=32768 ollama serve

Setzen Sie sie unter systemd als Environment="OLLAMA_CONTEXT_LENGTH=32768" mit systemctl edit ollama.service und führen Sie anschließend systemctl daemon-reload && systemctl restart ollama aus. Beachten Sie die Auswirkungen: Ein längerer Kontext bedeutet einen größeren Key-Value-Cache. Dieser Cache benötigt zusätzlich zum Speicher für die Modellgewichte RAM. Wenn Sie den Wert zu hoch setzen, wird die Generierung langsamer oder das Modell kann nicht geladen werden. num_ctx und OLLAMA_CONTEXT_LENGTH korrekt festlegen erläutert die Berechnung. Welche Modelle in den tatsächlich verfügbaren Speicher passen behandelt die Modellgewichte.

Was Ihre Maschine tatsächlich verlässt

Seien Sie hier genau, denn genau deshalb hosten die meisten Leser Dienste selbst.

Bei lokalem Betrieb verlässt nichts die Maschine. In der Datenschutzrichtlinie von Ollama steht ausdrücklich: Für die lokale Nutzung gilt: „We do not collect, store, transmit, or have access to your prompts, responses, model interactions, or other content you process locally.“ Ein Vorbehalt bleibt: Das Abrufen eines Modells ist weiterhin ein Download von ollama.com. In der Richtlinie werden außerdem „model download metadata“ und Ihre IP-Adresse als erfasste Daten aufgeführt. Die Registry erfährt, welche Modelle Sie abgerufen haben. Sie erfährt nicht, was Sie diese Modelle gefragt haben.

Beim Betrieb über den Cloud-Pfad werden der vollständige Prompt und die vollständige Antwort an einen Drittanbieter übertragen. Eine teilweise Variante davon gibt es nicht. Jedes von Ihnen gesendete und jedes von Ihnen empfangene Token wird auf ollama.com verarbeitet. In der Richtlinie heißt es, das Unternehmen verarbeite „your prompts and responses transiently to provide the service“ und verwende „not use your inputs or outputs to train any AI models“. Außerdem beschreibt die Richtlinie „technical measures designed to minimize retention of prompt and response content“. Das ist eine angemessene Zusage. Es bleibt jedoch eine Zusage eines anderen Anbieters für Daten, die Sie ihm übergeben haben, und keine Eigenschaft Ihrer eigenen Maschine. Bewerten Sie sie so, wie Sie jede Zusage eines Anbieters bewerten würden. Lesen Sie die Richtlinie erneut, bevor Sie Daten senden, zu deren Aufbewahrung auf Ihrer eigenen Infrastruktur Sie vertraglich oder gesetzlich verpflichtet sind.

Die Falle liegt in Pfad eins. Ihr Code enthält http://localhost:11434, Ihre Firewall-Regeln sind unverändert, und Ihr Prompt wird weiterhin über das Internet übertragen, weil das Suffix -cloud im Modellnamen das Routing festlegt. Eine localhost-URL sagt nichts darüber aus, wo die Inferenz stattgefunden hat. Das übernimmt der Modellname. Das ist besonders relevant, wenn der Prompt Daten enthält, die Sie ausdrücklich selbst hosten, um sie vertraulich zu halten: Wenn Sie einen selbst gehosteten Standort-Tracker betreiben, damit Ihr Bewegungsverlauf niemals einen Drittanbieter erreicht, wird dieser Verlauf trotzdem an ollama.com übertragen, wenn Sie ein -cloud-Modell bitten, eine Woche davon zusammenzufassen.

Auf einem Server, der niemals einen Prompt weiterleiten darf, sollten Sie diese Auswahl vollständig unterbinden. Ollama dokumentiert einen rein lokalen Modus: Setzen Sie OLLAMA_NO_CLOUD=1 in der Dienstumgebung oder "disable_ollama_cloud": true in ~/.ollama/server.json und starten Sie den Dienst anschließend neu. Der Daemon verliert den Zugriff auf Cloud-Modelle und die Websuche. Dadurch kann ein versehentlich verwendeter Cloud-Modellname keine Daten nach außen übertragen.

Lokales Modell als Fallback beibehalten

Da beide Pfade dieselbe API verwenden, können Sie die Auswahl als Laufzeiteinstellung statt als Abzweigung im Code umsetzen.

Die einfachste Variante benötigt überhaupt keinen Code. Lassen Sie Ihre Anwendung auf den lokalen Daemon zeigen und legen Sie den Modellnamen in der Konfiguration ab. Setzen Sie ihn auf llama3.2, läuft die Anwendung auf Ihrem eigenen Rechner. Setzen Sie ihn auf gpt-oss:120b-cloud, leitet derselbe Daemon die Anfragen an ollama.com weiter. Eine Umgebungsvariable genügt; ein erneutes Deployment ist nicht erforderlich.

Wenn das lokale Modell standardmäßig verwendet werden und die Cloud nur bei Überlastung einspringen soll, erzeugen Sie beide Clients und wählen Sie pro Anfrage:

import os
from httpx import ConnectError
from ollama import Client, ResponseError

LOCAL_MODEL = os.environ.get("LOCAL_MODEL", "llama3.2")
CLOUD_MODEL = os.environ.get("CLOUD_MODEL", "gpt-oss:120b")

local = Client(host="http://127.0.0.1:11434")
cloud = Client(
    host="https://ollama.com",
    headers={"Authorization": "Bearer " + os.environ["OLLAMA_API_KEY"]},
)

def chat(messages):
    try:
        return local.chat(LOCAL_MODEL, messages=messages)
    except (ConnectError, ResponseError) as err:
        print(f"local inference failed ({err}); sending this prompt to ollama.com")
        return cloud.chat(CLOUD_MODEL, messages=messages)

httpx wird als Abhängigkeit des Pakets ollama installiert. Sie müssen daher nichts zusätzlich installieren. ConnectError behandelt den Fall, dass der Daemon nicht läuft. ResponseError behandelt den Fall, dass der Daemon läuft, Anfragen aber ablehnt, etwa weil das lokale Modell noch nie heruntergeladen wurde.

Die Zeile print ist nicht bloß dekorativ. Ein stiller Fallback führt dazu, dass ein Prompt, den Sie auf Ihrer eigenen Hardware behalten wollten, beim ersten Neustart des Daemons während eines Upgrades unbemerkt an einen Dritten gesendet wird. Protokollieren Sie jeden Fallback. Bei sensiblen Daten sollten Sie den Fehler auslösen, statt auf den Fallback auszuweichen. Für ein datenschutzorientiertes Deployment ist es am sichersten, bei Fehlern den Vorgang ausdrücklich abzubrechen.

Ein weiterer Punkt macht das lokale Modell zu einer zuverlässigen Standardeinstellung: Halten Sie es im Speicher. Das Laden eines nicht residenten Modells kann auf einem VPS ohne GPU mehrere zehn Sekunden dauern. Das veranlasst Benutzer häufig erst, auf den Cloud-Pfad auszuweichen. Modell mit keep_alive im Speicher halten entfernt diese Verzögerung bei der ersten Anfrage.

Was Sie vor der Beauftragung vergleichen sollten

Vergleichen Sie nicht ausschließlich nach dem Preis, und vertrauen Sie keinem Preis, den Sie in einem Artikel lesen, einschließlich des Datums dieses Artikels. Vergleichen Sie vier Punkte und prüfen Sie jeden davon auf den Seiten des jeweiligen Anbieters:

  • Modellverfügbarkeit. Führen Sie curl https://ollama.com/api/tags für den aktuellen Hosted-Katalog aus. Die Modelle, die Sie lokal ausführen können, werden stattdessen durch Ihren RAM und VRAM begrenzt.
  • Kontextlimits. Hosted-Modelle verwenden standardmäßig ihr maximales Limit. Lokale Modelle verwenden standardmäßig das VRAM-Tier wie oben beschrieben. Wenn Ihre Workload aus langen Dokumenten besteht, entscheidet dieser Punkt die Frage allein.
  • Ratenlimits. Hosted-Inferenz wird in Tokens abgerechnet: Auf Ollamas Preisseite steht: „Die Nutzung wird für jedes Modell nach dessen Tarifen in Tokens gemessen.“ Kostenpflichtige Pläne enthalten ein monatliches Guthaben, und Ollama „verwendet zuerst die im Plan enthaltenen Guthaben und greift anschließend auf das Guthaben für gekaufte Nutzung zurück“. Die Nebenläufigkeit ist je nach Plan begrenzt (3 parallele Anfragen im $0 Pay as you go-Tier und im Pro-Tier, 10 in Max und Team, Stand 27. Oktober 2026). Anfragen über dem Limit werden zunächst in die Warteschlange eingereiht und erst abgelehnt, wenn die Warteschlange voll ist. Ihr eigener Server hat keine Nutzungsabrechnung, sondern nur die durch seine Hardware vorgegebene Obergrenze für parallele Verarbeitung. Das ist eine andere Art von Fehler und oft die schlechtere.
  • Aufbewahrungsrichtlinie. Lesen Sie den tatsächlichen Richtlinientext, notieren Sie das Datum, an dem Sie ihn gelesen haben, und prüfen Sie ihn vor jeder Verlängerung erneut.

Was die Kosten betrifft, führen Sie die Berechnung hier nicht erneut durch. Wann ein GPU-VPS die Abrechnung pro Token übertrifft arbeitet den Break-even korrekt heraus, einschließlich des Punkts, den viele vergessen: Ein nicht ausgelasteter GPU-Server kostet genauso viel wie ein ausgelasteter.

Was ist mit einem Router vor mehreren Anbietern?

Die dritte Option ist ein Router, also ein Proxy, der mit Ihrer Anwendung über eine API kommuniziert und die Anfragen an mehrere Backends weiterleitet. Ein selbst gehosteter LiteLLM-Proxy oder ein gehosteter Dienst wie OpenRouter übernimmt diese Aufgabe. Der Vorteil ist unmittelbar erkennbar: eine Client-Konfiguration, mehrere Modelle und ein Fallback, wenn ein Anbieter vorübergehend Probleme hat. Dabei handelt es sich um eine natürliche Erweiterung des oben beschriebenen Fallback-Musters, verallgemeinert auf mehr als zwei Backends. Die Kosten sollten Sie jedoch berücksichtigen. Ein gehosteter Router ist ein weiterer Betreiber, der Ihre Prompts sieht. Die Frage nach der Aufbewahrung, die Sie einem Anbieter gestellt haben, müssen Sie nun auch einem zweiten stellen. Ein selbst gehosteter Router hält diesen Hop auf Ihrem eigenen Rechner. Dafür erhalten Sie einen zusätzlichen Dienst, den Sie betreiben, patchen und überwachen müssen. Router lösen die Auswahl des Modells und die Verfügbarkeit. Das Datenschutzproblem lösen sie nicht, weil der Prompt weiterhin dort landet, wohin ihn die Route weiterleitet.

Die Fehler, die tatsächlich auftreten

Die API dokumentiert die Statuscodes, und jeder weist auf ein anderes Problem hin. 429 Too Many Requests bedeutet, dass Sie ein Rate-Limit erreicht haben. Warten Sie daher kurz, und versuchen Sie es erneut, statt in einer Schleife die Verbindung wiederherzustellen. 502 Bad Gateway ist der für dieses Thema relevante Statuscode. Er wird zurückgegeben, wenn ein Cloud-Modell nicht erreichbar ist. Auf Pfad eins bedeutet das, dass Ihr Daemon funktioniert, aber der Upstream nicht. 404 Not Found bei einem Modellnamen bedeutet, dass das Modell auf dem angesprochenen Host nicht vorhanden ist. Meist wurde ein -cloud-Name direkt an https://ollama.com gesendet, oder ein lokales Modell wurde noch nicht heruntergeladen. Die Anmeldung hat bei lokalen Modellen damit nichts zu tun, weil die lokale API keine Authentifizierung benötigt. Fehler werden als JSON übertragen. Während eines Streams erscheinen sie als Zeile wie {"error":"an error was encountered while running the model"} innerhalb der NDJSON-Antwort. Deshalb kann ein einfacher Streaming-Client eine unvollständige Antwort ausgeben und anschließend ohne Erklärung abbrechen. Analysieren Sie jede übertragene Zeile, und prüfen Sie, ob sie einen Schlüssel error enthält.

Auf der lokalen Seite tritt typischerweise eine zurückgewiesene Verbindung an Port 11434 auf. Das bedeutet, dass dort kein Prozess Verbindungen annimmt. Prüfen Sie systemctl status ollama. Wenn der Daemon läuft, prüfen Sie außerdem, ob OLLAMA_HOST ihn auf einen anderen Port verschoben hat. Ein weiterer typischer Fehler ist eine Anfrage, die in Ihrer Shell funktioniert, aber aus einem Container fehlschlägt, weil localhost des Containers nicht dem Host entspricht.

Es gibt auch einen Fehlerzustand ganz ohne Fehlermeldung: keine Internetverbindung. Der Cloud-Pfad funktioniert dann überhaupt nicht mehr, während der lokale Pfad davon nichts bemerkt. Wenn Sie mit dem Rechner unterwegs sind oder bei Ihrem Provider eine Routing-Störung vorliegt, ist dieser Unterschied entscheidend.

Wann welche Option passt

Verwenden Sie Ollama Cloud, wenn die Auslastung schwankt, das Modell zu groß für Ihren VPS ist oder Sie noch prüfen, ob sich die Abhängigkeit von einem Modell lohnt. Die Abrechnung pro Token ist günstiger als eine ungenutzte GPU zu bezahlen, die zwanzig Minuten pro Tag läuft. Ein Modell mit 120 Milliarden Parametern passt nicht auf einen Server, den Sie zum Preis eines Mittagessens mieten.

Betreiben Sie das Modell selbst, wenn die Prompts Ihre Infrastruktur nicht verlassen dürfen, der Rechner offline arbeiten muss oder die Auslastung konstant genug ist, damit eine gemietete GPU dauerhaft ausgelastet bleibt. Eine konstante Auslastung ist das verlässliche Signal: Bei der nutzungsabhängigen Inferenz entstehen die hohen Kosten genau dann, wenn sie ständig ausgeführt wird. Wenn Ollamas Durchsatz bei Einzelanfragen zum Engpass wird, verarbeitet vLLM gleichzeitige Anfragen besser als Ollama, und Sie wechseln damit die Engine statt den Host. Wenn Sie eine private Umgebung lieber kaufen als selbst aufbauen möchten, zeigt der Vergleich eines privaten KI-Servers mit Angebotspreis und eines eigenen Servers auf einer gemieteten GPU, was der Aufbau tatsächlich umfasst und wann eine einfache API die bessere Anschaffung ist.

In der Praxis verwenden die meisten Bereitstellungen letztlich beides. Das ist unproblematisch, solange die Aufteilung bewusst erfolgt. Legen Sie den Modellnamen in der Konfiguration fest und protokollieren Sie jeden Fallback. Dann können Sie jederzeit die einzige hier wichtige Frage beantworten: Welche dieser Prompts haben das Gebäude verlassen?

FAQ

Sieht Ollama Cloud meine Prompts?

Ja. Bei der gehosteten Variante werden der vollständige Prompt und die vollständige Antwort an ollama.com gesendet und dort verarbeitet. In der Datenschutzerklärung von Ollama steht, dass das Unternehmen „Ihre Prompts und Antworten vorübergehend verarbeitet, um den Dienst bereitzustellen“ und „Ihre Eingaben oder Ausgaben nicht zum Trainieren von KI-Modellen verwendet“. Außerdem werden Maßnahmen beschrieben, die die Aufbewahrung minimieren sollen. Das ist eine Zusage des Anbieters für Daten, die Sie bereits übermittelt haben. Für lokale Modelle heißt es in derselben Richtlinie, dass das Unternehmen „keine Prompts, Antworten, Modellinteraktionen oder anderen Inhalte, die Sie lokal verarbeiten, sammelt, speichert, überträgt oder darauf zugreift“. Wenn die Anforderung lautet, dass Inhalte Ihre Infrastruktur niemals verlassen dürfen, erfüllt nur die lokale Variante diese Vorgabe.

Warum verweist meine Anwendung weiterhin auf localhost, wenn das Modell in der Cloud läuft?

Weil der lokale Daemon als Proxy arbeitet. Wenn Sie ollama signin ausführen und anschließend ein Cloud-Modell anfordern, dessen Name mit -cloud oder :cloud endet, leitet Ihr Daemon die Anfrage an ollama.com weiter und streamt die Antwort über Port 11434 zurück. Die URL Ihrer Anwendung ändert sich nicht. Genau das ist der Zweck: Für normale Chat-Anfragen ist keine Codeänderung erforderlich. Aufrufe, die strukturierte Ausgaben verwenden, müssen jedoch angepasst werden, weil Ollama Cloud diese derzeit nicht unterstützt. Das bedeutet außerdem, dass die Adresse localhost nichts darüber aussagt, wo die Inferenz stattgefunden hat. Prüfen Sie den Modellnamen, nicht die URL. Ein cloud-Tag im Namen bedeutet, dass der Prompt das Internet durchquert hat.

Warum liefert dasselbe Modell lokal einen deutlich kürzeren Kontext?

Ollama wählt anhand des verfügbaren Videospeichers einen lokalen Standardwert: etwa 4k Tokens bei weniger als 24 GiB VRAM, 32k zwischen 24 und 48 GiB sowie 256k ab 48 GiB. Eine VPS ohne GPU fällt in die unterste Stufe. Cloud-Modelle werden standardmäßig auf ihre maximale Kontextlänge eingestellt, weil der dafür benötigte Speicher dem Anbieter gehört. Erhöhen Sie den lokalen Wert mit OLLAMA_CONTEXT_LENGTH, entweder als OLLAMA_CONTEXT_LENGTH=32768 ollama serve oder als Environment=-Zeile unter systemctl edit ollama.service. Beachten Sie, dass ein längerer Kontext einen größeren Key-Value-Cache im RAM benötigt. Auf einem kleinen Server kann eine Erhöhung daher die Generierung verlangsamen oder verhindern, dass das Modell geladen wird.

Kann ich automatisch auf ein lokales Modell zurückfallen, wenn die Cloud nicht erreichbar ist?

Ja. Dafür reichen einige Zeilen, weil beide Varianten dieselbe API verwenden. Erstellen Sie zwei Client-Objekte: eines ohne Host-Argument für den lokalen Daemon und eines mit host="https://ollama.com" sowie einem Authorization: Bearer-Header. Fangen Sie anschließend httpx.ConnectError und ollama.ResponseError um den ersten Aufruf ab. Legen Sie die Richtung bewusst fest. Lokal zuerst mit Cloud-Fallback bedeutet, dass ein Prompt, den Sie vertraulich halten wollten, bei einem routinemäßigen Neustart des Daemons die Maschine verlassen kann. Protokollieren Sie daher jeden Fallback. Bei sensiblen Workloads sollten Sie den Fehler weitergeben, statt auf die Cloud zurückzufallen.

War dieser Artikel hilfreich?