Ollama Concurrency: NUM_PARALLEL und MAX_QUEUE erklärt
Erfahren Sie, wie OLLAMA_NUM_PARALLEL und OLLAMA_MAX_QUEUE die Warteschlange steuern. Wir zeigen, warum jeder parallele Slot den VRAM-Verbrauch erhöht und wann HTTP 503 auftritt.
Was passiert mit der zweiten Ollama-Anfrage, während die erste generiert wird
Die Nebenläufigkeit von Ollama wird durch drei Umgebungsvariablen bestimmt. In der Standardkonfiguration bedient ein geladenes Modell jeweils nur eine Anfrage. Die zweite Anfrage wird nicht abgelehnt und erhält auch keine unvollständige Antwort. Sie wartet in einer Warteschlange, bis ein Slot frei wird, und wird dann mit normaler Geschwindigkeit verarbeitet.
Eine eingehende Anfrage hat drei mögliche Schicksale. Sie startet sofort in einem freien Slot. Sie wartet in der Warteschlange. Oder die Warteschlange ist bereits voll, und der Server lehnt die Anfrage mit HTTP 503 ab. Welches Ergebnis eintritt, wird durch OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE und OLLAMA_MAX_LOADED_MODELS entschieden. Es gibt eine Besonderheit in aktuellen Releases mit Stand Oktober 2026. Die FAQ beschreibt die Warteschlange in allgemeinen Begriffen, aber der Quellcode des Schedulers ist spezifischer. Der Fehler 503 gilt nur für Anfragen, die eintreffen, während ihr Modell noch geladen oder mit anderen Einstellungen neu geladen werden muss. Ollama lehnt keine Anfrage ab, die ein bereits geladenes Modell unverändert verarbeiten kann. Diese Anfrage wartet so lange auf einen Slot, wie es erforderlich ist.
Die Standardeinstellung ist sicher, was auch der Grund dafür ist, dass ein zweiter Benutzer meldet, der Server sei "eingefroren", obwohl nichts defekt ist. Das Hinzufügen von Slots ist eine Änderung von zwei Zeilen. Der kritische Punkt ist der Arbeitsspeicher. Jeder parallele Slot benötigt seinen eigenen Key/Value-Cache (KV-Cache), also den Speicherblock, den ein Modell für die bereits verarbeiteten Token vorhält. Wenn Sie Slots hinzufügen, ohne den VRAM (Grafikspeicher auf der GPU) zu erweitern, verwandeln Sie eine langsame Antwort in einen Ladefehler. Auf einem Server, der nur mit CPU arbeitet, wird derselbe Cache stattdessen aus dem System-RAM belegt.
Was OLLAMA_NUM_PARALLEL, OLLAMA_MAX_QUEUE und OLLAMA_MAX_LOADED_MODELS jeweils steuern
Dies sind die Standardwerte in aktuellen Ollama-Releases mit Stand Oktober 2026. Überprüfen Sie Ihre eigenen Werte, anstatt sich auf die hier genannten Zahlen zu verlassen, indem Sie die weiter unten gezeigte Log-Zeile verwenden.
OLLAMA_NUM_PARALLELsteuert, wie viele Anfragen ein geladenes Modell gleichzeitig verarbeitet. Der Standardwert ist 1, sodass Anfragen nacheinander abgearbeitet werden.OLLAMA_MAX_LOADED_MODELSsteuert, wie viele verschiedene Modelle gleichzeitig im Arbeitsspeicher verbleiben. Der Standardwert ist 0, was bedeutet, dass Ollama die Anzahl selbst wählt: drei Modelle pro GPU und drei auf einem System ohne GPU.OLLAMA_MAX_QUEUEist, in den Worten der FAQ, die maximale Anzahl an Anfragen, die Ollama in die Warteschlange stellt, wenn das System ausgelastet ist, bevor weitere Anfragen abgelehnt werden. Der Standardwert ist 512. Eine Anfrage, die eintrifft, wenn diese Warteschlange voll ist, wird sofort abgewiesen. Im aktuellen Scheduler-Code gelangen jedoch nur Anfragen in diese Warteschlange, deren Modell erst geladen oder neu geladen werden muss. Anfragen für ein bereits geladenes Modell überspringen diese Warteschlange und warten stattdessen auf einen freien Slot; für diese Wartezeit gibt es kein Limit. Ein Maintainer hat dies als Nebeneffekt der Implementierung des Schedulers beschrieben. Die Maintainer von Ollama führen eine Korrektur als Feature-Request (Issue #7758), der im Oktober 2026 noch offen war.
Der Worst-Case-Speicherverbrauch ist das Produkt der ersten beiden Werte. Zwei geladene Modelle mit jeweils vier Slots bedeuten acht gleichzeitig belegte Slots für den KV-Cache, und Ollama wird versuchen, diesen Bedarf zu decken. Auf einem System mit nur einer GPU ist es meist besser, nur ein Modell vorzuhalten und diesem die Slots zuzuweisen, da die Berechnung dann überschaubar bleibt.
Warum jeder parallele Slot VRAM kostet
Wenn Ollama ein Modell lädt, startet es einen separaten Runner-Prozess. Zwei der dabei übergebenen Argumente sind hier relevant: -c ist der gesamte Kontext, für den der Runner einen KV-Cache reserviert, und -np ist die Anzahl der parallelen Sequenzen. Ollama setzt -c auf Ihre Kontextlänge pro Anfrage multipliziert mit der Slot-Anzahl. Der Runner teilt diese Gesamtlänge dann gleichmäßig auf die Slots auf, sodass jede Anfrage weiterhin die von Ihnen festgelegte Kontextlänge erhält.
Das ist die gesamte Einschränkung. Deshalb ist Parallelität nicht kostenlos. Wenn Sie von einem Slot auf vier Slots wechseln, wird bei gleicher Kontextlänge pro Anfrage der vierfache KV-Cache benötigt. Zwischen den Slots wird nichts gemeinsam genutzt. Der Anteil eines inaktiven Slots wird auch nicht an einen ausgelasteten Slot verliehen, weil die Aufteilung beim Start des Runners festgelegt wird. Auf einer GPU ist dieser Speicher VRAM. Auf einem Server ohne GPU ist es System-RAM; dieselbe Multiplikation gilt auch dort.
Sie können die tatsächlich verwendeten Werte auslesen, statt sich auf die Werte zu verlassen, die Sie setzen wollten:
journalctl -u ollama --no-pager -n 500 | grep "starting llama-server"Diese Zeile enthält die vollständige Befehlszeile des Runners, einschließlich -c und -np. Wenn -np nach dem Setzen der Variablen den Wert 1 hat, prüfen Sie zuerst den Modelltyp. Ollama v0.40.15 hat parallele Anfragen für rekurrente GGUF-Modelle und Vision-GGUF-Modelle hinzugefügt. Die frühere Beschränkung dieser Modelle auf einen Slot gilt daher nicht mehr. Embedding-Modelle erhalten im Scheduler weiterhin einen Slot. Bei einem GGUF-Completion-Modell prüfen Sie, ob die Einstellung den Server erreicht, wie im nächsten Abschnitt erläutert wird.
Wenn die Modellgewichte zusammen mit diesem KV-Cache nicht in den VRAM passen, verschiebt Ollama einige Layer in den System-RAM. Diese Layer werden dann auf der CPU ausgeführt. CPU-Layer sind deutlich langsamer als GPU-Layer. Dadurch wird jede Anfrage langsamer, auch die einzelne Anfrage, mit der Sie begonnen haben. Eine höhere Parallelität kann den Durchsatz daher verringern, statt ihn zu erhöhen. Bei einem ausreichend großen Modell legen bereits die Gewichte allein die Grenze fest, bevor die Berechnung der Slots beginnt. Deshalb geht es beim Self-Hosting eines Modells in der Größenordnung von Kimi K3 eher um die Anzahl Ihrer Grafikkarten als um die Anzahl der eingestellten Slots.
ollama psDie Spalte PROCESSOR zeigt 100% GPU an, wenn das gesamte Modell in den VRAM passt. Eine Aufteilung wie 35%/65% CPU/GPU bedeutet, dass ein Teil des Modells auf der CPU ausgeführt wird. Die Spalte SIZE enthält den KV-Cache. Sie wächst daher, wenn Sie die Slot-Anzahl erhöhen und das Modell neu laden. Erhöhen Sie OLLAMA_NUM_PARALLEL, starten Sie den Dienst neu, senden Sie eine Anfrage und führen Sie ollama ps erneut aus. So ermitteln Sie die Speicherkosten Ihrer Änderung durch eine Messung statt durch eine Schätzung. Wenn das Modell laut dieser Messung nicht mehr vollständig passt, denken Sie daran, dass die Gewichte die andere Hälfte desselben Budgets belegen. Ein Wechsel von einem fp16- zu einem q8- oder q4-Build gibt häufig mehr VRAM frei, als der zusätzliche Slot benötigt, den Sie hinzufügen wollten.
Kontextlänge und Slot-Anzahl werden miteinander multipliziert. Sie müssen daher gemeinsam festgelegt werden. Ein großer Kontext mit vier Slots entspricht vier großen Kontexten. Wenn Sie zusätzlich das num_ctx-Kontextfenster für Ihr Modell anpassen, ändern Sie jeweils nur einen der beiden Werte. Andernfalls wissen Sie nicht, welcher Wert den VRAM gefüllt hat.
So setzen Sie diese Variablen rebootfest
Unter Linux läuft Ollama als systemd-Dienst. export OLLAMA_NUM_PARALLEL=4 in Ihrer Shell auszuführen, ändert nichts, weil systemd den Dienst mit einer eigenen Umgebung startet und Ihre Shell nicht berücksichtigt. Verwenden Sie eine Drop-in-Datei.
sudo systemctl edit ollama.serviceFügen Sie dies im geöffneten Editor ein:
[Service]
Environment="OLLAMA_NUM_PARALLEL=4"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_MAX_QUEUE=32"Laden Sie die Konfiguration anschließend neu und starten Sie den Dienst neu:
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentsystemctl show gibt aus, welche Werte systemd an den Prozess übergibt. Fehlt Ihre Variable dort, wurde die Drop-in-Datei nicht gespeichert oder daemon-reload nicht ausgeführt. Prüfen Sie dies zusätzlich direkt auf dem Server:
journalctl -u ollama --no-pager | grep "server config" | tail -1Ollama protokolliert seine Serverkonfiguration beim Start in einer Zeile mit der Meldung server config. Diese Zuordnung zeigt die von Ollama gemeldeten konfigurierten Umgebungswerte. Damit lässt sich am schnellsten klären, ob eine Variable wirksam wurde. Angezeigt wird der von Ihnen gesetzte Wert, nicht die Anzahl der Slots, die ein bestimmtes Modell tatsächlich erhalten hat. Lesen Sie dafür den Wert -np in der darüberstehenden Runner-Zeile ab.
Ein bereits geladenes Modell behält die Slot-Anzahl, mit der es gestartet wurde, weil dieser Wert beim Start fest in den Runner-Prozess übernommen wird. Der obige Neustart entlädt alle Modelle. Die nächste Anfrage lädt das Modell daher mit der neuen Einstellung erneut und verursacht die Ladezeit einmalig. Wie lange ein Modell danach im Speicher bleibt, wird separat gesteuert. Dies wird unter ein geladenes Ollama-Modell zwischen Anfragen im Speicher halten beschrieben.
Wie sich "Served", "Queued" und "Refused" aus Sicht des Clients darstellen
Senden Sie mehrere Anfragen gleichzeitig und messen Sie die Zeit. Dies führt acht Streaming-Anfragen parallel aus und gibt den Status sowie die Zeitmessungen für jede einzelne aus:
for i in $(seq 1 8); do
curl -s -o /dev/null \
-w "req$i http=%{http_code} ttfb=%{time_starttransfer}s total=%{time_total}s\n" \
http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":true}' &
done
waitttfb ist die Zeit bis zum ersten Byte des Streams. Dies entspricht nahezu der Zeit bis zum ersten Token (TTFT), da der erste gestreamte Chunk das erste Token enthält.
Served (Bedient) parallel. Jede Anfrage meldet eine ähnliche ttfb, und total steigt für alle gemeinsam an. Die GPU wird zwischen den laufenden Slots geteilt, daher ist jede Antwort langsamer, als sie es allein wäre, während gleichzeitig mehr Anfragen pro Minute abgeschlossen werden. Dies ist das Betriebsverhalten, das Sie erkaufen, wenn Sie OLLAMA_NUM_PARALLEL erhöhen.
Queued (Warteschlange). Die ersten Anfragen antworten schnell, während die späteren eine hohe ttfb aufweisen, gefolgt von einer normalen Generierung. Die Wartezeit entsteht durch die Warteschlange, nicht durch das Modell. Ein Benutzer, der ein Chat-Fenster betrachtet, sieht eine lange leere Pause und danach Text in voller Geschwindigkeit. Dieses Muster – langsamer Start und dann schnelle Ausgabe – ist das Kennzeichen einer Warteschlange und nicht einer überlasteten GPU.
Refused (Abgelehnt). Der Client erhält fast sofort http=503, und der Body lautet:
{"error":"server busy, please try again. maximum pending requests exceeded"}Diese Meldung bedeutet, dass die Planungswarteschlange zum Zeitpunkt des Eintreffens der Anfrage voll war. Sie sagt nichts über den VRAM und nichts über das Modell aus. In aktuellen Releases enthält diese Warteschlange nur Anfragen, deren Modell noch nicht geladen wurde oder mit anderen Einstellungen neu geladen werden muss. Wenn das Modell bereits im Speicher resident ist, wenn Sie die obige Schleife ausführen, erwarten Sie, dass jede Anfrage mit 200 antwortet, egal wie niedrig Sie OLLAMA_MAX_QUEUE ansetzen. Der Überlauf zeigt sich stattdessen in einer längeren ttfb.
Ein ehrliches Limit: Ollama veröffentlicht keine Warteschlangentiefe. ollama ps und der /api/ps-Endpunkt melden die Modelle, die geladen sind, nicht die Anfragen, die warten. Sie messen die Warteschlange also von der Client-Seite aus, indem Sie die Zeit bis zum ersten Byte beobachten, oder Sie zählen die 503-Antworten an der Instanz, die vor dem Dienst geschaltet ist.
Warum ein kleinerer MAX_QUEUE-Wert oft die bessere Einstellung ist
Eine Warteschlange von 512 klingt großzügig, ist aber bei einem einzelnen Slot nahezu nutzlos. Anfrage 300 wartet hinter 299 abgeschlossenen Generierungen. Das dauert im besten Fall Minuten. Jeder HTTP-Client gibt lange vorher auf, sodass der Aufrufer einen clientseitigen Timeout erhält. Dieser liefert keine Informationen über die Ursache und bietet Ihrem Monitoring keinen Anlass für eine Alarmierung.
Eine kleinere Warteschlange wandelt diesen Überlauf in einen sofortigen 503-Fehler um. Dies betrifft nur Anfragen, die auf das Laden oder Neuladen eines Modells warten, etwa bei Lastspitzen nach einem Neustart oder während des Modellwechsels. Seit Oktober 2026 umgehen Anfragen an ein bereits geladenes Modell die OLLAMA_MAX_QUEUE und warten unbegrenzt auf einen freien Slot. Eine Verringerung der Warteschlange verkürzt daher nicht die Wartezeit auf einem ausgelasteten Server mit einem residenten Modell. Um dort eine schnelle Ablehnung zu erreichen, begrenzen Sie die Nebenläufigkeit vor Ollama, wie im nächsten Abschnitt beschrieben. Ein 503-Fehler ist nützlich: Ein Reverse Proxy kann ihn erneut versuchen, ein Client kann die Frequenz drosseln, ein Dashboard kann ihn zählen und ein Administrator kann ihn auslesen. Ermitteln Sie das Limit anhand Ihrer eigenen Messungen. Wenn eine Generierung etwa zehn Sekunden dauert und Ihr Client sechzig Sekunden wartet, können innerhalb dieses Zeitfensters etwa sechs Anfragen pro Slot abgearbeitet werden. Mehr Anfragen in der Warteschlange zu halten, führt lediglich zu Timeouts.
Wann eine Warteschlange vor Ollama geschaltet werden sollte
Die integrierte Warteschlange arbeitet nach dem FIFO-Prinzip (First In, First Out) und hat keine Informationen über den Aufrufer. Für eine Anwendung, die mit einem Server kommuniziert, ist dies ausreichend; zusätzliche Infrastruktur würde hier nur weitere Fehlerquellen schaffen. Setzen Sie eine Komponente davor, wenn einer der folgenden Punkte zutrifft:
- Sie benötigen Priorisierung. Ein interaktiver Chat sollte nicht hinter einem Batch-Job zur Zusammenfassung warten müssen. Die Warteschlange von Ollama kennt keine Prioritäten, daher muss Batch-Arbeit außerhalb zurückgehalten und langsam eingespeist werden.
- Sie benötigen Fairness. Ein einzelner Client kann alle Slots belegen und eigene Anfragen dahinter aufstauen. Alle anderen warten dann hinter diesem Client oder erhalten einen 503-Fehler, falls für ihre Anfrage ein Modell geladen werden muss.
- Sie benötigen eine begrenzte Wartezeit. Ollama hält Anfragen für ein bereits geladenes Modell unbegrenzt lange; das einzige zuverlässige Limit ist daher eines, das Sie davor schalten.
- Sie benötigen Ausfallsicherheit bei einem Neustart. Die Warteschlange befindet sich im Arbeitsspeicher des Servers. Starten Sie Ollama neu, sind alle wartenden Anfragen verloren.
- Sie benötigen echte Wiederholungsversuche mit Backoff, die an einer Stelle protokolliert werden, an der Sie sie nachträglich einsehen können.
Die leichtgewichtige Lösung ist ein Reverse Proxy. In nginx begrenzen limit_conn die gleichzeitigen Verbindungen und limit_req die Ankunftsrate pro Client, sodass der Überlauf am Proxy abgelehnt wird und Ollama nie erreicht. Die schwergewichtige Lösung ist eine Job-Warteschlange mit einer Datenbank vor einem Worker, der Ollama aufruft; dies ist erforderlich, sobald Anfragen einen Prozessneustart überdauern müssen. Die Dimensionierung für echten Datenverkehr ist ein eigenes Thema: Planung eines selbst gehosteten LLM für gleichzeitige Benutzer erläutert die Berechnungen, und Betrieb von Ollama auf einem VPS behandelt die Basisinstallation, auf der diese Variablen aufbauen.
Wenn die ehrliche Antwort ein anderer Server ist
Es gibt eine Grenze, die Sie nicht durch weitere Konfiguration überwinden können. Ollama teilt den KV-Cache beim Laden des Modells in gleich große, feste Slots auf. Der Speicher eines inaktiven Slots kann nicht von einem ausgelasteten Slot verwendet werden. Die Anzahl der Slots kann nicht geändert werden, ohne das Modell zu entladen. Dieses Design eignet sich gut für eine einzelne Person, ein kleines Team oder einen Coding-Agenten.
Server, die für viele gleichzeitige Benutzer ausgelegt sind, arbeiten anders. Sie reservieren den KV-Cache bei Bedarf in kleinen Pages und fügen neue Anfragen einem bereits laufenden Batch hinzu. Der Speicherbedarf folgt dadurch der tatsächlichen Auslastung statt einer festen Aufteilung. Wenn Ihr Ziel eine große Zahl gleichzeitiger Benutzer auf einer GPU ist, ist dieser Architekturunterschied wichtiger als jeder Wert von OLLAMA_NUM_PARALLEL. Der Vergleich zwischen Ollama und vLLM ist die richtige Grundlage für diese Entscheidung. Wechseln Sie jedoch nicht grundsätzlich: Ein anderer Server verursacht mehr Betriebsaufwand. Wenn nur wenige Personen Ihren Dienst nutzen, ist das integrierte Verhalten die richtige Lösung. Falls die eigentliche Frage lautet, ob Sie überhaupt selbst einen Model-Server betreiben sollten, erläutert der Vergleich zwischen einem privaten KI-Server mit Angebot auf Anfrage und dem Aufbau desselben Stacks auf einer gemieteten GPU diese Entscheidung. Dabei wird auch erklärt, wann ein API die bessere Wahl ist.
Eigene Verarbeitungsgeschwindigkeit und Zeit bis zum ersten Token messen
Angaben zu veröffentlichten Tokens pro Sekunde stammen von einer anderen GPU, einem anderen Modell, einer anderen Quantisierung und einer anderen Kontextlänge sowie von einem anderen Prompt. Nichts davon entspricht Ihrer Umgebung. Betrachten Sie jeden gelesenen Wert daher nur als groben Hinweis und messen Sie das System, das Sie tatsächlich verwenden.
Ollama gibt Zeitmessungen im abschließenden JSON-Objekt jeder Antwort zurück. eval_count ist die Anzahl der generierten Tokens und eval_duration ist die für deren Generierung benötigte Zeit in Nanosekunden.
sudo apt install -y jq
curl -s http://127.0.0.1:11434/api/generate \
-d '{"model":"llama3.2:3b","prompt":"Explain what a KV cache is.","stream":false}' \
| jq '{prompt_eval_count, eval_count, eval_duration, tokens_per_second: (.eval_count / (.eval_duration / 1000000000))}'Führen Sie den Test zunächst mit einem Slot und anschließend mit der tatsächlich erwarteten Parallelität aus. Vergleichen Sie dann die beiden Werte, die für die Benutzerzufriedenheit entscheidend sind: die Zeit bis zum ersten Token und die Tokens pro Sekunde pro Anfrage. Die Verarbeitungsgeschwindigkeit pro Anfrage sinkt immer, wenn weitere Slots hinzugefügt werden. Entscheidend ist, ob sie stärker sinkt, als Ihre Benutzer akzeptieren. Tokens pro Sekunde bei einem lokalen LLM messen beschreibt die Methode ausführlicher und zeigt auch, wie der Prompt zwischen den Durchläufen konstant gehalten wird.
Ein öffentlich erreichbarer Endpunkt mit einer großzügigen Warteschlange ist ein Ziel für Denial-of-Service-Angriffe
Die Einstellung OLLAMA_HOST=0.0.0.0:11434 bindet die API an jedes Interface. Die lokale API erfordert keine Authentifizierung. Ollama verfügt über eine integrierte Anmeldung für Cloud-Modelle, Veröffentlichungen und private Downloads. Direkte Cloud-Inferenz unter https://ollama.com/api und https://ollama.com/v1 erfordert einen API-Schlüssel. Mit der Standardwarteschlange akzeptiert ein offener Endpunkt von jedem, der ihn findet, bis zu 512 Anfragen, die auf das Laden eines Modells warten. Wenn ein Modell bereits geladen ist, hält der Endpunkt jede eingehende Anfrage ohne Begrenzung so lange offen, wie der jeweilige Client verbunden bleibt. Ein Angreifer kann den Server auf diese Weise mit nahezu keinem Aufwand auslasten: lange Prompts, keine Anmeldung, kein Rate-Limit und keine Kosten. Ihre eigenen Benutzer erhalten dann 503-Antworten oder müssen lange warten. Der Rechner ist währenddessen ständig ausgelastet.
Belassen Sie den Listener auf dem Loopback-Interface und greifen Sie über einen SSH-Tunnel oder ein privates Netzwerk darauf zu. Alternativ können Sie eine Authentifizierung und ein Rate-Limit davor schalten. Einen Ollama-API-Endpunkt absichern behandelt beide Möglichkeiten. Passen Sie die Warteschlange erst danach an. Die Länge der Warteschlange ist eine Kapazitätseinstellung und bietet keinen Schutz.
FAQ
Warum wartet meine zweite Ollama-Anfrage, bis die erste abgeschlossen ist?
Weil OLLAMA_NUM_PARALLEL standardmäßig auf 1 gesetzt ist. Ein geladenes Modell verarbeitet daher jeweils eine Anfrage, während die übrigen Anfragen in der Reihenfolge ihres Eingangs warten. Die wartende Anfrage hält ihre HTTP-Verbindung offen und sendet keine Bytes, bis ein Slot frei wird. Auf der Client-Seite sieht das genauso aus wie ein langsames Modell. Aussagekräftig ist der zeitliche Verlauf: Eine lange Pause, auf die Text mit voller Geschwindigkeit folgt, weist auf eine Warteschlange hin. Ein langsames Tröpfeln ab dem ersten Token weist dagegen auf ein langsames Modell hin. Erhöhen Sie die Anzahl der Slots mit einem systemd-Drop-in und starten Sie den Dienst neu. Prüfen Sie anschließend den Wert -np in der Runner-Zeile, da auch Embedding-Modelle im Scheduler weiterhin nur einen Slot erhalten.
Was bedeutet „server busy, please try again. maximum pending requests exceeded“?
Das ist Ollamas Überlauffehler der Warteschlange, der mit dem HTTP-Status 503 zurückgegeben wird. Die Anzahl der Anfragen, die auf ihre Einplanung warten, also auf das Laden oder erneute Laden ihres Modells, hat OLLAMA_MAX_QUEUE erreicht. Dieser Wert ist standardmäßig 512. Daher wurde die neueste Anfrage abgewiesen, statt sie in die Warteschlange aufzunehmen. Anfragen an ein bereits geladenes Modell werden auf dieses Limit nicht angerechnet. Dieser Fehler tritt meist bei Lastspitzen während des Starts oder beim Austauschen von Modellen auf. Es handelt sich weder um einen Speicherfehler noch um einen Modellfehler. Eine größere Warteschlange lässt die aufrufenden Clients lediglich länger warten, bevor dieselbe Ablehnung erfolgt. Die eigentlichen Lösungen sind mehr Slots, sofern ausreichend VRAM vorhanden ist, eine geringere eingehende Last oder eine vorgeschaltete Warteschlange, die Anfragen wiederholen und priorisieren kann.
Wird Ollama durch eine Erhöhung von OLLAMA_NUM_PARALLEL schneller?
Nein. Dadurch können mehr Anfragen gleichzeitig ausgeführt werden. Jede dieser Anfragen ist jedoch langsamer als bei einer alleinigen Ausführung, weil sie sich eine GPU teilen. Außerdem wird der KV-Cache vervielfacht, da Ollama den Runner mit einer Gesamtkontextgröße startet, die sich aus Ihrer Kontextlänge multipliziert mit der Anzahl der Slots ergibt. Passt das Ergebnis nicht mehr in den VRAM, verschiebt Ollama Layer auf die CPU. Dadurch wird jede Anfrage langsamer, auch eine einzelne ohne Konkurrenz. Prüfen Sie nach der Änderung ollama ps und stellen Sie sicher, dass in der Spalte PROCESSOR weiterhin 100% GPU steht.
Muss ich Ollama nach dem Ändern dieser Variablen neu starten?
Ja. Der Server liest die Variablen beim Start ein. Ein laufendes Modell behält die Slot-Anzahl, die beim Start in seinem Runner-Prozess festgelegt wurde. Bearbeiten Sie das Drop-in mit sudo systemctl edit ollama.service. Führen Sie anschließend sudo systemctl daemon-reload und sudo systemctl restart ollama aus. Bestätigen Sie die Änderung mit systemctl show ollama --property=Environment. Prüfen Sie danach die Zeile server config in journalctl -u ollama. Dort stehen die konfigurierten Umgebungswerte, die Ollama meldet.
Wie viele parallele Slots sollte ich festlegen?
Beginnen Sie mit 1 und erhöhen Sie den Wert jeweils um einen Schritt. Starten Sie Ollama nach jedem Schritt neu, senden Sie eine Anfrage zum Laden des Modells und führen Sie ollama ps aus. Beenden Sie den Vorgang beim letzten Wert, für den PROCESSOR weiterhin 100% GPU anzeigt und die Spalte SIZE ausreichend Reserven für den längsten von Ihnen bereitgestellten Kontext lässt. Messen Sie anschließend bei dieser Einstellung unter Ihrer realen Parallelität die Zeit bis zum ersten Token und die Tokens pro Sekunde. Gehen Sie einen Schritt zurück, wenn die Geschwindigkeit pro Anfrage unter das für Ihre Benutzer akzeptable Niveau fällt.