Inkling 2 Small lokal betreiben? VRAM und Alternativen
Inkling 2 Small braucht als NVFP4 mindestens 500 GB VRAM und läuft nicht auf einem gewöhnlichen VPS. Ausnahme: GGUF per CPU ab rund 180 GB freiem RAM. Dazu Ollama Cloud.
Kann man Inkling 2 Small lokal betreiben?
Auf einem gewöhnlichen VPS nicht. Für den empfohlenen NVFP4-Checkpoint nennt die Modellkarte einen GPU-Cluster mit mindestens 500 GB zusammengerechnetem Grafikspeicher (VRAM). Die Ausnahme ist CPU-Inferenz auf einem VPS oder einer Workstation mit sehr viel RAM: Unsloths ungefähr auf 1 Bit quantisierte GGUF-Variante UD-IQ1_S hat schon 171,7 GB Gewichte. Daraus ergibt sich mit zusätzlichem Speicher für KV-Cache, Laufzeit und Betriebssystem eine rechnerische Untergrenze von rund 180 GB oder mehr freiem RAM, keine von Unsloth veröffentlichte RAM-Angabe. Sie brauchen außerdem einen llama.cpp-Build mit Inkling-2-Unterstützung. llama.cpp-Release b12406 vom 15. November 2026 und spätere Releases enthalten die Inkling-2-Unterstützung aus PR #32217. Unsloths Anleitung verwendet weiterhin den separaten PR #32187; dass die Unsloth-Dateien mit dem zusammengeführten Upstream-Build laden, bestätigt sie nicht. UD-IQ1_S ist die am stärksten komprimierte und qualitativ schwächste Variante, die Unsloth anbietet. Ein 594B-MoE-Modell läuft auf der CPU langsam. Von einem kleinen VPS aus können Sie das Modell trotzdem nutzen, und zwar über Ollama Cloud. Dann läuft es auf den Servern von Ollama, und Ihre Prompts verlassen Ihre Maschine. Auf eigener Hardware bleibt neben der RAM-Ausnahme ein GPU-Cluster mit vLLM oder SGLang.
Alle Preise, Tags und Support-Stände in diesem Text gelten, soweit nicht anders angegeben, mit Stand 15. November 2026. Abgerechnet wird in US-Dollar. Deshalb stehen die Preise hier in Dollar und sind nicht in Euro umgerechnet.
Was ist Inkling 2 Small?
Inkling 2 Small ist ein Modell mit offenen Gewichten (open weights) von Thinking Machines Lab. Der Launch-Post nennt es die zweite Modellgeneration des Labs. Er erschien am 5. November 2026. Seit dem Update vom 12. November liegen die Gewichte auf Hugging Face. Die Eckdaten aus der Modellkarte, Stand 13. November 2026:
- Architektur: Mixture-of-Experts (MoE) mit 594 Milliarden Parametern insgesamt, davon 17 Milliarden aktiv
- Aufbau: 48 Schichten, nur Decoder, jedes Token wird an 8 von 384 Experten geleitet, Attention als Hybrid aus lokalen und globalen Schichten
- Eingabe: Text und Bild. Die Karte führt das Modell als image-text-to-text, die Ausgabe ist also Text. Audio unterstützt es laut Launch-Post nicht.
- Bild-Encoder: 292 Millionen Parameter, basierend auf Perception Encoder
- Kontextfenster: laut Karte bis zu 1M Tokens
- Reasoning: variabler Reasoning-Aufwand (reasoning effort)
- Lizenz: Apache 2.0
- Checkpoints: NVFP4 als Hauptversion, MXFP8 als Alternative im Repo
thinkingmachines/Inkling-2-Small-MXFP8
Warum 17B aktiv kein 17B-Modell ist: der VRAM-Bedarf
Die Zahl 17B verleitet zu einem Fehlschluss. Ein klassisches 17B-Modell läuft quantisiert auf einer einzelnen Grafikkarte. Inkling 2 Small passt als NVFP4-Checkpoint nicht auf eine einzelne übliche Grafikkarte, und der Grund ist die MoE-Bauweise.
In einem MoE-Modell besteht jede Schicht aus vielen kleinen Teilnetzen, den Experten. Ein Router wählt für jedes Token 8 der 384 Experten aus. Nur diese rechnen. Deshalb ähnelt der Rechenaufwand pro Token dem eines Modells mit etwa 17 Milliarden Parametern. Das nächste Token kann aber ganz andere Experten brauchen. Alle Experten müssen deshalb verfügbar bleiben, können bei CPU-Inferenz aber im Arbeitsspeicher liegen. Der Speicherbedarf richtet sich deshalb nach den 594 Milliarden Parametern, nicht nach den 17 Milliarden.
Die Rechnung mit den echten Dateigrößen, Stand 13. November 2026:
- Download NVFP4: Die safetensors-Dateien im Haupt-Repo summieren sich auf etwa 393,5 GB (24 Teile plus
mtp.safetensors). So viel Platz brauchen Sie allein auf der Festplatte. - Download MXFP8: etwa 622,8 GB.
- Ausführen von NVFP4: laut Karte mindestens 500 GB zusammengerechneter VRAM, als Beispiel 2x NVIDIA B300 oder 4x NVIDIA H200.
- Ausführen von MXFP8: laut Karte mindestens 800 GB, als Beispiel 4x NVIDIA B300 oder 8x NVIDIA H200.
Zum Vergleich: Ein typischer VPS hat keine GPU und einige bis einige Dutzend GB Arbeitsspeicher. Schon die NVFP4-Dateien sind mehr als zehnmal so groß wie 32 GB RAM. Zu den Gewichten kommt im Betrieb noch der KV-Cache, der mit dem Kontext wächst. Wie dieser Cache funktioniert, erklärt der Unterschied zwischen KV-Cache und Prompt-Cache. Die gleiche Rechnung für ein anderes großes MoE-Modell finden Sie unter was es braucht, Kimi K3 selbst zu hosten. Wo heruntergeladene Gewichte auf der Platte landen, zeigt ollama pull, ollama run und der Modellspeicher.
Eine Randnotiz zu den Zahlen: Der Parameterzähler von Hugging Face zeigt für das NVFP4-Repo inzwischen 594B an. Die Korrektur dokumentiert Commit 3cd8c5a mit dem Titel "Add minimal quantization config to correct Hub parameter count (#3)". Die Angabe des Labs ist 594B, und mit dieser Zahl sollten Sie rechnen.
Und eine Workstation mit sehr viel RAM?
Die 500 GB der Modellkarte gelten für den NVFP4-Checkpoint des Labs. Die Ausnahme für eine Workstation oder einen VPS mit sehr viel RAM ist eine kleinere GGUF-Quantisierung per CPU-Inferenz. Auf einem gewöhnlichen VPS reicht der Arbeitsspeicher dafür nicht.
Unsloth, ein im Launch-Post genannter Integrationspartner, hat GGUF-Dateien veröffentlicht. Die kleinste Variante, UD-IQ1_S, wiegt 171,7 GB. UD-Q4_K_XL wiegt 354,2 GB. Das sind reine Gewichte, ohne KV-Cache. UD-IQ1_S ist ungefähr auf 1 Bit quantisiert und die am stärksten komprimierte sowie qualitativ schwächste Variante im Angebot. Aus 171,7 GB Gewichten plus Speicher für KV-Cache, Laufzeit und Betriebssystem ergibt sich eine rechnerische Untergrenze von rund 180 GB oder mehr freiem RAM. Das ist keine von Unsloth veröffentlichte RAM-Anforderung; längerer Kontext braucht mehr Speicher. Ein 594B-MoE-Modell läuft auf der CPU langsam. Die Karte zeigt auch die Abweichung gegenüber dem Referenz-GGUF BF16, das die ursprünglichen NVFP4-Experten beibehält. Bei UD-IQ1_S liefert das Modell in 89,7 % der Fälle dasselbe wahrscheinlichste Token wie BF16, bei UD-Q4_K_XL in 98,0 %. Was solche Stufen allgemein bedeuten, erklärt der Vergleich von Q4, Q8 und FP16.
llama.cpp hat Inkling-2-Unterstützung am 14. November 2026 mit PR #32217 und Commit 5c008e0 in master zusammengeführt. llama.cpp-Release b12406 vom 15. November 2026 und spätere Releases enthalten diese Unterstützung aus PR #32217. Die Unsloth-Karte warnt, dass Builds, die nur das ursprüngliche Inkling kennen, das Modell nicht laden. Unsloths Anleitung baut llama.cpp weiterhin direkt aus dem offenen PR #32187. Sie bestätigt nicht, dass die Unsloth-Dateien mit dem zusammengeführten Upstream-Build laden. Für CPU-Inferenz nennt sie -ngl 0 und beim Bauen -DGGML_CUDA=OFF. Zusätzlich zu den Gewichten brauchen Sie Speicher für Betriebssystem, KV-Cache, Laufzeitpuffer und bei Bildeingaben den Bildprojektor.
Ollama selbst listet für das Modell nur den Tag inkling-2-small:cloud. Die Unsloth-Karte und ihre Anleitung bestätigen keinen lokalen Ollama-Betrieb dieser GGUFs; die generische Nutzungsoberfläche von Hugging Face ersetzt diese Bestätigung nicht. Für Apple-Rechner gibt es eine MLX-Version mit 4 Bit. Sie umfasst aber 381 GB und braucht einen Entwicklungszweig von mlx-lm. Wie sich Ollama und llama.cpp beim lokalen Betrieb unterscheiden, steht in Ollama oder llama.cpp. Wenn Sie den Stand einer lokalen Version verfolgen wollen, beobachten Sie die Ollama-Tag-Liste und die Quantizations-Liste auf der Hugging-Face-Modellseite. Offen bleibt, ob Unsloth in seiner Anleitung und GGUF-Karte bestätigt, dass seine Dateien mit einem Upstream-Release von llama.cpp laden.
Der Cloud-Weg: Inkling 2 Small vom VPS über Ollama Cloud
Über Ollama Cloud läuft das Modell auf Ollamas Servern. Laut Ollama-Dokumentation werden Cloud-Modelle nicht heruntergeladen, bleiben aber über Ollama für lokale Werkzeuge erreichbar. Ihr VPS braucht also weder GPU noch 400 GB Platte. Sie brauchen aber ein Ollama-Konto.
curl -fsSL https://ollama.com/install.sh | sh
ollama signin
ollama run inkling-2-small:cloudDie erste Zeile ist der offizielle Linux-Installer. ollama signin verbindet die Installation mit Ihrem Ollama-Konto. ollama run inkling-2-small:cloud startet einen Chat. Antwortet das Modell auf eine kurze Frage, funktioniert die Verbindung.
Ohne Ollama-Installation geht es auch. Legen Sie unter ollama.com/settings/keys einen API-Schlüssel an. Die Cloud-API verlangt ihn im Header Authorization: Bearer:
export OLLAMA_API_KEY="ihr-schluessel"
curl https://ollama.com/api/chat \
-H "Authorization: Bearer $OLLAMA_API_KEY" \
-d '{
"model": "inkling-2-small",
"messages": [{"role": "user", "content": "Hallo!"}],
"stream": false
}'Beachten Sie: In der direkten API heißt das Modell inkling-2-small, ohne :cloud. Mit "stream": false kommt die Antwort als ein einziges JSON-Objekt, und der Text steht in message.content. Ein Header x-api-key allein reicht laut Dokumentation nicht.
Für Coding-Agenten zeigt die Modellseite fertige Startbefehle:
ollama launch claude --model inkling-2-small:cloudDie gleiche Form gibt es für opencode, hermes und openclaw. Laut Ollama-Dokumentation funktioniert ollama launch claude mit lokalen und Cloud-Modellen mit Tool-Unterstützung. Inkling 2 Small trägt das Label "tools". Gehostete Websuche und einige erweiterte Tool-Steuerungen werden dabei nicht vollständig unterstützt. Mehr dazu in Ollama mit Ihrem Coding-Agenten nutzen.
Was kostet Inkling 2 Small bei Ollama Cloud?
Laut Preisseite, Stand 15. November 2026, kostet das Modell pro Million Tokens 0,30 $ für Eingabe, 0,03 $ für gecachte Eingabe und 1,00 $ für Ausgabe. Einen günstigeren Nebenzeiten-Tarif zeigt die Seite für dieses Modell nicht. Ein Beispiel: 1 Million Eingabe-Tokens und 200.000 Ausgabe-Tokens kosten 0,30 $ plus 0,20 $, also 0,50 $.
Die Tarife auf derselben Seite: "Pay as you go" kostet 0 $ Grundgebühr. Sie zahlen pro Token und können 3 Anfragen gleichzeitig stellen. Pro kostet 20 $ im Monat (200 $ bei jährlicher Zahlung) und enthält 60 $ Nutzungsguthaben pro Monat. Max kostet 100 $ im Monat mit 300 $ Guthaben und 10 gleichzeitigen Anfragen. Das Guthaben setzt sich am Starttag des Abos zurück und wird nicht in den nächsten Monat übertragen. Ab welchem Volumen sich eigene Hardware statt Token-Preisen lohnt, rechnet der Break-even zwischen GPU-Server und API-Tokens vor.
Datenschutz und DSGVO beim Cloud-Weg
Beim Cloud-Weg verlassen Ihre Prompts Ihren Server. Was danach passiert, wissen Sie nur aus den Angaben des Anbieters. Die Datenschutzerklärung von Ollama (Stand März 2026) sagt: Daten können in die USA übertragen und dort verarbeitet werden. Zahlungen laufen über Stripe. Inhalte von Cloud-Anfragen werden nicht länger gespeichert, als zur Beantwortung nötig ist. Die FAQ der Preisseite ergänzt, dass die Modelle vor allem in den USA laufen und Anfragen für zusätzliche Kapazität nach Europa geleitet werden können. Von Partnern, die Modelle für Ollama hosten, verlangt Ollama "no logging, no training, and zero data retention".
Das sind Zusagen eines Anbieters. Sie sind etwas anderes als lokale Verarbeitung, bei der nichts den Rechner verlässt. Dieser Text ist keine Rechtsberatung. Ob der Cloud-Weg für Ihre Daten zulässig ist, klären Sie mit Ihrer Datenschutzbeauftragten oder Ihrem Datenschutzbeauftragten. Den Unterschied zwischen beiden Betriebsarten beschreibt Ollama Cloud oder eigener Server. Auf Maschinen, auf denen nichts in die Cloud gehen darf, schalten Sie die Cloud-Funktionen ab: mit der Umgebungsvariable OLLAMA_NO_CLOUD=1 oder mit disable_ollama_cloud in ~/.ollama/server.json.
Tinker und andere gehostete APIs
Thinking Machines bietet das Modell auch selbst über Tinker an, vor allem für Fine-Tuning. Die Tinker-Preisseite trägt den Stempel "as of October 19, 2026". Abgerufen am 15. November 2026 zeigt sie für Inkling 2 Small pro Million Tokens:
- Sampling bei 64K und bei 256K Kontext: 0,30 $ Prefill, 0,03 $ gecachter Prefill, 1,00 $ Sampling
- Training: 1,50 $ bei 64K Kontext, 3,00 $ bei 256K Kontext
Dazu kommt Serverless Inference. Sie ist derzeit eine Beta, läuft nur mit 256K Kontext und kostet 0,30 $ Eingabe, 0,03 $ gecachte Eingabe und 1,00 $ Ausgabe.
Tinker nennt also 64K und 256K, nicht 1M. Ein Anbieter kann ein kleineres Kontextfenster bereitstellen, als das Modell beherrscht, denn das Fenster ist eine Einstellung des Servers. Bei Ollama heißt dieselbe Stellschraube num_ctx, siehe die Kontextlänge in Ollama.
Der Launch-Post nennt außerdem gehostete APIs bei NVIDIA, Fireworks, Together, Baseten, Nebius, Modal und Cloudflare. Deren Preise, Regionen und Kontextfenster haben wir nicht geprüft. Schauen Sie dafür auf die Seite des jeweiligen Anbieters. Wer mehrere Anbieter hinter einer Adresse bündeln will, kann dafür ein eigenes LiteLLM-Gateway betreiben.
Inkling 2 Small selbst hosten auf einem GPU-Cluster
Wenn Sie den NVFP4-Checkpoint auf eigener Hardware betreiben wollen, brauchen Sie laut Modellkarte einen GPU-Cluster. Fragen Sie einen Anbieter konkret nach diesen Punkten:
- mindestens 500 GB zusammengerechneter GPU-Speicher für NVFP4, laut Karte zum Beispiel 2x B300 oder 4x H200
- mindestens 800 GB für MXFP8, zum Beispiel 4x B300 oder 8x H200
- Plattenplatz für etwa 393,5 GB (NVFP4) oder 622,8 GB (MXFP8) an Gewichten, plus Reserve
- die Möglichkeit, eigene Container-Images zu starten, weil vLLM und SGLang das Modell derzeit über Sonder-Images ausliefern
Die Karte empfiehlt NVFP4 für alle Einsatzzwecke. Das Modell wurde durchgehend in NVFP4 trainiert, vom Vortraining bis zum Nachtraining. MXFP8 bringt laut Karte nur 1 bis 2 Prozentpunkte in den Evaluierungen, und das hält das Lab in der Praxis nicht für bedeutsam. Mit MXFP8 zahlen Sie also deutlich mehr Hardware für einen kaum spürbaren Gewinn.
Die Modellkarte verlinkt das vLLM-Rezept. Hugging Faces separate Nutzungsoberfläche zeigt diese generischen Befehle für vLLM:
pip install vllm
vllm serve "thinkingmachines/Inkling-2-Small"Ein pip install vllm reicht am 15. November 2026 aber noch nicht. Das vLLM-Rezept für Inkling 2 Small sagt, dass die Unterstützung noch in keinem vLLM-Release steckt, und verweist auf das Image vllm/vllm-openai:inkling-2-small. Das Rezept setzt außerdem Tensor-Parallelität und eine maximale Kontextlänge. Übernehmen Sie diese Flags am Tag des Deployments von der Rezeptseite, weil sie sich gerade schnell ändern. Laut Rezept ist TP4 auf einem GB200-Tray bis 262.144 Tokens geprüft, für die vollen 1.048.576 Tokens nennt es TP8 auf zwei Trays. Läuft der Server, sollte curl -s http://127.0.0.1:8000/v1/models das Modell thinkingmachines/Inkling-2-Small auflisten.
Für SGLang verlinkt die Modellkarte ebenfalls nur das Rezept. Diese generischen Befehle stammen aus Hugging Faces separater Nutzungsoberfläche:
pip install sglang
python3 -m sglang.launch_server \
--model-path "thinkingmachines/Inkling-2-Small" \
--host 0.0.0.0 \
--port 30000Achtung bei --host 0.0.0.0: Damit lauscht der Server auf allen Netzwerkschnittstellen. Ohne Firewall davor ist Port 30000 dann aus dem Internet erreichbar, und jeder kann Ihre teuren GPUs benutzen. Setzen Sie --host 127.0.0.1 und gehen Sie über einen SSH-Tunnel oder einen Reverse Proxy mit Anmeldung. Hier gelten die gleichen Regeln wie für einen abgesicherten Ollama-API-Endpunkt. Auch für SGLang gilt: Laut SGLang-Kochbuch ist die Unterstützung noch in keinem Release. Es nennt die Images lmsysorg/sglang:dev-inkling-2-small. Das Kochbuch fährt Blackwell-Systeme für NVFP4 mit TP4/EP4 und H200 sowie AMD MI350X/MI355X mit TP8/EP8. MXFP8 braucht auf B200 und GB200 TP8/EP8. EP soll dabei gleich TP sein. Nehmen Sie die genauen Flags von dort.
Ein Cluster dieser Größe bedient meist mehrere Nutzer gleichzeitig. Wie Sie dafür planen, steht in selbst gehostete LLMs mit mehreren gleichzeitigen Nutzern.
Wo Inkling 2 Small stark ist und wo es zurückliegt
Alle Benchmark-Zahlen hier stammen von Thinking Machines selbst. Unabhängig nachgemessen sind sie nicht. Die Tabelle auf der Modellkarte vergleicht 13 Modelle: offene Flash-Modelle, größere offene Modelle und geschlossene Modelle wie GPT-6 Luna, Gemini 3.8 Flash und Claude Haiku 5.5.
Stark ist das Modell bei Bildern und Dokumenten:
- Finance Agent v2.1: 67,5 %, der beste Wert der Tabelle, vor Gemini 3.8 Flash mit 65,8 %
- GDP.pdf: 25,2 %, ebenfalls der beste Wert, Kimi K3 kommt auf 22,0 %
- PerceptionBench: 64,7 %, nur Gemini 3.8 Flash liegt mit 68,7 % höher
- MMMU Pro: 81,6 %, nur Gemini 3.8 Flash liegt mit 85,6 % höher
- ScreenSpot Pro: 83,8 % im Originalaufbau und 92,0 % mit Python. Claude Haiku 5.5 führt im Originalaufbau mit 85,4 %, Gemini 3.8 Flash mit Python mit 93,7 %.
Unter den offenen Modellen dieser Tabelle liegt Inkling 2 Small bei den Bild-Aufgaben also vorn. Das beste Modell für Bilder überhaupt ist es nach diesen Zahlen nicht.
Beim Programmieren ist es gut, aber nicht an der Spitze. Bei DeepSWE v1.1 erreicht es 72,1 %. DeepSeek-V4.1-Flash-1017 kommt auf 77,0 %, Gemini 3.8 Flash auf 73,8 % und MiniMax-M3.1-Flash auf 73,7 %. Bei FrontierCode v2.0 erreicht es 25,4 %, DeepSeek 28,5 % und Claude Haiku 5.5 34,9 %. Im Artificial Analysis Intelligence Index nennt der Launch-Text 31, die Tabelle 30,6 (Version 5.0). Darüber liegen DeepSeek-V4.1-Flash-1017 mit 32,6, GLM 5.3 mit 31,7, Gemini 3.8 Flash mit 30,8 und Claude Haiku 5.5 mit 36,5.
Der Launch-Post nennt als Einsatzfelder unter anderem Bildverständnis wie Texterkennung (OCR) und Diagramme, agentisches Programmieren, Finanz- und Tabellenarbeit sowie Fine-Tuning als Basismodell. Er nennt auch eigene Schwächen. Im Chat antwortet das Modell weniger knapp und weniger glatt. In Codebasen mit vielen Skills wählt es manchmal nicht das beste Werkzeug. Bei manchen Sicherheitsfragen hängt es zu viele Hinweise an. In den Alignment-Tests des Labs liegt es hinter geschlossenen Modellen wie GPT-6.1 Sol.
Welcher Weg passt zu Ihren Vorgaben?
- Sie wollen das Modell schnell von einem kleinen VPS aus testen: Ollama Cloud. Sie brauchen keine GPU und zahlen pro Token.
- Sie wollen es feinabstimmen: Tinker, mit 64K oder 256K Kontext.
- Die Daten müssen in Ihrer Hand bleiben, und Sie haben Zugang zu mindestens 500 GB GPU-Speicher: vLLM oder SGLang auf dem eigenen Cluster, mit den Flags aus dem jeweiligen Rezept.
- Die Prompts dürfen Ihre eigene Hardware nicht verlassen: Auf einem gewöhnlichen VPS läuft Inkling 2 Small nicht. Die RAM-Ausnahme ist CPU-Inferenz auf einem VPS oder einer Workstation mit rund 180 GB oder mehr freiem RAM für Unsloths ungefähr auf 1 Bit quantisierte UD-IQ1_S. Diese Untergrenze ergibt sich aus 171,7 GB Gewichten plus zusätzlichem Speicherbedarf und ist keine Unsloth-Angabe. Die CPU-Inferenz ist langsam, und UD-IQ1_S ist die qualitativ schwächste angebotene Variante. Sie brauchen einen llama.cpp-Build mit Inkling-2-Unterstützung. llama.cpp-Release b12406 vom 15. November 2026 und spätere Releases enthalten die Inkling-2-Unterstützung aus PR #32217; Unsloths Anleitung verwendet weiterhin PR #32187 und bestätigt die Kompatibilität ihrer Dateien mit dem zusammengeführten Upstream-Build nicht. Reicht Ihr RAM dafür nicht, nehmen Sie ein Modell, das auf Ihre Hardware passt, etwa Qwen 3.8 27B auf einem VPS. Einen Überblick gibt welche KI-Modelle Sie selbst hosten können.
Wer von der Frage kommt, ob man Claude selbst hosten kann, sieht hier einen Unterschied. Bei Inkling 2 Small sind die Gewichte frei verfügbar, und für den lokalen Betrieb brauchen Sie ausreichend Hardware und eine Laufzeit mit Inkling-2-Unterstützung.
FAQ
Wie viel VRAM braucht Inkling 2 Small?
Laut Modellkarte braucht der empfohlene NVFP4-Checkpoint einen GPU-Cluster mit mindestens 500 GB zusammengerechnetem VRAM, zum Beispiel 2x NVIDIA B300 oder 4x NVIDIA H200. Der MXFP8-Checkpoint braucht mindestens 800 GB, zum Beispiel 4x B300 oder 8x H200. Der Download ist rund 393,5 GB (NVFP4) beziehungsweise 622,8 GB (MXFP8) groß, Stand 13. November 2026. GGUF-Quantisierungen lassen sich auch ohne GPU per CPU-Inferenz ausführen, wenn genügend RAM für Gewichte und Laufzeitspeicher vorhanden ist.
Warum läuft ein Modell mit 17B aktiven Parametern nicht auf einer Grafikkarte?
Inkling 2 Small ist ein Mixture-of-Experts-Modell mit 594 Milliarden Parametern. Pro Token rechnen nur 8 von 384 Experten, das sind etwa 17 Milliarden Parameter. Das nächste Token kann aber andere Experten brauchen. Deshalb müssen alle Experten verfügbar bleiben, und der Speicherbedarf folgt den 594 Milliarden. Sie müssen nicht vollständig im GPU-Speicher liegen: Bei CPU-Inferenz liegen sie im Arbeitsspeicher.
Gibt es Inkling 2 Small für Ollama lokal oder als GGUF?
Stand 15. November 2026 listet Ollama nur den Tag inkling-2-small:cloud, der auf Ollamas Servern läuft. Unsloth hat GGUF-Dateien ab 171,7 GB veröffentlicht. Auf einem gewöhnlichen VPS reicht der RAM dafür nicht. Die Ausnahme ist ein VPS oder eine Workstation mit sehr viel RAM: Für die ungefähr auf 1 Bit quantisierte UD-IQ1_S ergibt sich aus der Dateigröße plus zusätzlichem Speicherbedarf eine rechnerische Untergrenze von rund 180 GB oder mehr freiem RAM, keine von Unsloth veröffentlichte RAM-Angabe. Sie ist die qualitativ schwächste angebotene Variante, und ein 594B-MoE-Modell läuft auf der CPU langsam. Die Anleitung dokumentiert CPU-Inferenz mit -ngl 0 und verlangt einen llama.cpp-Build mit Inkling-2-Unterstützung. llama.cpp-Release b12406 vom 15. November 2026 und spätere Releases enthalten die Inkling-2-Unterstützung aus PR #32217. Unsloths Anleitung verwendet weiterhin den offenen PR #32187 und bestätigt nicht, dass ihre Dateien mit dem zusammengeführten Upstream-Build laden. Die Unsloth-Karte und ihre Anleitung bestätigen auch keinen lokalen Ollama-Betrieb dieser GGUFs.
Was kostet Inkling 2 Small über Ollama Cloud?
Laut Ollamas Preisseite, Stand 15. November 2026: 0,30 $ pro Million Eingabe-Tokens, 0,03 $ für gecachte Eingabe und 1,00 $ pro Million Ausgabe-Tokens, abgerechnet in US-Dollar. Ohne Abo zahlen Sie pro Token. Pro kostet 20 $ im Monat mit 60 $ Guthaben, Max 100 $ im Monat mit 300 $ Guthaben.
Bleiben meine Prompts bei Ollama Cloud in der EU?
Darauf können Sie sich nicht verlassen. Ollamas Preisseite sagt, die Modelle laufen vor allem in den USA, und Anfragen können für zusätzliche Kapazität nach Europa geleitet werden. Die Datenschutzerklärung sagt, Daten können in die USA übertragen werden und Anfrageinhalte werden nicht länger gespeichert als nötig. Für eine DSGVO-Bewertung fragen Sie Ihre Datenschutzbeauftragte oder Ihren Datenschutzbeauftragten.