SSD Nodes Learn Hosting plans →
Guides Matt ConnorPar Matt Connor · Mis à jour le 2026-10-26

Installer Nemotron 3.5 Lightning sur un VPS avec Ollama

Découvrez le tag Ollama exact, la RAM nécessaire pour Nemotron 3.5 Lightning et si un serveur VPS sans GPU offre une vitesse suffisante en CPU.

À quoi sert Nemotron 3.5 Lightning

Nemotron 3.5 Lightning est le modèle open source de NVIDIA, doté de 30B paramètres et fondé sur une architecture mixture-of-experts. Publié en août 2026, il est conçu pour les agents qui s’exécutent pendant plusieurs heures, et non pour une seule fenêtre de chat. MoE (mixture of experts) signifie que les poids sont répartis entre de nombreux sous-réseaux experts, et que chaque token ne passe que par quelques-uns d’entre eux. La model card de NVIDIA indique 30 milliards de paramètres au total, dont 3 milliards actifs par token. Vous payez le nombre total en mémoire. Vous bénéficiez du nombre actif en vitesse.

C’est ce compromis qui rend ce modèle intéressant pour un serveur que vous louez. Un agent qui effectue réellement des tâches envoie des milliers de requêtes courtes au cours d’une journée. Le débit par dollar détermine donc s’il peut fonctionner sur votre propre serveur. Un modèle qui met 40 secondes à répondre est un assistant utilisable, mais un mauvais agent, car une tâche peut nécessiter vingt appels et vous devez attendre chacun d’eux.

NVIDIA décrit cette architecture comme hybride : des couches Mamba-2 et MoE entrelacées, avec certaines couches d’attention. La model card indique une longueur de contexte maximale de 1M tokens et une licence OpenMDW-1.1, présentée comme compatible avec un usage commercial. Les langues principales sont l’anglais et le code. L’espagnol, le français, l’allemand, l’italien et le japonais sont également pris en charge.

Artificial Analysis a publié en août 2026 des mesures réalisées au lancement, avec près de 670 tokens de sortie par seconde, sur un endpoint DeepInfra en préversion qui servait les poids NVFP4. Il s’agit d’un endpoint GPU hébergé. Interprétez ce résultat comme une indication de ce que l’architecture permet, et non comme une estimation des performances de votre VPS.

Quelle balise Ollama convient à quel VPS

La bibliothèque Ollama publie plusieurs builds avec les mêmes poids. Ce qui change entre eux, c’est la quantification, c’est-à-dire le nombre de bits utilisés pour stocker chaque poids. Cela modifie fortement la taille du téléchargement.

GraphiqueDownload size by Ollama tag, GB (Ollama library, checked October 2026)
Les données de ce graphique
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

Les balises nommées latest, 30b et 30b-a3b disposent désormais chacune de leur propre digest. La bibliothèque les indique entre 19 et 25 GB depuis leur mise à jour à la mi-octobre 2026. Interrogé directement auprès du registry le 25 octobre 2026, ce pointeur renvoyait exactement les mêmes fichiers que 30b-a3b-q4_K_M. Sur un VPS, le téléchargement par défaut est donc le build quatre bits de 25 GB avec le contexte complet de 1M. La limite basse de 19 GB dans la plage indiquée correspond aux builds MLX, ce qui laisse penser qu’ils sont plutôt fournis aux machines équipées de puces Apple. Q8_0 fait 35 GB et bf16 fait 66 GB, tous deux avec un contexte de 1M. Les builds MLX de 19 GB sont destinés aux puces Apple et limités à un contexte de 256K. Ils ne conviennent donc pas à un VPS Linux. La bibliothèque liste également 30b-mlx et 30b-a3b-nvfp4, qui ont tous deux le même digest que 30b-a3b-mlx, même si le nom du second format évoque celui de NVIDIA, ainsi que 30b-a3b-mxfp8 à 34 GB et 30b-a3b-mlx-bf16 à 66 GB. Tous sont également limités à 256K. Aucun ne fournit donc la fenêtre de contexte complète.

Ces tailles correspondent au téléchargement, pas à la mémoire nécessaire. NVIDIA ne publie pas de valeur minimale de VRAM (mémoire vidéo) pour les builds Ollama. Considérez donc la taille du téléchargement comme un seuil minimal, et rien de plus. Les poids doivent rester chargés quelque part : en mémoire GPU si la carte peut les contenir, et en RAM système dans le cas contraire. Le KV cache (cache clé/valeur, c’est-à-dire la mémoire utilisée par le modèle pour conserver la conversation token par token) s’ajoute à cela. La valeur réelle pour votre matériel est obtenue avec une commande, indiquée plus bas, et non par un calcul. Si vous n’avez pas encore choisi le niveau de quantification, ce que Q4, Q8 et FP16 vous font perdre à chaque étape explique les compromis associés à chaque niveau.

Tirez le tag exact, jamais latest

latest est un pointeur qui change. Lorsque la bibliothèque le republie, le comportement de votre agent change au prochain pull, sans indication dans vos notes pour expliquer pourquoi. Cela s’est déjà produit une fois avec ce modèle : à la mi-octobre 2026, la bibliothèque a déplacé latest vers un nouveau digest. Indiquez le tag.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

Le script d’installation configure un service systemd qui s’exécute avec l’utilisateur ollama et conserve les modèles sous /usr/share/ollama/.ollama/models. Sur la plupart des images VPS, ce chemin se trouve sur le système de fichiers racine. Vérifiez donc l’espace disponible avant de demander 25 Go. Si ce système de fichiers est presque plein, consultez l’emplacement de stockage des modèles d’Ollama et la procédure pour les déplacer avant le pull, plutôt qu’après le remplissage du disque.

df -h /usr/share/ollama

Un pull qui s’arrête en cours d’exécution et affiche no space left on device signifie exactement cela. Les blobs partiels restent sur le disque jusqu’à leur suppression. Vérifiez ensuite ce qui a été téléchargé :

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show affiche l’architecture, le nombre de paramètres, la longueur du contexte et la quantification réellement intégrée au fichier. Si l’une de ces informations ne correspond pas à la page de la bibliothèque, vous avez tiré un tag différent de celui prévu.

Lancer le modèle et vérifier où il s’est réellement exécuté

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

Pendant que le modèle est encore chargé, ouvrez un second shell :

ollama ps

Cette commande répond à la question de la mémoire pour votre machine. ollama ps affiche le modèle chargé, la mémoire qu’il occupe et une colonne PROCESSOR. 100% GPU signifie que le modèle est entièrement en VRAM. 100% CPU signifie qu’il n’y en a aucune partie et que chaque token est calculé par le processeur dans la RAM système. Une répartition telle que 65%/35% CPU/GPU signifie que toutes les couches n’ont pas pu tenir en mémoire et que la part traitée par le CPU détermine votre vitesse. N’estimez pas la mémoire nécessaire. Chargez le modèle et lisez cette ligne.

S’il ne peut pas être chargé, Ollama refuse proprement la requête au lieu de planter :

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

Un VPS sans GPU est-il assez rapide ?

Un VPS généraliste n’a pas de GPU. Le CPU effectue donc tous les calculs et lit chaque poids dont il a besoin depuis la RAM du système. Le MoE aide dans ce cas, car seuls environ 3 milliards des 30 milliards de paramètres sont utilisés pour chaque token. Le nombre d’opérations par token est donc bien inférieur à celui d’un modèle dense de 30B. La mémoire, en revanche, n’est pas moins sollicitée. Les 30 milliards de paramètres doivent rester en mémoire, car le routeur peut sélectionner n’importe quel expert pour n’importe quel token.

L’inférence sur CPU uniquement est donc limitée par la bande passante mémoire, et non par le nombre de cœurs. Ajouter des vCPU à une offre qui en fournit déjà un nombre raisonnable change très peu les performances. Il vous faut assez de RAM pour contenir les poids et votre cache KV, ainsi que la mémoire la plus rapide proposée par l’offre.

Mesurez les performances avant de vous engager, avec la méthode décrite dans mesurer le nombre de tokens par seconde pour un LLM local :

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

La ligne eval rate affichée à la fin indique votre vitesse de génération en tokens par seconde. Ce nombre suffit à déterminer la réponse, car le temps d’exécution d’un agent dépend principalement de cette valeur. Multipliez-la par la longueur de réponse attendue. Si le résultat dépasse le délai que vous acceptez, limiter la sortie avec num_predict est le seul réglage permettant de borner la durée d’un appel sans modifier le matériel.

GraphiqueAverage seconds per Intelligence Index task (Artificial Analysis, published August 2026)
Les données de ce graphique
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

Il s’agit de chiffres publiés par des tiers, convertis à partir des durées par tâche en minutes publiées par Artificial Analysis au lancement. Les mesures ont été réalisées sur des endpoints GPU hébergés, et non sur un VPS. Nemotron 3.5 Lightning a atteint en moyenne environ 30 secondes par tâche ; gpt-oss-120b a pris environ 204, contre environ 210 pour Qwen3.6 35B. Utilisez ces chiffres pour évaluer l’écart, et non comme une garantie pour votre matériel.

La recommandation dépend de la personne qui attend le résultat. Si un utilisateur attend l’agent, ou si l’agent enchaîne de nombreux appels, louez une capacité GPU. S’il s’exécute pendant la nuit selon une planification et que personne ne le surveille, une offre CPU avec beaucoup de RAM convient. Dans les deux cas, la configuration est la même. Exécuter Ollama sur un VPS explique comment dimensionner l’offre et compare une instance GPU avec le coût d’un fournisseur d’API facturé au token. Le seuil de rentabilité dépend de l’utilisation : une instance GPU est facturée pour chaque heure où elle existe, tandis que les tokens d’API sont facturés uniquement lorsqu’ils sont utilisés. Un agent actif presque toute la journée favorise donc le serveur que vous possédez, tandis qu’un agent qui s’exécute deux fois par heure ne le justifie généralement pas. Le logiciel Ollama n’ajoute rien à ces coûts, car son exécution est gratuite sur un serveur que vous louez. Ce que facture Ollama et ce qui ne l’est pas explique également où se situe Ollama Cloud si vous préférez ne pas louer vous-même le matériel.

La fenêtre de contexte de 1M n’est pas gratuite

1M tokens est le maximum du modèle, mais Ollama ne l’utilise pas par défaut. Ollama sert une fenêtre par défaut beaucoup plus petite et supprime les tokens les plus anciens lorsqu’une conversation la dépasse. Rien n’est journalisé avec le niveau de log par défaut lorsque cela se produit. Pour un agent, le modèle semble donc avoir oublié le début de sa propre tâche.

Définissez volontairement la taille de la fenêtre. Pour l’ensemble du serveur, modifiez le service :

sudo systemctl edit ollama

Ajoutez ceci, puis exécutez sudo systemctl restart ollama :

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

Pour une seule requête, envoyez plutôt num_ctx dans l’objet options :

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

Chaque augmentation consomme de la mémoire, car le cache KV grandit avec le nombre de tokens autorisés. Augmentez la valeur, redémarrez, puis exécutez à nouveau ollama ps et surveillez l’augmentation de la taille affichée. Si la colonne PROCESSOR passe de 100% GPU à un mode split après cette modification, le cache KV a déplacé des couches du modèle hors de la VRAM et vos performances vont fortement baisser. Choisir num_ctx dans Ollama explique ce compromis en détail. Ne définissez pas 1000000 simplement parce que la model card l’autorise : l’allocation a lieu au démarrage et le chargement échoue directement.

Brancher l’agent sur un processus toujours actif

La page de la bibliothèque Ollama consacrée à ce modèle documente un raccourci qui démarre directement un agent compatible déjà configuré pour l’utiliser :

ollama launch claude --model nemotron-3.5-lightning

La page indique claude, opencode, openclaw et hermes à cet emplacement. Cette sous-commande nécessite une version récente d’Ollama. Vérifiez donc d’abord ollama --version. Si la commande est absente, configurez vous-même l’agent pour utiliser l’API. Ollama expose un endpoint compatible avec OpenAI, accepté par la plupart des frameworks d’agents :

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama ignore la clé, mais la plupart des clients refusent de démarrer si aucune clé n’est définie. La configuration côté framework est expliquée dans configurer un agent de code pour utiliser Ollama et dans créer votre propre agent OpenClaw.

Deux paramètres du serveur sont importants lorsque l’agent fonctionne sans intervention. OLLAMA_KEEP_ALIVE contrôle la durée pendant laquelle un modèle reste en mémoire après la dernière requête. La valeur par défaut le décharge après cinq minutes. L’appel suivant doit donc de nouveau attendre tout le temps de chargement. Pour un fichier de 25 GB sans GPU, cette pause suffit à provoquer un dépassement de délai. Définissez OLLAMA_KEEP_ALIVE=-1 pour conserver le modèle en mémoire. OLLAMA_HOST=0.0.0.0:11434 rend l’API accessible depuis d’autres machines. Ce paramètre n’offre aucune authentification. N’exposez donc l’API que derrière une règle de pare-feu ou sur un réseau privé.

Modes d’échec et messages affichés

Le pull échoue immédiatement. Error: pull model manifest: file does not exist signifie que ce tag n’existe pas. Les noms de tag sont des chaînes exactes. Copiez-en un depuis la page de la bibliothèque au lieu de deviner un suffixe de quantification.

Le modèle ne se charge pas. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) signifie que le tag est trop volumineux pour ce plan avec cette configuration. Utilisez une quantification plus petite ou réduisez OLLAMA_CONTEXT_LENGTH, car le KV cache est inclus dans cette exigence.

Rien ne répond sur le port 11434. curl: (7) Failed to connect to localhost port 11434 signifie que le service n’est pas démarré ou qu’il n’écoute pas à l’endroit attendu. Consultez systemctl status ollama et journalctl -u ollama -n 50. Si vous avez également démarré ollama serve manuellement, la seconde instance se termine avec Error: listen tcp 127.0.0.1:11434: bind: address already in use.

Le service répond, mais très lentement. Vérifiez ollama ps avant de modifier quoi que ce soit. Sur une machine équipée d’un GPU, toute utilisation du CPU dans la colonne PROCESSOR signifie qu’une partie du modèle ne tient pas dans la VRAM. Réduisez donc le contexte ou utilisez une quantification plus petite. Sur une machine sans GPU, cette lenteur est attendue et aucun réglage ne permet de la corriger.

L’agent oublie ses instructions au milieu d’une tâche. La conversation a dépassé la fenêtre de contexte et les jetons les plus anciens ont été supprimés silencieusement. Augmentez OLLAMA_CONTEXT_LENGTH, puis vérifiez avec ollama ps que le modèle tient toujours en mémoire. Si ce n’est plus le cas, la solution consiste à utiliser une machine plus puissante plutôt qu’une fenêtre plus petite.

Positionnement de ce modèle par rapport aux alternatives

Un modèle MoE de 30B est volumineux à héberger pour une petite tâche. Si un modèle dense de 8B suffit déjà, son exécution coûtera bien moins cher et son chargement prendra quelques secondes. Qwen 3 en 8B et 27B sur un VPS fournit la comparaison directe nécessaire pour prendre cette décision. Pour une vue d’ensemble des modèles qu’un forfait donné peut réellement héberger, commencez par quels modèles d’IA vous pouvez auto-héberger. Si vous prévoyez de servir plusieurs agents simultanément plutôt qu’un seul, consultez d’abord Ollama comparé à vLLM. Ollama peut traiter en parallèle les requêtes adressées à un même modèle, mais OLLAMA_NUM_PARALLEL est livré avec la valeur 1. Par défaut, la requête d’un deuxième agent attend donc dans une file jusqu’à la fin de la première. Pour ce modèle, augmenter cette valeur n’aide pas non plus : depuis Ollama v0.40.11, le scheduler ramène l’architecture nemotron_h_moe portée par ce tag à une seule requête à la fois et journalise model architecture does not currently support parallel requests. Pour les modèles qui acceptent cette valeur, l’augmenter consomme de la mémoire : la FAQ d’Ollama indique que la RAM nécessaire est multipliée par OLLAMA_NUM_PARALLEL fois OLLAMA_CONTEXT_LENGTH. Sur un modèle volumineux, c’est donc cette multiplication qui limite la montée en charge d’une configuration destinée à un seul utilisateur.

FAQ

Quelle balise Nemotron 3.5 Lightning dois-je télécharger sur un VPS Linux ?

Utilisez nemotron-3.5-lightning:30b-a3b-q4_K_M. Cette version fait 25 Go, prend en charge le contexte maximal complet de 1M et correspond à la build renvoyée par les pointeurs latest, 30b et 30b-a3b lors de leur interrogation le 25 octobre 2026, même si la bibliothèque a déplacé ces pointeurs vers un digest distinct à la mi-octobre. Indiquez-la explicitement au lieu de télécharger latest. Ainsi, une future republication de ce pointeur ne pourra pas modifier le comportement de votre agent sans que vous le remarquiez. Les balises mlx correspondent à des builds pour Apple Silicon. Il en va de même pour 30b-a3b-nvfp4, qui partage le digest 30b-a3b-mlx. Elles ne vous seront d’aucune utilité sous Linux.

De combien de RAM Nemotron 3.5 Lightning a-t-il besoin ?

NVIDIA ne publie pas de valeur minimale de mémoire pour les builds Ollama. Mesurez donc la consommation au lieu de l’estimer. Téléchargez la balise, exécutez le modèle une fois et consultez ollama ps pendant son chargement. Cette commande affiche la taille réellement occupée et indique si le modèle a été chargé sur le GPU ou sur le CPU. La taille du téléchargement, soit 25 Go pour la balise par défaut, constitue un minimum. La KV cache s’ajoute à cette taille et augmente avec la fenêtre de contexte configurée. Si le plan est trop petit, Ollama refuse le chargement avec model requires more system memory et indique les deux valeurs.

Puis-je exécuter Nemotron 3.5 Lightning sur un VPS sans GPU ?

Oui, si le plan dispose de suffisamment de RAM pour contenir les poids. L’architecture MoE aide aussi, car seuls environ 3 des 30 milliards de paramètres sont calculés pour chaque token. La vitesse constitue le principal problème. Sans GPU, le modèle est limité par la bande passante mémoire. Ajouter des vCPU améliore donc à peine les performances. Exécutez ollama run --verbose avec un prompt fixe, lisez la ligne eval rate et comparez cette valeur au délai maximal acceptable pour votre agent. Pour un traitement par lots pendant la nuit, cela convient souvent. Pour une tâche attendue par un utilisateur, ce n’est généralement pas suffisant.

Pourquoi Ollama ne me fournit-il pas la fenêtre de contexte complète de 1M ?

1M correspond à la valeur maximale du modèle, pas à la valeur par défaut d’Ollama. Ollama utilise une fenêtre beaucoup plus petite et supprime les tokens les plus anciens lorsqu’une conversation la dépasse. Aucun message d’erreur n’est affiché. L’agent semble alors oublier ses propres instructions. Définissez OLLAMA_CONTEXT_LENGTH sur le service systemd ou transmettez num_ctx pour chaque requête. Augmentez cette valeur progressivement et vérifiez ollama ps à chaque étape. La mémoire de la KV cache évolue avec la taille de la fenêtre et peut faire basculer des couches du modèle du GPU vers le CPU.

Nemotron 3.5 Lightning peut-il être utilisé gratuitement à des fins commerciales ?

La fiche du modèle de NVIDIA place celui-ci sous licence OpenMDW-1.1 et le marque comme prêt pour un usage commercial, selon la vérification effectuée le 25 octobre 2026. La page de la bibliothèque Ollama indique que la licence fournie avec le téléchargement est la NVIDIA Open Model License Agreement. Lisez donc les deux licences avant de vous appuyer sur l’une ou l’autre. Cela concerne les poids que vous téléchargez et exécutez vous-même. Cette licence ne couvre pas les autres logiciels de votre stack. Vérifiez séparément les licences du framework de l’agent et des outils que vous lui connectez. Consultez aussi la fiche actuelle du modèle avant de vous appuyer sur ces informations dans un contexte contractuel.

Cet article vous a-t-il été utile ?