Nemotron 3.5 LightningをVPSで動かす方法
OllamaでNVIDIA Nemotron 3.5 Lightningを自分のサーバーで実行します。取得する正確なtag、必要なRAM容量、CPUのみで十分な速度かを確認できます。
Nemotron 3.5 Lightning の用途
Nemotron 3.5 Lightning は、NVIDIA が 2026 年 8 月にリリースした、オープンな 30B mixture-of-experts モデルです。1 つのチャットウィンドウで使うのではなく、数時間にわたって動作するエージェント向けに設計されています。MoE (mixture of experts) では、重みを多数の expert サブネットワークに分割し、各 token をそのうち少数のネットワークだけに振り分けます。NVIDIA の model card では、総パラメーター数を 30 billion、token あたりの active パラメーター数を 3 billion としています。メモリでは大きい数の分を消費します。速度では小さい数の分の性能を得られます。
このトレードオフが、レンタルするサーバーでこのモデルを検討する理由です。実際の作業を行うエージェントは、1 日を通して数千回の短いリクエストを送信します。そのため、自分のサーバーで運用できるかどうかは、1 ドルあたりのスループットで決まります。1 回の応答に 40 秒かかるモデルは、使いやすいアシスタントにはなっても、エージェントには不向きです。1 つのタスクで 20 回呼び出し、毎回の完了を待つことになるためです。
NVIDIA は、このアーキテクチャを hybrid と説明しています。Mamba-2 層と MoE 層を交互に配置し、一部に attention 層を使用します。model card では、最大 context length を最大 1M token、ライセンスを OpenMDW-1.1 としており、商用利用に対応すると記載されています。主な対応言語は English と code で、Spanish、French、German、Italian、Japanese も挙げられています。
Artificial Analysis は 2026 年 8 月のリリース時の測定結果として、NVFP4 weights を提供するリリース前の DeepInfra endpoint で、出力速度が毎秒約 670 token に達したと公表しています。これは hosted GPU endpoint での値です。この数値は、そのアーキテクチャで可能な性能として捉えてください。使用する VPS で同じ性能が出るという意味ではありません。
どの Ollama タグがどの VPS に適するか
Ollama library では、同じ重みについて複数のビルドが公開されています。ビルド間で異なるのは量子化です。量子化は各重みを何ビットで保存するかを決めるもので、ダウンロードサイズが大きく変わります。
このグラフのデータ
[
{
"label": "30b-a3b-q4_K_M",
"size_gb": 25
},
{
"label": "30b-a3b-q8_0",
"size_gb": 35
},
{
"label": "30b-a3b-bf16",
"size_gb": 66
},
{
"label": "30b-a3b-mlx",
"size_gb": 19
}
]latest、30b、30b-a3b という名前のタグには、現在はそれぞれ独自の digest が付いています。library が 2026 年 10 月中旬に更新して以降、表示上のサイズは 19〜25 GB です。2026 年 10 月 25 日に registry へ直接問い合わせたところ、そのポインターは 30b-a3b-q4_K_M とまったく同じファイルを返しました。したがって、VPS でのデフォルトのダウンロードは、完全な 1M context を含む 25 GB の 4 ビットビルドです。表示範囲の下限である 19 GB は MLX ビルドと一致します。このことから、Apple silicon マシンには MLX ビルドが提供されると考えられます。Q8_0 は 35 GB、bf16 は 66 GB で、どちらも context は 1M です。19 GB の MLX ビルドは Apple silicon 用で、context は 256K に制限されます。そのため、Linux VPS では適切ではありません。library には 30b-mlx と 30b-a3b-nvfp4 も記載されています。どちらも 30b-a3b-mlx と同じ digest です。2 番目の形式名は NVIDIA の形式に見えますが、digest は同一です。さらに、34 GB の 30b-a3b-mxfp8 と 66 GB の 30b-a3b-mlx-bf16 もあります。これらもすべて context が 256K に制限されるため、完全な context window は利用できません。
これらはダウンロードサイズであり、必要メモリ量ではありません。NVIDIA は Ollama ビルドに必要な最小 VRAM(ビデオ RAM)を公開していません。そのため、ダウンロードサイズは下限にすぎないと考えてください。重みはどこかに常駐する必要があります。GPU が保持できる場合は GPU メモリに、それ以外の場合は system RAM に配置されます。さらに、KV cache(key/value cache。モデルが会話をトークン単位で保持するためのメモリ)が加わります。実際のハードウェアで必要な値は計算から求めるのではなく、コマンドで確認します。そのコマンドを以下に示します。量子化レベルをまだ決めていない場合は、Q4、Q8、FP16 のそれぞれで何を失うかで、各段階でのトレードオフを確認できます。
正確なタグを取得し、latest は使用しない
latest は内容が変わるポインターです。ライブラリがこれを再公開すると、メモに理由を残さないまま、次回の pull でエージェントの動作が変わります。このモデルでは、すでに一度発生しています。2026 年 10 月中旬に、ライブラリが latest を新しいダイジェストへ移動しました。タグを指定してください。
curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_Mインストールスクリプトは、ollama ユーザーで実行し、モデルを /usr/share/ollama/.ollama/models 以下に保存する systemd サービスを設定します。ほとんどの VPS イメージでは、このパスが root ファイルシステム上にあります。そのため、25 GB を要求する前に空き容量を確認してください。このファイルシステムの空きが少ない場合は、ディスクを使い切ってからではなく pull の前に、Ollama がモデルを保存する場所と移動方法を確認してください。
df -h /usr/share/ollamapull が途中で停止して no space left on device と表示された場合、それは文字どおりの状態です。部分的な blob は削除するまでディスクに残ります。その後、取得された内容を確認します。
ollama show nemotron-3.5-lightning:30b-a3b-q4_K_Mollama show は、アーキテクチャ、パラメーター数、コンテキスト長、ファイルが実際に保持する量子化方式を出力します。これらのいずれかがライブラリのページと一致しない場合、意図したものとは別のタグを pull しています。
実行し、実際にどこで動作したかを確認します
sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"モデルを読み込んだまま、2 つ目のシェルで次を実行します。
ollama psこのコマンドで、マシンのメモリ使用状況を確認できます。ollama ps には、読み込まれたモデル、メモリ上で占有しているサイズ、PROCESSOR 列が表示されます。100% GPU は、モデル全体が VRAM に収まっていることを示します。100% CPU は、モデルが VRAM にまったく収まらず、すべてのトークンをシステム RAM 上でプロセッサが計算していることを示します。65%/35% CPU/GPU のように分割されている場合、すべてのレイヤーが収まっておらず、CPU の使用割合が処理速度を左右します。必要量を推測しないでください。モデルを読み込み、この行を確認します。
まったく読み込めない場合、Ollama はクラッシュせずに正常に拒否します。
Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)CPU 専用の VPS で十分な速度が出ますか?
一般的な VPS には GPU がないため、すべての処理を CPU が担い、必要な重みをシステム RAM から読み取ります。MoE はこの点で有利です。30 billion のパラメーターのうち、1 token あたりで使用されるのは約 3 billion だけなので、1 token あたりの演算量は dense 30B model より大幅に少なくなります。ただし、メモリ使用量は減りません。router は任意の token に対してどの expert でも選択できるため、30 billion すべてのパラメーターをメモリ上に保持する必要があります。
そのため、この model の CPU 専用推論は、core 数よりも memory bandwidth に制限されます。すでに vCPU が十分な数あるプランに vCPU を追加しても、速度はほとんど変わりません。必要なのは、weights と KV cache を保持できるだけの RAM と、プランで提供される最速の memory です。
agent を実際に割り当てる前に、local LLM の tokens per second を測定する方法で速度を測定してください。
ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."最後に出力される eval rate の行が、tokens per second 単位の生成速度です。この数値だけで判断できます。agent の経過時間は、この速度に大きく左右されるためです。想定する reply の長さを掛けて、待てる時間を超える場合は、num_predict で出力を制限する方法が、hardware を変更せずに 1 回の呼び出し時間を制限する唯一の手段です。
このグラフのデータ
[
{
"label": "Nemotron 3.5 Lightning",
"sec_per_task": 30
},
{
"label": "gpt-oss-120b",
"sec_per_task": 204
},
{
"label": "Qwen3.6 35B",
"sec_per_task": 210
}
]これらは公開されている third-party の数値です。Artificial Analysis が公開時に報告したタスクごとの分数から換算したもので、VPS ではなくホスト型 GPU endpoint で測定されています。Nemotron 3.5 Lightning のタスクあたりの平均時間は約 30 秒でした。gpt-oss-120b は約 204、Qwen3.6 35B は約 210 でした。これらは差の大きさを把握するための数値であり、使用する hardware での性能を保証するものではありません。
実際の指針は、誰が待つのかで分かれます。人が agent の応答を待つ場合や、agent が長い呼び出しの連鎖を連続して実行する場合は、GPU capacity を借りてください。夜間にスケジュール実行し、誰も処理を監視しない場合は、RAM 容量の大きい CPU プランが現実的です。どちらの場合も設定方法は同じです。VPS で Ollama を実行する方法では、プランのサイズと、GPU instance を使用する場合と API provider に token 単位で支払う場合の比較を説明しています。損益分岐点は利用率で決まります。GPU instance は存在するすべての時間に対して課金されますが、API token は使用したときだけ課金されます。そのため、agent が一日の大半で稼働する場合は自分で借りた server が有利ですが、1 時間に 2 回だけ実行する場合は通常そうなりません。Ollama software は、借りた server で実行する場合、どちらの費用にも追加されません。Ollama が課金するものと課金しないものでは、hardware をまったく借りたくない場合に Ollama Cloud がどのような選択肢になるかを説明しています。
1M のコンテキストウィンドウは無料ではありません
1M tokens はモデルの最大値ですが、Ollama はデフォルトでは割り当てません。Ollama ははるかに小さいデフォルトのウィンドウを使用し、会話がその範囲を超えると古い tokens から削除します。デフォルトのログレベルでは、この処理が発生しても何も記録されません。そのため、agent から見ると、モデルが自分のタスクの冒頭を忘れたように見えます。
ウィンドウサイズは明示的に設定してください。サーバー全体に適用する場合は、service を編集します。
sudo systemctl edit ollama次の設定を追加してから、sudo systemctl restart ollama を実行します。
[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"リクエスト単位で設定する場合は、代わりに options オブジェクトへ num_ctx を渡します。
curl http://localhost:11434/api/chat -d '{
"model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
"messages": [{"role": "user", "content": "Say ready"}],
"options": {"num_ctx": 32768},
"stream": false
}'設定値を増やすたびにメモリを消費します。許可する tokens 数に応じて KV cache が大きくなるためです。値を増やして restart したら、もう一度 ollama ps を実行し、表示されるサイズが増えることを確認してください。その変更後に PROCESSOR 列が 100% GPU から split に変わった場合、KV cache によって model layers が VRAM から押し出されています。この状態では速度が大幅に低下します。Ollama での num_ctx の選択では、このトレードオフを詳しく説明しています。model card で使用可能とされているからといって、1000000 を設定しないでください。割り当ては事前に行われるため、load 自体が失敗します。
常時稼働するエージェントへの組み込み
Ollama のこのモデルのライブラリページには、対応するエージェントをモデルに接続した状態で起動するショートカットが記載されています。
ollama launch claude --model nemotron-3.5-lightningこの位置には claude、opencode、openclaw、hermes が記載されています。このサブコマンドには最新の Ollama が必要なため、まず ollama --version を確認します。利用できない場合は、エージェントから API に手動で接続します。Ollama は OpenAI 互換エンドポイントを公開しており、ほとんどのエージェントハーネスがこれを利用できます。
export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollamaOllama はキーを無視しますが、ほとんどのクライアントはキーが設定されていないと起動しません。ハーネス側の設定については、コーディングエージェントを Ollama に接続する と 独自の OpenClaw エージェントを構築する で説明しています。
エージェントを無人で実行する場合、2 つのサーバー設定が重要です。OLLAMA_KEEP_ALIVE は、最後のリクエスト後にモデルをメモリへ保持する時間を制御します。デフォルトでは 5 分後にアンロードされるため、次の呼び出しでは再び完全なロード時間が発生します。GPU を使用しない 25 GB のファイルでは、この待ち時間によってタイムアウトになることがあります。OLLAMA_KEEP_ALIVE=-1 を設定して、モデルをメモリに保持します。OLLAMA_HOST=0.0.0.0:11434 を設定すると、他のマシンから API にアクセスできるようになります。この API には認証機能がないため、ファイアウォールルールまたはプライベートネットワークの内側でのみ公開してください。
失敗する場合と表示される文字列
pull がすぐに失敗します。 Error: pull model manifest: file does not exist は、そのタグが存在しないことを示します。タグ名は完全一致する文字列です。推測で量子化サフィックスを付けず、ライブラリページからタグをコピーしてください。
モデルを読み込めません。 Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) は、現在の設定ではこのプランに対してタグが大きすぎることを示します。より小さい量子化に変更するか、OLLAMA_CONTEXT_LENGTH を小さくしてください。この要件には KV キャッシュも含まれます。
ポート 11434 で応答がありません。 curl: (7) Failed to connect to localhost port 11434 は、サービスが起動していないか、想定した場所で待ち受けていないことを示します。systemctl status ollama と journalctl -u ollama -n 50 を確認してください。手動で ollama serve も起動している場合、2 つ目のプロセスは Error: listen tcp 127.0.0.1:11434: bind: address already in use で終了します。
応答はありますが、非常に遅いです。 変更を加える前に ollama ps を確認してください。GPU を搭載したマシンで PROCESSOR 列に CPU の使用割合が表示されている場合、モデルの一部が VRAM に収まらず、CPU 側へ移されています。コンテキストを小さくするか、より小さい量子化を使用してください。GPU のないマシンでは、遅いことが想定される動作であり、設定変更で改善することはできません。
エージェントがタスクの途中で指示を忘れます。 会話がコンテキストウィンドウの上限を超え、古いトークンが通知なく破棄されています。OLLAMA_CONTEXT_LENGTH を大きくし、ollama ps でモデルが引き続き収まることを確認してください。収まらなくなった場合は、ウィンドウを小さくするのではなく、より大きなマシンを使用する必要があります。
このモデルの代替モデルに対する位置付け
小規模な用途で運用するには、30B MoE は大きなモデルです。すでに dense 8B モデルでタスクに対応できるなら、実行コストははるかに低く、数秒でロードできます。この判断を直接比較するには、VPS 上の 8B および 27B の Qwen 3 を参照してください。利用するプランで実際にどのモデルを保持できるかを広く確認するには、まず セルフホストできる AI モデル から始めてください。1 つのエージェントではなく複数のエージェントを同時に提供する予定なら、先に Ollama と vLLM の比較 を読んでください。Ollama は 1 つのモデルへのリクエストを並列処理できますが、OLLAMA_NUM_PARALLEL は 1 で提供されるため、初期状態では 2 つ目のエージェントのリクエストは 1 つ目の処理が完了するまでキューで待機します。このモデルでは、値を増やしても効果はありません。Ollama v0.40.11 の時点では、スケジューラーがこのタグに含まれる nemotron_h_moe アーキテクチャを一度に 1 リクエストだけ処理する状態に戻し、model architecture does not currently support parallel requests をログに記録するためです。設定を受け付けるモデルでは、値を増やすとメモリを消費します。Ollama の FAQ によると、必要な RAM は OLLAMA_NUM_PARALLEL と OLLAMA_CONTEXT_LENGTH の積に応じて増加するため、大規模モデルでは、この乗算によってシングルユーザー構成の拡張性に限界が生じます。
FAQ
Linux VPS では、Nemotron 3.5 Lightning のどのタグを取得すべきですか?
nemotron-3.5-lightning:30b-a3b-q4_K_M を使用してください。サイズは 25 GB で、最大 1M のコンテキストを完全に利用できます。また、2026 年 10 月 25 日に照会した際、latest、30b、30b-a3b のポインターが返したビルドです。ライブラリが 10 月中旬にこれらのポインターを別のダイジェストへ移動した後も、この点は変わりません。latest を取得するのではなく、タグ名を明示してください。そうすれば、将来そのポインターが再公開されても、気付かないままエージェントの動作が変わることを防げます。mlx タグは Apple silicon 向けのビルドです。30b-a3b-nvfp4 も同様で、30b-a3b-mlx ダイジェストを共有しています。Linux では役に立ちません。
Nemotron 3.5 Lightning には、どの程度の RAM が必要ですか?
NVIDIA は Ollama のビルドに必要な最小メモリ容量を公開していません。そのため、推測せずに測定してください。タグを取得してモデルを 1 回実行し、ロード中に ollama ps を確認します。実際に使用している容量と、GPU または CPU のどちらに配置されたかが表示されます。デフォルトタグのダウンロードサイズは 25 GB ですが、これは下限です。KV キャッシュが追加され、設定したコンテキストウィンドウに応じて増加するためです。プランの容量が不足している場合、Ollama は model requires more system memory とともに、両方の容量を示して処理を拒否します。
GPU のない VPS で Nemotron 3.5 Lightning を実行できますか?
はい。重みを保持できる十分な RAM がプランにあれば実行できます。MoE 方式では、1 トークンあたり約 300 億パラメーターのうち約 30 億だけを計算するため、この点でも有利です。問題は速度です。GPU がない場合、モデルの性能はメモリ帯域幅に制限されます。そのため、vCPU を追加しても結果はほとんど改善しません。固定したプロンプトで ollama run --verbose を実行し、eval rate の行を確認してください。その値をエージェントの応答期限と比較して判断します。一晩かけるバッチ処理なら、多くの場合は問題ありません。人が待つ処理では、通常は実用的ではありません。
Ollama で完全な 1M コンテキストウィンドウを利用できないのはなぜですか?
1M はモデルの最大値であり、Ollama のデフォルト値ではありません。Ollama はそれより大幅に小さいウィンドウを適用します。会話がその範囲を超えると、エラーを表示せずに古いトークンを破棄します。その結果、エージェントが自身の指示を忘れたように見えます。systemd サービスで OLLAMA_CONTEXT_LENGTH を設定するか、リクエストごとに num_ctx を渡してください。値は段階的に引き上げ、そのたびに ollama ps を再確認します。KV キャッシュのメモリ使用量はウィンドウサイズに比例して増え、モデル層が GPU から追い出される可能性があるためです。
Nemotron 3.5 Lightning は商用利用できますか?
NVIDIA のモデルカードでは、2026 年 10 月 25 日の確認時点で、このモデルは OpenMDW-1.1 ライセンスの対象であり、商用利用可能と記載されています。Ollama のライブラリページでは、ダウンロードに付属するライセンスを NVIDIA Open Model License Agreement と表示しています。そのため、どちらか一方だけを前提にする前に、両方を確認してください。これは、自分でダウンロードして実行する重みに適用されます。スタック内の他のソフトウェアについては規定していません。エージェントハーネスと接続するツールのライセンスは個別に確認し、契約に関わる用途で利用する前に、最新のモデルカードも確認してください。