SSD Nodes Learn Hosting plans →
Panduan Matt ConnorOleh Matt Connor · Diperbarui 2026-10-26

Jalankan Nemotron 3.5 Lightning di VPS dengan Ollama

Pelajari tag Ollama yang tepat untuk Nemotron 3.5 Lightning, kebutuhan RAM server, serta apakah kinerja CPU-only cukup cepat untuk agent Anda.

Kegunaan Nemotron 3.5 Lightning

Nemotron 3.5 Lightning adalah model mixture-of-experts terbuka 30B dari NVIDIA yang dirilis pada Agustus 2026. Model ini dibuat untuk agent yang berjalan selama berjam-jam, bukan hanya untuk satu jendela chat. MoE (mixture of experts) berarti bobot model dibagi menjadi banyak subjaringan expert, lalu setiap token diarahkan hanya melalui beberapa subjaringan tersebut. Model card NVIDIA mencantumkan total 30 miliar parameter, dengan 3 miliar parameter aktif untuk setiap token. Anda membayar kebutuhan memori untuk jumlah parameter yang besar. Sebagai gantinya, Anda memperoleh kecepatan dari jumlah parameter aktif yang lebih kecil.

Pertukaran ini menjadi alasan untuk mempertimbangkan model ini pada server yang Anda sewa. Agent yang benar-benar menjalankan tugas mengirim ribuan permintaan singkat sepanjang hari. Karena itu, throughput per dolar menentukan apakah agent tersebut layak dijalankan pada server Anda sendiri. Model yang memerlukan 40 detik untuk setiap balasan masih dapat digunakan sebagai asisten, tetapi buruk untuk agent. Satu tugas dapat membuat dua puluh panggilan, dan Anda harus menunggu setiap panggilan tersebut.

NVIDIA menjelaskan arsitektur ini sebagai arsitektur hybrid: layer Mamba-2 dan MoE yang disusun berselang-seling, dengan beberapa layer attention. Model card mencantumkan panjang context maksimum hingga 1M token dan lisensi OpenMDW-1.1 yang ditandai siap untuk penggunaan komersial. Bahasa utama model ini adalah bahasa Inggris dan code. Bahasa Spanyol, Prancis, Jerman, Italia, dan Jepang juga tercantum.

Artificial Analysis menerbitkan hasil pengukuran saat peluncuran pada Agustus 2026, yang menunjukkan hampir 670 token output per detik pada endpoint DeepInfra pra-rilis yang melayani bobot NVFP4. Itu adalah endpoint GPU yang di-host. Gunakan angka tersebut sebagai gambaran kemampuan arsitektur, bukan sebagai hasil yang akan dicapai VPS Anda.

Tag Ollama yang sesuai untuk setiap VPS

Library Ollama menyediakan beberapa build dari bobot yang sama. Perbedaannya terletak pada kuantisasi, yaitu jumlah bit yang digunakan untuk menyimpan setiap bobot. Hal ini sangat memengaruhi ukuran unduhan.

GrafikDownload size by Ollama tag, GB (Ollama library, checked October 2026)
Data di balik grafik ini
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

Tag bernama latest, 30b, dan 30b-a3b kini memiliki digest masing-masing. Ukurannya tercantum antara 19 hingga 25 GB sejak library tersebut memperbaruinya pada pertengahan Oktober 2026. Saat ditanyakan langsung dari registry pada 25 Oktober 2026, pointer tersebut mengembalikan file yang sama persis dengan 30b-a3b-q4_K_M. Dengan demikian, unduhan default pada VPS adalah build empat-bit berukuran 25 GB dengan context penuh 1M. Batas bawah 19 GB pada rentang yang tercantum sesuai dengan build MLX. Hal ini menunjukkan bahwa mesin Apple silicon kemungkinan mendapatkan build tersebut. Ukuran Q8_0 adalah 35 GB, sedangkan bf16 berukuran 66 GB. Keduanya juga menggunakan context 1M. Build MLX berukuran 19 GB ditujukan untuk Apple silicon dan dibatasi pada context 256K. Karena itu, build tersebut bukan pilihan yang tepat untuk VPS Linux. Library tersebut juga mencantumkan 30b-mlx dan 30b-a3b-nvfp4. Keduanya memiliki digest yang sama dengan 30b-a3b-mlx, meskipun nama format kedua terdengar seperti format NVIDIA. Selain itu, tersedia 30b-a3b-mxfp8 berukuran 34 GB dan 30b-a3b-mlx-bf16 berukuran 66 GB. Semuanya juga dibatasi pada 256K. Jadi, tidak ada yang menyediakan context penuh.

Ukuran tersebut adalah ukuran unduhan, bukan kebutuhan memori. NVIDIA tidak memublikasikan angka minimum VRAM (video RAM) untuk build Ollama. Karena itu, anggap ukuran unduhan hanya sebagai batas bawah, bukan kebutuhan keseluruhan. Bobot harus berada di suatu tempat: di memori GPU jika kartu grafis dapat menampungnya, atau di RAM sistem jika tidak. KV cache (key/value cache, yaitu memori model per token untuk menyimpan konteks percakapan) ditambahkan di atas kebutuhan tersebut. Angka sebenarnya untuk perangkat keras Anda diperoleh dari sebuah perintah, bukan dari perhitungan, dan perintah tersebut tersedia di bagian bawah. Jika Anda belum menentukan tingkat kuantisasi, biaya Q4, Q8, dan FP16 pada setiap pilihan menjelaskan hal-hal yang dikorbankan pada setiap tingkat.

Tarik tag yang tepat, jangan pernah menggunakan latest

latest adalah pointer yang terus berubah. Saat library menerbitkannya kembali, perilaku agent Anda berubah pada pull berikutnya tanpa penjelasan apa pun dalam catatan Anda. Hal itu sudah pernah terjadi pada model ini: pada pertengahan Oktober 2026, library memindahkan latest ke digest baru. Sebutkan tag tersebut.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

Skrip instalasi menyiapkan service systemd yang berjalan sebagai user ollama dan menyimpan model di /usr/share/ollama/.ollama/models. Pada sebagian besar image VPS, path tersebut berada di filesystem root. Karena itu, periksa ruang yang tersedia sebelum meminta 25 GB. Jika filesystem tersebut hampir penuh, tempat Ollama menyimpan model dan cara memindahkannya layak dibaca sebelum pull, bukan setelah disk penuh.

df -h /usr/share/ollama

Pull yang berhenti di tengah proses dan melaporkan no space left on device memang berarti demikian. Blob parsial tetap tersimpan di disk sampai Anda menghapusnya. Selanjutnya, pastikan apa yang berhasil diunduh:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show menampilkan arsitektur, jumlah parameter, panjang context, dan quantisation yang benar-benar dibawa file tersebut. Jika salah satunya berbeda dari halaman library, Anda melakukan pull terhadap tag yang berbeda dari yang dimaksud.

Jalankan, lalu periksa lokasi eksekusinya

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

Saat model masih dimuat, buka shell kedua:

ollama ps

Perintah ini menjawab pertanyaan tentang penggunaan memori pada mesin Anda. ollama ps menampilkan model yang dimuat, ukuran model dalam memori, dan kolom PROCESSOR. 100% GPU berarti seluruh model berada di VRAM. 100% CPU berarti tidak ada bagian model yang berada di VRAM, dan setiap token dihitung oleh prosesor menggunakan RAM sistem. Pembagian seperti 65%/35% CPU/GPU berarti semua layer tidak muat, sehingga porsi pemrosesan oleh CPU menentukan kecepatan. Jangan memperkirakan kebutuhan memori. Muat model, lalu baca baris ini.

Jika model sama sekali tidak dapat dimuat, Ollama menolak permintaan dengan baik dan tidak mengalami crash:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

Apakah VPS yang hanya menggunakan CPU cukup cepat?

VPS tujuan umum tidak memiliki GPU, sehingga CPU mengerjakan seluruh proses dan membaca setiap weight yang diperlukan dari RAM sistem. MoE membantu dalam hal ini karena hanya sekitar 3 miliar dari 30 miliar parameter yang diproses untuk setiap token. Dengan demikian, perhitungan per token jauh lebih sedikit dibandingkan model dense 30B. Namun, kebutuhan memori tidak berkurang sama sekali. Seluruh 30 miliar parameter harus tetap berada di memori karena router dapat memilih expert mana pun untuk setiap token.

Dengan demikian, inferensi model ini yang hanya menggunakan CPU lebih dibatasi oleh bandwidth memori daripada jumlah core. Menambahkan vCPU ke paket yang sudah memiliki jumlah vCPU yang memadai hanya sedikit mengubah kinerja. Anda memerlukan RAM yang cukup untuk menampung weight dan KV cache, serta memori tercepat yang disediakan oleh paket tersebut.

Ukur kinerjanya sebelum menggunakannya untuk agent, dengan metode pada mengukur token per detik untuk LLM lokal:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

Baris eval rate yang tercetak di bagian akhir menunjukkan kecepatan generasi dalam token per detik. Angka ini menentukan jawabannya karena waktu wall-clock agent terutama ditentukan oleh angka tersebut. Kalikan angka itu dengan panjang respons yang Anda perkirakan. Jika hasilnya lebih lama daripada waktu tunggu yang dapat Anda terima, membatasi output dengan num_predict adalah cara untuk membatasi durasi satu pemanggilan tanpa mengubah hardware.

GrafikAverage seconds per Intelligence Index task (Artificial Analysis, published August 2026)
Data di balik grafik ini
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

Itu adalah angka pihak ketiga yang dipublikasikan dan dikonversi dari durasi per tugas dalam menit yang dilaporkan Artificial Analysis saat peluncuran. Pengukuran dilakukan pada endpoint GPU ter-hosting, bukan pada VPS. Rata-rata Nemotron 3.5 Lightning adalah sekitar 30 detik per tugas. Tugas gpt-oss-120b memerlukan sekitar 204, sedangkan Qwen3.6 35B memerlukan sekitar 210. Gunakan angka tersebut untuk melihat perbedaan kinerjanya, bukan sebagai jaminan untuk hardware Anda.

Panduan yang tepat bergantung pada siapa yang menunggu. Jika seseorang menunggu respons dari agent, atau agent menjalankan rangkaian panggilan panjang secara berurutan, sewa kapasitas GPU. Jika proses berjalan terjadwal pada malam hari dan tidak ada yang memantaunya, paket CPU dengan RAM besar merupakan pilihan yang wajar. Bagaimanapun, penyiapannya sama, dan menjalankan Ollama pada VPS membahas penentuan ukuran paket serta perbandingan instance GPU dengan biaya penyedia API berdasarkan token. Titik impas bergantung pada tingkat utilisasi: biaya instance GPU dihitung untuk setiap jam instance tersebut aktif, sedangkan biaya token API hanya muncul saat token digunakan. Karena itu, agent yang sibuk hampir sepanjang hari lebih menguntungkan dijalankan pada server yang Anda miliki, sedangkan agent yang berjalan dua kali per jam biasanya tidak. Perangkat lunak Ollama tidak menambah biaya pada kedua pilihan tersebut karena dapat dijalankan secara gratis pada server yang Anda sewa, dan hal yang dikenai biaya oleh Ollama dan yang tidak menjelaskan posisi Ollama Cloud jika Anda tidak ingin menyewa perangkat keras sama sekali.

Window konteks 1M tidak gratis

1M token adalah kapasitas maksimum model, dan Ollama tidak memberikannya secara default. Ollama menggunakan window default yang jauh lebih kecil dan membuang token paling lama setelah percakapan melampaui kapasitas tersebut. Tidak ada apa pun yang dicatat pada level log default ketika hal itu terjadi, sehingga bagi agent, model tampak melupakan awal tugasnya sendiri.

Tetapkan window secara sengaja. Untuk seluruh server, edit service:

sudo systemctl edit ollama

Tambahkan pengaturan ini, lalu jalankan sudo systemctl restart ollama:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

Untuk setiap request, kirim num_ctx sebagai gantinya di dalam object options:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

Setiap peningkatan membutuhkan lebih banyak memori karena KV cache bertambah sesuai jumlah token yang diizinkan. Naikkan nilainya, restart, lalu jalankan ollama ps lagi dan pantau ukuran yang dilaporkan. Jika kolom PROCESSOR berubah dari 100% GPU menjadi split setelah perubahan tersebut, KV cache telah mendorong layer model keluar dari VRAM dan kecepatan Anda akan turun drastis. Memilih num_ctx di Ollama menjelaskan trade-off tersebut secara terperinci. Jangan menetapkan 1000000 hanya karena model card mengizinkannya, karena alokasi dilakukan sejak awal dan proses pemuatan akan gagal begitu saja.

Menghubungkannya ke agent yang selalu aktif

Halaman library Ollama untuk model ini mendokumentasikan shortcut yang menjalankan agent yang didukung dan langsung mengarahkannya ke model tersebut:

ollama launch claude --model nemotron-3.5-lightning

Halaman tersebut mencantumkan claude, opencode, openclaw dan hermes pada posisi itu. Subcommand ini memerlukan Ollama versi terbaru, jadi periksa ollama --version terlebih dahulu. Jika subcommand tersebut tidak tersedia, arahkan agent ke API secara manual. Ollama menyediakan endpoint yang kompatibel dengan OpenAI, dan sebagian besar harness agent dapat menggunakannya:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama mengabaikan key tersebut, tetapi sebagian besar client tidak mau memulai tanpa key. Konfigurasi pada sisi harness dijelaskan dalam mengarahkan coding agent ke Ollama dan membangun agent OpenClaw sendiri.

Setelah agent berjalan tanpa pengawasan, dua pengaturan server menjadi penting. OLLAMA_KEEP_ALIVE mengatur berapa lama model tetap berada di memori setelah request terakhir. Nilai default akan meng-unload model setelah lima menit, sehingga pemanggilan berikutnya kembali harus menunggu waktu load penuh. Pada file berukuran 25 GB tanpa GPU, jeda tersebut cukup lama untuk menyebabkan timeout. Atur OLLAMA_KEEP_ALIVE=-1 agar model tetap berada di memori. OLLAMA_HOST=0.0.0.0:11434 membuat API dapat diakses dari mesin lain. Pengaturan ini tidak menyediakan autentikasi apa pun, jadi buka akses tersebut hanya di balik aturan firewall atau jaringan privat.

Mode kegagalan dan string yang akan Anda lihat

Pull langsung gagal. Error: pull model manifest: file does not exist berarti tag tersebut tidak ada. Nama tag merupakan string yang harus sama persis. Salin salah satunya dari halaman library, jangan menebak-nebak sufiks quantisation.

Model tidak dapat dimuat. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) berarti tag tersebut terlalu besar untuk plan yang dikonfigurasi. Gunakan quantisation yang lebih kecil, atau turunkan OLLAMA_CONTEXT_LENGTH, karena KV cache ikut diperhitungkan dalam kebutuhan tersebut.

Tidak ada respons pada port 11434. curl: (7) Failed to connect to localhost port 11434 berarti service tidak berjalan atau tidak listening pada alamat yang diharapkan. Baca systemctl status ollama dan journalctl -u ollama -n 50. Jika Anda juga menjalankan ollama serve secara manual, salinan kedua akan keluar dengan Error: listen tcp 127.0.0.1:11434: bind: address already in use.

Service merespons, tetapi sangat lambat. Periksa ollama ps sebelum mengubah apa pun. Setiap penggunaan CPU pada kolom PROCESSOR di mesin dengan GPU berarti sebagian model tidak lagi berada di VRAM. Turunkan context atau gunakan quantisation yang lebih kecil. Pada mesin tanpa GPU, kinerja lambat merupakan hasil yang diharapkan dan tidak ada pengaturan yang dapat memperbaikinya.

Agent melupakan instruksinya di tengah tugas. Percakapan telah melewati context window, sehingga token paling lama dibuang secara diam-diam. Naikkan OLLAMA_CONTEXT_LENGTH, lalu pastikan dengan ollama ps bahwa model masih dapat dimuat. Jika tidak, solusinya adalah menggunakan mesin yang lebih besar, bukan memperkecil window.

Posisi model ini dibandingkan alternatif

MoE 30B merupakan model berukuran besar untuk di-host jika tugasnya kecil. Jika model dense 8B sudah dapat menangani tugas Anda, biaya operasionalnya akan jauh lebih rendah dan model tersebut dapat dimuat dalam hitungan detik. Qwen 3 pada 8B dan 27B di VPS adalah perbandingan langsung untuk keputusan tersebut. Untuk tinjauan yang lebih luas mengenai model yang benar-benar dapat ditampung oleh paket tertentu, mulailah dari model AI yang dapat Anda host sendiri. Jika Anda berencana melayani beberapa agen sekaligus, bukan hanya satu, baca Ollama dibandingkan dengan vLLM terlebih dahulu. Ollama dapat memproses permintaan ke satu model secara paralel, tetapi OLLAMA_NUM_PARALLEL dirilis dengan nilai 1. Dengan demikian, secara default, permintaan agen kedua akan menunggu dalam antrean sampai permintaan pertama selesai. Untuk model ini, menaikkan nilainya juga tidak membantu. Pada Ollama v0.40.11, scheduler memaksa arsitektur nemotron_h_moe yang dibawa oleh tag ini kembali memproses satu permintaan pada satu waktu dan mencatat model architecture does not currently support parallel requests. Pada model yang mendukung nilai tersebut, menaikkannya memerlukan lebih banyak memori. FAQ Ollama menyatakan bahwa RAM yang diperlukan bertambah sebesar OLLAMA_NUM_PARALLEL kali OLLAMA_CONTEXT_LENGTH. Dengan demikian, pada model besar, perkalian tersebut menjadi batas skalabilitas setup satu pengguna.

FAQ

Tag Nemotron 3.5 Lightning mana yang harus saya pull pada Linux VPS?

Gunakan nemotron-3.5-lightning:30b-a3b-q4_K_M. Ukurannya 25 GB, mendukung context maksimum penuh sebesar 1M, dan merupakan build yang dikembalikan oleh pointer latest, 30b, dan 30b-a3b saat dikueri pada 25 Oktober 2026, meskipun library memindahkan pointer tersebut ke digest terpisah pada pertengahan Oktober. Sebutkan tag itu secara eksplisit, bukan latest, agar republish pointer tersebut pada masa mendatang tidak mengubah perilaku agent tanpa Anda sadari. Tag mlx adalah build untuk Apple silicon. Hal yang sama berlaku untuk 30b-a3b-nvfp4, yang menggunakan digest 30b-a3b-mlx. Tag tersebut tidak akan membantu Anda pada Linux.

Berapa RAM yang dibutuhkan Nemotron 3.5 Lightning?

NVIDIA tidak menerbitkan angka minimum memori untuk build Ollama. Karena itu, lakukan pengukuran, bukan perkiraan. Pull tag tersebut, jalankan model sekali, lalu baca ollama ps saat model masih dimuat. Perintah itu menampilkan ukuran yang benar-benar digunakan serta apakah model ditempatkan pada GPU atau CPU. Ukuran unduhan untuk tag default adalah 25 GB. Angka ini hanya batas bawah karena KV cache ditambahkan di atasnya dan ukurannya bertambah sesuai context window yang Anda tetapkan. Jika paket VPS terlalu kecil, Ollama menolak menjalankan model dengan model requires more system memory dan menampilkan kedua angka tersebut.

Apakah Nemotron 3.5 Lightning dapat dijalankan pada VPS tanpa GPU?

Ya, jika paket VPS memiliki RAM yang cukup untuk memuat weight. Desain MoE juga membantu karena hanya sekitar 3 dari 30 miliar parameter yang dihitung untuk setiap token. Kendalanya adalah kecepatan. Tanpa GPU, model dibatasi oleh bandwidth memori sehingga penambahan vCPU hanya sedikit meningkatkan hasil. Jalankan ollama run --verbose dengan prompt tetap, baca baris eval rate, lalu bandingkan angka tersebut dengan batas waktu agent Anda. Untuk batch job yang berjalan semalaman, konfigurasi ini sering kali memadai. Untuk proses yang harus ditunggu langsung oleh pengguna, biasanya tidak memadai.

Mengapa Ollama tidak memberi saya context window penuh sebesar 1M?

1M adalah maksimum model, bukan nilai default Ollama. Ollama menerapkan window yang jauh lebih kecil dan membuang token paling lama setelah percakapan melampaui batas tersebut. Ollama tidak menampilkan error, sehingga agent terlihat seperti melupakan instruksinya sendiri. Tetapkan OLLAMA_CONTEXT_LENGTH pada service systemd, atau teruskan num_ctx untuk setiap request. Naikkan nilainya secara bertahap dan periksa kembali ollama ps setiap kali. Memori KV cache bertambah seiring ukuran window dan dapat menyebabkan layer model dipindahkan dari GPU.

Apakah Nemotron 3.5 Lightning gratis untuk penggunaan komersial?

Model card NVIDIA menempatkan model ini di bawah lisensi OpenMDW-1.1 dan menandainya siap untuk penggunaan komersial, berdasarkan pemeriksaan pada 25 Oktober 2026. Halaman library Ollama menyebut lisensi yang disertakan dalam unduhannya sebagai NVIDIA Open Model License Agreement. Karena itu, baca kedua lisensi tersebut sebelum mengandalkan salah satunya. Ketentuan tersebut mencakup weight yang Anda unduh dan jalankan sendiri. Ketentuan tersebut tidak mencakup software lain dalam stack Anda. Periksa lisensi agent harness dan setiap tool yang Anda hubungkan secara terpisah. Baca juga model card terbaru sebelum mengandalkan informasi ini untuk keperluan kontraktual.

Apakah artikel ini bermanfaat?