SSD Nodes Learn Hosting plans →
Hướng dẫn Matt ConnorBởi Matt Connor · Cập nhật ngày 2026-10-26

Chạy Nemotron 3.5 Lightning trên VPS bằng Ollama

Chạy NVIDIA Nemotron 3.5 Lightning bằng Ollama trên VPS: tag chính xác cần pull, RAM thực tế cho model 30B và tốc độ CPU-only có đủ dùng không.

Nemotron 3.5 Lightning dùng để làm gì

Nemotron 3.5 Lightning là model mixture-of-experts 30B mã nguồn mở của NVIDIA, được phát hành vào tháng 8 năm 2026. Model này được xây dựng cho các agent chạy trong nhiều giờ, thay vì chỉ phục vụ một cửa sổ chat. MoE (mixture of experts) nghĩa là các weight được chia thành nhiều mạng con expert, và mỗi token chỉ được định tuyến qua một số ít mạng trong đó. Model card của NVIDIA ghi nhận tổng cộng 30 tỷ parameter, trong đó 3 tỷ parameter được kích hoạt cho mỗi token. Bạn phải trả chi phí bộ nhớ cho con số lớn. Đổi lại, tốc độ xử lý dựa trên con số nhỏ.

Đó là lý do nên cân nhắc model này cho một server thuê. Một agent thực hiện công việc thực tế có thể gửi hàng nghìn request ngắn trong một ngày, nên throughput trên mỗi đơn vị chi phí quyết định liệu nó có thể chạy trên máy riêng của bạn hay không. Một model mất 40 giây cho mỗi câu trả lời có thể dùng làm trợ lý, nhưng không phù hợp làm agent, vì một tác vụ có thể tạo ra 20 lần gọi và bạn phải chờ từng lần.

NVIDIA mô tả kiến trúc này là hybrid: các layer Mamba-2 và MoE được xen kẽ, cùng một số layer attention. Model card ghi nhận context length tối đa lên đến 1M token và license OpenMDW-1.1, được đánh dấu là sẵn sàng cho mục đích thương mại. Các ngôn ngữ chính là tiếng Anh và code. Model cũng hỗ trợ tiếng Tây Ban Nha, tiếng Pháp, tiếng Đức, tiếng Ý và tiếng Nhật.

Artificial Analysis công bố các phép đo khi ra mắt vào tháng 8 năm 2026, cho thấy tốc độ gần 670 token output mỗi giây trên một endpoint DeepInfra tiền phát hành đang phục vụ các weight NVFP4. Đây là một endpoint GPU được host sẵn. Hãy hiểu con số này là khả năng mà kiến trúc cho phép, không phải tốc độ VPS của bạn sẽ đạt được.

Tag Ollama nào phù hợp với VPS nào

Thư viện Ollama phát hành nhiều build dùng cùng một bộ weight. Điểm khác nhau là quantisation, tức số bit dùng để lưu mỗi weight. Vì vậy kích thước tải xuống cũng khác nhau đáng kể.

Biểu đồDownload size by Ollama tag, GB (Ollama library, checked October 2026)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "30b-a3b-q4_K_M",
    "size_gb": 25
  },
  {
    "label": "30b-a3b-q8_0",
    "size_gb": 35
  },
  {
    "label": "30b-a3b-bf16",
    "size_gb": 66
  },
  {
    "label": "30b-a3b-mlx",
    "size_gb": 19
  }
]

Các tag có tên latest, 30b và 30b-a3b hiện có digest riêng. Thư viện liệt kê chúng ở mức 19 đến 25 GB sau khi cập nhật vào giữa tháng 10 năm 2026. Khi truy vấn trực tiếp registry vào ngày 25 tháng 10 năm 2026, pointer đó trả về chính xác cùng các file như 30b-a3b-q4_K_M. Vì vậy, bản tải xuống mặc định trên VPS là build four-bit 25 GB với context đầy đủ 1M. Mức thấp nhất 19 GB trong khoảng được liệt kê khớp với các build MLX, cho thấy các máy dùng Apple silicon được cung cấp các build này. Q8_0 có kích thước 35 GB và bf16 có kích thước 66 GB; cả hai cũng dùng context 1M. Các build MLX có kích thước 19 GB dành cho Apple silicon và giới hạn context ở 256K, nên không phù hợp với Linux VPS. Thư viện cũng liệt kê 30b-mlx và 30b-a3b-nvfp4. Cả hai có cùng digest với 30b-a3b-mlx, dù tên format thứ hai nghe giống format của NVIDIA. Ngoài ra còn có 30b-a3b-mxfp8 ở mức 34 GB và 30b-a3b-mlx-bf16 ở mức 66 GB. Tất cả đều giới hạn context ở 256K, nên không build nào trong số đó cung cấp đầy đủ context window.

Đó là kích thước tải xuống, không phải yêu cầu về bộ nhớ. NVIDIA không công bố mức VRAM (video RAM) tối thiểu cho các build Ollama, nên chỉ xem kích thước tải xuống là mức sàn, không hơn. Các weight phải được giữ trong một vùng bộ nhớ nào đó: nếu GPU đủ chỗ thì nằm trong GPU memory, nếu không thì nằm trong system RAM. KV cache (key/value cache, bộ nhớ mà model dùng cho từng token của cuộc hội thoại) được cộng thêm. Con số thực tế cho phần cứng của bạn phải lấy bằng command, không thể tính bằng phép cộng đơn giản; command đó nằm bên dưới. Nếu bạn chưa chọn mức quantisation, chi phí của Q4, Q8 và FP16 ở từng mức giải thích những gì bạn phải đánh đổi ở mỗi bước.

Kéo đúng tag, không dùng latest

latest là một con trỏ có thể thay đổi. Khi thư viện phát hành lại tag này, hành vi của agent sẽ thay đổi ở lần pull tiếp theo mà không có gì trong ghi chú giải thích lý do. Điều đó đã xảy ra một lần với model này: vào giữa tháng 10 năm 2026, thư viện đã chuyển latest sang một digest mới. Hãy ghi rõ tag.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version
ollama pull nemotron-3.5-lightning:30b-a3b-q4_K_M

Script cài đặt tạo một systemd service chạy dưới user ollama và lưu model trong /usr/share/ollama/.ollama/models. Trên hầu hết VPS image, đường dẫn này nằm trên root filesystem, vì vậy hãy kiểm tra dung lượng trống trước khi yêu cầu 25 GB. Nếu filesystem đó gần đầy, hãy đọc nơi Ollama lưu model và cách di chuyển chúng trước khi pull, thay vì chờ đến khi ổ đĩa đã đầy.

df -h /usr/share/ollama

Một lần pull dừng giữa chừng và báo no space left on device có nghĩa đúng như vậy. Các blob đã tải một phần vẫn nằm trên ổ đĩa cho đến khi bạn xóa chúng. Sau đó, xác nhận những gì đã được tải:

ollama show nemotron-3.5-lightning:30b-a3b-q4_K_M

ollama show in ra architecture, số lượng parameter, context length và quantisation thực tế của file. Nếu bất kỳ thông tin nào không khớp với trang thư viện, bạn đã pull một tag khác với tag cần dùng.

Chạy model và kiểm tra model thực sự chạy ở đâu

sudo systemctl enable --now ollama
ollama run nemotron-3.5-lightning:30b-a3b-q4_K_M "Reply with one word: ready"

Khi model vẫn đang được load, hãy mở shell thứ hai:

ollama ps

Đây là command trả lời câu hỏi về bộ nhớ trên máy của bạn. ollama ps hiển thị model đã load, dung lượng model chiếm trong bộ nhớ và một cột PROCESSOR. 100% GPU nghĩa là toàn bộ model nằm trong VRAM. 100% CPU nghĩa là không có phần nào nằm trong VRAM; processor tính toán mọi token từ system RAM. Giá trị phân tách như 65%/35% CPU/GPU nghĩa là các layer không vừa hoàn toàn, và tỷ lệ tải trên CPU quyết định tốc độ. Không cần ước tính yêu cầu. Hãy load model rồi đọc dòng này.

Nếu không thể load, Ollama sẽ từ chối một cách an toàn thay vì crash:

Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB)

VPS chỉ dùng CPU có đủ nhanh không?

VPS cho mục đích chung không có GPU, nên CPU phải xử lý toàn bộ công việc và đọc mọi weight cần thiết từ RAM hệ thống. MoE có ích ở đây, vì mỗi token chỉ tác động đến khoảng 3 tỷ trong tổng số 30 tỷ parameter. Vì vậy, lượng phép tính cho mỗi token nhỏ hơn nhiều so với model dense 30B. Bộ nhớ thì không được giảm tải. Toàn bộ 30 tỷ parameter phải luôn nằm trong RAM, vì router có thể chọn bất kỳ expert nào cho bất kỳ token nào.

Vì vậy, inference chỉ dùng CPU trên model này bị giới hạn bởi băng thông bộ nhớ, không phải số lượng core. Việc thêm vCPU vào một plan vốn đã có số lượng vCPU hợp lý hầu như không tạo ra khác biệt. Bạn cần đủ RAM để chứa weight và KV cache, cùng loại memory nhanh nhất mà plan cung cấp.

Hãy đo trước khi giao một agent cho VPS đó, bằng phương pháp trong đo số token mỗi giây cho một LLM local:

ollama run --verbose nemotron-3.5-lightning:30b-a3b-q4_K_M "Write a 200 word summary of TCP slow start."

Dòng eval rate được in ở cuối là tốc độ sinh, tính bằng số token mỗi giây. Con số này quyết định câu trả lời, vì wall-clock time của agent chủ yếu phụ thuộc vào nó. Nhân tốc độ này với độ dài reply bạn dự kiến. Nếu kết quả dài hơn thời gian bạn chấp nhận chờ, giới hạn output bằng num_predict là cách duy nhất để giới hạn thời gian của một lần gọi mà không thay đổi hardware.

Biểu đồAverage seconds per Intelligence Index task (Artificial Analysis, published August 2026)
Dữ liệu đằng sau biểu đồ này
[
  {
    "label": "Nemotron 3.5 Lightning",
    "sec_per_task": 30
  },
  {
    "label": "gpt-oss-120b",
    "sec_per_task": 204
  },
  {
    "label": "Qwen3.6 35B",
    "sec_per_task": 210
  }
]

Đây là các số liệu do bên thứ ba công bố, được chuyển đổi từ số phút cho từng task mà Artificial Analysis báo cáo khi ra mắt. Chúng được đo trên các endpoint GPU được host, không phải trên VPS. Nemotron 3.5 Lightning đạt trung bình khoảng 30 giây cho mỗi task. Trong đó, gpt-oss-120b mất khoảng 204, còn Qwen3.6 35B mất khoảng 210. Hãy dùng các số liệu này để hình dung mức chênh lệch, không xem chúng là cam kết về hardware của bạn.

Khuyến nghị thực tế phụ thuộc vào người phải chờ. Nếu có người chờ agent phản hồi, hoặc agent thực hiện các chuỗi call dài liên tiếp, hãy thuê GPU capacity. Nếu agent chạy theo lịch qua đêm và không có ai theo dõi, plan CPU có nhiều RAM là lựa chọn hợp lý. Trong cả hai trường hợp, cách thiết lập đều giống nhau. chạy Ollama trên VPS trình bày cách chọn plan và so sánh một instance GPU với việc trả tiền cho API provider theo số token. Điểm hòa vốn phụ thuộc vào mức sử dụng: GPU instance tính phí cho mọi giờ nó tồn tại, còn API token chỉ bị tính phí khi được dùng. Vì vậy, agent hoạt động gần như cả ngày thường phù hợp hơn với máy chủ bạn sở hữu, còn agent chỉ chạy 2 lần mỗi giờ thì thường không phù hợp. Ollama software không làm tăng chi phí ở bên nào, vì bạn có thể chạy miễn phí trên server thuê. Ollama tính phí cho những gì và không tính phí cho những gì giải thích Ollama Cloud phù hợp ở đâu nếu bạn không muốn thuê hardware.

Window 1M token không miễn phí

1M token là giới hạn tối đa của model, nhưng Ollama không mặc định cấp toàn bộ dung lượng đó. Ollama cung cấp một window mặc định nhỏ hơn nhiều và loại bỏ các token cũ nhất khi cuộc hội thoại vượt quá giới hạn này. Ở log level mặc định, không có log nào cho biết việc đó đã xảy ra. Vì vậy, với một agent, hiện tượng này trông giống như model quên phần đầu của chính tác vụ đang thực hiện.

Hãy chủ động đặt window. Để áp dụng cho toàn bộ server, hãy chỉnh sửa service:

sudo systemctl edit ollama

Thêm nội dung này, rồi chạy sudo systemctl restart ollama:

[Service]
Environment="OLLAMA_CONTEXT_LENGTH=32768"

Để áp dụng cho từng request, thay vào đó hãy gửi num_ctx trong object options:

curl http://localhost:11434/api/chat -d '{
  "model": "nemotron-3.5-lightning:30b-a3b-q4_K_M",
  "messages": [{"role": "user", "content": "Say ready"}],
  "options": {"num_ctx": 32768},
  "stream": false
}'

Mỗi lần tăng đều tốn thêm memory vì KV cache tăng theo số token bạn cho phép. Tăng giá trị, restart, rồi chạy lại ollama ps và theo dõi kích thước được báo cáo tăng lên. Nếu cột PROCESSOR chuyển từ 100% GPU sang split sau thay đổi đó, KV cache đã đẩy các model layer ra khỏi VRAM và tốc độ sẽ giảm mạnh. Cách chọn num_ctx trong Ollama giải thích chi tiết về sự đánh đổi này. Không đặt 1000000 chỉ vì model card cho phép, vì bộ nhớ được cấp phát ngay từ đầu và quá trình load sẽ fail.

Kết nối vào agent luôn chạy

Trang thư viện Ollama của model này có hướng dẫn tắt để khởi động một agent được hỗ trợ và đã trỏ sẵn đến model:

ollama launch claude --model nemotron-3.5-lightning

Trang này liệt kê claude, opencode, openclaw và hermes ở vị trí đó. Subcommand này yêu cầu Ollama hiện tại, nên trước hết hãy kiểm tra ollama --version. Nếu chưa có, hãy tự trỏ agent đến API. Ollama cung cấp endpoint tương thích với OpenAI, và hầu hết agent harness đều chấp nhận endpoint này:

export OPENAI_BASE_URL=http://localhost:11434/v1
export OPENAI_API_KEY=ollama

Ollama bỏ qua key, nhưng hầu hết client sẽ không khởi động nếu chưa đặt key. Phần cấu hình harness được trình bày trong trỏ coding agent đến Ollama và tự xây dựng OpenClaw agent.

Khi agent chạy không cần giám sát, có 2 cài đặt server cần chú ý. OLLAMA_KEEP_ALIVE kiểm soát thời gian model được giữ trong memory sau request cuối cùng. Giá trị mặc định sẽ unload model sau năm phút, nên lần gọi tiếp theo lại phải chờ toàn bộ thời gian load. Với file 25 GB và không có GPU, khoảng chờ này đủ dài để gây timeout. Đặt OLLAMA_KEEP_ALIVE=-1 để giữ model trong memory. OLLAMA_HOST=0.0.0.0:11434 cho phép các máy khác truy cập API. API này không có bất kỳ cơ chế xác thực nào, nên chỉ mở nó sau firewall rule hoặc trên private network.

Các lỗi thường gặp và chuỗi bạn sẽ thấy

Pull thất bại ngay lập tức. Error: pull model manifest: file does not exist có nghĩa là tag đó không tồn tại. Tên tag là chuỗi chính xác, vì vậy hãy sao chép một tag từ trang library thay vì đoán hậu tố quantisation.

Model không load được. Error: model requires more system memory (28.4 GiB) than is available (15.6 GiB) có nghĩa là tag này quá lớn so với plan hiện tại. Chuyển sang quantisation nhỏ hơn hoặc giảm OLLAMA_CONTEXT_LENGTH, vì KV cache được tính vào yêu cầu đó.

Không có phản hồi trên port 11434. curl: (7) Failed to connect to localhost port 11434 có nghĩa là service chưa chạy hoặc không listening tại vị trí bạn dự kiến. Đọc systemctl status ollama và journalctl -u ollama -n 50. Nếu bạn cũng khởi động ollama serve thủ công, bản sao thứ hai sẽ thoát với Error: listen tcp 127.0.0.1:11434: bind: address already in use.

Service có phản hồi nhưng rất chậm. Kiểm tra ollama ps trước khi thay đổi bất kỳ thứ gì. Trên máy có GPU, bất kỳ CPU share nào trong cột PROCESSOR đều có nghĩa là một phần model đã bị đẩy ra khỏi VRAM. Vì vậy, hãy giảm context hoặc chọn quantisation nhỏ hơn. Trên máy không có GPU, tốc độ chậm là kết quả bình thường và không có setting nào khắc phục được.

Agent quên instruction giữa chừng. Cuộc hội thoại đã vượt quá context window, nên các token cũ nhất bị loại bỏ mà không có thông báo. Tăng OLLAMA_CONTEXT_LENGTH, xác nhận bằng ollama ps rằng model vẫn vừa, và nếu model không còn vừa nữa thì cần dùng máy lớn hơn thay vì giảm window.

Mô hình này nằm ở đâu so với các lựa chọn khác

Một mô hình MoE 30B là lựa chọn lớn nếu chỉ phục vụ một tác vụ nhỏ. Nếu mô hình dense 8B đã xử lý được tác vụ của bạn, chi phí chạy sẽ thấp hơn nhiều và thời gian load chỉ mất vài giây. Qwen 3 ở 8B và 27B trên VPS là bài so sánh trực tiếp cho quyết định này. Nếu muốn xem rộng hơn một plan cụ thể thực sự có thể chạy được những gì, hãy bắt đầu từ những AI model bạn có thể tự host. Nếu dự định phục vụ nhiều agent cùng lúc thay vì một agent, hãy đọc Ollama so với vLLM trước. Ollama có thể xử lý song song các request đến cùng một model, nhưng OLLAMA_NUM_PARALLEL được phát hành với giá trị 1. Vì vậy, theo cấu hình mặc định, request của agent thứ hai sẽ phải chờ trong queue đến khi agent đầu tiên hoàn tất. Với model này, tăng giá trị đó cũng không giúp ích: tính đến Ollama v0.40.11, scheduler buộc kiến trúc nemotron_h_moe mà tag này sử dụng quay về xử lý từng request một và ghi log model architecture does not currently support parallel requests. Với những model chấp nhận giá trị này, việc tăng nó sẽ làm tăng mức sử dụng memory: FAQ của Ollama cho biết RAM cần thiết tăng theo OLLAMA_NUM_PARALLEL lần OLLAMA_CONTEXT_LENGTH. Vì vậy, với model lớn, phép nhân này là giới hạn khiến cấu hình cho một người dùng không thể mở rộng thêm.

FAQ

Tôi nên pull tag Nemotron 3.5 Lightning nào trên Linux VPS?

Dùng nemotron-3.5-lightning:30b-a3b-q4_K_M. Tag này có dung lượng 25 GB, hỗ trợ đầy đủ context tối đa 1M, và là build mà các pointer latest, 30b và 30b-a3b trả về khi được truy vấn vào ngày October 25, 2026, dù thư viện đã chuyển các pointer đó sang một digest riêng vào giữa tháng October. Hãy chỉ định rõ tag này thay vì pull latest, để việc republish pointer đó trong tương lai không âm thầm thay đổi hành vi của agent. Các tag mlx là build dành cho Apple silicon. 30b-a3b-nvfp4 cũng vậy và dùng chung digest 30b-a3b-mlx. Chúng không giúp bạn chạy model trên Linux.

Nemotron 3.5 Lightning cần bao nhiêu RAM?

NVIDIA không công bố mức memory tối thiểu cho các build Ollama, vì vậy hãy đo thay vì ước tính. Pull tag, chạy model một lần rồi đọc ollama ps khi model đang được load. Dòng này hiển thị dung lượng thực tế đã chiếm dụng và cho biết model đang chạy trên GPU hay CPU. Dung lượng download của tag mặc định là 25 GB, nhưng đây chỉ là mức sàn vì KV cache được cộng thêm và tăng theo context window bạn đặt. Nếu plan quá nhỏ, Ollama sẽ từ chối với model requires more system memory và hiển thị cả hai con số.

Tôi có thể chạy Nemotron 3.5 Lightning trên VPS không có GPU không?

Có, nếu plan có đủ RAM để chứa weights. Thiết kế MoE cũng giúp ích vì mỗi token chỉ tính toán khoảng 3 trong 30 billion parameters. Điểm hạn chế là tốc độ. Không có GPU, model bị giới hạn bởi memory bandwidth, nên tăng số vCPU hầu như không cải thiện kết quả. Chạy ollama run --verbose với một prompt cố định, đọc dòng eval rate rồi so sánh con số đó với thời hạn phản hồi của agent. Với batch job chạy qua đêm, cách này thường đủ dùng. Với tác vụ mà người dùng phải chờ kết quả, thường là không đủ nhanh.

Vì sao Ollama không cung cấp đầy đủ context window 1M?

1M là mức tối đa của model, không phải giá trị mặc định của Ollama. Ollama áp dụng một window nhỏ hơn nhiều và loại bỏ các token cũ nhất khi conversation vượt quá giới hạn đó. Ollama không in lỗi, nên biểu hiện giống như agent quên các instruction của chính nó. Đặt OLLAMA_CONTEXT_LENGTH trên systemd service hoặc truyền num_ctx cho từng request. Tăng giá trị theo từng bước và kiểm tra lại ollama ps sau mỗi lần thay đổi, vì memory của KV cache tăng theo window và có thể khiến một số model layer bị đẩy khỏi GPU.

Nemotron 3.5 Lightning có được phép dùng cho mục đích thương mại miễn phí không?

Model card của NVIDIA đặt model dưới license OpenMDW-1.1 và đánh dấu model là sẵn sàng cho commercial use, theo thông tin được kiểm tra vào ngày October 25, 2026. Trang library của Ollama ghi license đi kèm bản download là NVIDIA Open Model License Agreement, vì vậy hãy đọc cả hai trước khi dựa vào một trong hai license đó. Nội dung này chỉ áp dụng cho weights mà bạn tự download và chạy. Nó không áp dụng cho phần mềm khác trong stack của bạn. Hãy kiểm tra riêng license của agent harness và mọi tool bạn kết nối với agent, đồng thời đọc model card hiện hành trước khi dùng thông tin này cho bất kỳ thỏa thuận mang tính ràng buộc nào.

Bài viết này có hữu ích không?