GPU असलेला VPS कधी आवश्यक असतो?
GPU असलेला VPS batch throughput आणि मोठ्या models साठी उपयुक्त ठरतो. Quantized chat models, embeddings आणि Whisper small CPU वर चालतात. आधी मोजमाप करा.
GPU असलेला VPS आवश्यक आहे का, की CPU पुरेसा आहे?
GPU असलेला VPS स्वतः मॉडेल चालवताना दोन गोष्टी बदलतो: tokens तयार होण्याचा वेग आणि कोणते मॉडेल memory मध्ये बसू शकते. याशिवाय तो काहीही बदलत नाही. तुमचा workload 7B ते 27B quantized chat model ने एका वेळी एका व्यक्तीला उत्तर देणे, कमी प्रमाणातील embedding job किंवा Whisper small वापरून speech transcription करणे एवढाच असेल, तर पुरेसा RAM असलेला साधा CPU VPS हे काम आधीच करू शकतो. CPU वर सुरुवात करा, त्रासदायक वाटणारे मोजमाप नोंदवा आणि त्यानंतर क्षमता वाढवा.
याचे कारण memory bandwidth आहे. Language model एक token तयार करते तेव्हा त्याला आवश्यक असलेले सर्व weights memory मधून वाचावे लागतात. 4 bits वर quantized केलेले 8B model disk वर साधारण 4.9 GB असते आणि memory मध्येही तेवढीच जागा घेते. त्यामुळे एक token तयार करण्यासाठी सुमारे 4.9 GB data हलवावा लागतो. मशीनची memory bandwidth या संख्येने भागल्यास प्रति सेकंद तयार होणाऱ्या tokens ची कमाल मर्यादा मिळते. तुम्ही वाचत असलेल्या जवळपास प्रत्येक benchmark चे स्पष्टीकरण या एका भागाकारातून मिळते.
GPU प्रत्यक्षात काय देते
Bandwidth. आधुनिक सर्व्हरवरील DDR5 मेमरी प्रति सेकंद दहापट गिगाबाइट डेटा हलवते. GPU मेमरी (VRAM, video RAM) प्रति सेकंद शेकडो ते 1,000 पेक्षा अधिक गिगाबाइट डेटा हलवते. या दोन्हीमधील गुणोत्तर म्हणजे speedup, आणि ते मोठे असते.
Capacity with speed. 64 GB RAM असलेला CPU सर्व्हर 4 bits वर 70B model लोड करू शकतो. तो चालेल, पण गप्पा मारण्यापेक्षा वाचण्याच्या वेगाजवळ. येथे GPU तेव्हाच मदत करते जेव्हा model VRAM मध्ये पूर्णपणे मावतो, कारण layers system RAM मध्ये जाताच slow path पुन्हा निर्णायक ठरतो.
Batch throughput. या भागाचा लोक अनेकदा कमी अंदाज घेतात. एका वापरकर्त्यासाठी generation करताना GPU ची बहुतेक compute क्षमता idle राहते, कारण तो memory ची वाट पाहत असतो. एकाच वेळी 20 requests serve केल्यास तोच weight read सर्व 20 requests साठी वापरला जातो. त्यामुळे aggregate tokens per second अनेक पटींनी वाढतो, तर प्रत्येक वापरकर्त्याचा वेग फारसा कमी होत नाही. llama.cpp सारखी CPU inference engines batching ला देखील support करतात; त्यातून मिळणारा फायदा hardware आणि workload वर अवलंबून असतो. अनेक clients वापरणारे API तयार करत असल्यास, raw single-stream speed पेक्षा batching हा GPU वापरण्याचा अधिक महत्त्वाचा आधार आहे.
Prompt processing. मोठा prompt वाचणे हे memory-bound नसून compute-bound असते आणि GPU चा सर्वाधिक फायदा याच ठिकाणी दिसतो. CPU ला एका मिनिटात process करावा लागणारा 30,000 token context GPU वर काही सेकंदांत process होतो. प्रत्येक request मध्ये documents समाविष्ट करणाऱ्या retrieval setups मध्ये हा फरक सतत जाणवतो.
ढोबळ आकडे आणि त्यांचा अर्थ कसा लावावा
प्रत्यक्ष throughput हा bandwidth ला model size ने भागल्यावर मिळणाऱ्या मूल्यापेक्षा कमी असतो. कारण वाढत्या context वर attention मुळे अतिरिक्त काम करावे लागते आणि साध्या भागाकारात ते गृहीत धरलेले नसते.
तुलनेसाठी, इंग्रजीतील प्रौढांचे मनातल्या मनात वाचन सरासरी 4.0 ते 4.3 words per second इतके असते: non-fiction साठी 238 words per minute आणि fiction साठी 260. 15 tokens per second किंवा त्याहून अधिक वेग एका वाचकाला नेहमीच्या typing सारखा वाटतो. म्हणूनच केवळ CPU वापरणारी अनेक setups प्रत्यक्षात कोणताही त्रास न देता पुरेशी चांगली काम करतात.
खरेदी करण्यापूर्वी VRAM चे आकारमान ठरवा
Model file size ही किमान गरज आहे; ती पूर्ण आवश्यकता नाही. Weights, तसेच KV cache (key-value cache; attention जतन करत असलेली प्रत्येक token साठीची memory), आणि सुमारे 1 GB overhead यांचा समावेश करून VRAM चे नियोजन करा.
Cache साठी flat percentage वाढवण्याऐवजी त्याची स्वतंत्र गणना करा, कारण weights चे quantization केल्याने cache चे quantization होत नाही. प्रत्येक token साठी full-attention model प्रत्येक layer आणि प्रत्येक KV head साठी एक key आणि एक value साठवतो. FP16 मध्ये प्रत्येक number साठी 2 bytes लागतात. हा Ollama चा default cache type आहे. 2026-10-27 रोजी तपासलेल्या Ollama च्या model metadata नुसार, Llama 3.1 8B मध्ये 32 layers आणि 128 dimensions असलेले 8 KV heads आहेत. त्यामुळे प्रत्येक token साठी 128 KiB लागतात: 8k context वर सुमारे 1.07 GB आणि 16k वर 2.15 GB. त्यामुळे 4.9 GB आकाराच्या 8B model साठी 8k वर सुमारे 7 GB आणि 16k वर सुमारे 8 GB VRAM आवश्यक आहे. 4 bits मधील 27B model साठी सुमारे 17 GB लागतात (Ollama library मधील Gemma 3 27B). Gemma 3 च्या metadata मध्ये 1,024-token sliding window दिली आहे. त्यामुळे त्याचा बराच cache वाढत नाही; म्हणून 20 GB किंवा अधिक VRAM चे नियोजन करा. 4 bits मधील 70B model साठी सुमारे 43 GB लागतात (Llama 3.3 70B). त्यात 80 layers असल्यामुळे FP16 cache 8k वर सुमारे 2.7 GB आणि 16k वर 5.4 GB वाढवतो. त्यामुळे जवळजवळ कोणतीही मोकळीक न ठेवता 48 GB card आवश्यक आहे, किंवा दोन लहान cards वापरावे लागतील. हीच गणना यापेक्षा मोठ्या models साठीही लागू होते. Kimi K3 सारख्या 2.8 trillion parameter model साठी VRAM ची गणना केल्यावर card निवडणे हा प्रश्नच कुठे अप्रासंगिक ठरतो ते दिसते.
Long contexts मध्ये हा मुद्दा सर्वाधिक महत्त्वाचा ठरतो. Llama 3.1 सारख्या full-attention models मध्ये KV cache हा context length नुसार linear पद्धतीने वाढतो. 128k tokens वर तो weights पेक्षाही मोठा होऊ शकतो. Sliding-window किंवा chunked attention वापरणारे models वेगळे असतात. Hugging Face च्या Transformers documentation मध्ये Mistral, Gemma 2 आणि Llama 4 ही उदाहरणे दिली आहेत. या models मधील संबंधित layers मध्ये cache window किंवा chunk size पर्यंत पोहोचल्यानंतर वाढणे थांबवतो. त्यामुळे त्यांचा एकूण आकार अधिक हळू वाढतो. Long contexts वापरण्याचा विचार असल्यास प्रथम cache साठी आकारमान ठरवा आणि तुमचे engine cache quantization साठी कोणते पर्याय देते ते तपासा. Ollama मध्ये OLLAMA_KV_CACHE_TYPE=q8_0 वापरल्यास default f16 च्या तुलनेत सुमारे निम्मी memory लागते. Cache quantization फक्त Flash Attention enabled असताना लागू होते. Context length स्पष्टपणे set करा. Ollama VRAM नुसार default निवडते: 24 GiB पेक्षा कमी असल्यास 4k, 24 ते 48 GiB असल्यास 32k आणि 48 GiB किंवा त्याहून अधिक असल्यास 256k. 70B model चालवणाऱ्या 48 GB card वर हा default card मध्ये उपलब्ध असलेल्या cache पेक्षा खूप अधिक cache मागतो.
मशीनवर प्रत्यक्षात काय उपलब्ध आहे ते तपासा
GPU instance वर इतर कोणतीही कृती करण्यापूर्वी driver ला card दिसत आहे का ते तपासा.
nvidia-smiया table मध्ये GPU चे नाव, driver version आणि एकूण memory पैकी वापरलेली memory दिसली पाहिजे. NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver दिसत असल्यास NVIDIA-SMI driver पर्यंत पोहोचू शकत नाही; driver install आहे आणि त्याचे kernel module load झाले आहे का ते तपासा. Stock Ubuntu image वर नेहमीचा उपाय म्हणजे sudo apt install -y ubuntu-drivers-common && sudo ubuntu-drivers install चालवणे आणि त्यानंतर reboot करणे, जेणेकरून नवीन module load होईल. Compute machines साठी Ubuntu च्या server documentation मध्ये sudo ubuntu-drivers install --gpgpu सुचवले आहे. त्यातून server driver branch निवडली जाते.
Containers साठी केवळ driver पुरेसा नाही. Device container मध्ये उपलब्ध करून देण्यासाठी Docker ला NVIDIA Container Toolkit आवश्यक आहे.
sudo apt-get update && sudo apt-get install -y --no-install-recommends ca-certificates curl gnupg2
curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg
curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart dockerत्यानंतर container मधून passthrough कार्यरत आहे हे सिद्ध करा:
sudo docker run --rm --gpus all ubuntu:24.04 nvidia-smiतीच table दिसली पाहिजे. docker: Error response from daemon: could not select device driver line मध्ये पूर्ण करता न येणारी GPU capability नमूद असल्यास Docker ला त्या request शी जुळणारा device driver सापडलेला नाही; toolkit install आहे का ते तपासा. त्यानंतर nvidia-ctk line आणि restart पुन्हा चालवा. Compose मध्ये यासाठी deploy.resources.reservations.devices entry वापरली जाते. तिचे driver हे nvidia असते आणि capabilities list मध्ये gpu असते. ही entry VPS वरील Docker Compose मध्ये वर्णन केलेल्या सामान्य service definitions मध्ये जोडता येते.
अपग्रेड करण्यापूर्वी मोजमाप करा
तुम्ही प्रत्यक्षात वापरणार असलेले model, तुमच्याकडे आधीपासून असलेल्या CPU मशीनवर चालवा आणि आकडे नोंदवा. VPS वर LLM स्वयं-host करण्यासाठी Ollama वापरताना यासाठी एकच flag आवश्यक आहे:
ollama run llama3.1:8b --verbose "Summarise the causes of the 1929 crash in 200 words."Output च्या शेवटी timing माहिती असते. eval rate हा tokens per second मधील generation speed आहे. मशीनने तुमचे input किती वेगाने वाचले, हे prompt eval rate दर्शवते. कोणते upgrade उपयुक्त ठरेल हे या दोन आकड्यांवरून समजते: eval rate कमी असल्यास memory-bandwidth समस्या आहे, तर मोठ्या input वर prompt eval rate कमी असल्यास compute समस्या आहे.
GPU असलेल्या मशीनवर model खरोखर GPU वर load झाले आहे का ते तपासा:
ollama psसर्व काही बसत असल्यास PROCESSOR column मध्ये 100% GPU दिसते. तसे न झाल्यास त्यात 43%/57% CPU/GPU सारखे काहीतरी दिसते. काही भागाचे split सहसा तुमच्या अपेक्षेपेक्षा अधिक खराब परिणाम देते, कारण प्रत्येक token ला अजूनही धीम्या भागाची प्रतीक्षा करावी लागते.
खर्चाचा प्रश्न
GPU instances साठी billing tokens ऐवजी provision केलेल्या compute time नुसार होते. Rates आणि stopped-instance charges provider ठरवतो. दिवसाला मोजक्याच विनंत्या हाताळणारा सतत सुरू असलेला GPU त्याच्या paid time पैकी बहुतांश वेळ idle राहतो. Break-even utilisation वर अवलंबून असतो: व्यस्त GPU वर प्रति token खर्च कमी असतो, तर idle GPU म्हणजे निव्वळ अपव्यय.
तीन व्यवहार्य पद्धती उपयोगी ठरतात. नियमित पण कमी प्रमाणातील काम CPU VPS वर चालू ठेवा. क्वचित येणारी जटिल विनंती hosted API कडे पाठवा आणि प्रति token पैसे द्या. Batch jobs, fine-tuning किंवा मोठ्या प्रमाणातील embedding run साठी GPU तासाच्या दराने भाड्याने घ्या आणि काम पूर्ण झाल्यावर तो नष्ट करा. या पद्धती एकत्र वापरणे सामान्य आहे. सतत सुरू असलेल्या VPS वरील AI agent खर्च नियंत्रण मध्ये वर्णन केलेली budgeting discipline येथेही लागू होते. मात्र येथे गळती token count नसून idle time असते.
GPU शिवाय अजूनही काय व्यवस्थित चालते
कमी प्रमाणातील embeddings. लहान embedding model काही CPU cores वर प्रति मिनिट शेकडो लहान documents प्रक्रिया करतो. एकदा तयार केलेला index जलद असण्याची गरज नसते.
Transcription साठी Whisper small आणि base. CPU वर Faster-whisper small model साठी जवळपास real-time transcription करतो. रात्रभर चालणाऱ्या pipeline साठी हे पुरेसे आहे.
एक किंवा दोन users साठी सुमारे 27B पर्यंतचे quantized chat models. ते धीमे असतात, पण वाचण्यास सोपे आणि वापरण्यायोग्य असतात.
तुम्ही batch job म्हणाल असे कोणतेही काम. कोणी screen पाहत नसेल, तर wall-clock speed ही आवश्यकतेपेक्षा scheduling detail असते.
GPU ची खरोखर गरज कुठे असते: लहान adapter पलीकडील training किंवा fine-tuning, अनेक concurrent users साठी serving, image आणि video generation, तसेच latency हेच product असलेल्या real-time speech साठी.
FAQ
7B किंवा 8B मॉडेलसाठी मला किती VRAM आवश्यक आहे?
8k context वर 4-bit quantized 8B मॉडेलसाठी सुमारे 7 GB, आणि Ollama च्या default FP16 cache सह 16k वर सुमारे 8 GB आवश्यक असते. Weights सुमारे 4.9 GB असतात. KV cache 8k वर सुमारे 1.07 GB किंवा 16k वर 2.15 GB वाढवतो. उर्वरित सुमारे 1 GB overhead असतो. 8 GB card मध्ये ते 8k वर चालते, पण 16k वर मर्यादित जागा उरते. 12 GB card मुळे मोठ्या context साठी पुरेशी जागा उरते. Cache q8_0 वर बदलल्यास cache चा वापर साधारण निम्मा होतो. 128k context वापरणार असाल, तर cache साठी स्वतंत्रपणे क्षमता ठरवा. कारण तो weights पेक्षा मोठा होऊ शकतो.
GPU शिवाय Ollama चालवता येते का?
होय. Ollama आपोआप CPU वर fallback होते आणि मॉडेल ठेवण्यासाठी पुरेशी RAM आवश्यक असते. Memory speed नुसार 4-bit 8B मॉडेलसाठी साधारण 5 ते 12 tokens per second अपेक्षित असतात. एका वापरकर्त्यासाठी हा वेग वाचनाच्या वेगाजवळ असतो. CPU वर लांब prompts ही मुख्य अडचण असते. कारण 30,000 tokens चा context वाचणे compute-bound असते आणि उत्तर तयार करण्यापेक्षा त्यासाठी खूप अधिक वेळ लागतो.
माझा GPU CPU पेक्षा फारच थोडा जलद का आहे?
सामान्य कारण म्हणजे मॉडेल पूर्णपणे VRAM मध्ये बसलेले नसते. त्यामुळे काही layers CPU वर चालतात आणि प्रत्येक token ला धीम्या भागाची प्रतीक्षा करावी लागते. ollama ps चालवा आणि PROCESSOR column मध्ये 100% GPU दिसते का ते तपासा. Split दिसत असल्यास smaller quantization किंवा smaller model वापरा. दुसरे सामान्य कारण म्हणजे लहान benchmark. अशा वेळी model load time मोजमापावर जास्त प्रभाव टाकतो.
एका वापरकर्त्यासाठी GPU VPS घेणे फायदेशीर आहे का?
सामान्यतः नाही. इंग्रजीतील प्रौढ व्यक्तीचा शांत वाचनाचा सरासरी वेग सुमारे 4.0 ते 4.3 words per second असतो. CPU box च्या वेगाची या गतीशी तुलना करण्यापूर्वी tokens per second चे words per second मध्ये रूपांतर करावे लागते. एका वापरकर्त्यासाठी खर्चाचे समर्थन करणाऱ्या परिस्थितींमध्ये long prompts, image generation आणि fine-tuning यांचा समावेश होतो. एकाच वेळी अनेक वापरकर्त्यांना सेवा देणे हा सर्वात मजबूत युक्तिवाद आहे. कारण batching मुळे एक GPU अनेक requests साठी weight reads सामायिक करू शकतो.
GPU तासानुसार भाड्याने घ्यावा की तो नेहमी सुरू ठेवावा?
काम bursty असल्यास तासानुसार भाड्याने घ्या: fine-tuning, bulk embedding run किंवा batch transcription job साठी. Card सतत व्यस्त राहत असेल तेव्हाच तो नेहमी सुरू ठेवा. कारण provisioned GPU compute तयार केलेल्या tokens नुसार नव्हे, तर वापरलेल्या वेळेनुसार आकारले जाते. कमी traffic असलेला assistant idle GPU पेक्षा CPU VPS वर किंवा प्रति token शुल्क असलेल्या hosted API वर स्वस्त पडतो.