Self-hosted AI image generator: hardware అవసరాలు

self-hosted AI image generator కు నిజంగా అవసరమైనవి

self-hosted AI image generator‌లో ఒక web app మరియు ఒక model file ఉంటాయి. ఆ app ComfyUI, ఇది ఏ Linux box‌పైనైనా నడుస్తుంది. మీ hardware అవసరాలను నిర్ణయించేది model. SDXL-class checkpoint ఒకే 6.94 GB file‌గా ఉంటుంది. అది GPU memoryలో ఉండాలి. ఈ ఒక్క విషయం మొత్తం budget‌ను నిర్ణయిస్తుంది. అందువల్ల ఏదైనా rent చేయడానికి ముందు దిగువ hardware ladder‌ను చదవండి.

సూటిగా చెప్పాలంటే: CPU-only VPS software‌ను install చేసి అందించగలదు. పాత Stable Diffusion 1.5 model‌తో 512x512 పరిమాణంలో image‌ను ఒక్క నిమిషం లేదా రెండు నిమిషాల్లో generate చేయగలదు. అదే box‌లో SDXL‌ను 1024x1024 పరిమాణంలో నడిపితే ఒక్క image‌కు పది నుంచి ఇరవై నిమిషాలు పడుతుంది. ఇది setup విఫలమైందని అర్థం కాదు. ఇది లెక్కల ఫలితం. ఈ guide ఆ లెక్కలను వివరిస్తుంది.

మోడల్ పరిమాణమే యంత్రాన్ని ఎందుకు నిర్ణయిస్తుంది

చిత్రం సృష్టించే ప్రక్రియ denoising loop ను అమలు చేస్తుంది. 30-step render లో పూర్తి model ను image పైగా 30 సార్లు అమలు చేస్తుంది. ప్రతి pass లో ప్రతి weight ను చదవాలి. Half precision లో SDXL weights పరిమాణం సుమారు 6.9 GB ఉంటుంది. అందువల్ల చిత్రం కనిపించేలోపు 30-step render memory ద్వారా సుమారు 200 GB డేటాను తరలిస్తుంది.

24 GB video memory (VRAM, graphics chip పక్కనే అమర్చిన memory) కలిగిన GPU సెకనుకు వందల gigabytes వేగంతో చదవగలదు. అది మొత్తం 6.9 GB ను ఒకేసారి memoryలో ఉంచుతుంది. CPU VPS system RAM ను సెకనుకు కొన్ని పదుల gigabytes వేగంతో చదువుతుంది. Convolutionల కోసం దానికి ప్రత్యేక matrix hardware ఉండదు. అందువల్ల అదే loop ఒకటి లేదా రెండు orderల మేర నెమ్మదిగా నడుస్తుంది. Text models పనితీరును నిర్ణయించే memory-bandwidth కారణం ఇదే. దీన్ని GPU ఉన్న VPS ఖర్చు నిజంగా సమర్థించబడే సందర్భంతో పాటు చదవడం ఉపయోగకరం.

Image generation, text generationతో పోలిస్తే ఒక ముఖ్యమైన విధంగా భిన్నంగా ఉంటుంది. Chat model tokens ను stream చేస్తుంది. అందువల్ల నెమ్మదైన machineలో కూడా చదువుతున్నప్పుడు పదాలు కనిపిస్తాయి కాబట్టి ఉపయోగించడం సాధ్యమే అనిపిస్తుంది. Image మాత్రం చివరి step పూర్తయిన తర్వాత మాత్రమే కనిపిస్తుంది. నెమ్మదిగా ఉంటే progress bar ను చూస్తూ వేచి ఉండాలి.

నిజమైన సంఖ్యలతో hardware ladder

క్రింది block 2026 July నాటికి 1024x1024 పరిమాణం, 30 steps, Euler sampler ఉపయోగించిన ఒక SDXL image కోసం సాధారణ గణాంకాలను చూపిస్తుంది. వీటిని order of magnitude అంచనాలుగా పరిగణించండి. మీ sampler, step count, resolution ఆధారంగా ఈ సంఖ్యలు మారుతాయి.

[
  {
    "label": "8 vCPU VPS, no GPU",
    "seconds_per_image": 780
  },
  {
    "label": "8GB VRAM GPU",
    "seconds_per_image": 32
  },
  {
    "label": "12GB VRAM GPU",
    "seconds_per_image": 18
  },
  {
    "label": "24GB VRAM GPU",
    "seconds_per_image": 9
  }
]

CPU వరుసలో 780 seconds ఉన్నాయి. అంటే సుమారు పదమూడు minutes. 24 GB card కు 9 seconds పడుతుంది. మీరు చెల్లించే తేడా ఇదే.

ఈ ladder ను ఇలా చదవండి. 8 GB VRAM కంటే తక్కువ ఉన్నా SDXL నడుస్తుంది. ComfyUI layers ను system RAM కు స్వయంచాలకంగా offload చేస్తుంది. అందువల్ల 1 GB మాత్రమే ఉన్న card ను కూడా ఉపయోగించగలదు. Offloading ప్రతి step లో సమయం తీసుకుంటుంది. కాబట్టి 6 GB card పై ఒక్క image కు ముప్పై seconds కంటే ఒక minute కు దగ్గరగా సమయం పడుతుంది. 8 GB వద్ద base model సరిపోతుంది. Render సౌకర్యవంతంగా నడుస్తుంది. 12 GB వద్ద offloading లేకుండా checkpoint తో పాటు ఒకటి లేదా రెండు ControlNet లను memory లో ఉంచవచ్చు. 24 GB వద్ద ఒకే workflow లో SDXL, refiner, upscaling ను నడపవచ్చు. LoRA adapters training కూడా ప్రారంభించవచ్చు. దీనికి image generation కంటే చాలా ఎక్కువ memory అవసరం.

CPU VPS చేయగలవి, చేయలేనివి

ఇది చాలామంది ఊహించినదానికంటే ఎక్కువ చేయగలదు. మార్కెటింగ్‌లో చెప్పినదానికంటే తక్కువ కూడా చేయగలదు. ఆ పరిమితిని స్పష్టంగా అర్థం చేసుకోవాలి.

CPU VPSలో ComfyUIను ఇన్‌స్టాల్ చేయవచ్చు, web interface అందించవచ్చు, model libraryని నిల్వ చేయవచ్చు, queueను నడపవచ్చు. GPU అసలు లేకపోయినా imagesను generate చేయవచ్చు. Stable Diffusion 1.5ను 512x512 పరిమాణంలో 20 stepsతో నడిపితే, 16 GB RAM కలిగిన 8 ఆధునిక vCPUలపై ఒక్క imageకు సుమారు 60 నుంచి 150 seconds పడుతుందని అంచనా వేయాలి. రాత్రంతా నడిచే batch jobకు లేదా queue వెనుక పనిచేసే తక్కువ-పరిమాణ image endpointకు ఇది నిజంగా సరిపోతుంది.

CPU VPSతో interactive work చేయలేరు. Prompt iteration అంటే ఒక గంటలో 20 renders చేయడం. ఒక్క renderకు 13 minutes పడితే, మీరు 4 మాత్రమే చేయగలరు. Training కూడా చేయలేరు. CPUపై LoRA fine-tuningకు hours కాదు, days పడతాయి. అందువల్ల దాన్ని అందుబాటులో లేనిదిగా పరిగణించాలి.

CPU-only విధానంలో memory నియమం GPU విధానానికి భిన్నంగా ఉంటుంది. Weights system RAMలోకి load అవుతాయి. అందువల్ల model sizeతో పాటు working space కూడా అవసరం. SDXLకు సుమారు 16 GB RAM, SD 1.5కు సుమారు 8 GB RAM అవసరం. 4 GB ఉన్న machineలో ComfyUI ప్రారంభమవుతుంది. అయితే మొదటి render మధ్యలో out-of-memory killer దాన్ని నిలిపివేస్తుంది. అప్పుడు process అదృశ్యమవుతుంది; Killedలో dmesg కనిపిస్తుంది, కానీ Python traceback ఉండదు.

GPU యంత్రంపై ComfyUI ఇన్‌స్టాల్ చేయడం

ఇవి upstream కమాండ్లు. NVIDIA driver ఇప్పటికే ఉన్న clean Ubuntu 24.04 install నుంచి ప్రారంభించండి. ముందుగా driver ను నిర్ధారించండి. ఈ తనిఖీ లేకపోతే తరువాతి ప్రతి failure ఒకేలా కనిపిస్తుంది.

nvidia-smi

ఇది మీ card మరియు CUDA version ఉన్న table ను చూపాలి. command not found లేదా NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver కనిపిస్తే driver అందుబాటులో లేదు లేదా upgrade తర్వాత kernel module load కాలేదు. కొనసాగించే ముందు దీనిని సరిచేయండి. లేకపోతే ComfyUI నిశ్శబ్దంగా CPUకి fallback అవుతుంది. అప్పుడు సమస్యను software పై తప్పుగా మోపుతారు.

sudo apt update
sudo apt install -y git python3-venv python3-pip wget
git clone https://github.com/comfyanonymous/ComfyUI.git
cd ComfyUI
python3 -m venv venv
. venv/bin/activate
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130
pip install -r requirements.txt

Virtual environment optional advice కాదు. PyTorch పెద్ద dependency tree ను ఇన్‌స్టాల్ చేస్తుంది. ఇతర పనులు నడిచే యంత్రంలో దాన్ని system-wide గా ఇన్‌స్టాల్ చేస్తే ఇతర software విఫలమయ్యే అవకాశం ఉంది. తరువాతి దశకు వెళ్లే ముందు PyTorch card ను గుర్తించగలదో నిర్ధారించండి.

python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"

True తో పాటు మీ card name కనిపిస్తే stack సరిగ్గా పనిచేస్తోంది. False కనిపిస్తే మీరు ఇన్‌స్టాల్ చేసిన wheel driver కు సరిపోలడం లేదు. సాధారణంగా CPU-only torch wheel ఇప్పటికే cache కావడం వల్ల ఇది జరుగుతుంది. పై index URL ఉపయోగించి మళ్లీ ఇన్‌స్టాల్ చేయండి.

మోడల్‌ను పొందండి, డిస్క్ కోసం ముందుగానే ప్రణాళిక చేయండి

ComfyUIలో ఎలాంటి weights ఉండవు. Checkpoints ను models/checkpoints లో, VAE files ను models/vae లో, LoRA adapters ను models/loras లో ఉంచండి.

cd ~/ComfyUI/models/checkpoints
wget https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/resolve/main/sd_xl_base_1.0.safetensors

ఎల్లప్పుడూ .ckpt కంటే .safetensors కు ప్రాధాన్యం ఇవ్వండి. ఒక .ckpt file అనేది pickled Python object. దాన్ని load చేస్తే, దాన్ని రూపొందించిన వ్యక్తి చేర్చిన code అమలవుతుంది. safetensors format లో tensors మాత్రమే ఉంటాయి. అందువల్ల హానికరమైన file ఏ codeనూ అమలు చేయలేదు.

Storage ఖర్చును చాలామంది మర్చిపోతారు. ఒక SDXL base checkpoint పరిమాణం 6.94 GB. Refiner కు మరో 6 GB అవసరం. ఒక ControlNet model పరిమాణం 1.4 నుంచి 2.5 GB వరకు ఉంటుంది. ఒక upscaler పరిమాణం 60 నుంచి 350 MB వరకు ఉంటుంది. ఒక LoRA పరిమాణం 20 నుంచి 400 MB వరకు ఉంటుంది. ఈ పని నచ్చినవారు ఒక వారంలోనే రెండో, మూడో base model ను download చేస్తారు. పనిచేసే install కోసం 100 GB disk స్థలాన్ని కేటాయించండి. Outputs directory ను కూడా monitor చేయండి. 1024x1024 PNG files ఒక్కొక్కటి 1 నుంచి 2 MB వరకు ఉంటాయి. unattended batch చిన్న disk ను నిశ్శబ్దంగా నింపేస్తుంది. models/ మరియు output/ ను పెంచగలిగే volume పై ఉంచండి. మీ workflow JSON files ను object storageకు encrypted incremental backups వంటి విధానంతో backup చేయండి. Weights ను మళ్లీ download చేయవచ్చు. మీరు సర్దుబాటు చేసిన workflows ను మాత్రం మళ్లీ సులభంగా పునర్నిర్మించలేరు.

దీన్ని అమలు చేసి, సురక్షితంగా యాక్సెస్ చేయండి

cd ~/ComfyUI
. venv/bin/activate
python main.py --listen 127.0.0.1 --port 8188

ComfyUI port 8188 పై సేవలను అందిస్తుంది. CPU-only సిస్టమ్‌లో --cpu జోడించండి. ఇది CUDA device అందుబాటులో లేకపోవడం వల్ల విఫలమయ్యే బదులు CPU మార్గాన్ని బలవంతంగా ఉపయోగిస్తుంది.

0.0.0.0 కు కాకుండా 127.0.0.1 కు bind చేయండి. ComfyUI లో login screen లేదా user accounts ఉండవు. ఈ port ను చేరుకోగల ఎవరైనా jobs ను queue చేయవచ్చు, మీరు రూపొందించిన ప్రతి image ను చదవవచ్చు, అలాగే custom nodes ను install చేయవచ్చు. దీని ద్వారా మీ server పై arbitrary code execution సాధ్యమవుతుంది. బదులుగా మీ laptop నుంచి SSH tunnel ద్వారా దీన్ని యాక్సెస్ చేయండి.

ssh -N -L 8188:127.0.0.1:8188 you@your-server

తరువాత స్థానికంగా http://127.0.0.1:8188 ను open చేయండి. నిజమైన multi-user access అవసరమైతే, authentication కలిగిన reverse proxy ను దాని ముందు ఉంచి, app ను localhost కు bind చేసి ఉంచండి. Authentication లేని ఏ self-hosted service కైనా ఇదే విధానం వర్తిస్తుంది. VPS పై Docker Compose deployments లో ఇదే standard pattern.

systemd కింద దీన్ని నిరంతరం నడపండి

SSH session మూసినప్పుడు ఆగిపోయే render queue ఒక service కాదు. /etc/systemd/system/comfyui.service ను రాయండి.

[Unit]
Description=ComfyUI
After=network-online.target

[Service]
User=comfy
WorkingDirectory=/home/comfy/ComfyUI
ExecStart=/home/comfy/ComfyUI/venv/bin/python main.py --listen 127.0.0.1 --port 8188
Restart=on-failure
RestartSec=5

[Install]
WantedBy=multi-user.target

sudo systemctl daemon-reload
sudo systemctl enable --now comfyui
systemctl status comfyui

active (running) మరియు To see the GUI go to: http://127.0.0.1:8188 గా కనిపించే log line ఉంటే అది నడుస్తున్నట్లు అర్థం. ExecStart virtual environment లోని interpreter ను నేరుగా సూచిస్తుందని గమనించండి. systemd మీ shell profile ను అమలు చేయదు. అందువల్ల activate ఎప్పుడూ జరగదు.

బడ్జెట్ ఆధారంగా ఆచరణాత్మక సిఫార్సు

మీరు image generation ను ప్రయత్నించాలనుకుంటే, వేగంకన్నా ఖర్చు ముఖ్యమైతే, 16 GB RAM ఉన్న CPU VPS తీసుకుని, SD 1.5 ను 512x512 వద్ద నడపండి. ప్రతి image కు ఒకటి లేదా రెండు నిమిషాలు పట్టినా అంగీకరించండి. ఇది నిజాయితీగా చెప్పాలంటే ప్రారంభించడానికి సరైన మార్గం. GPU కలిగిన ఏ ఎంపికకన్నా దీని ఖర్చు చాలా తక్కువ. మీరు నిర్ణయం తీసుకునే వరకు model library మరియు workflows ను host చేయడానికి కూడా ఇది సరైన స్థలం.

మీరు ప్రతిరోజూ prompts ను పునరావృతంగా పరీక్షిస్తే, GPU cloud నుంచి కనీసం 12 GB VRAM ఉన్న GPU ను గంటల ప్రాతిపదికన అద్దెకు తీసుకోండి. మీరు పని ఆపినప్పుడు దాన్ని shut down చేయండి. Image generation సాధారణంగా నిరంతర పని కాదు. ఉపయోగించని GPU కి నెలవారీగా చెల్లించడం వల్లే ఇక్కడ చాలామంది ఎక్కువ ఖర్చు చేస్తారు. Checkpoints ను చవకైన block storage లో ఉంచి, వాటిని mount చేయండి.

మీరు ఇతరులకు సేవ అందిస్తే లేదా LoRA adapters ను train చేస్తే, మీకు 24 GB VRAM మరియు నిరంతరం ఉంచే machine అవసరం. ఆ దశలో అదే box ను local language model నడపడానికి కూడా ఉపయోగించడం సాధారణంగా ఖర్చును సమర్థిస్తుంది. Ollama తో self-hosting చేసే LLM లో ఈ setup వివరించబడింది.

మీరు ఏ స్థాయిని ఎంచుకున్నా, ప్రచురించిన ఏ గణాంకాన్నైనా నమ్మే ముందు మీ స్వంత machine ను కొలవండి. అదే prompt ను ఐదుసార్లు queue చేసి, ComfyUI తన console లో చూపించే seconds-per-iteration విలువను చదవండి. ఆ సంఖ్యే మీ వాస్తవ స్థాయిని నిర్ణయిస్తుంది.

FAQ

GPU లేకుండా Stable Diffusion ను నడపవచ్చా?

అవును. ComfyUI ను python main.py --cpu తో నడపవచ్చు. Graphics card లేకపోయినా ఇది నిజమైన చిత్రాలను రూపొందిస్తుంది. ఆధునిక 8 vCPUలపై Stable Diffusion 1.5 కోసం 512x512 పరిమాణంలో ఒక్కో చిత్రానికి సుమారు 60 నుంచి 150 seconds పడుతుంది. SDXL కోసం 1024x1024 పరిమాణంలో ఒక్కో చిత్రానికి 10 నుంచి 20 minutes పడుతుంది. రాత్రంతా నడిపే batch పనులకు, తక్కువ పరిమాణంలోని endpoints కు ఇది సరిపోతుంది. Promptలను వరుసగా మార్చి పరీక్షించడానికి ఇది అనుకూలం కాదు. Training పూర్తిగా ఆచరణ సాధ్యం కాదు.

SDXL కోసం ఎంత VRAM అవసరం?

1024x1024 పరిమాణంలో SDXL ను సౌకర్యంగా నడపడానికి 8 GB VRAM సరిపోతుంది. అంతకంటే తక్కువ VRAM ఉన్నప్పుడు ComfyUI layers ను system RAM కు స్వయంచాలకంగా offload చేస్తుంది. సుమారు 1 GB VRAM వరకు కూడా ఇది పనిచేస్తుంది. అయితే offload చేసే ప్రతి దశకు అదనపు సమయం పడుతుంది. 12 GB VRAM ఉంటే checkpoint తో పాటు ఒక ControlNet ను memoryలో ఉంచవచ్చు. 24 GB VRAM ఉంటే ఒకే workflowలో base model, refiner, upscaling ను నిర్వహించవచ్చు. LoRA adapters training కోసం ఇది ఆచరణాత్మక కనిష్ఠ పరిమాణం.

Models కు ఎంత disk space అవసరం?

SDXL base checkpoint ఒక్కటే 6.94 GB ఉంటుంది. Refiner కు అదనంగా సుమారు 6 GB అవసరం. ప్రతి ControlNet model 1.4 నుంచి 2.5 GB వరకు ఉంటుంది. LoRA adapters 20 నుంచి 400 MB వరకు ఉంటాయి. Upscalers 350 MB వరకు ఉండవచ్చు. కొన్ని base models తో పనిచేసే installation కోసం 100 GB కేటాయించండి. Output directory ను విడిగా పర్యవేక్షించండి. 1024x1024 PNG files ఒక్కొక్కటి 1 నుంచి 2 MB వరకు ఉండవచ్చు.

ComfyUI ను public internet పై ఉంచడం సురక్షితమేనా?

కాదు. ComfyUI లో ఎలాంటి authentication లేదు. దీని custom-node system interface నుంచే Python code ను install చేసి అమలు చేస్తుంది. అందువల్ల open port ఉండటం అంటే మీ serverపై remote code execution కు అవకాశం ఇవ్వడమే. దాన్ని 127.0.0.1 కు bind చేయండి. ssh -N -L 8188:127.0.0.1:8188 you@your-server తో SSH tunnel ద్వారా access చేయండి. ఒకరి కంటే ఎక్కువ మందికి access అవసరమైతే authentication కలిగిన reverse proxy ను దాని ముందు ఉంచండి.

ఎలాంటి error message లేకుండా నా render ఎందుకు ఆగిపోయింది?

dmesg లో Killed కనిపిస్తూ, Python traceback లేకుండా process కనుమరుగైతే, అది ComfyUI bug కాదు. Linux out-of-memory killer ఆ process ను terminate చేసింది. CPU-only serverలో model weights system RAMలో ఉంటాయి. అందువల్ల SDXL కు సుమారు 16 GB, SD 1.5 కు సుమారు 8 GB RAM అవసరం. దీనికి అదనంగా working space కూడా అవసరం. RAM పెంచండి, swap జోడించండి లేదా చిన్న model మరియు తక్కువ resolution ఉపయోగించండి.