Uwezo halisi wa jenereta ya video ya AI inayojiendesha

Uwezo halisi wa jenereta ya video ya AI inayojiendesha (self-hosted)

Jenereta ya video ya AI inayojiendesha inafanya kazi leo, lakini ni polepole na ina uwezo mdogo kuliko video za maonyesho zinavyopendekeza. Kufikia Julai 2026, mifano huria inayofaa kuendeshwa ni Wan 2.2 kutoka Alibaba na HunyuanVideo kutoka Tencent, pamoja na LTX-Video kutoka Lightricks pale kasi inapokuwa muhimu kuliko uhalisia. Yote huendeshwa chini ya ComfyUI kwenye mashine ya Linux yenye NVIDIA GPU. Unachopata ni klipu ya takriban sekunde tano kwa ubora wa 720p. Sio eneo la tukio (scene). Sio dakika moja ya filamu iliyokamilika.

Hili ndilo jibu fupi kabla ya maelezo zaidi. Kadi ya 24 GB hutoa klipu ya sekunde tano ya 720p ndani ya dakika chache. Kadi ya 12 GB hufanya kazi hiyo hiyo ndani ya dakika ishirini au zaidi, kwa sababu uzito (weights) hautoshei kwenye kumbukumbu ya video na programu huendelea kuhamisha matabaka (layers) kwenda na kurudi kwenye RAM ya mfumo. Seva isiyo na GPU haiwezi kufanya hivi kwa namna yoyote ile yenye manufaa. Hesabu zilizofanya utengenezaji wa picha kwa CPU kuwa wa polepole hufanya utengenezaji wa video kwa CPU kutokuwa na maana.

Ikiwa umeshasoma ngazi ya maunzi kwa ajili ya jenereta ya picha inayojiendesha, video ni hoja hiyo hiyo huku kila namba ikipanda daraja moja juu. VRAM (kumbukumbu ya video, RAM iliyochomezwa kando ya chip ya michoro) bado ndiyo sifa pekee inayoamua kama hili ni jambo la kufurahisha au la kuumiza.

Kwa nini video moja inagharimu zaidi ya picha moja

Diffusion model hutengeneza picha kwa kuondoa kelele (denoising) katika hatua mbalimbali, na kila hatua husoma kila uzito (weight) uliopo kwenye model. Model ya video hufanya jambo hilohilo kwa kundi zima la fremu kwa wakati mmoja, na huongeza umakini wa muda (temporal attention) ili fremu ya 80 iweze kujua jinsi fremu ya 12 ilivyokuwa. Sekunde tano kwa kiwango cha fremu 24 kwa sekunde ni sawa na fremu 120 katika batch moja.

Umakini huo wa muda ndio sababu gharama haiongezeki kwa uwiano sawa na urefu wa klipu. Kuongeza idadi ya fremu mara mbili husababisha kumbukumbu inayohitajika na sampler kuongezeka zaidi ya mara mbili, kwa hivyo tatizo si kutoa video polepole, bali ni render kufeli kabisa.

Kuna ongezeko la pili la kumbukumbu ambalo watu hawatalitarajii. Baada ya sampler kumaliza, VAE (variational autoencoder, sehemu inayobadilisha latent iliyoshinikizwa kuwa pixels halisi) hufanya decode ya video nzima ya latent kwa wakati mmoja. Decode hiyo inaweza kuhitaji kumbukumbu nyingi zaidi kuliko ile iliyotumika wakati wa sampling. Dalili ya tatizo hili ni kazi kuonyesha bar ya maendeleo imekamilika kisha kuchapisha ujumbe huu:

torch.cuda.OutOfMemoryError: CUDA out of memory. Tried to allocate 9.31 GiB

Suluhisho ni kutumia tiled decoding au kupunguza urefu wa klipu. Kujua ni hatua ipi iliyokwisha kumbukumbu hukuokoa muda wa saa nzima usijaribu kurekebisha kitu kisicho sahihi.

Unahitaji VRAM kiasi gani kwa ajili ya kutengeneza video kwa AI

Takwimu mbili zilizochapishwa huweka msingi wa uamuzi huu, na zinaonekana kupingana. Alibaba inasema kuwa modeli ya Wan 2.2 TI2V-5B inazalisha klipu za 720p kwa fremu 24 kwa sekunde, zenye urefu wa sekunde tano, kwa chini ya dakika tisa kwenye GPU moja ya kawaida kama 4090, na inapendekeza angalau 24 GB ya VRAM. Nyaraka za ComfyUI zinasema kuwa modeli hiyo hiyo ya 5B "inapaswa kutoshea vyema kwenye 8 GB ya VRAM kwa kutumia ComfyUI native offloading".

Zote ni kweli kwa sababu zinapima vitu tofauti. 8 GB ni mahali ambapo inatoshea. 24 GB ni mahali ambapo inafanya kazi kwa ufanisi. Offloading hufanya kazi kwa kuhifadhi sehemu kubwa ya modeli kwenye RAM ya mfumo na kuhamisha tabaka (layers) kwenye GPU kwa kila hatua, hivyo kadi hutumia muda wake kusubiri kwenye PCIe bus badala ya kufanya hesabu. Unalipa gharama hiyo katika kila hatua ya sampler, si mara moja tu.

[
  {
    "label": "8GB VRAM, heavy offloading",
    "minutes_per_clip": 40
  },
  {
    "label": "12GB VRAM",
    "minutes_per_clip": 22
  },
  {
    "label": "16GB VRAM",
    "minutes_per_clip": 14
  },
  {
    "label": "24GB VRAM, 4090 class",
    "minutes_per_clip": 9
  }
]

Mstari wa mwisho pekee ndio takwimu ya muuzaji. Kadi ya 24 GB inafika 9 dakika kwa kila klipu, ambayo ndiyo namba iliyochapishwa na Alibaba kwa modeli hii. Mistari mingine ni matokeo ya offloading, na ni makadirio ya mpangilio wa ukubwa badala ya matokeo ya benchmark. Umbo ndilo la msingi: 40 dakika kwenye kadi ya 8 GB kitaalamu ni usanidi unaofanya kazi, lakini kivitendo ni kazi ya kundi (batch job) unayoiacha ikiendelea usiku kucha.

Modeli kubwa zaidi za Wan 2.2 ni ulimwengu mwingine. Matoleo ya A14B ya text-to-video na image-to-video yanahitaji angalau 80 GB ya VRAM kwa ajili ya inference ya GPU moja. Hiyo ni vifaa vya kituo cha data (data-center), si kadi unayoweka kwenye mashine ya mezani, na ndipo mahali ambapo self-hosting inapoanza kumaanisha kukodisha accelerator ya mtu mwingine kwa saa. Hesabu hiyo hiyo huenda mbali zaidi upande wa maandishi, ambapo self-hosting ya modeli yenye vigezo trilioni 2.8 kama Kimi K3 huacha kuwa swali kuhusu kadi moja na kuwa swali kuhusu ni kadi ngapi za 80 GB unazoweza kumudu kuziunganisha pamoja.

Gharama ya klipu kwenye GPU iliyokodishwa

Kukodisha ndiyo njia ambayo watu wengi wanapaswa kutumia kufanya majaribio haya, kwa sababu kadi unayonunua inaweza kuwa vifaa visivyofaa ikiwa modeli unayohitaji hatimaye inahitaji 80 GB. Bei za wastani za kukodisha GPU kwa mahitaji (on-demand) kufikia Julai 2026 ni kama ifuatavyo:

[
  {
    "label": "RTX 4090, 24GB",
    "usd_per_hour": 0.36,
    "usd_per_clip": 0.05
  },
  {
    "label": "A100, 80GB",
    "usd_per_hour": 1.79,
    "usd_per_clip": 0.6
  },
  {
    "label": "H100, 80GB",
    "usd_per_hour": 2.99,
    "usd_per_clip": 0.55
  }
]

Safu ya 4090 inaendesha modeli ya 5B na inagharimu takriban 0.05 dola kwa kila klipu kwa bei ya 0.36 dola kwa saa. Safu za 80 GB zinaendesha modeli za 14B, ndiyo maana gharama yao kwa kila klipu inapanda hadi 0.6 dola ingawa vifaa vyenyewe vina kasi zaidi. Modeli kubwa inahitaji nguvu zaidi ya kompyuta kwa kila sekunde ya video.

Senti tano kwa kila klipu inaonekana kama kitu kidogo, na hapo ndipo penye utata. Sekunde zako tano za kwanza unazoweza kutumia hazitokani na render moja. Kutoa maelekezo (prompting) kwa modeli ya video ni mchakato wa utafutaji, na ni kawaida kufanya render ishirini hadi arobaini kabla ya kupata klipu inayofaa kwa picha yenye mwendo maalum. Kwa hivyo, kikao cha kazi kinagharimu dola badala ya senti, na mchana mzima wa kufanya majaribio kwenye vifaa vilivyokodishwa unagharimu kiasi sawa na bei ya chakula cha mchana.

Kuna mambo mawili ya ukodishaji yanayoweza kukugharimu pesa nyingi usipokuwa makini. Unatozwa ada wakati seva inapakua (download) uzito wa modeli (weights), na faili za Wan 2.2 pamoja na text encoder na VAE yake hufikia makumi ya gigabytes, kwa hivyo chagua mtoa huduma mwenye persistent volume ili upakue mara moja tu. Pia unatozwa ada wakati seva imewashwa lakini haifanyi kazi (idle) huku SSH session yako ikiwa wazi. Zima (stop) instance badala ya kufunga terminal pekee.

Sakinisha ComfyUI kwenye seva ya GPU

Anza na Ubuntu 24.04 ikiwa dereva wa NVIDIA tayari umesakinishwa. Kwanza thibitisha dereva, kwa sababu kila hitilafu itakayotokea baadaye itaonekana sawa bila ukaguzi huu.

nvidia-smi

Hiyo lazima ichapishe jedwali lenye kadi yako na toleo la CUDA. Ikiwa itachapisha NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver, moduli ya kernel haijapakiwa, jambo ambalo kwa kawaida hutokea baada ya kuboresha kernel bila kuanzisha upya seva (reboot). Rekebisha hapa. Vinginevyo, ComfyUI itatumia njia ya CPU na utatumia saa nzima ukiilaumu model.

sudo apt update
sudo apt install -y git python3-venv python3-pip wget
git clone https://github.com/Comfy-Org/ComfyUI.git
cd ComfyUI
python3 -m venv venv
. venv/bin/activate
pip install torch torchvision torchaudio --extra-index-url https://download.pytorch.org/whl/cu130
pip install -r requirements.txt

Thibitisha kuwa PyTorch inaona kadi hiyo kabla ya kupakua faili yoyote ya uzito (weight file).

python -c "import torch; print(torch.cuda.is_available(), torch.cuda.get_device_name(0))"

True pamoja na jina la kadi yako inamaanisha kuwa stack iko sawa. False inamaanisha kuwa wheel iliyosakinishwa ni ya toleo la CPU pekee, jambo linalotokea wakati pip inapopata torch iliyohifadhiwa kwenye cache kutoka usakinishaji wa awali. Sakinisha upya kwa kutumia index URL iliyo hapo juu.

Pakua faili za modeli ya Wan 2.2

ComfyUI haiji na uzani (weights) wowote, na modeli ya video si faili moja. Hii ni modeli ya diffusion, text encoder, na VAE, na kila moja huwekwa kwenye saraka yake. Ukiweka faili kwenye folda isiyo sahihi, node ya kupakia (loader node) haitaionyesha kwenye orodha, bila kutoa kosa lolote la kuelezea sababu.

cd ~/ComfyUI/models
wget -P diffusion_models https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/diffusion_models/wan2.2_ti2v_5B_fp16.safetensors
wget -P text_encoders https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/resolve/main/split_files/text_encoders/umt5_xxl_fp8_e4m3fn_scaled.safetensors
wget -P vae https://huggingface.co/Comfy-Org/Wan_2.2_ComfyUI_Repackaged/resolve/main/split_files/vae/wan2.2_vae.safetensors

Modeli ya 5B inashughulikia zote mbili, text-to-video na image-to-video, ndiyo maana ndiyo sehemu bora ya kuanzia. Daima pendelea .safetensors badala ya .ckpt. Faili ya .ckpt ni kitu cha Python kilichohifadhiwa (pickled), kwa hivyo kuipakia kunaendesha msimbo uliyoandikwa na yeyote aliyeijenga. Tenga nafasi ya diski kwa ukarimu: usakinishaji unaofanya kazi na familia moja ya modeli pamoja na matokeo yake unahitaji 100 GB, na faili za video ni kubwa zaidi kuliko picha za PNG zinazozalishwa na workflow ya picha. Hifadhi nakala za faili zako za workflow JSON kwa kutumia kitu kama nakala rudufu zilizosimbwa kwa njia fiche kwenye hifadhi ya kitu (object storage), kwa sababu uzani unaweza kupakuliwa tena lakini workflow ulizozisanidi haziwezi.

Iendeshe, na uifikie kwa usalama

cd ~/ComfyUI
. venv/bin/activate
python main.py --listen 127.0.0.1 --port 8188

ComfyUI haina skrini ya kuingia wala akaunti za watumiaji. Kila kitu kinachoweza kufikia port 8188 kinaweza kupanga kazi kwenye foleni, kusoma kila clip uliyotengeneza, na kusakinisha custom nodes, jambo ambalo ni utekelezaji wa msimbo holela (arbitrary code execution) kwenye seva yako. Iunganishe na localhost na uifikie kupitia SSH tunnel kutoka kwenye mashine yako mwenyewe.

ssh -N -L 8188:127.0.0.1:8188 you@your-server

Kisha fungua http://127.0.0.1:8188 kwenye kivinjari chako. Pakia workflow ya kiolezo ya Wan 2.2 kutoka kwenye menyu ya templates ya ComfyUI badala ya kuunganisha nodes kwa mkono. Violezo rasmi vina mipangilio ya sampler ambayo modeli ilisanifiwa kwayo, na workflow ya video ina sehemu nyingi zaidi za kukosea thamani kimyakimya kuliko workflow ya picha.

Wakati jibu la kweli ni kutumia API

Self-hosting ya uzalishaji wa video ni uamuzi sahihi wakati kiasi cha kazi ni kikubwa na thabiti, wakati fremu zako hazipaswi kutoka kwenye miundombinu yako, au unapohitaji modeli mahususi au adapta ya kipekee ambayo hakuna huduma ya nje inayotoa. Pia ni sahihi wakati pipeline lazima iendelee kufanya kazi kwa njia ile ile baada ya mwaka mmoja, kwa sababu modeli ya nje inaweza kubadilika bila taarifa na bila toleo la kudumu (pin).

Tumia API ya nje unapohitaji klipu chache kwa mwezi, unapohitaji matokeo marefu au makubwa kuliko yale yanayozalishwa na modeli huria, au unapokuwa na makataa ya wiki hii. Fanya hesabu ya faida na hasara kwa uaminifu. Kadi ya 24 GB inayokodishwa saa 24 kwa mwezi kwa bei ya wastani ya Julai 2026 ni takriban dola 260 kwa mwezi, na kununua kadi hiyo hiyo kunagharimu zaidi ya hapo kabla hata hujazalisha fremu moja. Seva ya self-hosted isiyofanya kazi inashindwa na bei ya API kwa kila klipu kila wakati. Huu ni uamuzi uleule unaoamua jinsi unavyohudumia modeli za maandishi, ulioshughulikiwa katika Ollama dhidi ya vLLM kwa ajili ya huduma ya LLM ya self-hosted, na unakaa juu ya swali la msingi zaidi katika kama VPS yenye GPU inafaa gharama hata kidogo.

Nini cha kukagua wakati render inaposhindwa

Render inayokufa mwishoni kabisa, baada ya upau wa sampler kukamilika, imekosa kumbukumbu (memory) wakati wa VAE decode. Punguza idadi ya frame au tumia tiled decode node. Kubadilisha idadi ya step hakutasaidia, kwa sababu decode hutokea mara moja, baada ya kila step kukamilika.

Matokeo ambayo ni meusi kabisa au yaliyoharibika vibaya mara nyingi humaanisha kuwa VAE hailingani na model. Wan 2.1 VAE inayopakiwa kwenye Wan 2.2 diffusion model hutoa matokeo hayo, na hakuna kosa lolote linaloonekana kwenye log.

Render inayofanya kazi lakini ikachukua saa nyingi kwenye mashine unayojua ina GPU humaanisha ComfyUI iko kwenye njia ya CPU. Kagua log ya kuanza (startup log) kwa ajili ya mstari wa kifaa (device line), kisha rudia ukaguzi wa torch.cuda.is_available() hapo juu.

Mchakato kupotea ghafla na Killed katika dmesg bila Python traceback ni ishara ya kernel out-of-memory killer, kwa hivyo hiyo ni RAM ya mfumo, si VRAM. Offloading inahitaji model nzima ikae kwenye RAM ya mfumo, jambo linalomaanisha kuwa mashine ya 16 GB inayofanya offload ya 5B model haitoshi. Ongeza RAM au ongeza swap.

FAQ

Je, ninaweza kutengeneza video ya AI kwenye VPS isiyo na GPU?

Hapana, si kwa njia ambayo utaweza kuitumia mara mbili. Klipu ya sekunde tano ya 720p inayochukua dakika tisa kwenye GPU ya 24 GB inachukua saa nyingi kwenye CPU, kwa sababu modeli haina maunzi ya matrix ya kuendeshea, na bandwidth ya RAM ya mfumo iko chini sana kuliko bandwidth ya kumbukumbu ya GPU. Seva ya CPU inaweza kuhifadhi interface ya ComfyUI, kuhifadhi modeli zako na kuweka workflow zako, lakini utoaji wa video (rendering) wenyewe unahitaji GPU.

Ninahitaji VRAM kiasi gani kwa ajili ya Wan 2.2?

Kwa modeli ya TI2V-5B, 8 GB ndiyo kiwango cha chini kabisa kwa kutumia offloading ya asili ya ComfyUI, na 24 GB ndicho kiasi ambacho Alibaba wanapendekeza ili kupata kasi iliyochapishwa. Kwa modeli za A14B za text-to-video na image-to-video, kadi ya modeli inaomba angalau 80 GB ya VRAM kwa ajili ya inference ya GPU moja, kwa hivyo hizo zinahitaji kadi za data-center.

Klipu inayohifadhiwa kwenye seva binafsi inaweza kuwa na urefu gani?

Takriban sekunde tano kwa 720p ndicho kipimo cha vitendo kufikia Julai 2026. Matokeo marefu zaidi hutengenezwa kwa kutengeneza sehemu mbalimbali na kuziunganisha, kwa kutumia fremu ya mwisho ya sehemu moja kama fremu ya kwanza ya sehemu inayofuata. Ubora hupungua kwenye viungio, kwa hivyo chukulia video ndefu kama kazi ya kuhariri badala ya uzalishaji mmoja.

Je, kukodisha GPU kwa saa ni nafuu kuliko kununua kadi?

Kukodisha ni bora kwa chochote kinachochukua chini ya saa chache za rendering kwa siku. Kwa wastani wa Julai 2026 wa takriban dola 0.36 kwa saa kwa kadi ya 24 GB, unaweza kukodisha kwa muda mrefu kabla ya kufikia bei ya kununua kadi hiyo, na unaepuka kununua maunzi ambayo baadaye yanagundulika kuwa ya daraja lisilo sahihi kwa modeli unayotaka kutumia. Kununua ni bora tu wakati mashine inafanya kazi muda mwingi wa siku, kila siku.