اجرای مدل GLM روی VPS با Ollama و بررسی محدودیتها
مدل GLM 5.2 در Ollama فقط ابری است و روی VPS اجرا نمیشود. در این راهنما مدل جایگزین glm-4.7-flash و میزان رم مورد نیاز برای کوانتایزهای مختلف را بررسی میکنیم.
آیا میتوان GLM 5.2 را روی یک VPS اجرا کرد؟
بله، اما نه از طریق tag رسمی Ollama. در تاریخ 25 October 2026، GLM 5.2 در library مربوط به Ollama دقیقاً یک tag دارد: glm-5.2:cloud. یک tag از نوع :cloud روی سرورهای Ollama اجرا میشود. سرور شما prompt را ارسال و tokenها را دریافت میکند؛ بنابراین weightها هرگز روی دیسک شما قرار نمیگیرند. Z.ai weightها را منتشر کرده و استقرار محلی با SGLang و vLLM را مستند کرده است. repository مربوط به weightهای خود Z.ai، اندازه مدل را حدود 753 billion parameter اعلام میکند. چهار bit برای هر parameter در 753 billion parameter، حدود 377 GB weight ایجاد میکند؛ این فقط محاسبهای ساده است و context، activationها و سیستمعامل را در نظر نمیگیرد. پلنهای VPS منتشرشده از این مقدار حافظه بیشتر دارند: Paragon، مدل E-48 را با 512 GB RAM و هزینه €580/month ارائه میکند.
مدل GLM که روی سروری اجارهای جا میشود، glm-4.7-flash است. weightهای قابل دانلود آن در 4 tag منتشر شدهاند. این مدل از نوع mixture-of-experts است؛ یعنی برای هر token فقط بخش کوچکی از شبکه اجرا میشود. Z.ai آن را بهصورت 30B-A3B توصیف میکند: در مجموع 30 billion parameter و حدود 3 billion parameter فعال برای هر token. بنابراین این راهنما به پرسشی پاسخ میدهد که میتوانید بر اساس آن اقدام کنید. یک tag را ثابت کنید، منابع سرور را متناسب انتخاب کنید، سرعت واقعی را روی سیستم خود اندازه بگیرید و endpoint را خصوصی نگه دارید.
پیش از کپیکردن هر command، از جمله commandهای همینجا، tag را بررسی کنید. library مربوط به Ollama بدون اطلاع قبلی تغییر میکند. فهرست tagهای glm-4.7-flash را باز کنید و مطمئن شوید tag هنوز وجود دارد. اگر release جدیدتری از GLM با weightهای محلی منتشر شده است، آن را ترجیح دهید و ثبت کنید که واقعاً کدام tag را آزمایش کردهاید.
اگر بااینحال خود GLM 5.2 را میخواهید، ollama run glm-5.2:cloud پس از ollama signin کار میکند و از سمت client مانند هر مدل دیگر Ollama رفتار میکند. بدانید با چه چیزی موافقت میکنید: prompt از سرور شما خارج میشود. اگر دلیل self-hosting این است که داده باید روی ماشین شما باقی بماند، یک tag از نوع :cloud این نیاز را برآورده نمیکند.
کدام برچسبهای GLM وجود دارند و کدامیک را باید ثابت کنید
در اینجا 2 ورودی رسمی GLM اهمیت دارند. glm-5.2 در کتابخانه Ollama فقط ابری است. glm-4.7-flash نسخه محلی است و برچسبهای منتشرشدهٔ آن، همراه با اندازهٔ دانلودی که Ollama برای هرکدام فهرست کرده است، در ادامه آمدهاند. اگر قبلاً از glm-5.1 استفاده میکردید، توجه داشته باشید که Ollama آن را در 25 September 2026 بازنشسته کرد و صفحهٔ کتابخانهٔ آن اکنون هیچ مدلی فهرست نمیکند. Z.ai همچنان وزنهای GLM-5.1 را منتشر میکند و استقرار محلی آن را مستند کرده است؛ بنابراین بازنشستهشدن آن از سوی Ollama به این معنا نیست که مدل در جای دیگری در دسترس نیست.
دادههای پشت این نمودار
[
{
"label": "q4_K_M",
"download_gb": 19
},
{
"label": "latest",
"download_gb": 19
},
{
"label": "q8_0",
"download_gb": 32
},
{
"label": "bf16",
"download_gb": 60
}
]این اعداد از صفحهٔ کتابخانه استخراج شدهاند و نتیجهٔ اندازهگیری نیستند. latest و q4_K_M هر دو با اندازهٔ 19 GB فهرست شدهاند؛ بنابراین latest در حال حاضر به build نوع Q4 resolve میشود. این وضعیت ممکن است با هر بار انتشار مجدد تغییر کند؛ به همین دلیل هرگز نباید ollama pull glm-4.7-flash را بهتنهایی در یک script یا Dockerfile بنویسید. نوع quantisation را مشخص کنید. بزرگترین برچسب، bf16، یک دانلود 60 GB است که وزنهای bfloat16 بدون quantisation را در خود دارد.
جستوجو در کتابخانه، uploadهای namespaceدار را نیز با slash در نام برمیگرداند؛ مانند someuser/glm-5.2. وجود slash یعنی یک حساب کاربری آن را منتشر کرده است؛ بنابراین این مورد یک re-upload انجمنی است، نه ورودی رسمی. هیچکس دربارهٔ وزنهای داخل آن تضمینی نمیدهد. با آن همانگونه رفتار کنید که با هر binary بدون امضایی که در اینترنت پیدا کردهاید رفتار میکنید.
نصب Ollama و دریافت tag دقیق
نصبکننده Linux برای Ollama با یک command انجام میشود.
curl -fsSL https://ollama.com/install.sh | sh
ollama --versionنصبکننده یک سرویس systemd ایجاد میکند که با کاربر ollama اجرا میشود. پیش از دریافت هر چیزی، بررسی کنید که سرویس start شده باشد.
systemctl status ollama --no-pagerActive: active (running) یعنی systemd سرویس را در حال اجرا میداند؛ این مورد آمادهبودن API یا پورت در حال گوشدادن را تأیید نمیکند. API را جداگانه و با استفاده از curl -fsS http://127.0.0.1:11434/api/tags در address و port پیشفرض بررسی کنید. اگر unit وجود نداشته باشد، نصبکننده به نصب یک binary معمولی برگشته است. مستندات Ollama برای Linux فایل service لازم برای ایجاد دستی آن را ارائه میکند.
صفحه glm-4.7-flash حداقل نسخه Ollama را مشخص میکند. binary قدیمی مدل را با سرعت کمتر اجرا نمیکند؛ بلکه آن را رد میکند: دریافت مدل با پیامی مبنی بر نیاز مدل به نسخه جدیدتری از Ollama شکست میخورد. برای ارتقا، script نصب را دوباره اجرا کنید. در تاریخ 2 November 2026، نسخه فعلی 0.40.13 است و فاصله زیادی با حداقل نسخه موردنیاز دارد.
اکنون یک tag را با نام آن دریافت کنید.
ollama pull glm-4.7-flash:q4_K_M
ollama lsollama ls باید glm-4.7-flash:q4_K_M را با اندازهای نزدیک به 19 GB فهرست کند. اگر فرایند دریافت در میانه کار متوقف شود، چیزی قابل اجرا باقی نمیماند؛ بنابراین همان command را دوباره اجرا کنید. در یک plan کوچک، پیش از دریافت، فضای دیسک را بررسی کنید: نصب استاندارد Linux مدلها را در /usr/share/ollama/.ollama/models ذخیره میکند، مگر آنکه محل ذخیره را با OLLAMA_MODELS تغییر دهید. پیش از شروع، با df -h /usr/share/ollama بررسی کنید.
هر quantisation به چه مقدار RAM نیاز دارد؟
اندازهٔ فایل download را بهعنوان حداقل در نظر بگیرید و سپس مقدارهای دیگر را به آن اضافه کنید. وزنها باید در حافظه resident باشند. روی آنها KV cache (key/value cache) قرار میگیرد؛ این همان حافظهای است که runtime برای نگهداشتن tokenهای قبلی conversation استفاده میکند. compute bufferها و حافظهای که operating system مصرف میکند نیز باید در نظر گرفته شوند. سیستمی با دقیقاً 19 GB RAM، tag مربوط به 19 GB را اجرا نمیکند.
هیچ multiplier واحدی برای همه درست نیست، زیرا KV cache با context length مجاز شما افزایش مییابد و مقدارهای دیگر بین runtime versionها تغییر میکنند. بنابراین بهجای حدسزدن، اندازهگیری کنید. مدل را با یک prompt ساده load کنید و سپس مقدار حافظهای را که server رزرو کرده است بخوانید.
ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama psدستور ollama ps مدل loadشده را با ستون SIZE و ستون PROCESSOR نمایش میدهد. مقدار SIZE همان چیزی است که runtime واقعاً رزرو کرده است و باید آن را با برنامهٔ خود مقایسه کنید. مقدار PROCESSOR نشان میدهد پردازش در کجا انجام میشود؛ بنابراین 100% CPU یعنی هیچ GPUای درگیر نبوده است.
وقتی مدل در حافظه جا نشود، Ollama ممکن است پیش از شروع generation، load error برگرداند. فشار روی swap و out-of-memory kill نیز از پیامدهای احتمالی هستند. لاگهای service را با journalctl -u ollama --no-pager و لاگهای kernel را با journalctl -k | grep -i "out of memory" بررسی کنید و فرض نکنید که هر خطای حافظه بدون پیام رخ میدهد.
تغییر از tag Q4 با حجم 19 GB به tag Q8 با حجم 32 GB مهمترین عاملی است که بر این مقدار کنترل دارید. Q4 مقداری از کیفیت output را کاهش میدهد و میزان این کاهش به task بستگی دارد؛ output ساختاریافته و زنجیرههای طولانی reasoning بیشتر از chat معمولی آسیب میبینند. پیش از تصمیمگیری، مطالعهٔ تفاوت Q4، Q8 و FP16 در عمل مفید است، زیرا در یک VPS فقط-CPU، انتخاب quantisation معمولاً تعیین میکند که مدل اصلاً اجرا شود یا نه.
در یک VPS بدون GPU چه اتفاقی میافتد
بیشتر پلنهای VPS فاقد GPU هستند و Ollama بدون هشدار، مدل را روی CPU اجرا میکند. اینکه آیا نتیجه قابل استفاده است یا خیر، به حجم کاری و میزان صبر شما بستگی دارد.
طراحی mixture-of-experts به سرعت کمک میکند. برای هر توکن، تنها حدود 3 میلیارد از 30 میلیارد پارامتر استفاده میشود، بنابراین محاسبات ریاضی برای هر توکن بسیار کمتر از چیزی است که یک مدل متراکم 30B نیاز دارد. چیزی که کاهش نمییابد، حافظه است. تمام expertها باید در حافظه مقیم باشند، زیرا router ممکن است هر کدام از آنها را برای توکن بعدی انتخاب کند. بنابراین یک سرور فقط-CPU همچنان به 19 گیگابایت یا بیشتر برای تگ Q4 نیاز دارد و توان عملیاتی آن بیشتر از سرعت کلاک، تحت تأثیر پهنای باند حافظه است.
این موضوع یک نتیجه عملی دارد: دو پلن با تعداد هسته و رم یکسان میتوانند سرعتهای متفاوتی داشته باشند، زیرا زیرسیستمهای حافظه آنها با هم فرق دارد. یک پلن اشتراکی متغیر دومی را نیز اضافه میکند، چرا که CPU steal time از یک همسایه پرمصرف به صورت عددی از توکن-در-ثانیه ظاهر میشود که ساعت به ساعت تغییر میکند. به همین دلیل است که اعداد منتشرشده توسط دیگران، پیشبینیکننده عملکرد شما نیستند و به همین دلیل بخش بعدی به جای جدول نتایج، یک دستورالعمل برای اندازهگیری است.
اندازهگیری تعداد توکن در ثانیه سیستم خود
اندپوینت generate در Ollama، فیلدهای زمانی را در شیء JSON نهایی خود بازمیگرداند. تعداد توکنهای تولیدشده را بر مدتزمان تولید تقسیم کنید تا عدد نهایی، بر اساس پلن و پرامپت خودتان، به دست آید.
sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
"model": "glm-4.7-flash:q4_K_M",
"prompt": "Write a 200 word explanation of how TCP congestion control works.",
"stream": false,
"options": {"num_ctx": 8192}
}' | jq '{
tokens: .eval_count,
tokens_per_second: (.eval_count / .eval_duration * 1e9),
prompt_seconds: (.prompt_eval_duration / 1e9),
load_seconds: (.load_duration / 1e9)
}'eval_count نشاندهنده تعداد توکنهای تولیدشده و eval_duration مدتزمان صرفشده برای تولید آنها به نانوثانیه است، بنابراین eval_count / eval_duration * 1e9 همان تعداد توکن در ثانیه است. prompt_eval_duration زمان خواندن پرامپت شما را پوشش میدهد؛ این همان زمانی است که کاربر به عنوان انتظار پیش از ظاهر شدن اولین توکن تجربه میکند. load_duration زمان صرفشده برای بارگذاری مدل از دیسک است، بنابراین در اولین فراخوانی پس از راهاندازی مجدد (restart) مقدار بزرگی دارد و در دفعات بعدی نزدیک به صفر است.
این عملیات را سه بار اجرا کنید و نتایج دوم و سوم را نگه دارید، زیرا نتیجه اول شامل زمان بارگذاری است. سپس آن را با یک پرامپت بسیار طولانیتر دوباره اجرا کنید، چرا که پردازش پرامپت با طول ورودی مقیاسپذیر است، در حالی که سرعت تولید توکن چنین نیست. اعداد بهدستآمده را کنار نام پلن و نوع کوانتیزاسیون (quantisation) خود یادداشت کنید. این رکورد از هر بنچمارکی که میخوانید ارزشمندتر است، زیرا روی سختافزاری اندازهگیری شده که شما بابت آن هزینه پرداخت میکنید.
چگونه طول کانتکست حافظه را چند برابر میکند
روی سیستمی که فاقد GPU است یا کمتر از 24 GiB حافظه VRAM دارد، Ollama بهصورت پیشفرض از کانتکست 4096 توکنی استفاده میکند. مدل ممکن است ظرفیت بسیار بیشتری (مثلاً 198K توکن برای glm-4.7-flash) را تبلیغ کند، اما شما بهصورت پیشفرض به آن دسترسی ندارید و فعالسازی آن بدون هزینه نیست.
حافظه کش KV برای هر توکن در هر لایه، یک بردار کلید و یک بردار مقدار نگه میدارد. اندازه این حافظه با تعداد توکنهای مجاز بهصورت خطی رشد میکند. افزایش کانتکست از 4096 به 32768 توکن، یعنی هشت برابر شدن کانتکست و در نتیجه تقریباً هشت برابر شدن حافظه کش KV. روی سیستمی که دقیقاً به اندازه وزنهای مدل حافظه دارد، این تخصیص اضافی دقیقاً همان چیزی است که سیستم را به سمت استفاده از swap میبرد؛ به همین دلیل است که دستگاهی که به درخواستهای کوتاه بهخوبی پاسخ میداد، هنگام چسباندن یک سند طولانی ناگهان کند میشود. اگر به کانتکست طولانیتر روی همان سیستم نیاز دارید، ذخیرهسازی کش KV با فرمت q8_0 بهجای f16 تقریباً آن تخصیص حافظه را بدون تغییر در وزنهای مدل، نصف میکند. بخش FAQ در Ollama بیان میکند که q8_0 تقریباً نصف حافظه f16 را اشغال میکند که مقدار پیشفرض برای OLLAMA_KV_CACHE_TYPE است؛ همچنین کش کوانتایز شده فقط زمانی اعمال میشود که flash attention فعال باشد. Ollama در صورتی که backend و سختافزار پشتیبانی کنند، flash attention را بهصورت خودکار فعال میکند و OLLAMA_FLASH_ATTENTION=1 آن را بهاجبار روشن نگه میدارد.
این مقدار را برای هر درخواست با استفاده از num_ctx در شیء options، مشابه دستور curl بالا، تنظیم کنید یا مقدار پیشفرض سرور را تغییر دهید.
sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
| sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environmentدستور آخر باید مقدار OLLAMA_CONTEXT_LENGTH شما را چاپ کند. اگر خروجی Environment= خالی باشد، فایل override در مسیر اشتباه قرار دارد یا عملیات reload انجام نشده است. پس از بارگذاری مدل بعدی، ollama ps باید مقدار SIZE را بهطور محسوسی بزرگتر از مقدار 4096 نشان دهد. مقدار را بهصورت مرحلهای افزایش دهید و هر بار آن عدد را بررسی کنید. تنظیم طول کانتکست Ollama با num_ctx توضیح میدهد که این پارامتر چگونه با keep-alive و درخواستهای موازی تعامل دارد؛ هر دوی این موارد همان هزینه حافظه را چند برابر میکنند. اگر بیش از یک کلاینت از سرور استفاده میکند، محدودیتهای همزمانی (concurrency) را همزمان با کانتکست تنظیم کنید، زیرا هر اسلات موازی کش KV مخصوص به خود را دارد و تنظیمات صف تعیین میکند که درخواست دوم منتظر بماند یا مستقیماً رد شود.
زمانی که API ارزانتر از سرور شخصی است
میزبانی شخصی (Self-hosting) لزوماً همیشه ارزانتر نیست و برای این خانواده از مدلها، قیمتهای رسمی منتشرشده این نکته را بهوضوح نشان میدهند.
دادههای پشت این نمودار
[
{
"label": "GLM-5.2 input",
"usd_per_million_tokens": 1.4
},
{
"label": "GLM-5.2 output",
"usd_per_million_tokens": 4.4
},
{
"label": "GLM-4.7-Flash input",
"usd_per_million_tokens": 0
},
{
"label": "GLM-4.7-Flash output",
"usd_per_million_tokens": 0
}
]تا تاریخ 25 اکتبر 2026، شرکت Z.ai مدل GLM-5.2 را با قیمت $1.4 به ازای هر میلیون توکن ورودی و $4.4 به ازای هر میلیون توکن خروجی ارائه میدهد. مدل GLM-4.7-Flash که این راهنما برای اجرای محلی آن نوشته شده است، در هر دو جهت با قیمت $0 لیست شده است. اینها قیمتهای رسمی هستند و تغییر میکنند، بنابراین پیش از برنامهریزی بودجه بر اساس هر یک از آنها، صفحه مربوطه را بررسی کنید.
بنابراین، استدلال اقتصادی برای میزبانی شخصی glm-4.7-flash در حال حاضر ضعیف است. یک VPS با رم کافی هر ماه هزینه واقعی دارد، در حالی که ارائهدهنده، همان مدل را با هزینه بسیار ناچیز (یا رایگان) در اختیار میگذارد. آنچه با اجرای شخصی مدل به دست میآورید متفاوت است: پرامپتهای شما روی دستگاهی میمانند که تحت کنترل خودتان است و نسخه مدل هرگز تغییر نمیکند مگر اینکه خودتان آن را تغییر دهید. اینها دلایل خوبی برای میزبانی شخصی هستند. اما هزینه، برای این مدل و با این قیمتها، یکی از آن دلایل نیست.
محاسبات زمانی تغییر میکند که مدل مورد نظر شما رایگان نباشد، یا دادههای شما طبق قانون اجازه خروج از شبکه داخلیتان را نداشته باشند. نقطه سربهسر بین یک VPS دارای GPU و توکنهای API این محاسبات را با در نظر گرفتن تمام متغیرها بررسی میکند. اگر هنوز در حال انتخاب سختافزار هستید، هزینه واقعی ماهانه یک VPS نیمه دیگر این معادله است.
نقطه پایانی را روی localhost نگه دارید
این مرحلهای است که افراد از آن صرفنظر میکنند، درحالیکه بیشترین اهمیت را دارد.
Ollama بهطور پیشفرض روی 127.0.0.1 و پورت 11434 متصل میشود؛ بنابراین فقط از خود سرور قابل دسترسی است. بهجای فرضکردن، این وضعیت را روی سرور خود تأیید کنید.
ss -ltnp | grep 11434باید 127.0.0.1:11434 را ببینید. مشاهدهٔ 0.0.0.0:11434 یا *:11434 یعنی API روی تمام رابطها، ازجمله رابط عمومی، در حال گوشدادن است.
این موضوع مهم است، چون API محلی Ollama بهطور پیشفرض به احراز هویت نیاز ندارد. هیچ password، token یا allowlistای وجود ندارد. هر کسی که بتواند به پورت 11434 دسترسی پیدا کند، میتواند مدلهای شما را فهرست کند، روی سختافزاری که هزینهٔ آن را میپردازید generation اجرا کند، مدلهای جدید را روی دیسک شما بارگیری کند تا دیسک پر شود و مدلهای موجود را حذف کند. پورت 11434 مقدار پیشفرض شناختهشده است؛ OLLAMA_HOST میتواند هم آدرس bind و هم پورت را تغییر دهد.
OLLAMA_HOST=0.0.0.0 را تنظیم نکنید. این متغیر آدرسی را که Ollama به آن bind میشود تغییر میدهد و در بسیاری از آموزشها، وقتی client روی laptop نمیتواند متصل شود، بهعنوان راهحل پیشنهاد میشود. این راهحل نادرست است. بهجای آن، پورت را forward کنید.
ssh -N -L 11434:127.0.0.1:11434 you@your-serverSSH روی laptop شما به پورت 11434 گوش میدهد و هر connection را به 127.0.0.1:11434 از دید سرور forward میکند؛ Ollama نیز بهطور پیشفرض روی همین آدرس گوش میدهد. بنابراین tunnel نیازی به تغییر OLLAMA_HOST ندارد، هر clientای که برای http://localhost:11434 پیکربندی شده باشد بدون تغییر کار میکند و هیچ مورد جدیدی در معرض دسترسی قرار نمیگیرد. برای چند کاربر یا چند machine، سرور را روی یک شبکهٔ tunnel خصوصی قرار دهید و Ollama را به آدرس tunnel bind کنید؛ هرگز آن را به 0.0.0.0 bind نکنید.
این وضعیت را از مکانی غیر از سرور بررسی کنید. از laptop خود و درحالیکه SSH tunnel بسته است:
curl -m 5 http://your-server-ip:11434/api/tagscurl: (28) Connection timed out یا curl: (7) Failed to connect نتیجهٔ درست است. نمایش یک فهرست JSON از مدلهای شما یعنی پورت برای اینترنت باز است و باید همین حالا آن را اصلاح کنید. firewall شبکهٔ provider شما از firewall در حال اجرای روی server کنترل جداگانهای دارد؛ بنابراین هر دو را بررسی کنید. پرسش گستردهتر دربارهٔ امنبودن میزبانی VPS بخشهای دیگر baseline مربوط به machineای را پوشش میدهد که آن را بهطور دائم روشن نگه میدارید.
اگر glm-4.7-flash همچنان بیش از حد بزرگ است
وقتی تگ Q4 در طرح شما جا نمیشود، راهحل استفاده از یک مدل کوچکتر است، نه کاهش context. کوتاه کردن context برای جای دادن مدل، منجر به وضعیتی میشود که مدل بارگذاری شده اما در اولین prompt طولانی با شکست مواجه میشود. مقاله Qwen 3 در ابعاد 8B و 27B روی VPS همان مسیر نصب را برای اندازههایی که مناسب سرورهای کوچکتر هستند دنبال میکند و راهنمای کلی میزبانی شخصی LLM با Ollama روی VPS بخشهایی را پوشش میدهد که فارغ از انتخاب مدل، ثابت باقی میمانند. به هر مدلی که رسیدید، تگ آن را ثابت (pin) کنید، عملکرد را روی طرح خود بسنجید و endpoint را روی loopback قرار دهید.
FAQ
آیا GLM 5.2 میتواند بهصورت محلی روی VPS اجرا شود؟
بله، با استفاده از وزنهای منتشرشدهٔ Z.ai و یک runtime پشتیبانیشده مانند SGLang یا vLLM. تا تاریخ 25 October 2026، GLM 5.2 در کتابخانهٔ Ollama فقط بهصورت glm-5.2:cloud وجود دارد؛ این tag روی زیرساخت خود Ollama اجرا میشود و پیش از کارکردن به ollama signin نیاز دارد. مخزن وزنهای Z.ai حجم مدل را حدود 753 billion parameters اعلام میکند؛ بنابراین حتی با 4 بیت برای هر پارامتر، وزنها بهتنهایی حدود 377 GB فضا میگیرند. برخی پلنهای VPS با حافظهٔ زیاد از این مقدار بیشتر دارند؛ از جمله Paragon E-48 با 512 GB. بااینحال، برای سربار runtime و context نیز باید فضای کافی در نظر بگیرید. مدل کوچکتر GLM با وزنهای قابلدانلود که در این راهنما استفاده میشود، glm-4.7-flash است.
glm-4.7-flash به چه مقدار RAM نیاز دارد؟
حجم دانلود tag را حداقل لازم در نظر بگیرید و فضای موردنیاز KV cache و سیستمعامل را نیز به آن اضافه کنید. Ollama حجم tag مربوط به Q4 را 19 GB، حجم Q8 را 32 GB و حجم tag مربوط به bfloat16 را 60 GB اعلام میکند. یک ضریب ثابت برای همه مناسب نیست، زیرا اندازهٔ KV cache با طول context که تعیین میکنید افزایش مییابد. مدل را بارگذاری کنید، ollama ps را اجرا کنید و برای مشاهدهٔ مقدار واقعی روی سیستم خود، ستون SIZE را بخوانید.
چگونه tokens per second را روی VPS خودم اندازهگیری کنم؟
یک درخواست با "stream": false به http://localhost:11434/api/generate ارسال کنید، سپس eval_count و eval_duration را از پاسخ بخوانید. tokens per second برابر با eval_count / eval_duration * 1e9 است، زیرا eval_duration برحسب nanoseconds گزارش میشود. اجرای اول را کنار بگذارید، زیرا load_duration در آن اجرا شامل خواندن وزنها از دیسک است. آزمایش را با یک prompt طولانی نیز تکرار کنید، زیرا prompt_eval_duration با طول ورودی افزایش مییابد، اما سرعت تولید تغییر نمیکند.
چرا نباید OLLAMA_HOST را روی 0.0.0.0 تنظیم کنم؟
زیرا API محلی Ollama بهطور پیشفرض به احراز هویت نیاز ندارد. بنابراین، bind کردن آن به 0.0.0.0 باعث میشود API روی همهٔ interfaceهای IPv4 در دسترس باشد؛ در این حالت، دسترسی عمومی به routing و firewallها بستگی دارد. هر کسی که به پورت 11434 دسترسی پیدا کند، میتواند روی سختافزار شما generation انجام دهد و مدلهای نصبشده را تغییر دهد. bind پیشفرض 127.0.0.1 را حفظ کنید، آن را با ss -ltnp | grep 11434 بررسی کنید و از طریق SSH tunnel، مانند ssh -N -L 11434:127.0.0.1:11434 you@your-server، از لپتاپ خود به API دسترسی بگیرید.