SSD Nodes Learn Hosting plans →
الأدلة Matt Connorبقلم Matt Connor

تشغيل GLM 5.2 على VPS: ما البديل المحلي؟

GLM 5.2 سحابي فقط في مكتبة Ollama. تعرّف إلى نموذج GLM المناسب فعلياً لـ VPS، وحجم RAM المطلوب لكل تكميم على خادمك.

هل يمكنك تشغيل GLM 5.2 على VPS؟

نعم، لكن ليس عبر الوسم الرسمي في Ollama. حتى 25 October 2026، يحتوي GLM 5.2 في مكتبة Ollama على وسم واحد فقط، وهو glm-5.2:cloud. يعمل وسم :cloud على خوادم Ollama. يرسل خادمك الطلب ويتلقى الرموز، لذلك لا تصل الأوزان إلى قرصك. تنشر Z.ai الأوزان وتوثّق النشر المحلي باستخدام SGLang وvLLM. ويضع مستودع الأوزان الخاص بـZ.ai حجم النموذج عند نحو 753 billion parameters. يتطلب استخدام four bits لكل parameter عبر 753 billion parameters نحو 377 GB من الأوزان، وهذا حساب أساسي قبل إضافة السياق أو التنشيطات أو نظام التشغيل. تتجاوز خطط VPS المنشورة هذا المقدار من الذاكرة؛ إذ تعرض Paragon خطة E-48 مع 512 GB RAM بسعر €580/month.

نموذج GLM الذي يمكن تشغيله على خادم تستأجره هو glm-4.7-flash. نُشرت أوزانه القابلة للتنزيل ضمن 4 وسماً. وهو نموذج mixture-of-experts، أي إن جزءاً صغيراً فقط من الشبكة يعمل مع كل token. وتصفه Z.ai بأنه 30B-A3B: إجمالي 30 billion parameters، مع نحو 3 billion parameters نشطة لكل token. لذلك يجيب هذا الدليل عن السؤال الذي يمكنك اتخاذ إجراء بشأنه. ثبّت الوسم، وحدد مواصفات الخادم، وقِس السرعة لديك، وأبقِ نقطة النهاية خاصة.

تحقّق من الوسم قبل نسخ أي أمر، بما في ذلك الأوامر الواردة هنا. قد تتغير مكتبة Ollama دون إشعار. افتح قائمة وسوم glm-4.7-flash وتأكد من أن الوسم لا يزال موجوداً. إذا ظهر إصدار GLM أحدث بأوزان محلية، فاستخدمه ودوّن الوسم الذي اختبرته فعلياً.

إذا كنت تريد GLM 5.2 نفسه رغم ذلك، فإن ollama run glm-5.2:cloud يعمل بعد ollama signin، ومن جهة العميل يتصرف مثل أي نموذج Ollama آخر. افهم ما توافق عليه: يغادر الطلب خادمك. إذا كان سبب الاستضافة الذاتية هو ضرورة بقاء البيانات على جهازك، فلن يحقق وسم :cloud هذا الغرض.

ما وسوم GLM المتاحة، وأيّها ينبغي تثبيته

يوجد إدخالان رسميان لـGLM مهمان هنا. glm-5.2 متاح سحابياً فقط في مكتبة Ollama. أما glm-4.7-flash فهو الإصدار المحلي، وهذه هي وسومه المنشورة مع حجم التنزيل الذي تعرضه Ollama لكل منها. إذا كنت قد استخدمت glm-5.1 من قبل، فلاحظ أن Ollama أوقفه في 25 سبتمبر 2026، وتعرض صفحة مكتبته الآن عدم وجود أي نماذج. ما زالت Z.ai تنشر أوزان GLM-5.1 وتوثّق النشر المحلي، لذلك لا يعني إيقاف Ollama للنموذج أنه لم يعد متاحاً في أماكن أخرى.

رسم بيانيglm-4.7-flash tags in Ollama's library, checked 2026-10-25
البيانات وراء هذا الرسم البياني
[
  {
    "label": "q4_K_M",
    "download_gb": 19
  },
  {
    "label": "latest",
    "download_gb": 19
  },
  {
    "label": "q8_0",
    "download_gb": 32
  },
  {
    "label": "bf16",
    "download_gb": 60
  }
]

هذه أرقام منشورة من صفحة المكتبة وليست قياسات. يظهر كل من latest وq4_K_M بحجم 19 GB، ولذلك يحيل latest حالياً إلى إصدار Q4. قد يتغير ذلك عند إعادة النشر، ولهذا يجب ألا تكتب أبداً ollama pull glm-4.7-flash مجرداً داخل script أو Dockerfile. حدّد quantisation. أكبر وسم، bf16، يتطلب تنزيل 60 GB ويحتوي على أوزان bfloat16 غير المكمّمة.

يعرض البحث في المكتبة أيضاً عمليات رفع ذات أسماء مؤهّلة تحتوي على شرطة مائلة، مثل someuser/glm-5.2. تعني الشرطة المائلة أن حساب مستخدم نشره، ولذلك فهو إعادة رفع من المجتمع وليس الإدخال الرسمي. لا يضمن أحد الأوزان الموجودة داخله. تعامل معه كما تتعامل مع أي ملف ثنائي غير موقّع عثرت عليه على الإنترنت.

ثبّت Ollama واسحب الوسم المحدد تماماً

مثبّت Ollama لنظام Linux عبارة عن أمر واحد.

curl -fsSL https://ollama.com/install.sh | sh
ollama --version

ينشئ المثبّت خدمة systemd تعمل باسم المستخدم ollama. تأكد من أنها بدأت قبل سحب أي شيء.

systemctl status ollama --no-pager

يعني Active: active (running) أن systemd يعتبر الخدمة قيد التشغيل، لكنه لا يثبت جاهزية API أو أن المنفذ يستمع للاتصالات. افحص API بشكل منفصل باستخدام curl -fsS http://127.0.0.1:11434/api/tags على العنوان والمنفذ الافتراضيين. إذا لم تكن الوحدة موجودة، فهذا يعني أن المثبّت استخدم تثبيتاً عادياً للملف الثنائي، وتوفّر توثيق Ollama لنظام Linux ملف الخدمة الذي يمكنك إنشاؤه يدوياً.

تسرد صفحة glm-4.7-flash الحد الأدنى لإصدار Ollama. لا يشغّل الملف الثنائي الأقدم النموذج ببطء، بل يرفضه: يفشل السحب برسالة تفيد بأن النموذج يتطلب إصداراً أحدث من Ollama. أعد تشغيل برنامج التثبيت لترقية Ollama. اعتباراً من 2 November 2026، الإصدار الحالي هو 0.40.13، وهو أحدث بكثير من ذلك الحد الأدنى.

اسحب الآن وسيماً واحداً بالاسم.

ollama pull glm-4.7-flash:q4_K_M
ollama ls

يجب أن يعرض ollama ls الوسم glm-4.7-flash:q4_K_M بحجم يقارب 19 GB المذكور في النشر. لا يترك السحب الذي يفشل في منتصف العملية شيئاً قابلاً للتشغيل، لذلك أعد تنفيذ الأمر نفسه. في الخطة الصغيرة، تحقّق من مساحة القرص قبل السحب: يكتب تثبيت Linux القياسي النماذج في /usr/share/ollama/.ollama/models، ما لم تغيّر الموقع باستخدام OLLAMA_MODELS. تحقّق باستخدام df -h /usr/share/ollama قبل البدء.

ما مقدار RAM الذي يحتاجه كل تكميم؟

ابدأ بحجم التنزيل باعتباره الحد الأدنى، ثم أضف إليه. يجب أن تبقى الأوزان مقيمة في الذاكرة. وفوقها توجد ذاكرة KV cache ‏(ذاكرة التخزين المؤقت للمفاتيح والقيم)، وهي الذاكرة التي يستخدمها runtime لتذكّر الرموز الموجودة مسبقاً في المحادثة، بالإضافة إلى مخازن الحساب وما يستخدمه نظام التشغيل. لن يتمكن خادم يملك 19 GB من RAM تماماً من تشغيل الوسم الذي حجمه 19 GB.

لا يوجد معامل ضرب واحد صحيح للجميع، لأن حجم KV cache يزداد مع طول السياق الذي تسمح به، كما تختلف بقية المتطلبات بين إصدارات runtime. لذلك، قِس بدلاً من التخمين. حمّل النموذج باستخدام prompt بسيط، ثم اقرأ مقدار الذاكرة الذي حجزه الخادم.

ollama run glm-4.7-flash:q4_K_M "Reply with the single word: ready"
ollama ps

يطبع ollama ps النموذج المحمّل مع عمود SIZE وعمود PROCESSOR. يوضح SIZE مقدار الذاكرة الذي حجزه runtime فعلياً، وهذا هو الرقم الذي يجب مقارنته بخطتك. يوضح PROCESSOR مكان تنفيذ العمل، ولذلك يعني 100% CPU عدم استخدام GPU إطلاقاً.

عندما لا يتسع النموذج، يمكن أن يعرض Ollama خطأ تحميل قبل بدء التوليد. وقد يؤدي ضغط swap أو إنهاء العملية بسبب نفاد الذاكرة إلى نتائج أخرى. تحقّق من سجلات الخدمة باستخدام journalctl -u ollama --no-pager، ومن سجلات kernel باستخدام journalctl -k | grep -i "out of memory"، بدلاً من افتراض أن كل فشل في الذاكرة يحدث بصمت.

الانتقال من وسم Q4 بحجم 19 GB إلى وسم Q8 بحجم 32 GB هو العامل الرئيسي الذي يمكنك التحكم به في هذا الرقم. يستهلك Q4 جزءاً من جودة المخرجات، ويعتمد مقدار ذلك على المهمة؛ إذ تتضرر المخرجات المنظّمة وسلاسل الاستدلال الطويلة أكثر من الدردشة العادية. تستحق الفروق العملية بين Q4 وQ8 وFP16 القراءة قبل اتخاذ القرار، لأن اختيار التكميم يحدد عادةً، على VPS يعمل باستخدام CPU فقط، ما إذا كان النموذج سيعمل أصلاً.

ما الذي يحدث على VPS يعمل بالمعالج فقط

لا تتضمن معظم خطط VPS وحدة GPU، وسيشغّل Ollama النموذج على CPU من دون تنبيهك. وتعتمد قابلية استخدام النتيجة على عبء العمل وعلى مدى صبرك.

يساعد تصميم mixture-of-experts على زيادة السرعة. لا يُستخدم لكل token معيّن سوى نحو 3 مليارات من أصل 30 مليار parameter، لذلك تكون العمليات الحسابية لكل token أقل بكثير مما يحتاج إليه نموذج dense بحجم 30B. لكن الذاكرة لا تتقلص. يجب أن يبقى كل expert مقيماً في الذاكرة، لأن router قد يختار أيّاً منها للـtoken التالي. لذلك لا يزال الخادم الذي يعمل على CPU فقط يحتاج إلى كامل 19 GB أو أكثر لوسم Q4، ويعتمد معدل المعالجة فيه بدرجة أكبر على عرض نطاق الذاكرة منه على سرعة الساعة.

ولهذا أثر عملي: يمكن لخطتين لهما العدد نفسه من الأنوية وذاكرة RAM نفسها أن تنتجا tokens بسرعات مختلفة بوضوح، لأن النظامين الفرعيين للذاكرة يختلفان بينهما. وتضيف الخطة المشتركة متغيراً ثانياً، إذ يظهر وقت CPU المسروق بسبب جار يستهلك الموارد على شكل معدل tokens في الثانية يتغير من ساعة إلى أخرى. لذلك لا يمكن للرقم المنشور من مستخدم آخر أن يتنبأ بأدائك، ولأن القسم التالي يقدّم طريقة للقياس بدلاً من جدول للنتائج.

قياس عدد الرموز التي يعالجها نظامك في الثانية

تعيد نقطة النهاية generate في Ollama حقولاً زمنية في كائن JSON النهائي. اقسم عدد الرموز المُولَّدة على مدة التوليد لتحصل على نتيجتك الفعلية وفق خطتك وموجّهك.

sudo apt install -y jq
curl -s http://localhost:11434/api/generate -d '{
  "model": "glm-4.7-flash:q4_K_M",
  "prompt": "Write a 200 word explanation of how TCP congestion control works.",
  "stream": false,
  "options": {"num_ctx": 8192}
}' | jq '{
  tokens: .eval_count,
  tokens_per_second: (.eval_count / .eval_duration * 1e9),
  prompt_seconds: (.prompt_eval_duration / 1e9),
  load_seconds: (.load_duration / 1e9)
}'

يمثل eval_count عدد الرموز التي جرى توليدها، ويمثل eval_duration عدد النانوثواني المستغرقة في توليدها، ولذلك فإن eval_count / eval_duration * 1e9 هو عدد الرموز في الثانية. يغطي prompt_eval_duration وقت قراءة موجّهك، وهو ما يختبره المستخدم على هيئة انتظار قبل ظهور الرمز الأول. ويمثل load_duration الوقت المستغرق في تحميل النموذج من القرص، لذلك تكون قيمته كبيرة في أول استدعاء بعد إعادة التشغيل، وتقترب من الصفر في الاستدعاء التالي.

شغّل الاختبار 3 مرات واحتفظ بالنتيجتين الثانية والثالثة، لأن النتيجة الأولى تتضمن وقت التحميل. ثم شغّله مرة أخرى باستخدام موجّه أطول بكثير، لأن معالجة الموجّه تزداد مع طول الإدخال، بينما لا تزداد سرعة التوليد. دوّن الأرقام بجوار اسم خطتك ومستوى quantisation المستخدم. هذه البيانات أكثر فائدة من أي معيار أداء تقرؤه، لأنها قيسَت على العتاد الذي تدفع مقابله.

كيف يضاعف طول السياق استهلاك الذاكرة

على خادم لا يحتوي على وحدة معالجة رسومية (GPU)، أو يحتوي على أقل من 24 GiB من ذاكرة الفيديو (VRAM)، يضبط Ollama طول السياق افتراضياً على 4096 رمزاً (token). يعلن النموذج عن سعة أكبر بكثير، تصل إلى 198K رمزاً لـ glm-4.7-flash، لكنك لا تحصل على ذلك افتراضياً، وتفعيل هذه السعة ليس مجانياً.

يحتفظ مخزن KV المؤقت بمتجه مفتاح واحد ومتجه قيمة واحد لكل رمز، في كل طبقة. ينمو حجم هذا المخزن خطياً مع عدد الرموز التي تسمح بها. الانتقال من 4096 إلى 32768 رمزاً يعني ثمانية أضعاف السياق، وبالتالي ثمانية أضعاف حجم مخزن KV تقريباً. على خادم بحجم يكفي فقط لتحميل أوزان النموذج، يؤدي هذا التخصيص الإضافي إلى الانتقال إلى الذاكرة الافتراضية (swap)، وهذا هو سبب بطء الجهاز الذي كان يستجيب للطلبات القصيرة بشكل جيد، بينما يصبح بطيئاً جداً عند لصق مستند طويل. إذا كنت بحاجة إلى سياق أطول على نفس الخادم، فإن تخزين مخزن KV بصيغة q8_0 بدلاً من f16 يقلل هذا التخصيص إلى النصف تقريباً دون المساس بأوزان النموذج. يقدّر قسم الأسئلة الشائعة في Ollama أن q8_0 يستهلك حوالي نصف ذاكرة f16، وهو الإعداد الافتراضي لـ OLLAMA_KV_CACHE_TYPE، ولا ينطبق المخزن المكمم (quantized cache) إلا عند تفعيل خاصية flash attention. يقوم Ollama بتفعيل flash attention تلقائياً عندما يدعمها النظام الخلفي والأجهزة، كما يفرضها الأمر OLLAMA_FLASH_ATTENTION=1.

اضبط الطول لكل طلب باستخدام num_ctx في كائن الخيارات، كما في أمر curl أعلاه، أو غيّر الإعداد الافتراضي للخادم.

sudo install -d -m 755 /etc/systemd/system/ollama.service.d
printf '[Service]\nEnvironment="OLLAMA_CONTEXT_LENGTH=16384"\n' \
  | sudo tee /etc/systemd/system/ollama.service.d/override.conf
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

يجب أن يطبع الأمر الأخير قيمة OLLAMA_CONTEXT_LENGTH الخاصة بك. إذا طبع قيمة فارغة لـ Environment=، فهذا يعني أن ملف التعديل موجود في المجلد الخطأ أو أن إعادة التحميل لم تتم. بعد تحميل النموذج التالي، يجب أن يظهر ollama ps قيمة SIZE أكبر بشكل ملحوظ مما كانت عليه عند 4096. ارفع القيمة تدريجياً وراقب ذلك الرقم في كل مرة. يغطي مقال ضبط طول سياق Ollama باستخدام num_ctx كيفية تفاعل هذا الإعداد مع خاصية keep-alive والطلبات المتوازية، حيث يضاعف كلاهما نفس التكلفة. إذا كان أكثر من عميل سيستخدم الخادم، فحدد قيود التزامن في نفس وقت ضبط السياق، لأن كل مسار معالجة متوازٍ يحمل مخزن KV الخاص به، ويحدد إعداد الطابور ما إذا كان الطلب الثاني سينتظر أو سيُرفض مباشرة.

عندما تكون واجهة برمجة التطبيقات (API) أرخص من الخادم الخاص

الاستضافة الذاتية ليست أرخص تلقائياً، وبالنسبة لهذه العائلة من النماذج، توضح الأسعار المعلنة هذه النقطة بشكل جلي.

رسم بيانيZ.ai published list prices per million tokens, checked 2026-10-25
البيانات وراء هذا الرسم البياني
[
  {
    "label": "GLM-5.2 input",
    "usd_per_million_tokens": 1.4
  },
  {
    "label": "GLM-5.2 output",
    "usd_per_million_tokens": 4.4
  },
  {
    "label": "GLM-4.7-Flash input",
    "usd_per_million_tokens": 0
  },
  {
    "label": "GLM-4.7-Flash output",
    "usd_per_million_tokens": 0
  }
]

اعتباراً من 25 أكتوبر 2026، تدرج Z.ai نموذج GLM-5.2 بسعر $1.4 لكل مليون رمز (token) للمدخلات، و$4.4 لكل مليون رمز للمخرجات. وتدرج نموذج GLM-4.7-Flash، وهو النموذج الذي يشغله هذا الدليل محلياً، بسعر $0 في كلا الاتجاهين. هذه أسعار معلنة وهي قابلة للتغيير، لذا تحقق من الصفحة الحالية قبل التخطيط لأي ميزانية بناءً على أي منهما.

لذا، فإن حجة التوفير المالي للاستضافة الذاتية glm-4.7-flash ضعيفة في الوقت الحالي. فخادم VPS بذاكرة وصول عشوائي (RAM) كافية يكلف مالاً حقيقياً كل شهر، بينما يقدّم الناشر النموذج نفسه مجاناً. ما تشتريه عند تشغيل النموذج بنفسك مختلف: تبقى مطالباتك (prompts) على جهاز تتحكم فيه أنت، ولا يتغير إصدار النموذج أبداً ما لم تقم أنت بتغييره. هذه أسباب وجيهة للاستضافة الذاتية. لكن التكلفة ليست واحدة منها، بالنسبة لهذا النموذج، وبهذه الأسعار.

تتغير الحسابات عندما يكون النموذج الذي تريده غير مجاني، أو عندما تمنع القوانين خروج بياناتك من شبكتك الخاصة. يشرح نقطة التعادل بين خادم GPU VPS ورموز API تلك الحسابات مع تسمية كل متغير. إذا كنت لا تزال في مرحلة اختيار الجهاز، فإن التكلفة الفعلية لخادم VPS شهرياً هي النصف الآخر من المعادلة.

أبقِ نقطة النهاية على localhost

هذه هي الخطوة التي يتجاوزها بعض الأشخاص، وهي الأهم.

يرتبط Ollama بالعنوان 127.0.0.1 على المنفذ 11434 افتراضياً، لذلك لا يمكن الوصول إليه إلا من الخادم نفسه. تحقّق من ذلك على خادمك بدلاً من افتراضه.

ss -ltnp | grep 11434

يجب أن ترى 127.0.0.1:11434. إن ظهر 0.0.0.0:11434 أو *:11434، فهذا يعني أن API يستمع على جميع الواجهات، بما فيها الواجهة العامة.

هذا مهم لأن API المحلي في Ollama لا يتطلب مصادقة افتراضياً. لا توجد كلمة مرور أو علامة مميزة أو قائمة سماح. يمكن لأي جهة تصل إلى المنفذ 11434 عرض نماذجك، وتشغيل عمليات التوليد باستخدام العتاد الذي تدفع تكلفته، وتنزيل نماذج جديدة إلى قرصك حتى يمتلئ، وحذف النماذج الموجودة لديك. المنفذ 11434 هو المنفذ الافتراضي المعروف؛ ويمكن لـ OLLAMA_HOST تغيير عنوان الارتباط والمنفذ معاً.

لا تضبط OLLAMA_HOST=0.0.0.0. يغيّر هذا المتغير العنوان الذي يرتبط به Ollama، وتقترحه دروس كثيرة على أنه الحل عندما يتعذر على عميل يعمل على حاسوبك المحمول الاتصال. لكنه حل خاطئ. أعد توجيه المنفذ بدلاً من ذلك.

ssh -N -L 11434:127.0.0.1:11434 you@your-server

يستمع SSH على المنفذ 11434 في حاسوبك المحمول، ويعيد توجيه كل اتصال إلى 127.0.0.1:11434 كما يراه الخادم، وهو العنوان الذي يستمع عليه Ollama افتراضياً. لذلك لا يحتاج النفق إلى أي تغيير في OLLAMA_HOST، ويعمل أي عميل مضبوط على http://localhost:11434 دون تعديل، ولا يتم تعريض أي شيء جديد. إذا كان هناك عدة مستخدمين أو عدة أجهزة، فضع الخادم على شبكة نفق خاصة واربط Ollama بعنوان النفق، وليس أبداً بـ 0.0.0.0.

تحقّق من ذلك من مكان آخر غير الخادم. من حاسوبك المحمول، بعد إغلاق نفق SSH:

curl -m 5 http://your-server-ip:11434/api/tags

تُعد curl: (28) Connection timed out أو curl: (7) Failed to connect النتيجة الصحيحة. إذا ظهرت قائمة JSON بنماذجك، فهذا يعني أن المنفذ مفتوح على الإنترنت ويجب إصلاح ذلك الآن. جدار الشبكة لدى مزود الخدمة عنصر تحكم منفصل عن جدار الشبكة العامل على الخادم، لذلك تحقّق من كليهما. يشرح السؤال الأوسع حول أمان استضافة VPS بقية الإعداد الأساسي لجهاز تتركه قيد التشغيل.

إذا كان glm-4.7-flash لا يزال كبيراً جداً

عندما لا تتسع خطتك لوسم Q4، فالحل هو استخدام نموذج أصغر، وليس تقليص سياق الإدخال. يؤدي تقليص السياق لإفساح المجال للنموذج إلى نموذج يُحمَّل، ثم يفشل عند أول موجه طويل. يوضّح Qwen 3 بإصداري 8B و27B على VPS مسار التثبيت نفسه بأحجام تناسب الخوادم محدودة الموارد، بينما يغطي الدليل العام للاستضافة الذاتية لنموذج LLM باستخدام Ollama على VPS الأجزاء التي لا تتغير باختلاف النموذج الذي تختاره. أياً كان اختيارك، ثبّت الوسم، وقِس الأداء على خطتك نفسها، واترك نقطة النهاية على loopback.

FAQ

هل يمكن تشغيل GLM 5.2 محلياً على VPS؟

نعم، باستخدام الأوزان التي تنشرها Z.ai وبيئة تشغيل مدعومة مثل SGLang أو vLLM. حتى 25 October 2026، لا يتوفر GLM 5.2 في مكتبة Ollama إلا باسم glm-5.2:cloud، وهي علامة تشغّله على بنية Ollama التحتية وتحتاج إلى ollama signin قبل أن تعمل. يقدّر مستودع أوزان Z.ai حجم النموذج بنحو 753 billion parameters، لذلك تبلغ الأوزان وحدها نحو 377 GB حتى عند استخدام 4 bits لكل parameter. تتجاوز خطط VPS المنشورة ذات الذاكرة الكبيرة هذا الحجم، ومنها Paragon's 512 GB E-48، لكنك تحتاج أيضاً إلى مساحة إضافية لتكلفة بيئة التشغيل والسياق. نموذج GLM الأصغر ذو الأوزان القابلة للتنزيل والمستخدم في هذا الدليل هو glm-4.7-flash.

ما مقدار RAM الذي يحتاج إليه glm-4.7-flash؟

اعتبر حجم التنزيل للعلامة حداً أدنى، وأضف مساحة لـKV cache ولنظام التشغيل. تعرض Ollama علامة Q4 بحجم 19 GB، وQ8 بحجم 32 GB، وعلامة bfloat16 بحجم 60 GB. لا توجد قيمة ثابتة مناسبة للجميع، لأن KV cache يكبر مع طول السياق الذي تحدده. حمّل النموذج، وشغّل ollama ps، ثم اقرأ العمود SIZE لمعرفة القيمة الفعلية على خادمك.

كيف أقيس عدد tokens في الثانية على VPS الخاص بي؟

أرسل طلباً واحداً إلى http://localhost:11434/api/generate مع "stream": false، ثم اقرأ eval_count وeval_duration من الاستجابة. عدد tokens في الثانية هو eval_count / eval_duration * 1e9، لأن eval_duration يُقاس بالنانوثواني. تجاهل التشغيل الأول، لأن load_duration يتضمن فيه قراءة الأوزان من القرص. كرر الاختبار باستخدام prompt طويل أيضاً، لأن prompt_eval_duration يزداد مع طول الإدخال، بينما لا تتغير سرعة التوليد.

لماذا يجب ألا أضبط OLLAMA_HOST على 0.0.0.0؟

لأن واجهة Ollama المحلية لا تتطلب مصادقة افتراضياً، ولذلك يؤدي ربطها بـ0.0.0.0 إلى إتاحتها على كل واجهة IPv4؛ ويعتمد الوصول العام بعد ذلك على التوجيه وجدران الحماية. يستطيع أي شخص يصل إلى المنفذ 11434 تنفيذ التوليد باستخدام موارد خادمك وتغيير النماذج المثبتة. أبقِ الربط الافتراضي على 127.0.0.1، وتحقق منه باستخدام ss -ltnp | grep 11434، ثم صِل إلى الواجهة من حاسوبك المحمول عبر نفق SSH مثل ssh -N -L 11434:127.0.0.1:11434 you@your-server.

هل كان هذا المقال مفيدًا؟