ما النماذج التي يمكنك استضافتها ذاتياً؟
اختر النموذج وفق RAM المتاحة فعلياً: احسب الحجم لخوادم 4 و16 و64 GB، وقارن سرعة الرموز على CPU، ولا تنسَ كلفة نافذة السياق.
ما الذي يحدد نماذج AI التي يمكنك استضافتها ذاتياً
يحدد عامل واحد نماذج AI التي يمكنك استضافتها ذاتياً: مقدار RAM على الخادم. تؤثر عائلة النموذج وإطار العمل بدرجة أقل بكثير من ملاءمة أوزان النموذج للذاكرة مع بقاء مساحة إضافية. يشرح هذا المقال الحسابات اللازمة لتحديد ذلك. تثبيت بيئة التشغيل مهمة منفصلة، وتغطيها الدليل الخاص بتشغيل Ollama على VPS.
تحدد كلفتان النتيجة. الأوزان هي الكلفة الثابتة، ويحددها عدد المعلمات وquantisation. أما نافذة السياق فهي الكلفة المتغيرة، وهي العامل الذي ينساه الناس إلى أن يرفض نموذجٌ كان قد تحمّل بالأمس التحميل اليوم.
حسابات الحجم: البتات لكل معامل
يتكون ملف النموذج بالكامل تقريباً من الأوزان. يُخزّن كل وزن بعدد معين من البتات. يعني التكميم (Quantisation) تخزين هذه الأوزان بعدد بتات أقل من دقة التدريب الأصلية، مما يكلّف قدراً بسيطاً من الدقة ويوفر الكثير من الذاكرة. يتبع الحجم هذه القاعدة مباشرة:
weights in GB = (parameters in billions x bits per weight) / 8تُصدر معظم النماذج بدقة 16 بت، وهو ما يعادل 2 جيجابايت لكل مليار معامل. بعض النماذج تُشحن وهي مكممة جزئياً بالفعل؛ على سبيل المثال، تم تدريب نموذج gpt-oss من OpenAI لاحقاً باستخدام أوزان خليط الخبراء (mixture of experts) بدقة 4 بت من نوع MXFP4. في كلتا الحالتين، لا أحد تقريباً يشغّل أوزان 16 بت على خادم افتراضي خاص (VPS). هذه هي مستويات التكميم التي ستواجهها فعلياً، مع متوسط البتات الفعلي لكل وزن:
Q8_0تخزّن حوالي 8.5 بت لكل وزن، أي ما يعادل تقريباً 1.1 جيجابايت لكل مليار معامل.Q6_Kتخزّن حوالي 6.6 بت، أي ما يعادل تقريباً 0.83 جيجابايت لكل مليار.Q5_K_Mتخزّن حوالي 5.7 بت، أي ما يعادل تقريباً 0.71 جيجابايت لكل مليار.Q4_K_Mتخزّن حوالي 4.8 بت، أي ما يعادل تقريباً 0.6 جيجابايت لكل مليار.
استخدم 0.6 جيجابايت لكل مليار معامل كرقم عملي. يُعد Q4_K_M الخيار الافتراضي المنطقي على الخوادم المحدودة بالذاكرة: فقدان الجودة مقارنة بدقة 8 بت ضئيل في معظم المهام، وحجم الملف أقل بنحو النصف. تحت مستوى 4 بت، يزداد الفقدان بسرعة، لذا فإن نموذجاً بحجم 70B مضغوطاً إلى 2 بت عادة ما تكون إجاباته أسوأ من نموذج 32B بدقة 4 بت من نفس الجيل. عندما تكون الذاكرة محدودة، قلل فئة حجم النموذج قبل أن تنخفض عن مستوى 4 بت.
البيانات وراء هذا الرسم البياني
[
{
"label": "3B",
"weights_gb": 1.8,
"kv_8k_gb": 0.9,
"kv_128k_gb": 14
},
{
"label": "8B",
"weights_gb": 4.8,
"kv_8k_gb": 1,
"kv_128k_gb": 16
},
{
"label": "14B",
"weights_gb": 8.4,
"kv_8k_gb": 1.5,
"kv_128k_gb": 24
},
{
"label": "32B",
"weights_gb": 19.2,
"kv_8k_gb": 2,
"kv_128k_gb": 32
},
{
"label": "70B",
"weights_gb": 42,
"kv_8k_gb": 2.5,
"kv_128k_gb": 40
}
]عمود الأوزان أعلاه يطبق قاعدة 0.6 جيجابايت لكل مليار. تقع ملفات GGUF الحقيقية ضمن نسبة مئوية قليلة من هذا الرقم، لأن طبقات التضمين (embedding) والمخرجات (output) تُحفظ بدقة أعلى من بقية النموذج. نموذج 3B بدقة 4 بت يستهلك حوالي 1.8 جيجابايت. ونموذج 8B يستهلك 4.8 جيجابايت. ونموذج 32B يستهلك 19.2 جيجابايت، ونموذج 70B يستهلك 42 جيجابايت.
لماذا يستهلك طول السياق ذاكرة RAM أكبر من الأوزان
تُعد ذاكرة KV المؤقتة (ذاكرة key value المؤقتة، وهي حالة الانتباه التي يحتفظ بها النموذج لكل token موجود حالياً في المحادثة) التكلفة الثانية. تُخصَّص عند تحميل النموذج، ويُحدَّد حجمها وفق طول السياق الذي طلبته، وتزداد خطياً مع هذا الطول.
صيغة ذاكرة KV المؤقتة، ومكان قراءة الأرقام
bytes per token = 2 x layers x kv_heads x head_dim x bytes per elementيمثل الرقم 2 المفتاح والقيمة. توجد قيم layers وkv_heads (المُدرجة باسم num_key_value_heads) وhead_dim كلها في config.json في صفحة بطاقة النموذج. يبلغ عدد البايتات لكل عنصر 2 لذاكرة مؤقتة بحجم 16 bit. يتكون نموذج 8B نموذجي من 32 طبقة، و8 رؤوس key value، وبُعد رأس يبلغ 128، ولذلك فإن 2 x 32 x 8 x 128 x 2 = 131072 بايت، أي 128 KiB لكل token.
مع طول السياق الافتراضي في Ollama، يستهلك نموذج 8B نصف gigabyte لذاكرة التخزين المؤقت. وعند 8192 token، يستهلك 1 GB. وعند سياق بطول 128k، وهو الطول الذي تعلنه بطاقة النموذج، يستهلك 16 GB، أي أكثر من ثلاثة أضعاف حجم الأوزان. أما نموذج 70B فحالته معاكسة: إذ تبلغ ذاكرته المؤقتة عند 128k 40 GB، أي أقل من حجم أوزانه، لأن grouped query attention يمنع تكلفة كل token من الزيادة بمعدل يقترب من معدل زيادة عدد المعلمات.
يبلغ طول السياق الافتراضي في Ollama مقدار 4096 token على خادم يعمل بالـCPU فقط. عند وجود GPU، يختار Ollama القيمة الافتراضية من VRAM بدلاً من ذلك: 32k بين 24 و48 GiB، و256k عند 48 GiB أو أكثر. ارفع القيمة باستخدام متغير OLLAMA_CONTEXT_LENGTH على الخادم، ثم تحقّق من القيمة الفعلية التي حصل عليها نموذج قيد التشغيل في عمود CONTEXT من ollama ps. يشرح المنشور الخاص بـnum_ctx وطول السياق حساب الذاكرة وراء هذا الإعداد بالتفصيل.
يمكنك تقليل الذاكرة المؤقتة بطريقتين. اطلب طول السياق الذي تحتاج إليه بدلاً من طول السياق الذي تعلنه بطاقة النموذج، لأن معظم أعمال المحادثة والبرمجة تقع ضمن 8k إلى 32k. أو حوّل الذاكرة المؤقتة نفسها إلى 8 bits، ما يخفض حجمها إلى النصف، مع بعض التأثير في استرجاع المعلومات ضمن السياقات الطويلة.
النموذج المقيم يحتفظ بمساحة RAM حتى تُفرغه عملية ما
يحتفظ Ollama بالنموذج في الذاكرة لمدة 5 دقائق بعد آخر طلب، ثم يفرغه. يناسب هذا الإعداد الافتراضي جهازاً محمولاً، لكنه غير مناسب لخادم؛ لأن أول طلب بعد كل فترة خمول سيتحمل زمن تحميل النموذج من جديد.
ollama ps
ollama stop qwen3:4bتعرض ollama ps النماذج المقيمة، مع عمود SIZE يوضح مقدار الذاكرة التي يشغلها النموذج، وعمود UNTIL يوضح وقت انتهاء بقائه. لتثبيت النموذج بشكل دائم، عيّن OLLAMA_KEEP_ALIVE=-1 في الخدمة. تؤدي قيمة 0 إلى إفراغ النموذج فور انتهاء كل استجابة.
sudo systemctl edit ollama.service[Service]
Environment="OLLAMA_KEEP_ALIVE=-1"
Environment="OLLAMA_CONTEXT_LENGTH=8192"sudo systemctl daemon-reload
sudo systemctl restart ollamaأرسل مطالبة واحدة، ثم شغّل ollama ps مرة أخرى بعد 10 دقائق. سيظل النموذج مدرجاً، وهذا هو المقصود تحديداً: فهو يحتفظ بمساحة RAM تلك سواء كان أحد يستخدمه أم لا. النموذج المثبّت ليس سعة احتياطية. على VPS بسعة 16 GB، يستهلك نموذج 8B مع سياق 8k نحو 6 GB طوال مدة تشغيل الخدمة، لذلك حدّد حجم الخادم بناءً على النموذج وتطبيقك معاً، لا على النموذج وحده. يوضح تثبيت نموذج في الذاكرة المفاضلة بين ذلك وزمن بدء التشغيل البارد.
ما الذي يعمل على خادم VPS بسعة 4 GB
احجز حوالي 1 GB لنظام التشغيل وخادم النموذج، مما يترك لك حوالي 3 GB. هذا يكفي لتشغيل نموذج بحجم 1B إلى 4B بترميز 4-bit، مع سياق افتراضي يبلغ 4096 token. اعتباراً من أغسطس 2026، تشمل هذه الفئة نماذج Llama 3.2 بحجم 3B، وQwen 3 بحجم 1.7B و4B، وإصدارات Gemma وPhi الصغيرة. تعامل مع هذه الأسماء كأمثلة للحجم، لا كتوصيات. تتغير الأسماء كل بضعة أشهر، لكن الحسابات الرياضية تظل ثابتة.
توقع سرعة تتراوح تقريباً بين 6 و 14 token في الثانية. النماذج بهذا الحجم تؤدي المهام المحددة بشكل جيد: التصنيف، استخراج الوسوم، التلخيص القصير، وإعادة صياغة الفقرات لتناسب أسلوباً معيناً. هذه النماذج ضعيفة في الاستنتاج متعدد الخطوات وفي كتابة الأكواد التي تمتد عبر عدة ملفات، ولا يمكن لأي أسلوب في صياغة الأوامر (prompting) معالجة ذلك.
نمط الفشل في هذه الفئة هو استخدام الـswap. إذا لم يتسع النموذج في الذاكرة، فإن Linux لا يرفض تحميله، بل يقوم بنقل أجزاء من الذاكرة إلى القرص (paging). وبما أن توليد كل token يتطلب قراءة كل وزن مرة واحدة، فإن سرعة التوليد تنهار لتصبح ثوانٍ لكل token. راقب free -h وأعمدة si و so في vmstat 1 أثناء إجابة النموذج. تجاهل السطر الأول من مخرجات vmstat، الذي يحسب المتوسط منذ الإقلاع، وتذكر أن العدادات تغطي النظام بأكمله، وليس النموذج فقط. إذا كانت قيم swap in و swap out تساوي صفراً أثناء خمول الخادم وترتفع بمجرد بدء التوليد، فهذا يعني أن النموذج أكبر من سعة الخطة المتاحة.
ما الذي يمكن تشغيله على VPS بسعة 8 إلى 16 GB
هنا يصبح النموذج المستضاف ذاتياً مفيداً في الاستخدام العام. على سعة 8 GB، يمكنك تشغيل نموذج 7B أو 8B بدقة 4 bits، مع أوزان بحجم يقارب 4.8 GB وسياق بحجم 8k. وعلى سعة 16 GB، يمكنك تشغيل نموذج 13B أو 14B بدقة 4 bits، بحجم يقارب 8.4 GB، أو الإبقاء على نموذج 8B بدقة 8 bits إذا كنت تفضّل تخصيص الذاكرة لزيادة الدقة بدلاً من زيادة عدد المعاملات.
السرعة هي العامل المقيّد. يولّد نموذج 8B على CPU نحو 3 إلى 7 token في الثانية، بينما يولّد نموذج 14B نحو 1.5 إلى 3.5 token في الثانية. يقرأ الشخص بسرعة تقارب 5 إلى 10 token في الثانية، لذلك يبدو نموذج 8B على VPS يعمل بـCPU كأنك تراقب كاتباً بطيئاً. هذا مناسب لمهمة تعمل في الخلفية، لكنه متعب في الدردشة التفاعلية. تشغيلات مقاسة لنموذج Qwen 3 بحجم 8B وأحجام أكبر على VPS توضّح كيفية عمله عملياً.
ما الذي يعمل على خادم VPS بسعة 32 إلى 64 جيجابايت
يبلغ حجم نموذج 32B بدقة 4 بت حوالي 19.2 جيجابايت، لذا فهو يتناسب مع خطة بسعة 32 جيجابايت مع سياق قصير، ويعمل بأريحية على 48 جيجابايت أو 64 جيجابايت. أما نموذج 70B بدقة 4 بت فيبلغ حجمه حوالي 42 جيجابايت، وهو ما يتماشى مع الـ 43 جيجابايت التي يدرجها Ollama لنموذج Llama 3.3 70B بدقة Q4_K_M، لذا فهو يضغط بالكاد على خطة بسعة 48 جيجابايت مع سياق قصير، ويحتاج إلى 64 جيجابايت لأي سياق أطول.
بعد ذلك، قيّم السرعة بواقعية. يعمل نموذج 32B على المعالج (CPU) بسرعة تتراوح بين 0.6 إلى 1.5 رمز في الثانية، بينما يعمل نموذج 70B بسرعة تتراوح بين 0.2 إلى 0.5. تستغرق إجابة مكونة من 500 رمز من نموذج 70B حوالي عشرين دقيقة. عند هذه الوتيرة، غالباً ما ينتهي الطلب قبل أن يكمل النموذج عمله، لأن مهلة العميل أو الـ proxy أمام Ollama تنتهي أولاً، وهو ما يسبب خطأ تجاوز مهلة السياق. هذه أدوات معالجة دفعية (batch). قم بتغذيتها بقائمة من المستندات طوال الليل ولن تهمك السرعة. أما إذا وضعتها خلف نافذة دردشة، فستكون السرعة أمراً بالغ الأهمية.
تُغيّر تقنية توجيه خليط الخبراء (Mixture of Experts) هذه الحسابات، وهي تفصيلة معمارية واحدة تستحق التعلم. يرسل نموذج MoE كل رمز عبر جزء صغير فقط من أوزانه. نموذج يحتوي على 30B من المعلمات الإجمالية و3B نشطة لكل رمز يحتاج إلى ذاكرة نموذج 30B، ويولد سرعة قريبة من سرعة نموذج 3B كثيف، لأن كل رمز يقرأ الخبراء النشطين فقط. على خادم بسعة 32 جيجابايت، يكون نموذج MoE بهذا الشكل أكثر قابلية للاستخدام بكثير من نموذج 30B كثيف. القاعدة التي يجب تذكرها: المعلمات الإجمالية تحدد الذاكرة، والمعلمات النشطة تحدد السرعة.
ما سرعة الاستدلال على CPU، بصراحة؟
يتطلب توليد كل token قراءة كل وزن نشط من الذاكرة مرة واحدة. لا توجد طريقة لتجنب ذلك، لذلك تحدد bandwidth الذاكرة سرعة التوليد على CPU، وليس عدد الأنوية. الحد الأقصى هو ناتج قسمة: bandwidth الذاكرة القابل للاستخدام على حجم الأوزان بالـbytes. يوفّر VPS صغير مشترك عادةً من 10 إلى 25 GB في الثانية عبر vCPUs الخاصة به، لذلك يصل نموذج حجمه 4.8 GB إلى نحو 2 إلى 5 tokens في الثانية.
البيانات وراء هذا الرسم البياني
[
{
"label": "3B",
"tokens_per_second_low": 6,
"tokens_per_second_high": 14
},
{
"label": "8B",
"tokens_per_second_low": 3,
"tokens_per_second_high": 7
},
{
"label": "14B",
"tokens_per_second_low": 1.5,
"tokens_per_second_high": 3.5
},
{
"label": "32B",
"tokens_per_second_low": 0.6,
"tokens_per_second_high": 1.5
},
{
"label": "70B",
"tokens_per_second_low": 0.2,
"tokens_per_second_high": 0.5
}
]هذه نطاقات يُبلّغ عنها عادةً على أجهزة VPS عادية، وليست نتيجة قياس لجهاز واحد. تعتمد نتيجتك على جيل الذاكرة، وعدد القنوات في المضيف، وعدد الجيران الذين يتنافسون على مواردها. قِس أداء جهازك باستخدام أي وسم نموذج لديك بالفعل:
ollama run qwen3:4b --verbose "Write three sentences about disk latency."ينتهي الملخص المطبوع بعد الإجابة بسطر يحتوي على eval rate: ... tokens/s. هذه هي سرعة التوليد. تجاهل التشغيل الأول في الجلسة، لأن load duration في الملخص نفسه يتضمن قراءة الأوزان من القرص. يشرح قياس عدد tokens في الثانية بطريقة صحيحة كيفية الحصول على رقم يمكن مقارنته.
هناك نتيجتان تفاجئان المستخدمين هنا. تتوقف إضافة vCPUs عن تقديم فائدة بسرعة، لأن الأنوية الإضافية بعد نحو 8 أنوية تنتظر الذاكرة بدلاً من إجراء العمليات الحسابية. وفي الخطة المشتركة يعرض الأمر نفسه أرقاماً مختلفة من ساعة إلى أخرى. يعود ذلك إلى زمن CPU المسروق بسبب جار يسبب ازدحاماً، وليس إلى إعداد ضبطته بطريقة خاطئة.
تُعد قراءة prompt الخاص بك مهمة مختلفة عن توليد الإجابة. تعتمد معالجة prompt على الحسابات، لذلك تستفيد من زيادة عدد الأنوية، وهنا يتقدم GPU بأكبر فارق. يحتاج CPU إلى دقائق لقراءة مستند طويل، بينما يحتاج GPU إلى ثوانٍ. هذا هو أول عائق تواجهه عند توجيه coding agent إلى نموذج تستضيفه، لأن كل جولة تعيد إرسال سياق الملف وتعريفات الأدوات قبل وصول token واحد من الإجابة.
ما الذي يتغير عند إضافة وحدة معالجة رسوميات (GPU)
لا تتغير الحسابات، بل يتغير النطاق الذي تُطبق عليه فقط. ذاكرة الفيديو (VRAM) هي حد صارم، لذا احسب ما يتسع قبل الاستئجار:
- سعة 8 GB من VRAM تتسع لنموذج 7B أو 8B بدقة 4-bit مع سياق قصير.
- سعة 16 GB تتسع لنموذج 14B بدقة 4-bit مع سياق حقيقي، أو نموذج 8B بدقة 8-bit.
- سعة 24 GB تتسع لنموذج 32B بدقة 4-bit مع سياق قصير.
- سعة 48 GB تتسع لنموذج 70B بدقة 4-bit مع سياق متوسط، وتبدأ المساحة المتاحة للسياق الطويل والتزامن من حوالي 80 GB.
عندما لا يتسع النموذج، يقوم Ollama بتقسيمه: بعض الطبقات على الـGPU، والباقي على الـCPU. يُبلغ ollama ps عن هذا التقسيم في عمود PROCESSOR، بصيغة تشبه 78%/22% CPU/GPU. اقرأ ذلك كتحذير لا كميزة. النصف الذي يعمل على الـCPU هو الذي يحدد سرعة المعالجة، لأن كل token ينتظر تلك الطبقات، لذا فإن النموذج الذي يعمل ربع طبقاته على الـCPU تكون سرعته أقرب إلى سرعة الـCPU منها إلى سرعة الـGPU. إذا لاحظت تقسيمًا لم تقصده، قلل طول السياق أولاً. الذاكرة المؤقتة (cache) هي عادةً ما يتسبب في تجاوز الحد.
التزامن هو السبب الآخر لزيادة الحجم. تتشارك الطلبات المتزامنة في الأوزان، لكن كل طلب نشط يحتاج إلى ذاكرة KV cache خاصة به، لذا يحتاج عشرة مستخدمين متزامنين لنموذج 8B بسياق 8k إلى عشرة أضعاف 1 GB من الذاكرة المؤقتة بالإضافة إلى الأوزان. يشرح تقديم الخدمة لمستخدمين متزامنين من نموذج واحد مستضاف ذاتياً كيفية تحديد هذا الحد الأقصى.
سواء كان استئجار الـGPU مجدياً أم لا، فهي مسألة حسابية تعتمد على عدد الـtokens التي تولدها فعلياً شهرياً. يحتوي نقطة التعادل بين خادم VPS مزود بـGPU ورموز API على تلك الأرقام.
ما لا يمكنك استضافته ذاتياً
هناك عائقان مختلفان هنا، ومن المفيد معرفة أيهما تواجه.
الأول هو الأوزان المغلقة. لا تُوزَّع النماذج التجارية الرائدة، لذلك لا يوجد ملف لتنزيله، ولن تغيّر أي كمية من RAM ذلك. يمكنك استضافة كل ما يحيط بها ذاتياً: الواجهة، وطبقة الاسترجاع، وحلقة الوكيل، والسجلات. أما النموذج نفسه فيبقى عبر API بعيدة. يشرح ما إذا كان يمكنك استضافة Claude ذاتياً ذلك بالتفصيل.
الثاني هو الأوزان المفتوحة الكبيرة جداً. أكبر الإصدارات المفتوحة هي تصاميم مزيج من الخبراء، وتضم مئات المليارات من المعاملات الإجمالية. وتنطبق عليها القاعدة نفسها: يحتاج نموذج يضم 400B من المعاملات الإجمالية، بدقة 4 بت، إلى نحو 240 GB للأوزان وحدها، قبل احتساب أي cache. هذه عتاد متخصص، واستئجاره شهرياً يكلف أكثر بكثير مما ينفقه معظم الأشخاص على رموز API خلال عام. يوضّح ما يلزم لاستضافة نموذج من فئة Kimi ذاتياً المتطلبات الفعلية. ويظهر التقسيم نفسه داخل مكتبة Ollama، حيث يُدرج GLM 5.2 كنموذج سحابي فقط، بينما يُنزَّل نموذج شقيق أصغر فعلياً إلى VPS.
الحد الفاصل بوضوح بين الحالتين هو التالي: استضف الخدمة ذاتياً عندما يكون الحمل ثابتاً، وعندما يجب ألا تغادر البيانات خادمك. واشترِ رموز API عندما يكون الحمل متقطعاً، أو عندما تكون جودة إجابات النماذج الرائدة هي ما تحتاج إليه فعلياً.
تحقّق مما لديك قبل الاختيار
free -h
nproc
lscpu | grep 'Model name'خطّط استناداً إلى عمود available في free -h، وليس إلى عمود total، لأنّ total يتضمن الذاكرة التي يستخدمها النظام بالفعل. اطرح نحو 1 GB لنظام التشغيل وخادم النموذج. اقسم القيمة المتبقية على 0.6 لتحصل على أكبر عدد للمعاملات، بالمليارات، يمكنك استيعابه عند 4 bits. ثم اطرح ذاكرة KV cache للسياق الذي تريده فعلياً. ما يتبقى هو الإجابة، وبخلاف قائمة بأسماء النماذج، لا تصبح هذه الإجابة قديمة.
FAQ
ما مقدار ذاكرة الوصول العشوائي (RAM) التي أحتاجها لتشغيل نموذج بحجم 8B؟
تحتاج إلى حوالي 4.8 جيجابايت للأوزان عند استخدام كمية 4-bit، بالإضافة إلى ذاكرة التخزين المؤقت KV لطول السياق الخاص بك، وإضافة 1 جيجابايت تقريباً لنظام التشغيل وخادم النموذج. عند سياق بطول 8192 رمزاً (token)، تضيف ذاكرة التخزين المؤقت حوالي 1 جيجابايت، لذا فإن خطة بسعة 8 جيجابايت ستعمل، بينما خطة بسعة 4 جيجابايت لن تكفي. إذا كنت ترغب في استخدام كامل سياق 128k الذي تعلن عنه بطاقة النموذج، فإن ذاكرة التخزين المؤقت وحدها تستهلك 16 جيجابايت، وستحتاج حينها إلى خطة بسعة 32 جيجابايت.
لماذا يعمل النموذج ببطء رغم أن الخادم الافتراضي (VPS) يحتوي على عدد كبير من وحدات المعالجة المركزية (vCPUs)؟
لأن عملية التوليد محدودة بعرض نطاق الذاكرة (memory bandwidth) وليس بعدد الأنوية. يتطلب كل رمز سحب مجموعة الأوزان النشطة بالكامل من الذاكرة، لذا بمجرد تشبع قنوات الذاكرة بعدد قليل من الأنوية، تنتظر بقية الأنوية دون عمل. السبب الشائع الآخر هو استخدام مساحة التبديل (swap). إذا أظهر الأمر vmstat 1 أن si و so عند الصفر قبل إرسال الطلب، ثم بدأت بالارتفاع أثناء إجابة النموذج، فهذا يعني غالباً أن الأوزان لا تتسع في الذاكرة، ويتم تقديم جزء من كل رمز من القرص، وهو ما يستهلك موارد أكثر بكثير مما يبدو.
هل يحتاج نافذة سياق أطول إلى ذاكرة أكبر فعلاً؟
نعم، والنمو خطي بالنسبة لعدد الرموز. يستهلك نموذج 8B النموذجي حوالي 128 KiB من ذاكرة التخزين المؤقت KV لكل رمز، لذا فإن 8192 رمزاً تكلف 1 جيجابايت، و131072 رمزاً تكلف 16 جيجابايت. يتم حجز ذاكرة التخزين المؤقت عند تحميل النموذج وليس عند نمو المحادثة، لذا فإن طلب سياق 128k يحجز تلك الذاكرة فوراً، حتى لو كان كل طلب ترسلُه بطول 200 رمز فقط.
هل يجب أن أشغل نموذجاً كبيراً بدقة 2-bit أم نموذجاً أصغر بدقة 4-bit؟
اختر النموذج الأصغر بدقة 4-bit. تنخفض الجودة ببطء من 8-bit إلى 4-bit، ولكنها تنخفض بسرعة تحت 4-bit، لذا فإن نموذج 70B مضغوط إلى 2-bit يعطي عادةً إجابات أسوأ من نموذج 32B بدقة 4-bit من نفس جيل النماذج. يظهر التكميم (quantisation) الثقيل على شكل تكرار وإسقاط للتعليمات بدلاً من رسائل الخطأ، مما يسهل إلقاء اللوم على طلبك (prompt). اعتبر 4-bit هو الحد الأدنى، وقم بتغيير عدد المعلمات (parameter count) بدلاً من ذلك.
هل يمكنني استضافة نموذج بنفس قدرة النماذج التجارية الكبيرة ذاتياً؟
ليس على خادم افتراضي (VPS) عادي. تصل أقوى النماذج مفتوحة الأوزان إلى مئات المليارات من المعلمات، وهو ما يعني عند دقة 4-bit أكثر من 200 جيجابايت من الذاكرة قبل إضافة أي ذاكرة تخزين مؤقت KV، كما أن أقوى النماذج التجارية لا يتم توزيعها على الإطلاق. ما تبرع فيه الأجهزة العادية هو تشغيل نموذج جيد بحجم 8B إلى 32B لمهمة محددة، حيث غالباً ما يضاهي النموذج الصغير الموجه بدقة النماذج العامة. إذا كنت بحاجة إلى جودة رائدة، قارن تكلفة واجهة برمجة التطبيقات (API) بتكلفة الأجهزة قبل الشراء.