SSD Nodes Learn Hosting plans →
الأدلة Matt Connorبقلم Matt Connor

تشغيل خادم llama.cpp على VPS

ثبّت llama.cpp عند الوسم b10488، وقدّم نماذج GGUF عبر API متوافق مع OpenAI على localhost، ثم شغّله مع systemd وحدود للذاكرة.

ما الذي ستبنيه

يعني تشغيل خادم llama.cpp على VPS استخدام ملف ثنائي واحد، llama-server، يحمّل ملف نموذج GGUF واحداً ويستجيب لطلبات HTTP عبر API متوافق مع OpenAI. وجّه عميلاً متوافقاً إلى http://127.0.0.1:8080/v1، ثم اختبر الميزات التي يستخدمها تطبيقك: فالتوافق جزئي. التثبيت هو الجزء الأسهل.

أما بقية العمل فتتعلق بالتشغيل: ثبّت إصداراً محدداً، وأبقِ المنفذ على localhost، واكتب وحدة systemd، وحدد ما سيحدث عند نفاد ذاكرة الخادم. يغطي هذا الدليل هذه الجوانب. إذا لم تكن قد قررت بعد بين الخيارين الواضحين، فاقرأ أولاً المفاضلة بين Ollama وllama.cpp، لأن هذا الدليل يشرح طريقة التنفيذ التي يتعمد ذلك القسم تركها خارج نطاقه.

اختر وسم الإصدار وسجّله

يستخدم llama.cpp وسوم أرقام البناء مثل b10488 لإصدارات التطوير الليلية، ووسوم الإصدارات الدلالية مثل vX.Y.Z للإصدارات الرسمية. الإصدار b10488 هو البناء المثبّت المستخدم هنا، وقد صدر في 18 August 2026. أمّا "Latest" فهو هدف متغيّر، والإصدار الذي اختبرته هو الإصدار الوحيد الذي يمكنك دعمه. اختر وسماً، وسجّله، واستخدم السلسلة نفسها في عملية الاستنساخ، وفي اسم الملف التنفيذي، وفي ملاحظاتك.

يوفّر الوسم b10488 أيضاً أرشيفات مبنية مسبقاً. بالنسبة إلى VPS من نوع x86 يعمل بالمعالج فقط، يكون الأرشيف هو llama-b10488-bin-ubuntu-x64.tar.gz، ويوجد بجانبه أرشيف arm64 إذا كنت تستخدم VPS يعمل بمعمارية ARM بدلاً من x86.

curl -LO https://github.com/ggml-org/llama.cpp/releases/download/b10488/llama-b10488-bin-ubuntu-x64.tar.gz
tar tf llama-b10488-bin-ubuntu-x64.tar.gz | head

اعرض محتويات الأرشيف قبل فكّه، حتى تعرف مكان وضع الملفات. ترتبط هذه الملفات التنفيذية بمكتبة C الخاصة بصورة النظام التي بُنيت فيها، ولذلك تفشل عند بدء التشغيل على توزيعة أقدم مع ظهور خطأ يذكر إصدار GLIBC_ غير المثبّت. يستغرق البناء من المصدر بضع دقائق على VPS صغير، ويزيل هذه الفئة كاملة من المشكلات، ولذلك نستخدم هذا المسار أدناه.

بناء llama-server من وسم مثبت

sudo apt update
sudo apt install -y build-essential cmake git libssl-dev
git clone --depth 1 --branch b10488 https://github.com/ggml-org/llama.cpp
cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2

يؤدي --branch b10488 على نسخة مستنسخة باستخدام --depth 1 إلى سحب ذلك الوسم فقط دون أي شيء آخر، لذلك لا يتغير البناء أثناء العمل.

يهم libssl-dev لأن الخيار LLAMA_OPENSSL مفعّل افتراضياً. وهذا ما يتيح للملف الثنائي تنزيل النماذج عبر HTTPS لاحقاً. من دون ملفات التطوير الخاصة بـOpenSSL، يحذّر هذا البناء المثبت من تعطيل دعم HTTPS بدلاً من فشل الإعداد.

يربط -DBUILD_SHARED_LIBS=OFF بين llama.cpp وGGML داخل الملف التنفيذي، لكن تبعيات مكتبات النظام تبقى مطلوبة. يضع البناء الافتراضي المكتبات المشتركة بجانب الملف التنفيذي، لذلك يؤدي نسخ الملف التنفيذي وحده إلى /usr/local/bin إلى الفشل مع error while loading shared libraries: libllama.so.

يبني -t llama-server هدف الخادم فقط. يترجم البناء الافتراضي أيضاً الأدوات الأخرى والاختبارات. وعلى VPS ذي نواتين، يستغرق ذلك دقائق إضافية لملفات لن تشغّلها أبداً.

استخدام -j 2 مقصود. يحتفظ كل job ترجمة متوازٍ بمجموعة عمل خاصة به، لذلك ينتهي -j $(nproc) على خطة صغيرة بظهور c++: fatal error: Killed signal terminated program cc1plus، حيث يوقف قاتل نفاد الذاكرة في النواة المترجم. خفّض عدد jobs أو أضف swap لعملية البناء.

قد ترغب في تغيير أحد الخيارات: يكون GGML_NATIVE مفعّلاً افتراضياً، لذلك يستهدف المترجم CPU المحدد الذي يجري عليه البناء. هذا هو المطلوب عندما تبني على الجهاز الذي سيشغّل الملف. إذا بنيت مرة واحدة ثم نسخت الملف الثنائي إلى مضيف مختلف، فأضف -DGGML_NATIVE=OFF، لأن الملف الثنائي الذي يستخدم تعليمات لا يدعمها CPU الآخر يتوقف مع Illegal instruction (core dumped) عند أول استدلال.

ثبّته تحت اسم يتضمن الوسم.

./build/bin/llama-server --version
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-b10488
sudo ln -sfn /usr/local/bin/llama-server-b10488 /usr/local/bin/llama-server

يطبع --version رقم البناء وcommit. ويجب أن يطابقا الوسم الذي سحبته. إذا لم يتطابقا، فقد بنيت شيئاً آخر. يؤدي الاحتفاظ بالرقم في اسم الملف وتوجيه symlink إليه إلى جعل الترقية عبارة عن ln -sfn واحد ثم إعادة تشغيل واحدة، كما يكون التراجع باستخدام الأمر نفسه مع الرقم القديم.

نزّل نموذج GGUF وتحقق من مساحة القرص أولاً

GGUF هو تنسيق الملف الواحد الذي يحمّله llama.cpp. يحتوي الملف الواحد على الأوزان وtokeniser والبيانات الوصفية، لذلك لا تحتاج إلى تثبيت أي مكوّن آخر. تشير اللاحقة في اسم الملف إلى quantisation، أي الدقة التي تُخزَّن بها الأوزان: Q4_K_M هو مزيج بدقة 4-bit، وQ8_0 بدقة 8-bit، بينما f16 هو الملف غير المكمَّم بدقة نصفية.

أنشئ حساب خدمة ودليلاً للنموذج قبل تنزيل أي شيء.

sudo useradd --system --home /srv/llama --create-home --shell /usr/sbin/nologin llama
sudo install -d -o llama -g llama /srv/models
df -h /srv

يمكن للخادم تنزيل نموذج بنفسه باستخدام -hf، وهذه أسرع طريقة للتحقق من أن عملية البناء تعمل.

sudo -u llama env LLAMA_CACHE=/srv/models /usr/local/bin/llama-server \
  -hf ggml-org/gemma-3-1b-it-GGUF:Q4_K_M --host 127.0.0.1 --port 8080

يحدّد LLAMA_CACHE دليل التنزيل. من دونه أو من دون XDG_CACHE_HOME، يُحفظ الملف في ~/.cache/llama.cpp تحت الحساب الذي شغّل الأمر؛ أما الوحدة أدناه فتجعل /srv/llama للقراءة فقط. شغّل ls -lh /srv/models بعد ذلك، لأن اسم الملف المخزَّن مؤقتاً يُشتق من اسم المستودع، لا من اسم الملف البسيط.

بالنسبة إلى الخدمة، نزّل النموذج إلى مسار اخترته، حتى يحتوي ملف الوحدة على مسار ثابت يشير إليه.

sudo -u llama curl -L --output-dir /srv/models -O \
  https://huggingface.co/ggml-org/gemma-3-1b-it-GGUF/resolve/main/gemma-3-1b-it-Q4_K_M.gguf

مساحة القرص هي أول حد يواجهه معظم المستخدمين. هذه أحجام الملفات المنشورة لنموذجين، وقد تم التحقق منها في 18 August 2026.

رسم بيانيGGUF file size on disk, published figures, 18 August 2026
البيانات وراء هذا الرسم البياني
[
  {
    "label": "gemma-3-1b-it Q4_K_M",
    "size_gb": 0.81
  },
  {
    "label": "gemma-3-1b-it Q8_0",
    "size_gb": 1.07
  },
  {
    "label": "gemma-3-1b-it f16",
    "size_gb": 2.01
  },
  {
    "label": "gpt-oss-20b MXFP4",
    "size_gb": 12.11
  }
]

حجم ملف 4-bit للنموذج 1B هو 0.81 GB. ويبلغ حجم النموذج نفسه من دون quantisation مقدار 2.01 GB، لذلك يغيّر اختيار التنسيق الحجم بأكثر من الضعف. أما نموذج 20B بتنسيق MXFP4، فيبلغ حجمه 12.11 GB، ولا يزال عليك تحميله إلى الذاكرة بعد ذلك. إذا كنت تستهدف عائلة محددة، توضّح عملية تحديد الحجم نفسها لنماذج GLM مدى سرعة جعل حجم النموذج الأساسي تشغيله على VPS غير عملي، بينما يلائم نموذج أصغر منه الإمكانات المتاحة.

تحقق من df -h قبل كل تنزيل. إذا امتلأ نظام ملفات root أثناء نقل حجمه 12 GB، فسيتعذر على كل ما يحتاج إلى الكتابة العمل، بما في ذلك journal.

شغّله مرة واحدة يدوياً، وتحقق منه

sudo -u llama /usr/local/bin/llama-server \
  --model /srv/models/gemma-3-1b-it-Q4_K_M.gguf \
  --host 127.0.0.1 --port 8080 \
  --ctx-size 4096 --parallel 1 --threads 2 --no-webui

في جلسة ثانية، اسأل الخادم عما إذا كان جاهزاً.

curl -s http://127.0.0.1:8080/health

أثناء تحميل الملف، تحصل على HTTP 503 ويكون نص الاستجابة كما يلي:

{"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}

عندما يصبح جاهزاً، يكون نص الاستجابة هو {"status": "ok" }. بعد ذلك أرسل طلباً فعلياً.

curl -s http://127.0.0.1:8080/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{"model":"local","messages":[{"role":"user","content":"Say hello in five words."}]}'

يُعد كائن JSON الذي يحتوي على مصفوفة choices دليلاً على أن الخادم يعمل. يوجد الحقل model لأن عملاء OpenAI يرسلونه دائماً. حمّل هذا الخادم نموذجاً واحداً فقط، لذلك لا تُستخدم هذه القيمة لتحديد أي شيء.

واجهة API المتوافقة مع OpenAI، وما يوجد أيضاً على المنفذ

POST /v1/chat/completions وPOST /v1/completions وPOST /v1/responses وPOST /v1/embeddings هي مسارات متوافقة مع OpenAI، بينما يعرض GET /v1/models النموذج المحمّل. تتطلب التضمينات نموذجاً يستخدم آلية pooling غير none. ويمثل GET /health فحص الجاهزية المذكور أعلاه، بينما يعرض GET /props الإعدادات الحالية للخادم، ويكشف GET /metrics عدادات Prometheus عند بدء التشغيل باستخدام --metrics.

لاستخدام استدعاءات OpenAI SDK المتوافقة، اضبط عنوان URL الأساسي على http://127.0.0.1:8080/v1، وقدّم سلسلة غير فارغة لمفتاح API إذا كان SDK يتطلب ذلك. لا يضمن هذا التوافق مع كل ميزات SDK. لا يتحقق أي شيء من هذا المفتاح إلى أن تضبط --api-key أو --api-key-file بنفسك.

لا تعتمد على ادعاء أي شخص بشأن معدل المعالجة بوصفه رقماً يناسب خطتك. تعتمد سرعة الاستدلال على CPU على عدد الأنوية، وعرض نطاق الذاكرة، والمستخدمين الآخرين الذين تشاركهم الخادم. لذلك قِس عدد الرموز في الثانية على جهازك وتعامل مع النتيجة بوصفها القيمة الفعلية. يظهر وقت السرقة الناتج عن مستخدم مزعج مشارك هنا على شكل سرعة توليد تتغير من ساعة إلى أخرى.

أبقِ الخدمة على 127.0.0.1 وضع Proxy أمامها

يستخدم --host الإعداد الافتراضي 127.0.0.1، لذلك لا يمكن الوصول إلى الخادم من الخارج حتى تغيّره. اتركه كما هو. استخدم الـProxy لحسابات المستخدمين، وحدود معدل الطلبات، وتسجيل التدقيق؛ إذ تستخدم مصادقة API المضمّنة مفاتيح ثابتة: يقبل --api-key مفتاحاً واحداً أو قائمة مفاتيح مفصولة بفواصل، بينما يقرأ --api-key-file مفتاحاً واحداً في كل سطر. يمثّل منفذ inference المفتوح قدرة حوسبة مجانية لأي شخص يعثر عليه، والخطأ نفسه مع Ollama له الشكل نفسه: ينطبق تأمين API نموذج مستضاف ذاتياً هنا حرفياً.

أنهِ TLS (أمان طبقة النقل) في nginx ووجّه الطلبات إلى منفذ loopback.

server {
    listen 443 ssl;
    server_name llm.example.com;

    location /v1/ {
        proxy_pass http://127.0.0.1:8080;
        proxy_http_version 1.1;
        proxy_set_header Connection "";
        proxy_buffering off;
        proxy_read_timeout 600s;
    }
}

يمرّر proxy_buffering off الاستجابات المتدفقة إلى العميل فور استلام nginx لها. عند تفعيل التخزين المؤقت، يخزّن nginx بيانات الخادم upstream مؤقتاً بدلاً من تمرير كل حدث فوراً. يمنح proxy_read_timeout 600s الاستجابات البطيئة وقتاً كافياً. وهو أطول وقت ينتظره nginx بين قراءتين من الخادم، وليس حداً زمنياً للاستجابة كاملة؛ لذلك، مع القيمة الافتراضية البالغة 60 ثانية، تنتهي مهلة طلب غير متدفق لا يرسل أي بيانات خلال تلك المدة. في b10488، ترسل الاستجابات المتدفقة إشارات إبقاء اتصال SSE حيّاً كل 30 ثانية افتراضياً، بما في ذلك أثناء معالجة prompt طويلة. احصل على الشهادة من Certbot وLet's Encrypt مع nginx.

وحدة systemd

اكتب /etc/systemd/system/llama-server.service.

[Unit]
Description=llama.cpp server
After=network-online.target
Wants=network-online.target

[Service]
User=llama
Group=llama
Environment=LLAMA_ARG_MODEL=/srv/models/gemma-3-1b-it-Q4_K_M.gguf
Environment=LLAMA_ARG_HOST=127.0.0.1
Environment=LLAMA_ARG_PORT=8080
Environment=LLAMA_ARG_CTX_SIZE=4096
Environment=LLAMA_ARG_N_PARALLEL=1
Environment=LLAMA_ARG_THREADS=2
ExecStart=/usr/local/bin/llama-server --no-webui
Restart=on-failure
RestartSec=5
TimeoutStopSec=30
MemoryHigh=3G
MemoryMax=3500M
OOMPolicy=stop
NoNewPrivileges=yes
PrivateTmp=yes
ProtectSystem=strict
ProtectHome=yes

[Install]
WantedBy=multi-user.target

توجد الإعدادات في أسطر Environment= لأن llama-server يقرأ متغيرات LLAMA_ARG_* لمعظم الرايات، وتطغى وسيطة سطر الأوامر على المتغير المطابق. يوفّر ذلك مكاناً واحداً لتغيير حجم السياق، ويحافظ على قِصر ExecStart بما يكفي لقراءته سريعاً.

يجعل ProtectSystem=strict نظام الملفات للقراءة فقط لهذه الوحدة، مع استثناءات تشمل الأدلة المؤقتة الخاصة، وهذا مناسب لأن الخادم يقرأ النموذج فقط. أضف ReadWritePaths=/srv/models وEnvironment=LLAMA_CACHE=/srv/models إذا أردت أن تنزّل الخدمة نفسها النماذج باستخدام -hf. يخفي ProtectHome=yes /home و/root و/run/user؛ لكنه لا يخفي الدليل الرئيسي لحساب الخدمة في /srv/llama، بينما يجعل ProtectSystem=strict ذلك الدليل للقراءة فقط.

sudo systemctl daemon-reload
sudo systemctl enable --now llama-server
systemctl status llama-server
curl -s http://127.0.0.1:8080/health
journalctl -u llama-server -n 50 --no-pager

تفعيل enable --now هو الجزء الذي يتجاهله بعض المستخدمين. من دون enable، يتوقف الخادم بعد إعادة التشغيل التالية. إذا أردت تشغيل مهام مجدولة مرتبطة بالخدمة، مثل التحقق ليلاً من إصدار جديد، فإن خدمة systemd مع مؤقت هي الآلية المناسبة لذلك.

حدّد ما يحدث عند نفاد الذاكرة قبل حدوثه

استخدام الذاكرة له جزآن، ويتصرف كل جزء منهما بطريقة مختلفة عند فرض حد. يُربط ملف النموذج بالذاكرة افتراضياً، لذلك تكون صفحاته مدعومة بملف: يمكن للنواة إسقاطها ثم قراءتها مجدداً من القرص. أما ذاكرة KV cache، وهي الحالة الخاصة بكل token التي يحتفظ بها الخادم لكل محادثة نشطة، فهي ذاكرة مجهولة. لا يمكن إسقاطها، ولذلك هي التي تؤدي إلى قتل العملية.

لهذا يؤدي الحدّان في الوحدة وظيفتين مختلفتين. MemoryHigh=3G هو حد لين: عندما يتجاوزه الاستخدام، تضع النواة cgroup تحت ضغط استعادة الذاكرة، فتُجلِي صفحات النموذج المربوطة بالذاكرة وتقرأها مجدداً من القرص عند معالجة token التالي. تستمر الخدمة في العمل، لكنها تصبح أبطأ. MemoryMax=3500M هو السقف الصارم: تستعيد النواة ما يمكنها استعادته أولاً، وإذا تعذّر إبقاء الاستخدام دون الحد، يعمل قاتل OOM داخل الوحدة، ويذكر journal ذلك بوضوح.

llama-server.service: A process of this unit has been killed by the OOM killer.

اضبط --ctx-size بنفسك. القيمة الافتراضية هي 0، وهذا يعني أن السياق الذي دُرِّب النموذج باستخدامه سيُخصَّص له، ويؤدي ذلك في النماذج الحديثة ذات السياق الطويل إلى تخصيص ذاكرة KV cache كبيرة جداً عند بدء التشغيل. ثم تموت الخدمة قبل أن تعالج طلباً واحداً. لا يضاعف --parallel هذه الكلفة بمفرده: يحدد --ctx-size الحجم الإجمالي لذاكرة KV cache، التي تشترك فيها جميع الخانات، ولذلك يمنح --ctx-size 4096 --parallel 4 كل محادثة نحو 1,024 token بدلاً من أربعة أضعاف الذاكرة. إن منح كل خانة كامل السياق يعني ضرب --ctx-size في عدد الخانات، وتنمو الذاكرة وفقاً لذلك، لذا اترك --parallel مضبوطاً على 1 إلى أن تتأكد من حاجتك إلى التزامن.

مع Restart=on-failure تعود الخدمة التي قُتلت إلى العمل. لا يتوقف systemd عن إعادة تشغيلها باستخدام start request repeated too quickly إلا عندما يتجاوز عدد مرات البدء حد المعدل المضبوط؛ فتأخير إعادة التشغيل البالغ خمس ثوانٍ هنا لا يصل إلى الحد الافتراضي، وهو خمس مرات بدء خلال عشر ثوانٍ. أوقف حلقة إعادة التشغيل المستمرة باستخدام sudo systemctl stop llama-server، وأصلح حد المعدل أو حجم السياق، ثم امسح حالة الفشل باستخدام sudo systemctl reset-failed llama-server وابدأ الخدمة مجدداً.

راقب الرقم الفعلي باستخدام systemctl show llama-server -p MemoryCurrent أثناء تشغيل طلب. يشرح تقييد ذاكرة العملية ووحدة المعالجة المركزية باستخدام systemd هذه التوجيهات بمزيد من التفصيل.

تجنب swap في هذا الحمل. يحوّل النموذج الذي نُقل إلى swap كل token إلى قراءات من القرص عند إزاحات عشوائية. يحقق ربط ملف النموذج بالذاكرة النتيجة نفسها مع ضرر أقل، لأن النواة تقرأ الصفحات التي تحتاج إليها مباشرة من الملف.

متى يكون Ollama الخيار الأفضل

هذه نقطة مفصلية. اختر llama-server عندما تريد عملية واحدة مع flags تحددها، وbuild ثبّت إصداره، وملف اخترته بنفسك، بحيث لا يتغير أي شيء في الخلفية لأن لا شيء آخر يعمل.

اختر Ollama عندما تريد إدارة النماذج: تنزيل النماذج بالاسم، والاحتفاظ بعدة نماذج على القرص، وإلغاء تحميل النموذج غير النشط، وإجراء الترقية بأمر واحد بدلاً من إعادة البناء. هذا عمل فعلي كنت ستضطر إلى أتمتته بنفسك. تشغيل Ollama على VPS ينفذ المهمة نفسها، لكن بالمقايضة في الاتجاه الآخر. يوفر كلا الخيارين API متوافقاً مع OpenAI، لكن اختبر نقاط النهاية والميزات التي يستخدمها عميلك قبل التبديل من أحدهما إلى الآخر.

ترقية إصدار مثبت

استبدل bNNNNN بوسم إصدار nightly الذي تريد الانتقال إليه؛ تستخدم وسوم الإصدارات الرسمية vX.Y.Z بدلاً منه.

cd llama.cpp
git fetch --tags
git checkout bNNNNN
cmake -B build -DCMAKE_BUILD_TYPE=Release -DBUILD_SHARED_LIBS=OFF -DLLAMA_BUILD_TESTS=OFF -DLLAMA_BUILD_EXAMPLES=OFF
cmake --build build --config Release -t llama-server -j 2
sudo install -m 755 build/bin/llama-server /usr/local/bin/llama-server-bNNNNN
sudo ln -sfn /usr/local/bin/llama-server-bNNNNN /usr/local/bin/llama-server
sudo systemctl restart llama-server

يبقى الملف الثنائي القديم على القرص، لذلك يمكنك التراجع عبر ln -sfn واحد إلى llama-server-b10488 ثم إعادة التشغيل. اقرأ ملاحظات الإصدار قبل الانتقال. ملفات GGUF مرتبطة بإصدارات، لكن التوافق مع الإصدارات السابقة ليس شاملاً: إذ يرفض المحمّل الحالي GGUFv1. كما أُعيدت تسمية بعض الخيارات: في b10488 كان الخياران --mlock و--no-mmap مهجورين بالفعل لصالح --load-mode، واعتباراً من 11 October 2026 لم تعد وثائق الخادم الحالية تدرجهما، لذلك يفشل ملف الوحدة الذي يمرر خياراً محذوفاً عند بدء التشغيل ويعرض رسالة تفيد بوجود وسيطة غير معروفة. تتغير القيم الافتراضية أيضاً: تستمع الإصدارات الحالية إلى المنفذ 9931 افتراضياً، بينما كان b10488 يستخدم المنفذ 8080، ولذلك يحدد كل أمر وملف الوحدة المنفذ صراحةً.

أوضاع الفشل، والرسائل التي ستظهر لك

error while loading shared libraries: libllama.so بعد نسخ الملف الثنائي إلى مكان ما. ينشئ الإصدار الافتراضي مكتبات مشتركة إلى جانبه. أعد البناء باستخدام -DBUILD_SHARED_LIBS=OFF، أو انسخ دليل build/bin بالكامل.

Illegal instruction (core dumped) عند بدء التشغيل أو عند أول طلب. جرى تجميع الملف الثنائي مع تفعيل GGML_NATIVE، لمعالج CPU مختلف عن المعالج الذي يشغّله. أعد البناء على هذا الجهاز، أو اضبطه باستخدام -DGGML_NATIVE=OFF.

c++: fatal error: Killed signal terminated program cc1plus أثناء البناء. أوقف compiler العملية لأنها استخدمت ذاكرة كبيرة جداً. خفّض -j، أو أضف swap أثناء البناء ثم أزله بعد ذلك.

curl: (7) Failed to connect ... Connection refused من جهازك المحمول. هذا صحيح: يستمع الخادم على عنوان loopback الخاص بـVPS. اختبره على VPS نفسه، أو افتح نفقاً باستخدام ssh -L 8080:127.0.0.1:8080 user@your-vps واستخدم http://127.0.0.1:8080 محلياً.

HTTP 503 مع "message":"Loading model" خلال الثواني أو الدقائق الأولى بعد إعادة التشغيل. تستغرق قراءة ملف حجمه عدة GB وقتاً، ويبلغ systemd عن الوحدة على أنّها نشطة فور بدء العملية، قبل تحميل النموذج في الذاكرة بوقت طويل.

تتعلّق الطلبات ثم تعيد 504 Gateway Time-out. لم يرسل الخادم أي بيانات لمدة أطول من proxy_read_timeout، وقد يحدث ذلك مع الطلبات التي لا تستخدم البث. ترسل طلبات البث في b10488 إشارات keepalive كل 30 ثانية افتراضياً أثناء معالجة prompt طويلة. ارفع proxy_read_timeout، وعطّل proxy_buffering حتى تصل tokens إلى العميل فور إنتاجها.

تتذبذب الوحدة ثم تتوقف مع start request repeated too quickly. تجاوز عدد مرات بدء تشغيلها حد المعدل المضبوط. افحص journalctl -u llama-server بحثاً عن سطر OOM killer، ثم خفّض --ctx-size أو ارفع MemoryMax.

FAQ

هل أشغّل خادم llama.cpp أم Ollama على VPS؟

شغّل llama-server عندما تريد تثبيت بنية محددة بدقة، وتمرير flags محددة، والاحتفاظ بنموذج واحد في ملف واحد لا يحدّثه شيء من تلقاء نفسه. شغّل Ollama عندما تريد إدارة النماذج وترقيتها بأمر واحد، لأن سحب النماذج بالاسم، والاحتفاظ بعدة نماذج على القرص، وإلغاء تحميل النماذج غير النشطة، كلها مهام ستحتاج إلى إعداد scripts لها بنفسك. يوفّر كلاهما API متوافقاً مع OpenAI، لكن التبديل بينهما يتطلب التحقق من endpoints والميزات التي يستخدمها العميل.

ما إصدار llama.cpp الذي ينبغي تثبيته؟

استخدم أي tag سبق أن بنيته واختبرته فعلياً. تستخدم بنى التطوير الليلية tags تتضمن أرقام البناء، مثل b10488، الذي صدر في 18 August 2026؛ أما الإصدارات الرسمية فتستخدم tags للإصدارات الدلالية، مثل vX.Y.Z. نفّذ الاستنساخ باستخدام --branch <tag>، وثبّت الملف الثنائي تحت اسم يتضمن ذلك الـtag، ثم وجّه symlink إليه، بحيث يصبح الترقية والرجوع إلى إصدار سابق أمراً واحداً لكل منهما.

ما مقدار RAM الذي يحتاج إليه llama-server؟

ابدأ بحجم ملف GGUF، ثم أضف ذاكرة KV cache التي تزداد مع --ctx-size. يمثّل هذا الرقم إجمالي ميزانية الرموز المشتركة بين جميع فتحات --parallel، ولذلك تحتاج الفتحات الإضافية إلى --ctx-size أكبر إذا أردت أن تحافظ كل فتحة على السياق نفسه. لا تغني الأرقام المنشورة عن قياس إعدادك الفعلي، لأن الإجمالي يعتمد على النموذج، وquantisation، وحجم السياق الذي تسمح به. شغّل systemctl show llama-server -p MemoryCurrent أثناء وجود طلب قيد التنفيذ، واستخدم الرقم الذي يظهر لك.

لماذا يعيد /health الرمز 503 مع الرسالة "Loading model"؟

لقد بدأت العملية، لكن ملف النموذج لم يُحمّل إلى الذاكرة بعد، ولذلك يعيد الخادم {"error":{"code":503,"message":"Loading model","type":"unavailable_error"}}. هذا طبيعي بعد كل إعادة تشغيل، ويستمر طوال المدة اللازمة لقراءة الملف. تصبح الحالة مشكلة فقط عندما يتعامل عميل أو proxy مع أول 503 على أنه فشل نهائي. أرسل طلبات متكررة إلى /health حتى يعيد {"status": "ok" }.

هل يمكنني تعريض llama-server مباشرةً للإنترنت؟

لا تربطه بالعنوان 0.0.0.0 ولا تفتح المنفذ. استخدم الـproxy لإدارة الحسابات، ووضع حدود لمعدل الطلبات، وتسجيل عمليات التدقيق؛ وتستخدم مصادقة API المضمّنة مفاتيح ثابتة تُضبط باستخدام --api-key أو --api-key-file. أبقِ إعداد الربط الافتراضي 127.0.0.1، وضع nginx أمامه مع TLS، واضبط --api-key أيضاً، حتى لا يؤدي خطأ واحد في إعداد proxy إلى ترك النموذج مكشوفاً للجميع.

هل كان هذا المقال مفيدًا؟