تشغيل قاعدة بيانات متجهات على VPS: pgvector أم Qdrant؟
تطبيقك وفهارسك على VPS واحد، لذا ليست الكمون المشكلة. قارن pgvector وQdrant وChroma والبحث المباشر، واحسب RAM وفق الأبعاد وعدد المتجهات.
ما الذي تكلّفك إياه قاعدة بيانات المتجهات فعلياً على VPS
يُلغي تشغيل قاعدة بيانات المتجهات على VPS (خادم خاص افتراضي) المشكلة التي يبيع كل مزوّد مُدار حلاً لها. يكون تطبيقك وفهرسك على الجهاز نفسه، لذلك يعبر طلب البحث مقبس loopback بدلاً من الشبكة. وما يتبقى هو التكلفة التي كانت دائماً التكلفة الفعلية: تحويل النص إلى متجهات. وينتج عن ذلك عاملان إضافيان: الوقت اللازم لإنشاء الفهرس، وذاكرة RAM التي يحتفظ بها الفهرس طوال فترة تقديمه للخدمة.
وهذا يغيّر القرارات المهمة. لا تعود المنطقة وزمن الرحلة ذهاباً وإياباً إلى نقطة النهاية من مسؤولياتك. أما حاصل ضرب عدد المتجهات في الأبعاد وفي أربعة بايتات، فيصبح من مسؤولياتك، لأنه يحدد ما إذا كان الفهرس سيتسع في الذاكرة التي تستأجرها كل شهر.
أين تذهب الملليثواني فعلياً على خادم واحد
تتبّع استعلام تشابه واحداً عبر حزمة خدمات مستضافة ذاتياً.
- يحوّل نموذج التضمين نص الاستعلام إلى متجه. يستغرق ذلك على CPU عشرات إلى مئات الملليثواني للنص القصير. وعلى GPU يستغرق بضع ملليثوانٍ فقط.
- يُرسل المتجه إلى مخزن البيانات. يستغرق ذلك عبر TCP على loopback أو عبر Unix domain socket جزءاً من الملليثانية.
- يفحص المخزن فهرسه ويعيد الصفوف الأقرب.
- يقرأ الكود النص المطابق ويُنشئ prompt.
تكون الخطوة 1 عادةً صاحبة الزمن الأكبر في هذه القائمة. أما الخطوة 2 فهي المرحلة التي تتنافس عليها الخدمات المستضافة، لكنها تكاد لا تُذكر على خادم واحد. لا تفترض توزيع الزمن. قِس طرفي العملية على خادمك.
curl http://127.0.0.1:11434/api/embed -s -o /dev/null \
-w 'embed: %{time_total}s\n' \
-d '{"model": "nomic-embed-text", "input": "how do I rotate the api key"}'ثم شغّل \timing on في psql قبل استعلام البحث. إذا طبع الأمر الأول embed: 0.184312s وأجاب psql بـ Time: 4.201 ms، فإن ضبط الفهرس ليس المهمة الصحيحة: زمن الاستجابة لديك ناتج عن نموذج التضمين. يضع تشغيل نموذج التضمين محلياً باستخدام Ollama الخطوة 1 على CPU نفسه الذي ينفّذ الخطوتين 2 و3، لذلك يتنافس النصفان على الأنوية نفسها وذاكرة RAM نفسها. يشرح دليل خط أنابيب RAG المستضاف ذاتياً حلقة الإدخال والاسترجاع المحيطة بهذا المخزن. RAG تعني التوليد المعزّز بالاسترجاع: تبحث في مستنداتك أنت، ثم تلصق أفضل النتائج المطابقة في prompt.
عند أقل من نحو مئة ألف متجه، افحصها جميعاً
تقارن عملية الفحص الشامل الاستعلام بكل متجه مخزّن. يكون الاسترجاع مثالياً بحكم التعريف. ولا تحتاج العملية إلى فهرس أو خطوة بناء، ولا يمكن أن يصبح الفهرس قديماً مقارنة ببياناتك.
توضح الحسابات متى لا يعود ذلك مناسباً. يقرأ الفحص n * d * 4 بايت لكل استعلام، حيث يمثّل n عدد المتجهات وتمثّل d الأبعاد. عند وجود 100,000 متجه بأبعاد 768، يكون الحجم 307 MB لكل استعلام، ويمكن لوحدة CPU حديثة قراءته تسلسلياً خلال بضع عشرات من المللي ثانية. عند 5 مليون متجه، يصبح الحجم 15 GB لكل استعلام، وعندها لا يعود ذلك استعلاماً عملياً.
لذلك خزّن المتجهات في SQLite وأجرِ المقارنة باستخدام NumPy.
import sqlite3, numpy as np
db = sqlite3.connect("docs.db")
db.execute("CREATE TABLE IF NOT EXISTS docs (id INTEGER PRIMARY KEY, body TEXT, vec BLOB)")
def add(body, vec):
v = np.asarray(vec, dtype=np.float32)
v /= np.linalg.norm(v)
db.execute("INSERT INTO docs (body, vec) VALUES (?, ?)", (body, v.tobytes()))
db.commit()
def search(query_vec, k=5):
rows = db.execute("SELECT id, body, vec FROM docs").fetchall()
mat = np.frombuffer(b"".join(r[2] for r in rows), dtype=np.float32).reshape(len(rows), -1)
q = np.asarray(query_vec, dtype=np.float32)
q /= np.linalg.norm(q)
scores = mat @ q
return [(rows[i][0], rows[i][1], float(scores[i])) for i in np.argsort(-scores)[:k]]تُضبط القيمتان إلى طول وحدة، لذلك فإن الضرب النقطي هو تشابه جيب التمام، وتعني الدرجة الأعلى تطابقاً أقرب. حمّل mat مرة واحدة عند بدء التشغيل بدلاً من تحميله مرة لكل استعلام، وبذلك تُزال قراءة SQLite تماماً من المسار الحرج.
قِس الأداء على خادمك قبل رفض هذا الخيار.
import time
t = time.perf_counter()
search(q)
print(f"{(time.perf_counter() - t) * 1000:.1f} ms")الحدود الفعلية واضحة: هذه عملية واحدة تحتفظ بالمصفوفة بأكملها في RAM، ولا توفّر تصفية للبيانات الوصفية أو آلية واضحة للكتابة المتزامنة. عندما يكون أحد هذه القيود هو سبب عدم رضاك، انتقل إلى حل آخر. تُعد SQLite نفسها مخزناً جاداً من جهة الخادم، ويتناول ذلك دليل SQLite في بيئات الإنتاج، وإذا كان حملك الفعلي يفحص الأعمدة بدلاً من تقديم الصفوف، فستكون مقارنة DuckDB وSQLite القراءة الأكثر فائدة.
pgvector عندما تستخدم Postgres بالفعل
إذا كان تطبيقك يستخدم قاعدة بيانات Postgres بالفعل، فإن pgvector يضيف أقل قدر من المكونات الجديدة. فهو امتداد، وليس خدمة. تُخزَّن المتجهات في جدول عادي بجانب الصف الذي تصفه، لذلك يكون البحث المصفّى عبارة عن جملة WHERE بدلاً من نظام ثانٍ يجب إبقاؤه متزامناً.
يتوفر في Ubuntu 24.04 ضمن مكوّن universe.
sudo apt update
sudo apt install -y postgresql-16-pgvector
sudo -u postgres psql -d yourdb -c 'CREATE EXTENSION vector;'هذه الحزمة هي pgvector 0.6.0 اعتباراً من أكتوبر 2026، وهي أقدم بكثير من الإصدار upstream. تحتاج عمليات فحص الفهارس التكرارية خصوصاً إلى الإصدار 0.8، لذلك احصل على هذه الحزم من المستودع الخاص بمشروع PostgreSQL.
sudo apt install -y postgresql-common
sudo /usr/share/postgresql-common/pgdg/apt.postgresql.org.sh
sudo apt install -y postgresql-17-pgvectorاستبدل 17 بالإصدار الرئيسي لخادمك، والذي يعرضه الأمر sudo -u postgres psql -tAc 'SHOW server_version'. إذا ثبّت حزمة الامتداد المبنية لإصدار رئيسي خاطئ، يفشل CREATE EXTENSION، لأن Postgres يبحث فقط في مجلد share الخاص بالإصدار قيد التشغيل:
ERROR: could not open extension control file "/usr/share/postgresql/16/extension/vector.control": No such file or directoryالمخطط عبارة عن SQL عادي مع نوع جديد واحد.
CREATE TABLE chunks (
id bigserial PRIMARY KEY,
doc_id bigint NOT NULL,
body text NOT NULL,
embedding vector(768)
);
SELECT id, body FROM chunks
ORDER BY embedding <=> '[0.013, -0.021, 0.004]'
LIMIT 5;يمثل <=> مسافة cosine، ويمثل <-> مسافة L2 (الإقليدية)، ويمثل <#> حاصل الضرب الداخلي السالب. استخدم النوع الذي دُرِّب عليه نموذج embedding لديك. إذا اخترت النوع الخاطئ، فلن يظهر أي خطأ، لكن نتائجك ستصبح أسوأ بهدوء.
من دون فهرس، ينفذ هذا الاستعلام بحثاً دقيقاً في كل صف. هذه هي نسخة Postgres من البحث بالقوة الغاشمة المذكور أعلاه، وتتمتع بدرجة الاسترجاع الكاملة نفسها. يؤدي رفع max_parallel_workers_per_gather إلى تخصيص مزيد من الأنوية لهذا البحث. نفّذ ذلك أولاً ثم أضف الفهرس لاحقاً، لأنك ستحصل عندها على خط أساس لدرجة الاسترجاع تقيس الفهرس مقارنةً به.
Qdrant، عندما يتجاوز الفهرس حجم قاعدة البيانات
Qdrant هو مخزن متجهات مخصص مكتوب بلغة Rust. يصبح استخدامه مناسباً عندما يكبر الفهرس بدرجة تجعل بناءه ينافس قاعدة Postgres الخاصة بتطبيقك، أو عندما تريد تصفية الحمولة وميزات scalar quantisation أو product quantisation المضمنة، بينما لا توثّق pgvector سوى half precision وbinary quantisation.
docker run -d --name qdrant \
-p 127.0.0.1:6333:6333 -p 127.0.0.1:6334:6334 \
-e QDRANT__SERVICE__API_KEY="$(openssl rand -hex 32)" \
-v "$(pwd)/qdrant_storage:/qdrant/storage:z" \
qdrant/qdrantيخدم المنفذ 6333 واجهة REST (representational state transfer) ولوحة تحكم على /dashboard، بينما يخدم المنفذ 6334 gRPC. هناك تفصيلان مهمان على VPS عام. توضح وثائق Qdrant نفسها أن الخدمة تعمل افتراضياً «من دون تشفير أو مصادقة»، وأن -p 6333:6333 في quickstart يرتبط بكل الواجهات، وهو ما يجعل Docker ينشره متجاوزاً قاعدة ufw لأنه ينشئ قواعد forwarding خاصة به. اربط الخدمة بـ127.0.0.1 واضبط API key. إن كانت نسخة Qdrant قابلة للوصول عبر عنوان IP عام من دون مفتاح، فهذا يعني أن مستنداتك متاحة للعامة.
curl -s http://127.0.0.1:6333/collections -H "api-key: $QDRANT_API_KEY"تكون الاستجابة السليمة على النحو التالي: {"result":{"collections":[]},"status":"ok","time":0.00002}. تعني استعادة {"status":{"error":"Unauthorized"}} أن اسم الرأس أو المفتاح غير صحيح، بينما يعني عدم استعادة أي شيء أن الحاوية لا تعمل أو أنها مرتبطة بمكان آخر. أما تحديد ما إذا كان شكل هذه الحاوية مناسباً لخادمك، فهو سؤال اعتيادي يتعلق بالخدمات ذات الحالة، ولذلك ينطبق هنا مقارنة Docker بقاعدة البيانات على المضيف من دون تغيير.
Chroma وما الغرض منه
Chroma هو أقصر طريق للانتقال من لا شيء إلى عرض توضيحي عملي للاسترجاع.
pip install chromadb
chroma run --path /srv/chromaيعمل ذلك على المنفذ 8000، ويتصل به chromadb.HttpClient(host="localhost", port=8000). يوفّر Chroma دالة تضمين افتراضية، لذلك لا يحتاج النموذج الأولي إلى خادم نماذج منفصل على الإطلاق.
كن واضحاً بشأن المقايضة. يبدو Chroma مريحاً لأنه يخفي القرارات التي يتناولها هذا الدليل: مقياس المسافة المستخدم، ومقدار RAM الذي ستشغله النتيجة. هذا مناسب للنموذج الأولي، لكنه غير مناسب للنظام الذي ستتلقى تنبيهاً بشأنه. إذا كانت بياناتك موجودة بالفعل في Postgres، فإن نقلها إلى Chroma يضيف عملية ومشكلة مزامنة لحل مشكلة لا يعاني منها pgvector.
كم ستحتاج الفهارس من الذاكرة RAM
ابدأ بالمتجهات الخام، لأنها تمثل الحد الأدنى ولا يمكن لأي ضبط تحسين أن يغيّر حجمها.
bytes = number_of_vectors * dimensions * 4تشغل كل قيمة أربعة بايتات، أي قيمة عائمة بحجم 32 بت لكل بُعد. يضيف دليل Qdrant الخاص بالمجموعات التي يتجاوز حجمها ذاكرة RAM معامل 1.5 للبيانات الوصفية والفهارس والمقاطع المؤقتة التي تُنشأ أثناء التحسين:
memory_size = number_of_vectors * vector_dimension * 4 bytes * 1.5إليك تطبيق هذه الصيغة على مليون متجه، باستخدام الأبعاد التي تنتجها نماذج التضمين الفعلية.
البيانات وراء هذا الرسم البياني
[
{
"label": "384 dims",
"raw_gib": 1.43,
"with_overhead_gib": 2.15
},
{
"label": "768 dims",
"raw_gib": 2.86,
"with_overhead_gib": 4.29
},
{
"label": "1024 dims",
"raw_gib": 3.81,
"with_overhead_gib": 5.72
},
{
"label": "1536 dims",
"raw_gib": 5.72,
"with_overhead_gib": 8.58
},
{
"label": "3072 dims",
"raw_gib": 11.44,
"with_overhead_gib": 17.17
}
]هذه النتائج ناتجة عن الصيغة بوحدة الجيبيبايت (GiB)، وليست قياساً فعلياً. تعامل معها باعتبارها حجم المساحة التي يجب أن تتركها متاحة في الذاكرة. يحتاج نموذج بحجم 768 بُعداً، مثل nomic-embed-text، إلى نحو 4.29 GiB عند استخدام مليون مقطع، وهذا يناسب خطة بسعة 8 GB مع بقاء مساحة لـPostgres. أما مجموعة البيانات نفسها بحجم 3072 بُعداً فتحتاج إلى 17.17 GiB، ولذلك لا تناسبها.
العامل المؤثر هو العمود الأول في ذلك الجدول، وليس الأخير. يؤدي خفض عدد الأبعاد إلى النصف إلى خفض كل بايت يعتمد عليه لاحقاً إلى النصف، بشكل دائم. غالباً ما يكون نموذج بحجم 768 بُعداً، حتى إن سجل نتيجة أقل قليلاً في لوحة ترتيب عامة، خياراً هندسياً أفضل على VPS. بعد ذلك يخزّن نوع halfvec في pgvector قيماً عائمة بحجم 16 بت، ما يخفض عدد البايتات إلى النصف مرة أخرى، ويفهرسها عبر تعبير:
CREATE INDEX ON chunks USING hnsw ((embedding::halfvec(768)) halfvec_cosine_ops);هناك حد يجب معرفته قبل اختيار النموذج. يقبل نوع vector في pgvector ما يصل إلى 16,000 بُعد، لكن فهارس HNSW وIVFFlat فيه تغطي 2,000 بُعد فقط. أما تحويل halfvec فيرفع الحد إلى 4,000 بُعد. بعد ذلك، يوثّق pgvector استخدام التكميم الثنائي: أنشئ فهرساً لتعبير binary_quantize(embedding)::bit(N) باستخدام bit_hamming_ops، وهو يغطي ما يصل إلى 64,000 بُعد، ثم أعد ترتيب أفضل المرشحين بمقارنتهم بالمتجهات الأصلية.
ما تكلفة m و ef_construction أثناء الإنشاء
يُعد HNSW (العالم الصغير الهرمي القابل للتنقل) الفهرس الذي يلجأ إليه كل من pgvector وQdrant. وهو رسم بياني متعدد الطبقات. كل متجه عقدة لها روابط مع العقد القريبة، وتنتقل عملية البحث عبر هذه الروابط باتجاه الاستعلام بدلاً من قراءة كل شيء.
يحدد m عدد الروابط التي تحتفظ بها كل عقدة. توضح وثائق Faiss أن ذاكرة HNSW تبلغ (d * 4 + m * 2 * 4) بايتاً لكل متجه، وتوصي بإبقاء m بين 4 و64. طبّق ذلك على مليون متجه في 768 بُعداً.
البيانات وراء هذا الرسم البياني
[
{
"label": "m = 8",
"link_bytes_per_vector": 64,
"total_gib": 2.92
},
{
"label": "m = 16 (default)",
"link_bytes_per_vector": 128,
"total_gib": 2.98
},
{
"label": "m = 32",
"link_bytes_per_vector": 256,
"total_gib": 3.1
},
{
"label": "m = 64",
"link_bytes_per_vector": 512,
"total_gib": 3.34
}
]المفاجأة المفيدة هي حجم هذا الفرق. يؤدي الانتقال من القيمة الافتراضية m = 16 إلى m = 64 إلى زيادة حجم الروابط من 128 إلى 512 بايت لكل متجه، أي زيادة قدرها 384 بايتاً مقابل 3072 بايتاً لبيانات المتجه، ولذلك ينتقل الحجم الإجمالي من 2.98 GiB إلى 3.34 GiB. وهذا يعادل نحو 12 بالمئة. في هذه الأبعاد، لا يمثل m موضع استهلاك الذاكرة الرئيسي. المتجهات هي التي تستهلكها.
تتمثل التكلفة الفعلية لـ m في وقت الإنشاء ووقت الإدراج، لأن وضع عقدة يتطلب العثور على ذلك العدد من الجيران وربطهم. يحدد ef_construction حجم قائمة المرشحين التي يفحصها المنشئ أثناء وضع كل عقدة. يؤدي رفع هذه القيمة إلى إنشاء رسم بياني أفضل وإنشاء أبطأ، لكنه لا يغير حجم الفهرس النهائي إطلاقاً.
SET maintenance_work_mem = '4GB';
SET max_parallel_maintenance_workers = 7;
CREATE INDEX ON chunks USING hnsw (embedding vector_cosine_ops)
WITH (m = 16, ef_construction = 64);يحدد maintenance_work_mem ما إذا كان الإنشاء سيستغرق دقائق أو ساعات، لأن pgvector ينشئ الرسم البياني في الذاكرة عندما يتسع لها. وعندما لا يعود يتسع لها، يعرض pgvector الرسالة التالية:
NOTICE: hnsw graph no longer fits into maintenance_work_mem after 100000 tuples
DETAIL: Building will take significantly more time.
HINT: Increase maintenance_work_mem to speed up builds.يُعد هذا التنبيه السطر الأكثر فائدة الذي يطبعه pgvector. فهو يعني أن الإنشاء انتقل إلى مسار أبطأ بكثير، ولذلك ألغِ العملية، وارفع الإعداد إلى قيمة تتجاوز مقدار RAM الذي حسبته أعلاه، ثم ابدأ من جديد. راقب التقدم من جلسة ثانية:
SELECT phase, round(100.0 * blocks_done / nullif(blocks_total, 0), 1) AS pct
FROM pg_stat_progress_create_index;يعرض HNSW initializing ثم loading tuples. إذا بقي الإنشاء عند نسبة منخفضة مدة طويلة، بينما القرص غير مشغول، فهذه هي مشكلة maintenance_work_mem، وليست استعلاماً عالقاً.
هناك حقيقتان تستحقان التخطيط على أساسهما. يوضح README الخاص بـpgvector أن HNSW «يستغرق وقتاً أطول في الإنشاء ويستخدم ذاكرة أكبر» من IVFFlat، لكنه يوفّر في المقابل مفاضلة أفضل بين السرعة والاسترجاع. ويمكن أيضاً إنشاء HNSW على جدول فارغ، بينما يجب أن ينفذ IVFFlat خوارزمية k-means على بيانات تمثيلية أولاً، ولذلك يؤدي إنشاؤه على جدول فارغ إلى ضعف الاسترجاع. في مخطط جديد، يكون HNSW هو الخيار الذي يمكنك إنشاؤه مسبقاً.
ef_search: الإعداد الذي تضبطه بعد إنشاء الفهرس
يُثبَّت كل من m وef_construction داخل الفهرس. أما ef_search فلا يُثبَّت. فهو يحدد عدد المرشحين الذين يحتفظ بهم البحث أثناء اجتيازه للرسم البياني، ويمكنك تغييره لكل جلسة أو لكل استعلام.
SET hnsw.ef_search = 100;
SELECT id, body FROM chunks ORDER BY embedding <=> $1 LIMIT 5;القيمة الافتراضية هي 40. ارفعها، فتزداد الاستعادة وتزداد معها زمن الاستجابة. اخفضها، فينخفض كلاهما. هذا هو إعداد الاستعادة الوحيد الذي يمكنك تغييره دون إعادة إنشاء الفهرس. لذلك اضبطه باستخدام مجموعة ثابتة من الاستعلامات التي تعرف إجاباتها الصحيحة مسبقاً، وتوقف عندما لا تعود الاستعادة إلى التحسن.
هناك حالة شائعة يجب الانتباه إليها. يتفاعل ef_search بصورة سيئة مع عبارة WHERE انتقائية، لأن الفهرس يعيد عدداً ثابتاً من المرشحين، ثم يُطبَّق عامل التصفية بعد ذلك. قد يؤدي عامل تصفية يستبعد معظم الصفوف إلى حصولك على أقل من LIMIT نتيجة، رغم وجود صفوف مطابقة في الجدول. يعالج pgvector 0.8 ذلك باستخدام عمليات المسح التكرارية:
SET hnsw.iterative_scan = relaxed_order;يُعاد عندئذٍ مسح الفهرس بحثاً عن مزيد من المرشحين حتى يتحقق الحد، وبحد أقصى hnsw.max_scan_tuples، وقيمته الافتراضية 20000. يحافظ strict_order على الترتيب الدقيق حسب المسافة، لكنه يستهلك موارد أكبر. هذه هي الميزة غير المتوفرة في حزمة Ubuntu 0.6.0. وظهور نتائج ناقصة عند استخدام عامل تصفية هو الطريقة التي تكتشف بها غيابها.
لماذا يجب أن يتسع الفهرس في RAM
بحث HNSW هو اجتياز لرسم بياني. تقرأ كل قفزة عقدة مخزنة في موضع لا يرتبط بالعقدة السابقة، لذلك يكون نمط الوصول قريباً من الوصول العشوائي، ولا تفيد القراءة المسبقة. ما دام الرسم البياني موجوداً في RAM، تكون كل قفزة مرجعاً إلى الذاكرة. وعندما لا يعود موجوداً فيها، قد تتحول القفزة إلى قراءة من القرص، ويصبح البحث الذي يلامس بضع مئات من العقد بحاجة إلى بضع مئات من عمليات القراءة.
توضح وثائق Qdrant ذلك بعبارة محددة: "إذا خزّنت نصف عدد المتجهات في RAM، فسيتضاعف زمن استجابة البحث تقريباً." خطط بناءً على هذه العبارة.
عندما لا يتسع الفهرس فعلياً، فكل خيار ينطوي على مفاضلة يجب أن تختارها عن قصد.
- استخدم memory-map للمتجهات كي يخزّن نظام التشغيل الصفحات كثيرة الاستخدام مؤقتاً ويترك الصفحات قليلة الاستخدام على القرص. يتطلب ذلك استخدام مساحة تخزين NVMe (non-volatile memory express) سريعة حتى يكون الأداء مقبولاً.
- نفّذ quantisation، بحيث تخزّن كل بُعد في بايت واحد بدلاً من أربعة. يؤدي ذلك إلى تقليل حجم المتجهات إلى الربع، مع تكلفة صغيرة وقابلة للقياس في recall.
- حوّل النوع إلى
halfvecفي pgvector، ما يقلل الحجم إلى النصف مع خسارة في recall أقل من quantisation باستخدام بايت واحد. - استخدم نموذجاً أصغر لإنشاء embeddings. هذا هو الإصلاح الأقل تكلفة، لكنه الخيار الذي يتجاهله الناس لأنه يتطلب إنشاء embeddings للمجموعة النصية من جديد.
أنماط الفشل والنصوص التي ستظهر لك
could not open extension control file. حزمة pgvector الخاصة بإصدار Postgres الرئيسي المشغّل غير مثبتة. اطبع الإصدار باستخدام sudo -u postgres psql -tAc 'SHOW server_version' وثبّت الحزمة المطابقة postgresql-NN-pgvector.
ERROR: expected 768 dimensions, not 1536. نوع العمود والنموذج غير متوافقين. لقد غيّرت نماذج التضمين ولم تُعد إنشاء التضمينات. لا يوجد إصلاح جزئي هنا، لأن المتجهات الناتجة من نموذجين مختلفين غير قابلة للمقارنة إطلاقاً، ولذلك يجب إعادة توليد كل صف.
يستغرق الاستعلام وقتاً طويلاً ويعرض EXPLAIN فحصاً تسلسلياً. فئة مشغّل الفهرس ومشغّل الاستعلام غير متطابقين. لا يخدم vector_cosine_ops إلا <=>. شغّل EXPLAIN ANALYZE على الاستعلام وابحث عن Index Scan using ... on chunks. إذا ظهر Seq Scan on chunks بدلاً منه، فأعد بناء الفهرس باستخدام فئة المشغّل المطابقة للمشغّل الذي تستخدمه فعلياً في الاستعلام.
عدد الصفوف أقل من LIMIT، ويوجد شرط WHERE. هذا هو فخ التصفية المذكور أعلاه. ارفع قيمة hnsw.ef_search، أو انتقل إلى pgvector 0.8 واضبط hnsw.iterative_scan.
ينتهي بناء الفهرس باختفاء العملية من دون ظهور خطأ في psql. يؤدي ضبط maintenance_work_mem على معظم موارد الجهاز، مع حاجة shared_buffers وتطبيقك أيضاً إلى الذاكرة، إلى تشغيل قاتل نفاد الذاكرة في النواة. يعرض sudo dmesg -T | grep -i 'killed process' السطر الذي يذكر postgres. خفّض الإعداد، أو ابنِ الفهرس على خطة أكبر ثم استعد التفريغ.
اختيار أحد الخيارين
إذا كنت تشغّل Postgres بالفعل ولديك أقل من بضعة ملايين من المتجهات، فاستخدم pgvector. يكون الفهرس بجانب البيانات، ويكون الترشيح عبارة عن عبارة WHERE، وتغطيه نسختك الاحتياطية الحالية بالفعل. إذا كان الفهرس كبيراً بما يكفي لتحتاج إلى حد مستقل للذاكرة، أو كنت تحتاج إلى ترشيح مكثف للبيانات الإضافية، فشغّل Qdrant بجانبه وتقبّل تشغيل خدمة ثانية.
عندما يكون لديك أقل من نحو مئة ألف متجه، قِس الفحص بالقوة الغاشمة قبل تثبيت أي شيء. البحث الشامل مع استرجاع كامل ومن دون خطوة إنشاء ليس حلاً وسطاً عند هذا الحجم. بل هو الإجابة الصحيحة، واللجوء إلى فهرس تقريبي بدلاً منه يعني تحمّل الضبط والضغط على ذاكرة RAM مقابل أجزاء من الألف من الثانية لم تكن تنفقها أصلاً.
FAQ
هل أحتاج إلى قاعدة بيانات متجهات مخصصة، أم أن Postgres كافٍ؟
إذا كانت بياناتك موجودة بالفعل في Postgres، فإن pgvector يظل كافياً لفترة أطول بكثير مما توحي به معظم المقارنات. يخزّن المتجهات في عمود عادي، لذلك يصبح البحث مع التصفية عبارة عن جملة WHERE، وتغطي نسختك الاحتياطية الحالية الفهرس أيضاً. انتقل إلى مخزن مخصص مثل Qdrant عندما يحتاج حمل المتجهات إلى حد مستقل للذاكرة، أو عندما تحتاج إلى تصفية payload وإلى التكميم القياسي أو تكميم المنتج الذي لا يوفره pgvector.
كم متجهاً يمكن أن يستوعب VPS واحد؟
احسب ذلك بدلاً من التخمين باستخدام number_of_vectors * dimensions * 4 bytes * 1.5. يحتاج مليون متجه ذي 768 بُعداً إلى نحو 4.3 GiB، لذلك تستوعبها خطة بسعة 8 GB مع ترك مساحة لـPostgres. ويحتاج مليون متجه ذي 3072 بُعداً إلى نحو 17 GiB، ما يتطلب خطة أكبر بكثير. أكثر عامل يؤثر في هذا العدد هو بُعد نموذج embedding، لذلك اختر النموذج مع مراعاة تكلفة الذاكرة.
لماذا يكون البحث عن المتجهات بطيئاً عندما يكون الفهرس على الجهاز نفسه؟
لا تكون الشبكة هي المشكلة على جهاز واحد، لذلك افحص العاملين المحتملين. أولاً، قِس زمن استدعاء embedding وحده، لأن إنشاء متجه الاستعلام على CPU يستغرق غالباً وقتاً أطول بكثير من البحث نفسه. ثانياً، تحقق من وجود الفهرس في RAM. ينتقل بحث HNSW عشوائياً عبر رسم بياني، لذلك عندما يتجاوز الرسم البياني سعة القرص يمكن أن تتحول كل قفزة إلى قراءة من القرص. وتشير إرشادات Qdrant نفسها إلى أن خفض عدد المتجهات الموجودة في RAM إلى النصف يضاعف زمن البحث تقريباً.
هل ينبغي أن أنشئ فهرس HNSW أصلاً؟
ليس عندما يقل عدد المتجهات عن نحو مئة ألف. يقرأ الفحص الشامل n * d * 4 بايت لكل استعلام، أي 307 MB عند وجود 100,000 متجه ذي 768 بُعداً. وتنقل وحدة CPU حديثة هذه البيانات خلال عشرات المللي ثانية مع استرجاع كامل ومن دون خطوة إنشاء فهرس. قِس الفحص على أجهزتك أولاً. أنشئ الفهرس عندما يكون زمن الفحص المقاس بطيئاً فعلاً، لا لمجرد أن مقالاً عن نتائج اختبار معياري أوصى بذلك.
ما التكلفة الفعلية لرفع m؟
تتمثل التكلفة في زمن الإنشاء والإدراج، أكثر بكثير من الذاكرة. عند 768 بُعداً، يؤدي الانتقال من القيمة الافتراضية m = 16 إلى m = 64 إلى زيادة روابط الرسم البياني من 128 إلى 512 بايتاً لكل متجه، أي 384 بايتاً إضافية مقابل 3072 بايتاً لبيانات المتجه. لذلك ترتفع الذاكرة الإجمالية بنحو 12 بالمئة. لكن كل عملية إدراج يجب أن تعثر على عدد من الجيران وتربطها يعادل أربعة أضعاف العدد السابق. اضبط ef_search أولاً، لأن تغييره لا يكلف شيئاً ولا يتطلب إعادة إنشاء الفهرس.