مرجع متغيرات البيئة - ماجستير في القانون والاستدلال

هذه الوثيقة هي المصدر الوحيد للحقيقة لجميع متغيرات البيئة المتعلقة بـ LLM في AuroraSOC. يتم إدراج كل متغير يتحكم في سلوك الاستدلال أو تحديد الواجهة الخلفية أو تكوين النموذج بالاسم الدقيق والقيمة الافتراضية والقيم المقبولة وتأثير الفشل.

الجدول المرجعي

عامل	تقصير	القيم المقبولة	وصف	العواقب إذا كانت خاطئة
LLM_BACKEND	vllm	vllm، ollama	يحدد الاستدلال الخلفي الذي يستخدمه جميع الوكلاء ومكالمات دردشة واجهة برمجة التطبيقات (API).	يستهدف الوكلاء الواجهة الخلفية الخاطئة ويفشلون في الاتصال أو إرجاع أخطاء استنتاج وقت التشغيل.
VLLM_BASE_URL	http://vllm:8000/v1	عنوان URL أساسي صالح يمكن الوصول إليه ومتوافق مع vLLM OpenAI	عنوان URL الأساسي المستخدم عند LLM_BACKEND=vllm.	تم رفض الاتصال/انقضاء المهلات أو إرسال الطلبات إلى نقطة نهاية غير vLLM.
VLLM_MODEL	granite-soc-specialist	سلسلة اسم نموذج vLLM المقدمة	تم إرسال اسم النموذج المتخصص في حمولات دردشة vLLM.	يُرجع vLLM نموذجًا غير موجود (404) أو سلوك نموذج خاطئ.
VLLM_ORCHESTRATOR_MODEL	granite-soc-specialist	سلسلة اسم نموذج vLLM المقدمة	معرف نموذج المنسق لسير عمل التنسيق.	تفشل استدعاءات المنسق أو تستخدم ملف تعريف تفكير خاطئ.
VLLM_TENSOR_PARALLEL	1	عدد صحيح موجب يصل إلى عدد GPU المتاح	عدد وحدات معالجة الرسومات المستخدمة في الخدمة المتوازية للموتر.	فشل بدء التشغيل أو أخطاء جهاز CUDA إذا تجاوزت القيمة الأجهزة المتاحة.
HF_TOKEN	فارغ	معانقة الوجه سلسلة رمزية الوصول	الرمز المميز المستخدم للوصول إلى النموذج المسور/الخاص أثناء عمليات سحب التقديم.	قد يفشل vLLM في بدء التشغيل أو يفشل في تنزيل النموذج مع وجود أخطاء 401/403.
OLLAMA_BASE_URL	http://ollama:11434	عنوان URL الأساسي لـ Ollama صالح ويمكن الوصول إليه	عنوان URL الأساسي المستخدم عند LLM_BACKEND=ollama.	لا يمكن لواجهة برمجة التطبيقات/الوكلاء الوصول إلى Olma أو الاتصال بمسار خدمة خاطئ.
OLLAMA_MODEL	granite4:8b	تم تثبيت علامة نموذج Olma	علامة نموذجية متخصصة لوضع Ollama.	يقوم Ollama بإرجاع "لم يتم العثور على النموذج" وتفشل طلبات الدردشة.
OLLAMA_ORCHESTRATOR_MODEL	granite4:dense	تم تثبيت علامة نموذج Olma	علامة نموذج المنسق لوضع Ollama.	تفشل طلبات المنسق أو تتدهور إلى نموذج غير صحيح.

يتطلب ضبط LLM_BACKEND على vllm خدمة vLLM يمكن الوصول إليها. يتطلب ضبطه على ollama خدمة Ollama قيد التشغيل مع سحب النماذج التي تم تكوينها بالفعل. إذا كان هذا المتغير خاطئًا، تقوم AuroraSOC بتوجيه الطلبات إلى عائلة الواجهة الخلفية الخاطئة وتفشل استدعاءات استدلال بدء التشغيل/وقت التشغيل بسبب أخطاء الاتصال أو دقة النموذج.

عندما LLM_BACKEND=vllm، تقوم AuroraSOC بتوجيه الوكيل واستدلال سير العمل باستخدام VLLM_MODEL وVLLM_ORCHESTRATOR_MODEL مباشرة. يؤثر GRANITE_USE_FINETUNED وGRANITE_USE_PER_AGENT_MODELS على سلوك توجيه Ollama، وليس على تحديد معرف نموذج vLLM.

أنماط التكوين الخاطئ الشائعة

1. VLLM_MODEL لا يتطابق مع --served-model-name في docker-compose.yml. السبب: عدم تطابق اسم الطراز بين تكوين وقت التشغيل وإعلان خدمة vLLM. إصلاح: محاذاة الأسماء تمامًا؛ مثال granite-soc-specialist في كلا الموقعين.

2. تم تغيير LLM_BACKEND في .env لكن لم تتم إعادة تشغيل الحاويات. السبب: تحتفظ الحاويات ببيئتها القديمة حتى يتم إعادة إنشائها. الإصلاح: قم بتشغيل docker compose up -d لتطبيق تغييرات البيئة.

3. HF_TOKEN مفقود بالنسبة للنموذج المسور. السبب: محاولات الواجهة الخلفية للسحب بدون بيانات اعتماد. الإصلاح: قم بتعيين HF_TOKEN على رمز مميز صالح مع الوصول المطلوب إلى المستودع.

4. VLLM_TENSOR_PARALLEL أعلى من عدد وحدات معالجة الرسومات المتاحة. السبب: يتجاوز التكوين المتوازي للموتر مخزون الأجهزة الفعلية. إصلاح: قم بتعيين VLLM_TENSOR_PARALLEL على قيمة أقل من أو تساوي وحدات معالجة الرسومات المكتشفة.

5. تم تبديل OLLAMA_BASE_URL وVLLM_BASE_URL. السبب: تشير قيم عنوان URL للواجهة الخلفية إلى نوع المحرك المعاكس. الإصلاح: استعادة الاقتران الأساسي (vllm URL لـ vLLM، وOllama URL لـ Ollama).

6. من المتوقع أن يقوم GRANITE_USE_FINETUNED=true بتغيير أسماء نماذج vLLM. السبب: في وضع vLLM، تأتي أسماء نماذج وقت التشغيل من VLLM_MODEL وVLLM_ORCHESTRATOR_MODEL. الإصلاح: قم بتعيين معرفات نماذج vLLM المطلوبة في VLLM_MODEL / VLLM_ORCHESTRATOR_MODEL وأعد تشغيل الخدمات.

كيفية تطبيق التغييرات

تتم قراءة متغيرات البيئة عند بدء تشغيل الحاوية. إن تغيير .env وحده ليس له أي تأثير على الحاويات قيد التشغيل بالفعل. استخدم هذا الإجراء:

1. تحرير .env.
2. يجري:

docker compose up -d

سوف يكتشف Docker تغييرات البيئة ويعيد إنشاء الخدمات المتأثرة فقط.