يبدأ وضع الخدمة عملية خلفية تُبقي نموذجًا واحدًا محمّلًا، فتتخطى التشغيلات المتكررة تحميل الأوزان.
neurobrix serve --model <name>
<name> هو الاسم الوحيد للنموذج، org/Model. النتيجة المتوقعة: تبدأ العملية الخلفية وتحمّل النموذج. وإذا كانت إحداها تعمل بالفعل: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it ورمز الخروج 1.
neurobrix run --prompt "A sunset over mountains"
النتيجة المتوقعة: مخرجات النموذج المحمّل. من دون --model يأخذ run النموذج من العملية الخلفية العاملة؛ ومن دون عملية خلفية ومن دون --model يتوقف بالرسالة Error: --model is required when no daemon is running.
neurobrix stop
النتيجة المتوقعة: تُغلق العملية الخلفية (إغلاق المقبس، ثم SIGTERM، ثم SIGKILL) وتُنظَّف الملفات المتبقية.
تعالج العملية الخلفية مهمة واحدة في كل مرة. ويُرفض run البارد أثناء عملها.
لنماذج اللغة:
neurobrix chat
يتصل chat بعملية خلفية عاملة. الخيارات: --max-tokens و--temperature و--repetition-penalty. داخل الجلسة: /new و/context و/status و/quit.
يفتح neurobrix serve --http واجهة API متوافقة مع OpenAI على العملية الخلفية (افتراضيًا 127.0.0.1:8765)؛ كل نقاط النهاية موصوفة في Serving and chat. ومع نموذج لغوي يمكنها تقييد الإجابة بشكل محدد عند كل رمز، على المحركين كليهما:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: الإجابة JSON مطابق للمخطط.tool_choice: "required" أو دالة مسماة ({"type": "function", "function": {"name": "..."}}): يجب على النموذج استدعاء أداة، بصيغة استدعاء الأدوات التي يحددها قالب المحادثة الخاص به. ويُقبل parallel_tool_calls: false مع الاستدعاء المفروض.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
الجزء المطبَّق من المخطط: الكائنات (properties، required؛ ولا تُولَّد أي خاصية أخرى)، والمصفوفات (items، minItems، maxItems)، والسلاسل النصية، والأعداد، والأعداد الصحيحة، والقيم المنطقية، وnull، وenum، وconst، وanyOf التي تبدأ بدائلها بشكل مختلف، و$ref إلى $defs. وأي كلمة مفتاحية مقيِّدة أخرى تُرفض باسمها (400) ولا تُتجاهل أبدًا؛ أما التعليقات التوضيحية (title، description، default، examples) فتُقرأ بوصفها تعليقات. ويُرفض response_format: json_object: إذ لا مخطط له يُطبَّق. ونموذج الاستدلال يجيب بعد انتهاء استدلاله، لا في داخله.
محرك القواعد خاص بـ NeuroBrix ومكتوب بلغة Rust: الحزمة nbxgrammar التي يثبّتها pip install neurobrix على Linux (x86_64، aarch64) وmacOS (arm64، x86_64) وWindows x86_64. وعلى أي منصة أخرى يُجاب الطلب المقيَّد بـ 501 constrained_decoding_not_installed.
نموذج لغوي من نوع خليط الخبراء موزع على بطاقتين يُبقي خبراءه الموجَّهين على البطاقتين كلتيهما، والجلسة المخدومة تُبقي النموذج محمّلًا بين الطلبات. قاس ذلك فريق المحرك على بطاقتي V100-32GB مع Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0.33 ثانية للرمز عبر run بعد أن كانت 6.7 ثانية؛ وإجابة مخدومة من 64 رمزًا في نحو 31 ثانية بعد أن كانت تستغرق نحو 170 ثانية، مع سياق مخدوم من 65 664 رمزًا.
بعد امتلاء ذاكرة KV المؤقتة في البطاقة، تنتقل أقدم صفحات المحادثة المخدومة إلى ذاكرة المضيف ويستمر فك الترميز بدقة. يعلن serve الحد الأقصى عند بدئه؛ ويُرفض الطلب الأطول منه بـ 400 context_length_exceeded. أما الطلب الواحد الطويل جدًا فيُجاب ببطء: استغرق 79 931 رمزًا 39 دقيقة على البطاقتين نفسيهما.
| الخيار | المعنى |
|---|---|
--model |
مطلوب |
--hardware |
معرّف ملف تعريف العتاد، انظر ملفات تعريف العتاد |
--timeout |
ثوانٍ من الخمول قبل أن تُغلق العملية الخلفية نفسها؛ الافتراضي 1800 (30 دقيقة) |
--foreground |
لا تنفصل عن الطرفية |
--http، --http-host، --http-port |
يخدم أيضًا واجهة HTTP المتوافقة مع OpenAI (افتراضيًا 127.0.0.1:8765) |
--api-key-file |
ملف يحوي مفتاح API الذي تطلبه واجهة HTTP؛ مطلوب لأي عنوان غير loopback |
--compiled, --sequential, --triton, --triton-sequential |
وضع التنفيذ، واحد على الأكثر؛ انظر دليل الاستدلال |
في ~/.neurobrix: daemon.sock إضافة إلى ملف .pid وملف .log (وعلى Windows يحل ملف منفذ TCP محل المقبس). عندما يحدث خلل، يكون ملف .log أول مكان تنظر فيه؛ انظر استكشاف الأخطاء وإصلاحها.
أي العائلات تستفيد من التدفق الدافئ، والزمن الموفَّر في التحميل لكل نموذج: غير موثّق بعد.
التالي: مرجع سطر الأوامر
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
مصدر التوثيق: GitLab