ينفّذ محرك بيئة تشغيل NeuroBrix نماذج الذكاء الاصطناعي بكفاءة عبر إعدادات عتاد متنوعة من خلال مجموعة من أوضاع التنفيذ ومحلّل للعتاد.
--compiled)وضع الإنتاج في محرك PyTorch، والافتراضي حيث يكون PyTorch مثبتًا:
--sequential)موزّع ATen تسلسلي لتصحيح الأخطاء والتطوير. مفيد لتصحيح العمليات المفردة.
--triton، --triton-sequential)محرك Triton: تُنفَّذ كل عملية على نوى Triton الخاصة بـ nbxtensor، دون PyTorch. يُثبَّت مع NeuroBrix، وهو الافتراضي حيث لا يكون PyTorch مثبتًا (ويبلّغ neurobrix doctor إن كان قادرًا على العمل).
يختار محلّل Prism تلقائيًا استراتيجية التنفيذ المثلى بحسب عتادك:
| الاستراتيجية | الوصف |
|---|---|
single_gpu |
كل شيء يتسع في GPU واحد |
lifecycle |
إدارة دورة حياة المكوّنات |
pipeline_parallel |
توزيع خط الأنابيب عبر عدة GPU |
component_placement |
تُسنَد المكوّنات إلى GPU محددة |
block_scatter |
توزيع كتل المحوّل (Transformer) عبر عدة GPU |
weight_sharding |
تجزئة الأوزان عبر عدة GPU |
component_placement_lazy |
تحميل كسول للمكوّنات |
lazy_sequential |
تسلسلي مع تحميل كسول |
zero3 |
ZeRO Stage 3 مع تفريغ إلى المعالج المركزي |
يُقدَّر استهلاك الذاكرة من ترويسات safetensors دون تحميل التنسورات، مما يجعل اختيار الاستراتيجية سريعًا وموفّرًا للذاكرة.
تنفيذ قائم على الحلقات لنماذج مثل Sana وPixArt وFlex.1. تحدد الطوبولوجيا عدد التكرارات (خطوات الانتشار) وتوجيه البيانات بين تكرارات إزالة الضوضاء.
توليد رمزًا برمز مع إدارة KV cache. تخزين مؤقت قائم على الجلسات للمحادثات متعددة الأدوار.
تنفيذ بمرور واحد لنماذج مثل Whisper (تحويل الكلام إلى نص).
دقة مختلطة تلقائية مع تحكم على مستوى العملية:
| الفئة | العمليات | نوع البيانات |
|---|---|---|
| عمليات FP32 | pow, rsqrt, softmax, layer_norm | FP32 دائمًا |
| عمليات FP16 | mm, conv2d, linear, bmm | المفضَّل للعتاد |
| عمليات الترقية | add, mul, cat | مطابقة المُدخلات |
| حالات خاصة | bmm (FP32 لاستقرار T5-XXL)، polar/view_as_complex (FP32 لـ RoPE) | بحسب الحالة |
يعمل وضع الخدمة كعملية خلفية (daemon):
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
التالي: مبادئ ZERO