NeuroBrix çalışma zamanı motoru, bir dizi yürütme modu ve bir donanım çözücüsü aracılığıyla yapay zekâ modellerini çeşitli donanım yapılandırmalarında verimli biçimde yürütür.
--compiled)PyTorch motorunun üretim modu; PyTorch kurulu olan yerde varsayılandır:
--sequential)Hata ayıklama ve geliştirme için sıralı ATen dağıtıcısı. Tek tek işlemlerde hata ayıklamak için kullanışlıdır.
--triton, --triton-sequential)Triton motoru: her işlem, PyTorch olmadan nbxtensor'ın Triton çekirdeklerinde çalışır. NeuroBrix ile kurulur ve PyTorch kurulu olmayan yerde varsayılandır (neurobrix doctor çalışıp çalışamayacağını bildirir).
Prism çözücüsü, donanımınıza göre en uygun yürütme stratejisini otomatik olarak seçer:
| Strateji | Açıklama |
|---|---|
single_gpu |
Her şey tek bir GPU'ya sığar |
lifecycle |
Bileşen yaşam döngüsü yönetimi |
pipeline_parallel |
GPU'lar arasında ardışık düzen |
component_placement |
Bileşenler belirli GPU'lara atanır |
block_scatter |
Transformer blokları GPU'lara dağıtılır |
weight_sharding |
Ağırlıklar GPU'lara bölünür |
component_placement_lazy |
Bileşenlerin tembel yüklenmesi |
lazy_sequential |
Tembel yüklemeli sıralı yürütme |
zero3 |
CPU boşaltmalı ZeRO Aşama 3 |
Bellek tahmini, tensörler yüklenmeden safetensors başlıklarından yapılır; bu da strateji seçimini hızlı ve bellek açısından verimli kılar.
Sana, PixArt, Flex.1 gibi modeller için döngü tabanlı yürütme. Topoloji, döngü sayısını (difüzyon adımlarını) ve gürültü giderme yinelemeleri arasındaki veri yönlendirmesini tanımlar.
KV önbellek yönetimiyle token token üretim. Çok turlu konuşmalar için oturum tabanlı önbellekleme.
Whisper (konuşmadan metne) gibi modeller için tek geçişli yürütme.
İşlem düzeyinde denetimli otomatik karma hassasiyet:
| Kategori | İşlemler | Dtype |
|---|---|---|
| FP32 işlemleri | pow, rsqrt, softmax, layer_norm | Her zaman FP32 |
| FP16 işlemleri | mm, conv2d, linear, bmm | Donanımın tercih ettiği |
| Yükseltme işlemleri | add, mul, cat | Girdilerle eşleşir |
| Özel | bmm (T5-XXL kararlılığı için FP32), polar/view_as_complex (RoPE için FP32) | Duruma özgü |
Sunma modu arka planda bir daemon olarak çalışır:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Sonraki: ZERO İlkeleri