Die NeuroBrix-Laufzeit-Engine führt KI-Modelle effizient auf unterschiedlichsten Hardware-Konfigurationen aus, mithilfe mehrerer Ausführungsmodi und eines Hardware-Solvers.
--compiled)Der Produktionsmodus der PyTorch-Engine, Standard, wo PyTorch installiert ist:
--sequential)Sequenzieller ATen-Dispatcher für Debugging und Entwicklung. Nützlich, um einzelne Operationen zu debuggen.
--triton, --triton-sequential)Die Triton-Engine: Jede Operation läuft auf den Triton-Kernels von nbxtensor, ohne PyTorch. Mit NeuroBrix installiert und Standard, wo PyTorch nicht installiert ist (neurobrix doctor meldet, ob sie laufen kann).
Der Prism-Solver wählt anhand deiner Hardware automatisch die optimale Ausführungsstrategie:
| Strategie | Beschreibung |
|---|---|
single_gpu |
Alles passt auf eine GPU |
lifecycle |
Lebenszyklusverwaltung der Komponenten |
pipeline_parallel |
Pipeline über mehrere GPUs |
component_placement |
Komponenten werden bestimmten GPUs zugewiesen |
block_scatter |
Transformer-Blöcke auf mehrere GPUs verteilt |
weight_sharding |
Gewichte auf mehrere GPUs aufgeteilt |
component_placement_lazy |
Verzögertes Laden von Komponenten |
lazy_sequential |
Sequentiell mit verzögertem Laden |
zero3 |
ZeRO Stage 3 mit CPU-Offload |
Die Speicherabschätzung erfolgt aus den safetensors-Headern, ohne Tensoren zu laden; die Strategiewahl ist dadurch schnell und speichersparend.
Schleifenbasierte Ausführung für Modelle wie Sana, PixArt, Flex.1. Die Topologie definiert die Schleifenanzahl (Diffusionsschritte) und die Datenführung zwischen den Entrauschungs-Iterationen.
Token-für-Token-Generierung mit KV-Cache-Verwaltung. Sitzungsbasiertes Caching für mehrstufige Unterhaltungen.
Ausführung in einem Durchlauf für Modelle wie Whisper (Sprache-zu-Text).
Automatische gemischte Präzision mit Steuerung auf Operationsebene:
| Kategorie | Operationen | Dtype |
|---|---|---|
| FP32-Ops | pow, rsqrt, softmax, layer_norm | Immer FP32 |
| FP16-Ops | mm, conv2d, linear, bmm | Von der Hardware bevorzugt |
| Promote-Ops | add, mul, cat | An die Eingaben angepasst |
| Sonderfälle | bmm (FP32 für T5-XXL-Stabilität), polar/view_as_complex (FP32 für RoPE) | Fallspezifisch |
Der Serve-Modus läuft als Hintergrund-Daemon:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Weiter: ZERO-Prinzipien