De NeuroBrix-runtime-engine voert AI-modellen efficiënt uit op uiteenlopende hardwareconfiguraties, met een keuze aan uitvoeringsmodi en een hardware-solver.
--compiled)De productiemodus van de PyTorch-engine, standaard waar PyTorch geïnstalleerd is:
--sequential)Sequentiële ATen-dispatcher voor debuggen en ontwikkeling. Nuttig om afzonderlijke bewerkingen te debuggen.
--triton, --triton-sequential)De Triton-engine: elke bewerking draait op de Triton-kernels van nbxtensor, zonder PyTorch. Geïnstalleerd met NeuroBrix, en standaard waar PyTorch niet geïnstalleerd is (neurobrix doctor meldt of hij kan draaien).
De Prism-solver kiest automatisch de optimale uitvoeringsstrategie op basis van uw hardware:
| Strategie | Beschrijving |
|---|---|
single_gpu |
Alles past op één GPU |
lifecycle |
Levenscyclusbeheer van componenten |
pipeline_parallel |
Pipeline over meerdere GPU's |
component_placement |
Componenten toegewezen aan specifieke GPU's |
block_scatter |
Transformer-blokken verdeeld over GPU's |
weight_sharding |
Gewichten verdeeld over GPU's |
component_placement_lazy |
Lazy laden van componenten |
lazy_sequential |
Sequentieel met lazy laden |
zero3 |
ZeRO Stage 3 met CPU-offload |
De geheugenschatting gebeurt op basis van safetensors-headers zonder tensors te laden, waardoor de strategiekeuze snel en geheugenzuinig is.
Lusgebaseerde uitvoering voor modellen als Sana, PixArt, Flex.1. De topologie definieert het aantal iteraties (diffusiestappen) en de gegevensroutering tussen de denoising-iteraties.
Token-voor-token generatie met beheer van de KV-cache. Sessiegebaseerde caching voor gesprekken met meerdere beurten.
Uitvoering in één doorgang voor modellen als Whisper (spraak naar tekst).
Automatische gemengde precisie met controle op bewerkingsniveau:
| Categorie | Bewerkingen | Dtype |
|---|---|---|
| FP32-bewerkingen | pow, rsqrt, softmax, layer_norm | Altijd FP32 |
| FP16-bewerkingen | mm, conv2d, linear, bmm | Voorkeur van de hardware |
| Promote-bewerkingen | add, mul, cat | Gelijk aan de invoer |
| Speciaal | bmm (FP32 voor T5-XXL-stabiliteit), polar/view_as_complex (FP32 voor RoPE) | Per geval |
De serve-modus draait als achtergronddaemon:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Volgende: ZERO-principes