El motor d'execució de NeuroBrix executa models d'IA de manera eficient en configuracions de maquinari diverses, mitjançant una selecció de modes d'execució i un solucionador de maquinari.
--compiled)El mode de producció del motor PyTorch, el predeterminat on PyTorch està instal·lat:
--sequential)Despatxador ATen seqüencial per a la depuració i el desenvolupament. Útil per depurar operacions individuals.
--triton, --triton-sequential)El motor Triton: cada operació s'executa als nuclis Triton de nbxtensor, sense PyTorch. S'instal·la amb NeuroBrix i és el predeterminat on PyTorch no està instal·lat (neurobrix doctor indica si pot funcionar).
El solucionador Prism selecciona automàticament l'estratègia d'execució òptima segons el vostre maquinari:
| Estratègia | Descripció |
|---|---|
single_gpu |
Tot cap en una sola GPU |
lifecycle |
Gestió del cicle de vida dels components |
pipeline_parallel |
Canonada entre GPU |
component_placement |
Components assignats a GPU concretes |
block_scatter |
Blocs de transformadors distribuïts entre GPU |
weight_sharding |
Pesos fragmentats entre GPU |
component_placement_lazy |
Càrrega mandrosa de components |
lazy_sequential |
Seqüencial amb càrrega mandrosa |
zero3 |
ZeRO Stage 3 amb descàrrega a la CPU |
L'estimació de memòria es fa a partir de les capçaleres safetensors sense carregar els tensors, cosa que fa la selecció d'estratègia ràpida i eficient en memòria.
Execució basada en bucles per a models com Sana, PixArt, Flex.1. La topologia defineix el nombre de bucles (passos de difusió) i l'encaminament de dades entre les iteracions de reducció de soroll.
Generació token a token amb gestió de la memòria cau KV. Memòria cau basada en sessions per a converses de diversos torns.
Execució en una sola passada per a models com Whisper (de veu a text).
Precisió mixta automàtica amb control a nivell d'operació:
| Categoria | Operacions | Dtype |
|---|---|---|
| Operacions FP32 | pow, rsqrt, softmax, layer_norm | Sempre FP32 |
| Operacions FP16 | mm, conv2d, linear, bmm | Preferit pel maquinari |
| Operacions de promoció | add, mul, cat | Coincideix amb les entrades |
| Especial | bmm (FP32 per a l'estabilitat de T5-XXL), polar/view_as_complex (FP32 per a RoPE) | Segons el cas |
El mode de servei s'executa com un dimoni en segon pla:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Següent: Principis ZERO