Il motore runtime di NeuroBrix esegue i modelli AI in modo efficiente su configurazioni hardware diverse, grazie a una scelta di modalità di esecuzione e a un solver hardware.
--compiled)La modalità di produzione del motore PyTorch, la predefinita dove PyTorch è installato:
--sequential)Dispatcher ATen sequenziale per il debug e lo sviluppo. Utile per fare il debug di singole operazioni.
--triton, --triton-sequential)Il motore Triton: ogni operazione gira sui kernel Triton di nbxtensor, senza PyTorch. Installato con NeuroBrix, ed è il predefinito dove PyTorch non è installato (neurobrix doctor indica se può funzionare).
Il solver Prism seleziona automaticamente la strategia di esecuzione ottimale in base al vostro hardware:
| Strategia | Descrizione |
|---|---|
single_gpu |
Tutto entra in una sola GPU |
lifecycle |
Gestione del ciclo di vita dei componenti |
pipeline_parallel |
Pipeline tra più GPU |
component_placement |
Componenti assegnati a GPU specifiche |
block_scatter |
Blocchi transformer distribuiti tra le GPU |
weight_sharding |
Pesi suddivisi tra le GPU |
component_placement_lazy |
Caricamento lazy dei componenti |
lazy_sequential |
Sequenziale con caricamento lazy |
zero3 |
ZeRO Stage 3 con offload su CPU |
La stima della memoria viene effettuata dagli header safetensors senza caricare i tensori, rendendo la selezione della strategia veloce ed efficiente in termini di memoria.
Esecuzione basata su cicli per modelli come Sana, PixArt, Flex.1. La topologia definisce il numero di cicli (passi di diffusione) e l'instradamento dei dati tra le iterazioni di denoising.
Generazione token per token con gestione della cache KV. Cache basata su sessioni per le conversazioni multi-turno.
Esecuzione in un solo passaggio per modelli come Whisper (speech-to-text).
Precisione mista automatica con controllo a livello di operazione:
| Categoria | Operazioni | Dtype |
|---|---|---|
| Op FP32 | pow, rsqrt, softmax, layer_norm | Sempre FP32 |
| Op FP16 | mm, conv2d, linear, bmm | Preferito dall'hardware |
| Op di promozione | add, mul, cat | Corrisponde agli input |
| Speciale | bmm (FP32 per la stabilità di T5-XXL), polar/view_as_complex (FP32 per RoPE) | Specifico del caso |
La modalità serve gira come daemon in background:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Successivo: Principi ZERO