Le moteur d'exécution NeuroBrix exécute efficacement les modèles d'IA sur des configurations matérielles variées, grâce à un choix de modes d'exécution et à un solveur matériel.
--compiled)Le mode de production du moteur PyTorch, le défaut là où PyTorch est installé :
--sequential)Répartiteur ATen séquentiel pour le débogage et le développement. Utile pour déboguer des opérations individuelles.
--triton, --triton-sequential)Le moteur Triton : chaque opération tourne sur les noyaux Triton de nbxtensor, sans PyTorch. Installé avec NeuroBrix, et le défaut là où PyTorch n'est pas installé (neurobrix doctor indique s'il peut tourner).
Le solveur Prism choisit automatiquement la stratégie d'exécution optimale selon votre matériel :
| Stratégie | Description |
|---|---|
single_gpu |
Tout tient sur un seul GPU |
lifecycle |
Gestion du cycle de vie des composants |
pipeline_parallel |
Pipeline réparti sur plusieurs GPU |
component_placement |
Composants affectés à des GPU précis |
block_scatter |
Blocs Transformer répartis sur plusieurs GPU |
weight_sharding |
Poids fragmentés sur plusieurs GPU |
component_placement_lazy |
Chargement paresseux des composants |
lazy_sequential |
Séquentiel avec chargement paresseux |
zero3 |
ZeRO Stage 3 avec déchargement sur CPU |
L'estimation de la mémoire se fait à partir des en-têtes safetensors sans charger les tenseurs, ce qui rend le choix de stratégie rapide et économe en mémoire.
Exécution en boucle pour des modèles comme Sana, PixArt, Flex.1. La topologie définit le nombre de boucles (étapes de diffusion) et le routage des données entre les itérations de débruitage.
Génération jeton par jeton avec gestion du cache KV. Mise en cache par session pour les conversations multi-tours.
Exécution en une seule passe pour des modèles comme Whisper (parole vers texte).
Précision mixte automatique avec contrôle au niveau de l'opération :
| Catégorie | Opérations | Dtype |
|---|---|---|
| Opérations FP32 | pow, rsqrt, softmax, layer_norm | Toujours FP32 |
| Opérations FP16 | mm, conv2d, linear, bmm | Préféré par le matériel |
| Opérations de promotion | add, mul, cat | Alignées sur les entrées |
| Spécial | bmm (FP32 pour la stabilité de T5-XXL), polar/view_as_complex (FP32 pour RoPE) | Selon le cas |
Le mode serve s'exécute comme un démon en arrière-plan :
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Suivant : Principes ZERO