NeuroBrix détecte le matériel sur lequel il tourne quand vous omettez --hardware. Détecté ne veut pas dire pris en charge : le tableau ci-dessous dit ce qui s'exécute réellement.
| Niveau | Matériel |
|---|---|
| Validé | GPU NVIDIA (les deux moteurs) ; Apple Silicon (le moteur Triton via Metal, le moteur PyTorch via MPS) ; CPU (le moteur PyTorch) |
| Expérimental | GPU Intel avec leur runtime Level Zero : essayés par le moteur Triton, pas encore validés sur du matériel par le laboratoire NeuroBrix — retours bienvenus |
| Une cible | GPU AMD, via le pilote HIP de nbxtensor : pas encore validés sur une carte |
| Reconnu seulement | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Seul Volta (V100) est marqué comme validé empiriquement dans la configuration fabricant du moteur ; Turing, Ampere, Ada et Hopper disposent de fichiers de configuration fabricant. Une version minimale de pilote et une capacité de calcul minimale : pas encore documentées.
| Système | Statut |
|---|---|
| Linux | Les deux moteurs |
| Windows | Les deux moteurs ; le moteur Triton a besoin du pilote GPU et de la version de Triton pour votre GPU (neurobrix doctor nomme ce qui manque) |
| macOS | Apple Silicon : le moteur Triton via Metal (python -m nbxtensor install-metal), le moteur PyTorch via MPS |
Sans --hardware, le moteur sonde dans l'ordre : nvidia-smi, ROCm, xpu-smi, tt-smi, d'autres outils de fabricants, lspci, puis PyTorch. Les CPU x86_64, ARM64 et RISC-V sont reconnus. Un profil détecté est écrit dans default.yml à l'intérieur du paquet installé ; un processus qui ne voit aucun GPU reçoit un profil CPU.
Vérifiez comment votre machine apparaît au moteur :
neurobrix doctor
Résultat attendu : No blocking problem found et le code de sortie 0, ou une liste de problèmes avec la correction de chacun. doctor indique si le moteur Triton peut tourner, la version de PyTorch si elle est installée, et les GPU que le processus voit ; sur Apple Silicon, il signale le GPU Apple (Metal). Voir Dépannage.
Le solveur matériel Prism évalue les stratégies par ordre de priorité :
| Priorité | Stratégie | Description |
|---|---|---|
| 1 | single_gpu |
Tout tient sur un seul GPU |
| 2 | lifecycle |
Gestion du cycle de vie des composants |
| 3 | pipeline_parallel |
Étapes de pipeline réparties sur plusieurs GPU |
| 4 | component_placement |
Composants sur des GPU précis |
| 5 | block_scatter |
Blocs Transformer répartis sur plusieurs GPU |
| 6 | weight_sharding |
Poids fragmentés sur plusieurs GPU |
| 7 | component_placement_lazy |
Placement paresseux des composants |
| 8 | lazy_sequential |
Séquentiel avec chargement paresseux |
| 9 | zero3 |
ZeRO Stage 3 + déchargement sur CPU |
Le solveur estime les besoins en mémoire à partir des en-têtes safetensors sans charger les tenseurs, ce qui rend le choix de stratégie rapide.
Choix automatique du dtype selon le matériel :
| GPU | Dtype recommandé |
|---|---|
| V100, T4 | float16 |
| A100, séries RTX 30/40 | float16 ou bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
Le CPU seul est un chemin pris en charge : la détection du matériel sélectionne un profil CPU et les petits modèles s'exécutent sans configuration. Recette d'installation : Installer selon le matériel.
Le solveur Prism analyse indépendamment la mémoire et la capacité de calcul de chaque appareil, de sorte que les configurations de GPU mixtes sont gérées par les stratégies ci-dessus.
Utilisez --hardware pour nommer un profil :
neurobrix serve --model <org>/<Model> --hardware v100-32g
La liste des profils inclus se trouve dans Profils matériels.
Suivant : Profils matériels
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Source de la documentation : GitLab