NeuroBrix detecta el maquinari on s'executa quan ometeu --hardware. Detectat no vol dir compatible: la taula següent diu què s'executa realment.
| Nivell | Maquinari |
|---|---|
| Validat | GPU NVIDIA (els dos motors); Apple Silicon (el motor Triton mitjançant Metal, el motor PyTorch mitjançant MPS); CPU (el motor PyTorch) |
| Experimental | GPU Intel amb el seu entorn Level Zero: provades pel motor Triton, encara no validades en maquinari pel laboratori de NeuroBrix — s'agraeixen els informes |
| Un objectiu | GPU AMD, mitjançant el controlador HIP de nbxtensor: encara no validades en una targeta |
| Només reconegut | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Només Volta (V100) està marcada com a validada empíricament a la configuració de fabricant del motor; Turing, Ampere, Ada i Hopper tenen fitxers de configuració de fabricant. Una versió mínima del controlador i una capacitat de càlcul mínima: encara no estan documentades.
| SO | Estat |
|---|---|
| Linux | Els dos motors |
| Windows | Els dos motors; el motor Triton necessita el controlador de la GPU i la versió de Triton per a la vostra GPU (neurobrix doctor indica el que falta) |
| macOS | Apple Silicon: el motor Triton mitjançant Metal (python -m nbxtensor install-metal), el motor PyTorch mitjançant MPS |
Sense --hardware, el motor sondeja per ordre: nvidia-smi, ROCm, xpu-smi, tt-smi, altres eines de fabricant, lspci i després PyTorch. Es reconeixen les CPU x86_64, ARM64 i RISC-V. Un perfil detectat s'escriu a default.yml dins del paquet instal·lat; un procés que no veu cap GPU obté un perfil de CPU.
Comproveu com veu el motor la vostra màquina:
neurobrix doctor
Resultat esperat: No blocking problem found i codi de sortida 0, o una llista de problemes amb la correcció de cadascun. doctor indica si el motor Triton pot funcionar, la versió de PyTorch si n'hi ha una d'instal·lada i les GPU que veu el procés; a Apple Silicon informa de la GPU d'Apple (Metal). Vegeu Resolució de problemes.
El solucionador de maquinari Prism avalua les estratègies per ordre de prioritat:
| Prioritat | Estratègia | Descripció |
|---|---|---|
| 1 | single_gpu |
Tot cap en una sola GPU |
| 2 | lifecycle |
Gestió del cicle de vida dels components |
| 3 | pipeline_parallel |
Etapes de canonada entre GPU |
| 4 | component_placement |
Components en GPU concretes |
| 5 | block_scatter |
Blocs de transformadors entre GPU |
| 6 | weight_sharding |
Pesos fragmentats entre GPU |
| 7 | component_placement_lazy |
Col·locació mandrosa de components |
| 8 | lazy_sequential |
Seqüencial amb càrrega mandrosa |
| 9 | zero3 |
ZeRO Stage 3 + descàrrega a la CPU |
El solucionador estima els requisits de memòria a partir de les capçaleres safetensors sense carregar els tensors, cosa que fa la selecció d'estratègia ràpida.
Selecció automàtica del dtype segons el maquinari:
| GPU | Dtype recomanat |
|---|---|
| V100, T4 | float16 |
| A100, sèrie RTX 30/40 | float16 o bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
Només CPU és un camí compatible: la detecció de maquinari selecciona un perfil de CPU i els models petits s'executen sense configuració. Recepta d'instal·lació: Instal·lació segons el maquinari.
El solucionador Prism analitza la memòria i la capacitat de càlcul de cada dispositiu de manera independent, de manera que les configuracions de GPU mixtes les gestionen les estratègies anteriors.
Utilitzeu --hardware per anomenar un perfil:
neurobrix serve --model <org>/<Model> --hardware v100-32g
La llista de perfils inclosos és a Perfils de maquinari.
Següent: Perfils de maquinari
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Font de la documentació: GitLab