NeuroBrix rileva l'hardware su cui gira quando si omette --hardware. Rilevato non significa supportato: la tabella qui sotto indica ciò che viene realmente eseguito.
| Livello | Hardware |
|---|---|
| Validato | GPU NVIDIA (entrambi i motori); Apple Silicon (il motore Triton tramite Metal, il motore PyTorch tramite MPS); CPU (il motore PyTorch) |
| Sperimentale | GPU Intel con il loro runtime Level Zero: provate dal motore Triton, non ancora validate su hardware dal laboratorio NeuroBrix — segnalazioni benvenute |
| Un obiettivo | GPU AMD, tramite il driver HIP di nbxtensor: non ancora validate su una scheda |
| Solo riconosciuto | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Solo Volta (V100) è contrassegnata come validata empiricamente nella configurazione dei fornitori del motore; Turing, Ampere, Ada e Hopper dispongono di file di configurazione del fornitore. Una versione minima del driver e una compute capability minima: non ancora documentate.
| OS | Stato |
|---|---|
| Linux | Entrambi i motori |
| Windows | Entrambi i motori; il motore Triton richiede il driver della GPU e la build di Triton per la vostra GPU (neurobrix doctor indica cosa manca) |
| macOS | Apple Silicon: il motore Triton tramite Metal (python -m nbxtensor install-metal), il motore PyTorch tramite MPS |
Senza --hardware, il motore sonda in ordine: nvidia-smi, ROCm, xpu-smi, tt-smi, altri strumenti dei fornitori, lspci, poi PyTorch. Le CPU x86_64, ARM64 e RISC-V sono riconosciute. Un profilo rilevato viene scritto in default.yml all'interno del pacchetto installato; un processo che non vede alcuna GPU ottiene un profilo CPU.
Verificare come appare la vostra macchina al motore:
neurobrix doctor
Risultato atteso: No blocking problem found e codice di uscita 0, oppure un elenco di problemi con la correzione di ciascuno. doctor indica se il motore Triton può funzionare, la build di PyTorch se installata e le GPU che il processo vede; su Apple Silicon segnala la GPU Apple (Metal). Vedere Risoluzione dei problemi.
Il solver hardware Prism valuta le strategie in ordine di priorità:
| Priorità | Strategia | Descrizione |
|---|---|---|
| 1 | single_gpu |
Tutto entra in una sola GPU |
| 2 | lifecycle |
Gestione del ciclo di vita dei componenti |
| 3 | pipeline_parallel |
Stadi di pipeline tra più GPU |
| 4 | component_placement |
Componenti su GPU specifiche |
| 5 | block_scatter |
Blocchi transformer tra le GPU |
| 6 | weight_sharding |
Pesi suddivisi tra le GPU |
| 7 | component_placement_lazy |
Posizionamento lazy dei componenti |
| 8 | lazy_sequential |
Sequenziale con caricamento lazy |
| 9 | zero3 |
ZeRO Stage 3 + offload su CPU |
Il solver stima i requisiti di memoria dagli header safetensors senza caricare i tensori, rendendo veloce la selezione della strategia.
Selezione automatica del dtype in base all'hardware:
| GPU | Dtype consigliato |
|---|---|
| V100, T4 | float16 |
| A100, serie RTX 30/40 | float16 o bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
La sola CPU è un percorso supportato: il rilevamento hardware seleziona un profilo CPU e i modelli piccoli girano senza configurazione. Procedura di installazione: Installazione per hardware.
Il solver Prism analizza in modo indipendente la memoria e la compute capability di ogni dispositivo, quindi le configurazioni con GPU miste sono gestite dalle strategie sopra descritte.
Usare --hardware per indicare un profilo:
neurobrix serve --model <org>/<Model> --hardware v100-32g
L'elenco dei profili inclusi si trova in Profili Hardware.
Successivo: Profili Hardware
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Fonte della documentazione: GitHub