O NeuroBrix deteta o hardware em que corre quando omite --hardware. Detetado não é suportado: a tabela abaixo diz o que realmente executa.
| Nível | Hardware |
|---|---|
| Validado | GPU NVIDIA (os dois motores); Apple Silicon (o motor Triton através de Metal, o motor PyTorch através de MPS); CPU (o motor PyTorch) |
| Experimental | GPU Intel com o seu runtime Level Zero: experimentadas pelo motor Triton, ainda não validadas em hardware pelo laboratório NeuroBrix — relatos bem-vindos |
| Um objetivo | GPU AMD, através do controlador HIP do nbxtensor: ainda não validadas numa placa |
| Só reconhecido | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Apenas a Volta (V100) está marcada como validada empiricamente na configuração de fabricante do motor; Turing, Ampere, Ada e Hopper têm ficheiros de configuração de fabricante. Uma versão mínima de driver e uma compute capability mínima: ainda não documentado.
| SO | Estado |
|---|---|
| Linux | Os dois motores |
| Windows | Os dois motores; o motor Triton precisa do controlador da GPU e da versão do Triton para a sua GPU (o neurobrix doctor indica o que falta) |
| macOS | Apple Silicon: o motor Triton através de Metal (python -m nbxtensor install-metal), o motor PyTorch através de MPS |
Sem --hardware, o motor sonda por ordem: nvidia-smi, ROCm, xpu-smi, tt-smi, outras ferramentas de fabricante, lspci e depois o PyTorch. São reconhecidas CPUs x86_64, ARM64 e RISC-V. Um perfil detetado é escrito em default.yml dentro do pacote instalado; um processo que não vê nenhuma GPU recebe um perfil de CPU.
Verifique como a sua máquina se apresenta ao motor:
neurobrix doctor
Resultado esperado: No blocking problem found e código de saída 0, ou uma lista de problemas com a correção de cada um. O doctor indica se o motor Triton pode correr, a versão do PyTorch, se estiver instalada, e as GPU que o processo vê; em Apple Silicon indica a GPU Apple (Metal). Veja Resolução de problemas.
O Solver de Hardware Prism avalia as estratégias por ordem de prioridade:
| Prioridade | Estratégia | Descrição |
|---|---|---|
| 1 | single_gpu |
Tudo cabe numa única GPU |
| 2 | lifecycle |
Gestão do ciclo de vida dos componentes |
| 3 | pipeline_parallel |
Etapas de pipeline distribuídas por várias GPUs |
| 4 | component_placement |
Componentes em GPUs específicas |
| 5 | block_scatter |
Blocos transformer distribuídos por várias GPUs |
| 6 | weight_sharding |
Pesos repartidos por várias GPUs |
| 7 | component_placement_lazy |
Colocação preguiçosa de componentes |
| 8 | lazy_sequential |
Sequencial com carregamento preguiçoso |
| 9 | zero3 |
ZeRO Stage 3 + offload para CPU |
O solver estima os requisitos de memória a partir dos cabeçalhos safetensors sem carregar tensores, o que torna a seleção da estratégia rápida.
Seleção automática de dtype com base no hardware:
| GPU | Dtype Recomendado |
|---|---|
| V100, T4 | float16 |
| A100, séries RTX 30/40 | float16 ou bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
O modo só CPU é um caminho suportado: a deteção de hardware seleciona um perfil de CPU e os modelos pequenos correm sem configuração. Receita de instalação: Instalar por hardware.
O solver Prism analisa a memória e a compute capability de cada dispositivo de forma independente, pelo que as configurações de GPUs mistas são tratadas pelas estratégias acima.
Use --hardware para indicar um perfil:
neurobrix serve --model <org>/<Model> --hardware v100-32g
A lista de perfis incluídos está em Perfis de Hardware.
Seguinte: Perfis de Hardware
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Fonte da documentação: GitLab