O motor de execução do NeuroBrix executa modelos de IA de forma eficiente em configurações de hardware diversas, através de uma escolha de modos de execução e de um solver de hardware.
--compiled)O modo de produção do motor PyTorch, o predefinido onde o PyTorch está instalado:
--sequential)Despachador ATen sequencial para depuração e desenvolvimento. Útil para depurar operações individuais.
--triton, --triton-sequential)O motor Triton: cada operação corre nos kernels Triton do nbxtensor, sem PyTorch. Instalado com o NeuroBrix, e o predefinido onde o PyTorch não está instalado (o neurobrix doctor indica se pode correr).
O solver Prism seleciona automaticamente a estratégia de execução ideal com base no seu hardware:
| Estratégia | Descrição |
|---|---|
single_gpu |
Tudo cabe numa única GPU |
lifecycle |
Gestão do ciclo de vida dos componentes |
pipeline_parallel |
Pipeline distribuído por várias GPUs |
component_placement |
Componentes atribuídos a GPUs específicas |
block_scatter |
Blocos transformer distribuídos por várias GPUs |
weight_sharding |
Pesos repartidos por várias GPUs |
component_placement_lazy |
Carregamento preguiçoso de componentes |
lazy_sequential |
Sequencial com carregamento preguiçoso |
zero3 |
ZeRO Stage 3 com offload para CPU |
A estimativa de memória é feita a partir dos cabeçalhos safetensors sem carregar tensores, o que torna a seleção da estratégia rápida e económica em memória.
Execução baseada em ciclos para modelos como Sana, PixArt, Flex.1. A topologia define o número de iterações (passos de difusão) e o encaminhamento de dados entre iterações de remoção de ruído.
Geração token a token com gestão da cache KV. Cache por sessão para conversas com vários turnos.
Execução numa só passagem para modelos como o Whisper (voz para texto).
Precisão mista automática com controlo ao nível da operação:
| Categoria | Operações | Dtype |
|---|---|---|
| Operações FP32 | pow, rsqrt, softmax, layer_norm | Sempre FP32 |
| Operações FP16 | mm, conv2d, linear, bmm | Preferido pelo hardware |
| Operações de promoção | add, mul, cat | Igual às entradas |
| Especial | bmm (FP32 for T5-XXL stability), polar/view_as_complex (FP32 for RoPE) | Específico de cada caso |
O modo serve corre como um daemon em segundo plano:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Seguinte: Princípios ZERO