El motor de ejecución de NeuroBrix ejecuta modelos de IA de forma eficiente en configuraciones de hardware diversas, mediante una selección de modos de ejecución y un solucionador de hardware.
--compiled)El modo de producción del motor PyTorch, el predeterminado donde PyTorch está instalado:
--sequential)Despachador ATen secuencial para depuración y desarrollo. Útil para depurar operaciones individuales.
--triton, --triton-sequential)El motor Triton: cada operación se ejecuta en los kernels Triton de nbxtensor, sin PyTorch. Se instala con NeuroBrix y es el predeterminado donde PyTorch no está instalado (neurobrix doctor indica si puede ejecutarse).
El solucionador Prism selecciona automáticamente la estrategia de ejecución óptima según tu hardware:
| Estrategia | Descripción |
|---|---|
single_gpu |
Todo cabe en una sola GPU |
lifecycle |
Gestión del ciclo de vida de los componentes |
pipeline_parallel |
Canalización entre GPU |
component_placement |
Componentes asignados a GPU concretas |
block_scatter |
Bloques del transformer distribuidos entre GPU |
weight_sharding |
Pesos fragmentados entre GPU |
component_placement_lazy |
Carga diferida de componentes |
lazy_sequential |
Secuencial con carga diferida |
zero3 |
ZeRO Stage 3 con descarga a CPU |
La estimación de memoria se hace a partir de las cabeceras de safetensors sin cargar los tensores, lo que hace que la selección de estrategia sea rápida y eficiente en memoria.
Ejecución basada en bucles para modelos como Sana, PixArt, Flex.1. La topología define el número de iteraciones (pasos de difusión) y el enrutamiento de datos entre las iteraciones de eliminación de ruido.
Generación token a token con gestión de la caché KV. Almacenamiento en caché por sesión para conversaciones de varios turnos.
Ejecución en una pasada para modelos como Whisper (voz a texto).
Precisión mixta automática con control a nivel de operación:
| Categoría | Operaciones | Dtype |
|---|---|---|
| Operaciones FP32 | pow, rsqrt, softmax, layer_norm | Siempre FP32 |
| Operaciones FP16 | mm, conv2d, linear, bmm | Preferido por el hardware |
| Operaciones de promoción | add, mul, cat | Coincide con las entradas |
| Especial | bmm (FP32 para la estabilidad de T5-XXL), polar/view_as_complex (FP32 para RoPE) | Según el caso |
El modo de servicio se ejecuta como un daemon en segundo plano:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Siguiente: Principios ZERO