Движок среды выполнения NeuroBrix эффективно исполняет модели ИИ на самом разном оборудовании благодаря выбору режимов выполнения и аппаратному решателю.
--compiled)Рабочий режим движка PyTorch, по умолчанию там, где установлен PyTorch:
--sequential)Последовательный диспетчер ATen для отладки и разработки. Полезен для отладки отдельных операций.
--triton, --triton-sequential)Движок Triton: каждая операция выполняется на ядрах Triton библиотеки nbxtensor, без PyTorch. Устанавливается вместе с NeuroBrix и используется по умолчанию там, где PyTorch не установлен (neurobrix doctor сообщает, может ли он работать).
Решатель Prism автоматически выбирает оптимальную стратегию выполнения с учётом вашего оборудования:
| Стратегия | Описание |
|---|---|
single_gpu |
Всё помещается на одном GPU |
lifecycle |
Управление жизненным циклом компонентов |
pipeline_parallel |
Конвейер между GPU |
component_placement |
Компоненты назначаются конкретным GPU |
block_scatter |
Блоки трансформера распределяются между GPU |
weight_sharding |
Веса разбиваются между GPU |
component_placement_lazy |
Ленивая загрузка компонентов |
lazy_sequential |
Последовательное выполнение с ленивой загрузкой |
zero3 |
ZeRO Stage 3 с выгрузкой на CPU |
Оценка памяти делается по заголовкам safetensors без загрузки тензоров, поэтому выбор стратегии быстрый и экономит память.
Выполнение в цикле для таких моделей, как Sana, PixArt, Flex.1. Топология задаёт число итераций (шагов диффузии) и маршрутизацию данных между итерациями шумоподавления.
Генерация по одному токену с управлением KV-кэшем. Кэширование на уровне сессии для многоходовых диалогов.
Выполнение за один проход для таких моделей, как Whisper (преобразование речи в текст).
Автоматическая смешанная точность с управлением на уровне операций:
| Категория | Операции | Dtype |
|---|---|---|
| Операции FP32 | pow, rsqrt, softmax, layer_norm | Всегда FP32 |
| Операции FP16 | mm, conv2d, linear, bmm | Предпочтительный для оборудования |
| Операции с повышением | add, mul, cat | Совпадает со входами |
| Особые | bmm (FP32 для стабильности T5-XXL), polar/view_as_complex (FP32 для RoPE) | Зависит от случая |
Режим serve работает как фоновый демон:
--timeout)neurobrix serve --model <org>/<Model> # Start daemon
neurobrix run --prompt "..." # Send inference request
neurobrix chat # Interactive LLM chat
neurobrix stop # Shutdown daemon
Далее: Принципы ZERO