NeuroBrix определяет оборудование, на котором работает, если вы опускаете --hardware. Обнаружено — не значит поддерживается: в таблице ниже сказано, что действительно выполняется.
| Уровень | Оборудование |
|---|---|
| Проверено | GPU NVIDIA (оба движка); Apple Silicon (движок Triton через Metal, движок PyTorch через MPS); CPU (движок PyTorch) |
| Экспериментально | GPU Intel со средой выполнения Level Zero: движок Triton их пробует, но лаборатория NeuroBrix ещё не проверила их на оборудовании — отзывы приветствуются |
| Цель | GPU AMD через HIP-драйвер nbxtensor: на карте ещё не проверены |
| Только распознаётся | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Только Volta (V100) отмечена в конфигурации производителей движка как эмпирически проверенная; для Turing, Ampere, Ada и Hopper есть файлы конфигурации производителей. Минимальная версия драйвера и минимальная compute capability: пока не задокументированы.
| ОС | Статус |
|---|---|
| Linux | Оба движка |
| Windows | Оба движка; движку Triton нужны драйвер GPU и сборка Triton для вашего GPU (neurobrix doctor называет, чего не хватает) |
| macOS | Apple Silicon: движок Triton через Metal (python -m nbxtensor install-metal), движок PyTorch через MPS |
Без --hardware движок опрашивает по порядку: nvidia-smi, ROCm, xpu-smi, tt-smi, другие инструменты производителей, lspci, затем PyTorch. Распознаются процессоры x86_64, ARM64 и RISC-V. Обнаруженный профиль записывается в default.yml внутри установленного пакета; процесс, не видящий GPU, получает профиль CPU.
Проверьте, как ваша машина выглядит для движка:
neurobrix doctor
Ожидаемый результат: No blocking problem found и код выхода 0 либо список проблем с исправлением для каждой. doctor сообщает, может ли работать движок Triton, сборку PyTorch, если она установлена, и GPU, которые видит процесс; на Apple Silicon он сообщает о GPU Apple (Metal). См. Устранение неполадок.
Аппаратный решатель Prism оценивает стратегии в порядке приоритета:
| Приоритет | Стратегия | Описание |
|---|---|---|
| 1 | single_gpu |
Всё помещается на одном GPU |
| 2 | lifecycle |
Управление жизненным циклом компонентов |
| 3 | pipeline_parallel |
Стадии конвейера на нескольких GPU |
| 4 | component_placement |
Компоненты на конкретных GPU |
| 5 | block_scatter |
Блоки трансформера на нескольких GPU |
| 6 | weight_sharding |
Веса разбиты между GPU |
| 7 | component_placement_lazy |
Ленивое размещение компонентов |
| 8 | lazy_sequential |
Последовательное выполнение с ленивой загрузкой |
| 9 | zero3 |
ZeRO Stage 3 + выгрузка на CPU |
Решатель оценивает требования к памяти по заголовкам safetensors без загрузки тензоров, поэтому выбор стратегии быстрый.
Автоматический выбор dtype на основе оборудования:
| GPU | Рекомендуемый dtype |
|---|---|
| V100, T4 | float16 |
| A100, серии RTX 30/40 | float16 или bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
Только CPU — поддерживаемый путь: обнаружение оборудования выбирает профиль CPU, и небольшие модели запускаются без настройки. Рецепт установки: Установка по оборудованию.
Решатель Prism независимо анализирует память и compute capability каждого устройства, поэтому смешанные конфигурации GPU обрабатываются перечисленными выше стратегиями.
Используйте --hardware, чтобы указать профиль:
neurobrix serve --model <org>/<Model> --hardware v100-32g
Список поставляемых профилей — в разделе Профили оборудования.
Далее: Профили оборудования
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Источник документации: GitLab