У NeuroBrix нет пользовательского файла конфигурации. Поведение определяется настройками, поставляемыми с движком, флагами каждой команды (Справочник CLI) и несколькими переменными ниже.
| Переменная | Действие |
|---|---|
NEUROBRIX_REGISTRY |
Реестр, который используют hub и import. По умолчанию https://neurobrix.org (версии до 0.6.5: https://neurobrix.es, по-прежнему обслуживается). Флаг --registry переопределяет его для отдельной команды |
NBX_ACCEPT_LICENSE=1 |
Принимать закрытые лицензии без запроса (для скриптов и CI). То же, что --accept-license |
NBX_LOG=debug |
Строки разработчика движка и traceback ошибки (как -vv) |
NEUROBRIX_HOME, NEUROBRIX_CACHE, NEUROBRIX_STORE |
Переносят каталог движка, его распакованные модели или загруженные архивы. Настроенный путь, которого не существует, отклоняется по имени |
CUDA_VISIBLE_DEVICES |
Ограничить GPU, которые видит NeuroBrix. Задайте пустое значение, чтобы принудительно использовать CPU |
OMP_NUM_THREADS, MKL_NUM_THREADS |
Число потоков CPU. Если не заданы, NeuroBrix устанавливает обе равными числу ядер CPU |
Остальные переменные NBX_* и NEUROBRIX_* — внутренняя диагностика и не входят в публичный интерфейс.
CUDA_VISIBLE_DEVICES=0,1 neurobrix serve --model <org>/<Model>
~/.neurobrix/
├── store/ # downloaded .nbx archives (and .part files while downloading)
├── cache/ # extracted models; the runtime reads from here
├── license_acceptances.json # licences you accepted in the terminal
└── daemon.sock, .pid, .log # the serving daemon (see "neurobrix serve")
Это расположение по умолчанию. Чтобы перенести его, задайте переменные выше для одной оболочки или запишите пути в ~/.neurobrix/paths.json для всей машины; neurobrix info показывает действующие значения. Освобождайте место с помощью neurobrix clean или neurobrix remove.
Значения модели по умолчанию (шаги, guidance, temperature) можно изменить для одного запуска:
neurobrix run --model <org>/<Model> --prompt "test" --set KEY=VALUE
Какие ключи существуют, зависит от модели; у распространённых есть собственный флаг (--steps, --cfg, --seed, --temperature, ...).
| Флаг | Значение |
|---|---|
--compiled |
Движок PyTorch; по умолчанию там, где установлен PyTorch |
--sequential |
Движок PyTorch по одной операции, медленнее, для диагностики проблем |
--triton, --triton-sequential |
Движок Triton (nbxtensor, без PyTorch), устанавливается вместе с NeuroBrix; по умолчанию там, где PyTorch не установлен. neurobrix doctor сообщает, может ли он работать |
--hardware <profile> |
Выбрать поставляемый профиль оборудования вместо автоматического обнаружения |
Выполните neurobrix info --hardware, чтобы увидеть, что было обнаружено. Подробности: Установка по оборудованию.
Далее: Устранение неполадок