Режим serve запускает фоновый демон, который держит одну модель загруженной, так что повторные запуски пропускают загрузку весов.
neurobrix serve --model <name>
<name> — единственное имя модели, org/Model. Ожидаемый результат: демон запускается и загружает модель. Если один уже работает: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it и код выхода 1.
neurobrix run --prompt "A sunset over mountains"
Ожидаемый результат: вывод загруженной модели. Без --model команда run берёт модель работающего демона; без демона и без --model она завершается с Error: --model is required when no daemon is running.
neurobrix stop
Ожидаемый результат: демон завершается (завершение через сокет, затем SIGTERM, затем SIGKILL), а устаревшие файлы удаляются.
Демон обрабатывает одну задачу за раз. Пока он работает, «холодный» run отклоняется.
Для языковых моделей:
neurobrix chat
chat подключается к работающему демону. Параметры: --max-tokens, --temperature, --repetition-penalty. Внутри сессии: /new, /context, /status, /quit.
neurobrix serve --http открывает на демоне API, совместимый с OpenAI (по умолчанию 127.0.0.1:8765); все эндпоинты описаны в Serving and chat. Для языковой модели он может удерживать ответ в заданной форме на каждом токене, на обоих движках:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: ответ — JSON, соответствующий схеме.tool_choice: "required" или именованная функция ({"type": "function", "function": {"name": "..."}}): модель обязана вызвать инструмент в формате вызова, который задаёт её шаблон чата. parallel_tool_calls: false принимается вместе с принудительным вызовом.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
Поддерживаемое подмножество схемы: объекты (properties, required; другие свойства не генерируются), массивы (items, minItems, maxItems), строки, числа, целые, логические значения, null, enum, const, anyOf, альтернативы которого начинаются по-разному, и $ref в $defs. Любое другое ограничивающее ключевое слово отклоняется по имени (400), но никогда не игнорируется; аннотации (title, description, default, examples) читаются как аннотации. response_format: json_object отклоняется: у него нет схемы. Модель с рассуждением отвечает после окончания рассуждения, никогда внутри него.
Грамматический движок — собственный движок NeuroBrix, написанный на Rust: пакет nbxgrammar, который pip install neurobrix устанавливает в Linux (x86_64, aarch64), macOS (arm64, x86_64) и Windows x86_64. На другой платформе ограниченный запрос получает ответ 501 constrained_decoding_not_installed.
Языковая модель со смесью экспертов, распределённая по двум картам, держит маршрутизируемых экспертов на обеих картах, а обслуживаемая сессия держит модель загруженной между запросами. Измерено командой движка на двух V100-32GB с Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 с на токен через run вместо 6,7 с; обслуживаемый ответ из 64 токенов примерно за 31 с вместо примерно 170 с, при обслуживаемом контексте 65 664 токена.
За пределами KV-кэша карты самые старые страницы обслуживаемого диалога переносятся в память хоста, и декодирование продолжается точно. serve сообщает предел при запуске; более длинный запрос отклоняется с 400 context_length_exceeded. Очень длинный одиночный промпт получает ответ, медленно: 79 931 токен занял 39 минут на тех же двух картах.
| Флаг | Значение |
|---|---|
--model |
Обязателен |
--hardware |
Идентификатор профиля оборудования, см. Профили оборудования |
--timeout |
Секунд простоя до самостоятельного завершения демона; по умолчанию 1800 (30 минут) |
--foreground |
Не отсоединяться |
--http, --http-host, --http-port |
Также обслуживает HTTP API, совместимый с OpenAI (по умолчанию 127.0.0.1:8765) |
--api-key-file |
Файл с ключом API, которого требует HTTP API; нужен для адреса, отличного от loopback |
--compiled, --sequential, --triton, --triton-sequential |
Режим выполнения, не более одного; см. Руководство по инференсу |
В ~/.neurobrix: daemon.sock, а также файлы .pid и .log (в Windows вместо сокета используется файл с TCP-портом). Если что-то идёт не так, сначала смотрите файл .log; см. Устранение неполадок.
Каким семействам помогает тёплый сценарий и сколько времени загрузки он экономит для каждой модели: пока не задокументировано.
Далее: Справочник CLI
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Источник документации: GitLab