El modo de servicio inicia un daemon en segundo plano que mantiene un modelo cargado, de modo que las ejecuciones repetidas se ahorran la carga de pesos.
neurobrix serve --model <name>
<name> es el nombre único del modelo, org/Model. Resultado esperado: el daemon se inicia y carga el modelo. Si ya hay uno en marcha: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it y código de salida 1.
neurobrix run --prompt "A sunset over mountains"
Resultado esperado: la salida del modelo cargado. Sin --model, run toma el modelo del daemon en marcha; sin daemon y sin --model se detiene con Error: --model is required when no daemon is running.
neurobrix stop
Resultado esperado: el daemon se apaga (apagado por socket, luego SIGTERM, luego SIGKILL) y se limpian los archivos obsoletos.
El daemon atiende una tarea a la vez. Un run en frío mientras está activo se rechaza.
Para modelos de lenguaje:
neurobrix chat
chat se conecta a un daemon en marcha. Opciones: --max-tokens, --temperature, --repetition-penalty. Dentro de la sesión: /new, /context, /status, /quit.
neurobrix serve --http abre una API compatible con OpenAI en el daemon (por defecto 127.0.0.1:8765); cada endpoint está en Serving and chat. En un modelo de lenguaje puede ajustar la respuesta a una forma, en cada token, en los dos motores:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: la respuesta es un JSON que cumple el esquema.tool_choice: "required" o una función con nombre ({"type": "function", "function": {"name": "..."}}): el modelo debe llamar a una herramienta, en el formato de llamada que define su plantilla de chat. parallel_tool_calls: false se acepta con una llamada forzada.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
El subconjunto de esquema que se aplica: objetos (properties, required; no se genera ninguna otra propiedad), arrays (items, minItems, maxItems), cadenas, números, enteros, booleanos, null, enum, const, anyOf cuyas alternativas empiezan de forma distinta, y $ref hacia $defs. Cualquier otra palabra clave restrictiva se rechaza por su nombre (400), nunca se ignora; las anotaciones (title, description, default, examples) se leen como anotaciones. response_format: json_object se rechaza: no tiene esquema que aplicar. Un modelo de razonamiento responde cuando termina su razonamiento, nunca dentro de él.
El motor de gramática es propio de NeuroBrix, escrito en Rust: el paquete nbxgrammar, que pip install neurobrix instala en Linux (x86_64, aarch64), macOS (arm64, x86_64) y Windows x86_64. En otra plataforma, una petición restringida responde 501 constrained_decoding_not_installed.
Un modelo de lenguaje de mezcla de expertos repartido entre dos tarjetas mantiene sus expertos enrutados en ambas, y una sesión servida mantiene el modelo cargado entre peticiones. Medido por el equipo del motor en dos V100-32GB con Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 s por token con run, donde antes eran 6,7 s; una respuesta servida de 64 tokens en unos 31 s, donde antes tardaba unos 170 s, con un contexto servido de 65 664 tokens.
Más allá de la caché KV de la tarjeta, las páginas más antiguas de una conversación servida pasan a la memoria del host y la decodificación continúa, exacta. serve indica el límite al arrancar; una petición más larga se rechaza con 400 context_length_exceeded. Un prompt único muy largo recibe respuesta, despacio: 79 931 tokens tardaron 39 minutos en las mismas dos tarjetas.
| Opción | Significado |
|---|---|
--model |
Obligatoria |
--hardware |
Id del perfil de hardware, consulta Perfiles de hardware |
--timeout |
Segundos de inactividad antes de que el daemon se apague solo; por defecto 1800 (30 minutos) |
--foreground |
No desacoplar |
--http, --http-host, --http-port |
Sirve también la API HTTP compatible con OpenAI (por defecto 127.0.0.1:8765) |
--api-key-file |
Un archivo con la clave de API que exige la API HTTP; necesario para una dirección distinta de loopback |
--compiled, --sequential, --triton, --triton-sequential |
Modo de ejecución, como máximo uno; consulta la Guía de inferencia |
En ~/.neurobrix: daemon.sock más un archivo .pid y un archivo .log (en Windows, un archivo de puerto TCP sustituye al socket). Cuando algo va mal, el archivo .log es el primer lugar donde mirar; consulta Solución de problemas.
Qué familias se benefician del flujo en caliente, y el tiempo de carga que se ahorra por modelo: aún no está documentado.
Siguiente: Referencia CLI
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Código fuente de la documentación: GitLab