O modo serve inicia um daemon em segundo plano que mantém um modelo carregado, para que as execuções repetidas dispensem o carregamento dos pesos.
neurobrix serve --model <name>
<name> é o nome único do modelo, org/Model. Resultado esperado: o daemon arranca e carrega o modelo. Se já houver um a correr: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it e código de saída 1.
neurobrix run --prompt "A sunset over mountains"
Resultado esperado: a saída do modelo carregado. Sem --model, o run usa o modelo do daemon em execução; sem daemon e sem --model, termina com Error: --model is required when no daemon is running.
neurobrix stop
Resultado esperado: o daemon desliga-se (encerramento por socket, depois SIGTERM, depois SIGKILL) e os ficheiros residuais são limpos.
O daemon trata uma tarefa de cada vez. Um run a frio enquanto ele estiver ativo é recusado.
Para modelos de linguagem:
neurobrix chat
O chat liga-se a um daemon em execução. Opções: --max-tokens, --temperature, --repetition-penalty. Dentro da sessão: /new, /context, /status, /quit.
neurobrix serve --http abre uma API compatível com OpenAI no daemon (por omissão 127.0.0.1:8765); todos os endpoints estão em Serving and chat. Num modelo de linguagem, pode prender a resposta a uma forma, em cada token, nos dois motores:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: a resposta é um JSON que cumpre o esquema.tool_choice: "required" ou uma função com nome ({"type": "function", "function": {"name": "..."}}): o modelo tem de chamar uma ferramenta, no formato de chamada definido pelo seu modelo de chat. parallel_tool_calls: false é aceite com uma chamada forçada.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
O subconjunto de esquema aplicado: objetos (properties, required; nenhuma outra propriedade é gerada), arrays (items, minItems, maxItems), cadeias, números, inteiros, booleanos, null, enum, const, anyOf cujas alternativas começam de forma diferente, e $ref para $defs. Qualquer outra palavra-chave restritiva é recusada pelo nome (400), nunca ignorada; as anotações (title, description, default, examples) são lidas como anotações. response_format: json_object é recusado: não tem esquema a aplicar. Um modelo de raciocínio responde depois de o raciocínio terminar, nunca dentro dele.
O motor de gramática é do próprio NeuroBrix, escrito em Rust: o pacote nbxgrammar, que pip install neurobrix instala em Linux (x86_64, aarch64), macOS (arm64, x86_64) e Windows x86_64. Noutra plataforma, um pedido restringido responde 501 constrained_decoding_not_installed.
Um modelo de linguagem de mistura de especialistas repartido por duas placas mantém os especialistas encaminhados em ambas, e uma sessão servida mantém o modelo carregado entre pedidos. Medido pela equipa do motor em duas V100-32GB com Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 s por token com run, onde eram 6,7 s; uma resposta servida de 64 tokens em cerca de 31 s, onde levava cerca de 170 s, com um contexto servido de 65 664 tokens.
Para lá da cache KV da placa, as páginas mais antigas de uma conversa servida passam para a memória do anfitrião e a descodificação continua, exata. O serve indica o limite ao arrancar; um pedido mais longo é recusado com 400 context_length_exceeded. Um prompt único muito longo recebe resposta, devagar: 79 931 tokens levaram 39 minutos nas mesmas duas placas.
| Opção | Significado |
|---|---|
--model |
Obrigatória |
--hardware |
Id do perfil de hardware, veja Perfis de Hardware |
--timeout |
Segundos de inatividade antes de o daemon se desligar sozinho; predefinição 1800 (30 minutos) |
--foreground |
Não se desassociar do terminal |
--http, --http-host, --http-port |
Serve também a API HTTP compatível com OpenAI (por omissão 127.0.0.1:8765) |
--api-key-file |
Um ficheiro com a chave de API que a API HTTP exige; necessário para um endereço que não seja loopback |
--compiled, --sequential, --triton, --triton-sequential |
Modo de execução, no máximo um; veja o Guia de Inferência |
Em ~/.neurobrix: daemon.sock mais um ficheiro .pid e um .log (no Windows, um ficheiro com a porta TCP substitui o socket). Quando algo corre mal, o ficheiro .log é o primeiro sítio onde olhar; veja Resolução de problemas.
Que famílias beneficiam do fluxo quente, e o tempo de carregamento poupado por modelo: ainda não documentado.
Seguinte: Referência da CLI
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Fonte da documentação: GitLab