La modalità serve avvia un daemon in background che tiene caricato un modello, così le esecuzioni ripetute saltano il caricamento dei pesi.
neurobrix serve --model <name>
<name> è il nome unico del modello, org/Model. Risultato atteso: il daemon si avvia e carica il modello. Se ce n'è già uno in esecuzione: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it e codice di uscita 1.
neurobrix run --prompt "A sunset over mountains"
Risultato atteso: l'output del modello caricato. Senza --model, run prende il modello dal daemon in esecuzione; senza daemon e senza --model si ferma con Error: --model is required when no daemon is running.
neurobrix stop
Risultato atteso: il daemon si arresta (arresto tramite socket, poi SIGTERM, poi SIGKILL) e i file residui vengono ripuliti.
Il daemon gestisce un solo compito alla volta. Un run a freddo mentre è attivo viene rifiutato.
Per i modelli linguistici:
neurobrix chat
chat si connette a un daemon in esecuzione. Opzioni: --max-tokens, --temperature, --repetition-penalty. All'interno della sessione: /new, /context, /status, /quit.
neurobrix serve --http apre un'API compatibile con OpenAI sul daemon (predefinito 127.0.0.1:8765); ogni endpoint è in Serving and chat. Su un modello linguistico può vincolare la risposta a una forma, a ogni token, su entrambi i motori:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: la risposta è un JSON conforme allo schema.tool_choice: "required" o una funzione con nome ({"type": "function", "function": {"name": "..."}}): il modello deve chiamare uno strumento, nel formato di chiamata definito dal suo template di chat. parallel_tool_calls: false è accettato con una chiamata forzata.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
Il sottoinsieme di schema applicato: oggetti (properties, required; nessun'altra proprietà viene generata), array (items, minItems, maxItems), stringhe, numeri, interi, booleani, null, enum, const, anyOf le cui alternative iniziano in modo diverso, e $ref verso $defs. Ogni altra parola chiave vincolante viene rifiutata per nome (400), mai ignorata; le annotazioni (title, description, default, examples) sono lette come annotazioni. response_format: json_object viene rifiutato: non ha uno schema da applicare. Un modello di ragionamento risponde dopo la fine del ragionamento, mai al suo interno.
Il motore di grammatica è di NeuroBrix, scritto in Rust: il pacchetto nbxgrammar, che pip install neurobrix installa su Linux (x86_64, aarch64), macOS (arm64, x86_64) e Windows x86_64. Su un'altra piattaforma una richiesta vincolata risponde 501 constrained_decoding_not_installed.
Un modello linguistico mixture-of-experts diviso su due schede mantiene i suoi esperti instradati su entrambe, e una sessione servita mantiene il modello caricato tra le richieste. Misurato dal team del motore su due V100-32GB con Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 s per token con run, dove erano 6,7 s; una risposta servita di 64 token in circa 31 s, dove ne servivano circa 170, con un contesto servito di 65 664 token.
Oltre la cache KV della scheda, le pagine più vecchie di una conversazione servita passano nella memoria dell'host e la decodifica prosegue, esatta. serve indica il limite all'avvio; una richiesta più lunga viene rifiutata con 400 context_length_exceeded. Un singolo prompt molto lungo riceve risposta, lentamente: 79 931 token hanno richiesto 39 minuti sulle stesse due schede.
| Flag | Significato |
|---|---|
--model |
Obbligatorio |
--hardware |
Id del profilo hardware, vedere Profili Hardware |
--timeout |
Secondi di inattività prima che il daemon si arresti da solo; predefinito 1800 (30 minuti) |
--foreground |
Non staccare dal terminale |
--http, --http-host, --http-port |
Serve anche l'API HTTP compatibile con OpenAI (predefinito 127.0.0.1:8765) |
--api-key-file |
Un file con la chiave API richiesta dall'API HTTP; necessario per un indirizzo diverso da loopback |
--compiled, --sequential, --triton, --triton-sequential |
Modalità di esecuzione, al massimo una; vedere la Guida all'inferenza |
In ~/.neurobrix: daemon.sock più un file .pid e un file .log (su Windows un file con la porta TCP sostituisce il socket). Quando qualcosa va storto, il file .log è il primo posto in cui guardare; vedere Risoluzione dei problemi.
Quali famiglie traggano beneficio dal flusso a caldo, e il tempo di caricamento risparmiato per modello: non ancora documentati.
Successivo: Riferimento CLI
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Fonte della documentazione: GitHub