El mode de servei inicia un dimoni en segon pla que manté un model carregat, de manera que les execucions repetides s'estalvien la càrrega dels pesos.
neurobrix serve --model <name>
<name> és el nom únic del model, org/Model. Resultat esperat: el dimoni s'inicia i carrega el model. Si ja n'hi ha un en marxa: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it i codi de sortida 1.
neurobrix run --prompt "A sunset over mountains"
Resultat esperat: la sortida del model carregat. Sense --model, run pren el model del dimoni en marxa; sense dimoni i sense --model s'atura amb Error: --model is required when no daemon is running.
neurobrix stop
Resultat esperat: el dimoni s'atura (aturada pel socket, després SIGTERM, després SIGKILL) i es netegen els fitxers obsolets.
El dimoni gestiona una tasca alhora. Un run en fred mentre està actiu és rebutjat.
Per a models de llenguatge:
neurobrix chat
chat es connecta a un dimoni en marxa. Opcions: --max-tokens, --temperature, --repetition-penalty. Dins de la sessió: /new, /context, /status, /quit.
neurobrix serve --http obre una API compatible amb OpenAI al dimoni (per defecte 127.0.0.1:8765); cada endpoint és a Serving and chat. En un model de llenguatge pot cenyir la resposta a una forma, a cada token, en els dos motors:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: la resposta és un JSON que compleix l'esquema.tool_choice: "required" o una funció amb nom ({"type": "function", "function": {"name": "..."}}): el model ha de cridar una eina, en el format de crida que defineix la seva plantilla de xat. parallel_tool_calls: false s'accepta amb una crida forçada.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
El subconjunt d'esquema que s'aplica: objectes (properties, required; no es genera cap altra propietat), arrays (items, minItems, maxItems), cadenes, nombres, enters, booleans, null, enum, const, anyOf les alternatives del qual comencen de manera diferent, i $ref cap a $defs. Qualsevol altra paraula clau restrictiva es rebutja pel seu nom (400), mai no s'ignora; les anotacions (title, description, default, examples) es llegeixen com a anotacions. response_format: json_object es rebutja: no té cap esquema per aplicar. Un model de raonament respon quan acaba el raonament, mai dins seu.
El motor de gramàtica és propi de NeuroBrix, escrit en Rust: el paquet nbxgrammar, que pip install neurobrix instal·la a Linux (x86_64, aarch64), macOS (arm64, x86_64) i Windows x86_64. En una altra plataforma, una petició restringida respon 501 constrained_decoding_not_installed.
Un model de llenguatge de mescla d'experts repartit entre dues targetes manté els experts encaminats a totes dues, i una sessió servida manté el model carregat entre peticions. Mesurat per l'equip del motor en dues V100-32GB amb Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 s per token amb run, on abans eren 6,7 s; una resposta servida de 64 tokens en uns 31 s, on abans trigava uns 170 s, amb un context servit de 65 664 tokens.
Més enllà de la memòria cau KV de la targeta, les pàgines més antigues d'una conversa servida passen a la memòria de l'amfitrió i la descodificació continua, exacta. serve indica el límit en arrencar; una petició més llarga es rebutja amb 400 context_length_exceeded. Un sol prompt molt llarg rep resposta, a poc a poc: 79 931 tokens van trigar 39 minuts a les mateixes dues targetes.
| Indicador | Significat |
|---|---|
--model |
Obligatori |
--hardware |
Identificador del perfil de maquinari, vegeu Perfils de maquinari |
--timeout |
Segons d'inactivitat abans que el dimoni s'aturi sol; per defecte 1800 (30 minuts) |
--foreground |
No desacoblar |
--http, --http-host, --http-port |
Serveix també l'API HTTP compatible amb OpenAI (per defecte 127.0.0.1:8765) |
--api-key-file |
Un fitxer amb la clau d'API que exigeix l'API HTTP; necessari per a una adreça que no sigui loopback |
--compiled, --sequential, --triton, --triton-sequential |
Mode d'execució, com a màxim un; vegeu Guia d'inferència |
A ~/.neurobrix: daemon.sock més un fitxer .pid i un de .log (a Windows un fitxer de port TCP substitueix el socket). Quan alguna cosa va malament, el fitxer .log és el primer lloc on mirar; vegeu Resolució de problemes.
Quines famílies es beneficien del flux en calent, i el temps de càrrega que s'estalvia per model: encara no està documentat.
Següent: Referència CLI
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Font de la documentació: GitLab