De serve-modus start een achtergronddaemon die één model geladen houdt, zodat herhaalde uitvoeringen het laden van de gewichten overslaan.
neurobrix serve --model <name>
<name> is de ene naam van het model, org/Model. Verwacht resultaat: de daemon start en laadt het model. Als er al een draait: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it en exitcode 1.
neurobrix run --prompt "A sunset over mountains"
Verwacht resultaat: uitvoer van het geladen model. Zonder --model neemt run het model van de draaiende daemon; zonder daemon en zonder --model stopt het met Error: --model is required when no daemon is running.
neurobrix stop
Verwacht resultaat: de daemon sluit af (socket-afsluiting, dan SIGTERM, dan SIGKILL) en verouderde bestanden worden opgeruimd.
De daemon verwerkt één taak tegelijk. Een koude run terwijl hij actief is, wordt geweigerd.
Voor taalmodellen:
neurobrix chat
chat maakt verbinding met een draaiende daemon. Opties: --max-tokens, --temperature, --repetition-penalty. In de sessie: /new, /context, /status, /quit.
neurobrix serve --http opent een OpenAI-compatibele API op de daemon (standaard 127.0.0.1:8765); elk endpoint staat in Serving and chat. Bij een taalmodel kan die het antwoord bij elk token aan een vorm binden, op beide engines:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: het antwoord is JSON dat aan het schema voldoet.tool_choice: "required" of een benoemde functie ({"type": "function", "function": {"name": "..."}}): het model moet een tool aanroepen, in het tool-call-formaat dat zijn chattemplate vastlegt. parallel_tool_calls: false wordt geaccepteerd bij een afgedwongen aanroep.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
De afgedwongen schema-deelverzameling: objecten (properties, required; geen andere eigenschap wordt gegenereerd), arrays (items, minItems, maxItems), strings, getallen, gehele getallen, booleans, null, enum, const, anyOf waarvan de alternatieven verschillend beginnen, en $ref naar $defs. Elk ander beperkend sleutelwoord wordt bij naam geweigerd (400), nooit genegeerd; annotaties (title, description, default, examples) worden als annotaties gelezen. response_format: json_object wordt geweigerd: het heeft geen schema om af te dwingen. Een redeneermodel antwoordt na het einde van zijn redenering, nooit erbinnen.
De grammatica-engine is van NeuroBrix zelf, geschreven in Rust: het pakket nbxgrammar, dat pip install neurobrix installeert op Linux (x86_64, aarch64), macOS (arm64, x86_64) en Windows x86_64. Op een ander platform antwoordt een beperkt verzoek met 501 constrained_decoding_not_installed.
Een mixture-of-experts-taalmodel dat over twee kaarten is verdeeld, houdt zijn gerouteerde experts op beide kaarten, en een geserveerde sessie houdt het model geladen tussen verzoeken. Gemeten door het engineteam op twee V100-32GB met Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 s per token via run, waar het 6,7 s was; een geserveerd antwoord van 64 tokens in ongeveer 31 s, waar het ongeveer 170 s duurde, met een geserveerde context van 65 664 tokens.
Voorbij de KV-cache van de kaart gaan de oudste pagina's van een geserveerd gesprek naar het hostgeheugen en gaat het decoderen exact door. serve noemt het plafond bij het starten; een langer verzoek wordt geweigerd met 400 context_length_exceeded. Een heel lange enkele prompt krijgt antwoord, langzaam: 79 931 tokens duurden 39 minuten op dezelfde twee kaarten.
| Flag | Betekenis |
|---|---|
--model |
Vereist |
--hardware |
Id van het hardwareprofiel, zie Hardware-profielen |
--timeout |
Seconden inactiviteit voordat de daemon zichzelf afsluit; standaard 1800 (30 minuten) |
--foreground |
Niet loskoppelen |
--http, --http-host, --http-port |
Serveert ook de OpenAI-compatibele HTTP-API (standaard 127.0.0.1:8765) |
--api-key-file |
Een bestand met de API-sleutel die de HTTP-API vereist; nodig voor een ander adres dan loopback |
--compiled, --sequential, --triton, --triton-sequential |
Uitvoeringsmodus, hoogstens één; zie Inferentie-gids |
In ~/.neurobrix: daemon.sock plus een .pid- en een .log-bestand (op Windows vervangt een TCP-poortbestand de socket). Als er iets misgaat, is het .log-bestand de eerste plek om te kijken; zie Probleemoplossing.
Welke families profiteren van de warme stroom, en de laadtijd die per model wordt bespaard: nog niet gedocumenteerd.
Volgende: CLI-referentie
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Documentatiebron: GitHub