Der Serve-Modus startet einen Hintergrund-Daemon, der ein Modell geladen hält, sodass wiederholte Läufe das Laden der Gewichte überspringen.
neurobrix serve --model <name>
<name> ist der eine Name des Modells, org/Model. Erwartetes Ergebnis: Der Daemon startet und lädt das Modell. Läuft bereits einer: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it und Exit-Code 1.
neurobrix run --prompt "A sunset over mountains"
Erwartetes Ergebnis: die Ausgabe des geladenen Modells. Ohne --model nimmt run das Modell des laufenden Daemons; ohne Daemon und ohne --model bricht es mit Error: --model is required when no daemon is running. ab.
neurobrix stop
Erwartetes Ergebnis: Der Daemon fährt herunter (Socket-Shutdown, dann SIGTERM, dann SIGKILL) und veraltete Dateien werden aufgeräumt.
Der Daemon bearbeitet immer nur eine Aufgabe zur Zeit. Ein kalter run, während er läuft, wird abgelehnt.
Für Sprachmodelle:
neurobrix chat
chat verbindet sich mit einem laufenden Daemon. Optionen: --max-tokens, --temperature, --repetition-penalty. Innerhalb der Sitzung: /new, /context, /status, /quit.
neurobrix serve --http öffnet auf dem Daemon eine OpenAI-kompatible API (Standard 127.0.0.1:8765); jeder Endpunkt steht in Serving and chat. Bei einem Sprachmodell kann sie die Antwort bei jedem Token auf eine Form festlegen, auf beiden Engines:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: Die Antwort ist JSON, das dem Schema entspricht.tool_choice: "required" oder eine benannte Funktion ({"type": "function", "function": {"name": "..."}}): Das Modell muss ein Werkzeug aufrufen, im Tool-Call-Format, das sein Chat-Template festlegt. parallel_tool_calls: false wird mit einem erzwungenen Aufruf akzeptiert.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
Die durchgesetzte Schema-Teilmenge: Objekte (properties, required; keine andere Eigenschaft wird erzeugt), Arrays (items, minItems, maxItems), Strings, Zahlen, Ganzzahlen, Booleans, null, enum, const, anyOf, dessen Alternativen unterschiedlich beginnen, und $ref in $defs. Jedes andere einschränkende Schlüsselwort wird namentlich abgelehnt (400), nie ignoriert; Annotationen (title, description, default, examples) werden als Annotationen gelesen. response_format: json_object wird abgelehnt: Es hat kein Schema, das sich durchsetzen ließe. Ein Reasoning-Modell antwortet, wenn sein Reasoning endet, nie innerhalb davon.
Die Grammatik-Engine ist NeuroBrix' eigene, in Rust geschrieben: das Paket nbxgrammar, das pip install neurobrix unter Linux (x86_64, aarch64), macOS (arm64, x86_64) und Windows x86_64 installiert. Auf einer anderen Plattform antwortet eine eingeschränkte Anfrage mit 501 constrained_decoding_not_installed.
Ein Mixture-of-Experts-Sprachmodell, das auf zwei Karten verteilt ist, hält seine gerouteten Experten auf beiden Karten, und eine bereitgestellte Sitzung hält das Modell zwischen Anfragen geladen. Gemessen vom Engine-Team auf zwei V100-32GB mit Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5): 0,33 s pro Token über run, statt 6,7 s; eine bereitgestellte Antwort von 64 Token in etwa 31 s, statt etwa 170 s, bei einem bereitgestellten Kontext von 65 664 Token.
Jenseits des KV-Caches der Karte wandern die ältesten Seiten einer bereitgestellten Unterhaltung in den Hostspeicher, und das Dekodieren geht exakt weiter. serve nennt die Obergrenze beim Start; eine längere Anfrage wird mit 400 context_length_exceeded abgelehnt. Ein sehr langer einzelner Prompt wird beantwortet, langsam: 79 931 Token dauerten 39 Minuten auf denselben zwei Karten.
| Flag | Bedeutung |
|---|---|
--model |
Erforderlich |
--hardware |
Hardware-Profil-ID, siehe Hardware-Profile |
--timeout |
Leerlaufsekunden, bevor sich der Daemon selbst beendet; Standard 1800 (30 Minuten) |
--foreground |
Nicht ablösen (im Vordergrund bleiben) |
--http, --http-host, --http-port |
Stellt zusätzlich die OpenAI-kompatible HTTP-API bereit (Standard 127.0.0.1:8765) |
--api-key-file |
Eine Datei mit dem API-Schlüssel, den die HTTP-API verlangt; nötig für eine andere Adresse als Loopback |
--compiled, --sequential, --triton, --triton-sequential |
Ausführungsmodus, höchstens einer; siehe Inferenz-Anleitung |
In ~/.neurobrix: daemon.sock sowie eine .pid- und eine .log-Datei (unter Windows ersetzt eine TCP-Portdatei den Socket). Geht etwas schief, ist die .log-Datei die erste Anlaufstelle; siehe Fehlerbehebung.
Welche Familien vom warmen Ablauf profitieren und wie viel Ladezeit je Modell eingespart wird: noch nicht dokumentiert.
Weiter: CLI-Referenz
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Dokumentationsquelle: GitLab