Le mode serve démarre un démon en arrière-plan qui garde un modèle chargé, de sorte que les exécutions répétées évitent le chargement des poids.
neurobrix serve --model <name>
<name> est le nom unique du modèle, org/Model. Résultat attendu : le démon démarre et charge le modèle. S'il en tourne déjà un : Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it et le code de sortie 1.
neurobrix run --prompt "A sunset over mountains"
Résultat attendu : la sortie du modèle chargé. Sans --model, run prend le modèle du démon en cours ; sans démon et sans --model, il s'arrête avec Error: --model is required when no daemon is running.
neurobrix stop
Résultat attendu : le démon s'arrête (arrêt par socket, puis SIGTERM, puis SIGKILL) et les fichiers résiduels sont nettoyés.
Le démon traite une tâche à la fois. Un run à froid pendant qu'il tourne est refusé.
Pour les modèles de langage :
neurobrix chat
chat se connecte à un démon en cours. Options : --max-tokens, --temperature, --repetition-penalty. Dans la session : /new, /context, /status, /quit.
neurobrix serve --http ouvre une API compatible OpenAI sur le démon (par défaut 127.0.0.1:8765) ; chaque point d'accès est décrit dans Serving and chat. Sur un modèle de langage, elle peut contraindre la réponse à une forme, à chaque jeton, sur les deux moteurs :
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}} : la réponse est un JSON conforme au schéma.tool_choice: "required" ou une fonction nommée ({"type": "function", "function": {"name": "..."}}) : le modèle doit appeler un outil, dans le format d'appel d'outil que définit son modèle de chat. parallel_tool_calls: false est accepté avec un appel forcé.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
Le sous-ensemble de schéma appliqué : objets (properties, required ; aucune autre propriété n'est générée), tableaux (items, minItems, maxItems), chaînes, nombres, entiers, booléens, null, enum, const, anyOf dont les alternatives commencent différemment, et $ref vers $defs. Tout autre mot-clé contraignant est refusé nommément (400), jamais ignoré ; les annotations (title, description, default, examples) sont lues comme des annotations. response_format: json_object est refusé : il n'a pas de schéma à appliquer. Un modèle de raisonnement répond après la fin de son raisonnement, jamais pendant.
Le moteur de grammaire est celui de NeuroBrix, écrit en Rust : le paquet nbxgrammar, que pip install neurobrix installe sous Linux (x86_64, aarch64), macOS (arm64, x86_64) et Windows x86_64. Sur une autre plateforme, une requête contrainte répond 501 constrained_decoding_not_installed.
Un modèle de langage à mélange d'experts réparti sur deux cartes garde ses experts routés sur les deux cartes, et une session servie garde le modèle chargé entre les requêtes. Mesuré par l'équipe du moteur sur deux V100-32GB avec Qwen3-Coder-30B-A3B (CHANGELOG 0.6.5) : 0,33 s par jeton avec run, contre 6,7 s auparavant ; une réponse servie de 64 jetons en 31 s environ, contre 170 s environ, avec un contexte servi de 65 664 jetons.
Au-delà du cache KV de la carte, les pages les plus anciennes d'une conversation servie passent en mémoire hôte et le décodage continue, à l'identique. serve annonce le plafond au démarrage ; une requête plus longue est refusée avec 400 context_length_exceeded. Un très long prompt unique reçoit une réponse, lentement : 79 931 jetons ont pris 39 minutes sur les deux mêmes cartes.
| Drapeau | Signification |
|---|---|
--model |
Requis |
--hardware |
Identifiant du profil matériel, voir Profils matériels |
--timeout |
Secondes d'inactivité avant l'arrêt du démon ; 1800 par défaut (30 minutes) |
--foreground |
Ne pas détacher |
--http, --http-host, --http-port |
Sert aussi l'API HTTP compatible OpenAI (par défaut 127.0.0.1:8765) |
--api-key-file |
Un fichier contenant la clé d'API exigée par l'API HTTP ; nécessaire pour une adresse autre que la boucle locale |
--compiled, --sequential, --triton, --triton-sequential |
Mode d'exécution, un seul au plus ; voir le Guide d'inférence |
Dans ~/.neurobrix : daemon.sock plus un fichier .pid et un fichier .log (sous Windows, un fichier de port TCP remplace le socket). Quand quelque chose tourne mal, le fichier .log est le premier endroit à regarder ; voir Dépannage.
Quelles familles profitent du flux à chaud, et le temps de chargement économisé par modèle : pas encore documentés.
Suivant : Référence CLI
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Source de la documentation : GitLab