Sunma modu, bir modeli yüklü tutan bir arka plan daemon'u başlatır; böylece tekrarlı çalıştırmalar ağırlık yüklemesini atlar.
neurobrix serve --model <name>
<name>, modelin tek adıdır: org/Model. Beklenen sonuç: daemon başlar ve modeli yükler. Zaten çalışan biri varsa: Error: a daemon is already running (PID n): neurobrix chat talks to it, neurobrix stop ends it ve 1 çıkış kodu.
neurobrix run --prompt "A sunset over mountains"
Beklenen sonuç: yüklü modelin çıktısı. --model olmadan run, modeli çalışan daemon'dan alır; daemon ve --model yoksa Error: --model is required when no daemon is running. ile durur.
neurobrix stop
Beklenen sonuç: daemon kapanır (önce soket kapatma, sonra SIGTERM, sonra SIGKILL) ve eski dosyalar temizlenir.
Daemon aynı anda tek bir görev işler. O çalışırken soğuk bir run reddedilir.
Dil modelleri için:
neurobrix chat
chat, çalışan bir daemon'a bağlanır. Seçenekler: --max-tokens, --temperature, --repetition-penalty. Oturumun içinde: /new, /context, /status, /quit.
neurobrix serve --http, daemon üzerinde OpenAI uyumlu bir API açar (varsayılan 127.0.0.1:8765); tüm uç noktalar Serving and chat sayfasındadır. Bir dil modelinde yanıtı her token'da, iki motorda da bir biçime bağlayabilir:
response_format: {"type": "json_schema", "json_schema": {"schema": {...}}}: yanıt, şemaya uyan bir JSON'dur.tool_choice: "required" veya adı verilmiş bir fonksiyon ({"type": "function", "function": {"name": "..."}}): model, sohbet şablonunun tanımladığı araç çağrısı biçiminde bir araç çağırmak zorundadır. parallel_tool_calls: false, zorunlu bir çağrıyla kabul edilir.from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:8765/v1", api_key="unused")
model = client.models.list().data[0].id
reply = client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": "Give the capital of France and its population."}],
response_format={"type": "json_schema", "json_schema": {"name": "city", "schema": {
"type": "object",
"properties": {"city": {"type": "string"}, "population": {"type": "integer"}},
"required": ["city", "population"]}}})
print(reply.choices[0].message.content) # JSON that matches the schema
Uygulanan şema alt kümesi: nesneler (properties, required; başka özellik üretilmez), diziler (items, minItems, maxItems), dizgeler, sayılar, tamsayılar, boolean'lar, null, enum, const, seçenekleri farklı başlayan anyOf ve $defs içine $ref. Başka her kısıtlayıcı anahtar sözcük adıyla reddedilir (400), asla yok sayılmaz; açıklamalar (title, description, default, examples) açıklama olarak okunur. response_format: json_object reddedilir: uygulanacak bir şeması yoktur. Bir akıl yürütme modeli, akıl yürütmesi bittikten sonra yanıt verir, asla onun içinde değil.
Dilbilgisi motoru NeuroBrix'in kendisinindir, Rust ile yazılmıştır: pip install neurobrix komutunun Linux (x86_64, aarch64), macOS (arm64, x86_64) ve Windows x86_64 üzerinde kurduğu nbxgrammar paketi. Başka bir platformda kısıtlı bir istek 501 constrained_decoding_not_installed yanıtını verir.
İki karta bölünmüş bir uzmanlar karışımı dil modeli, yönlendirilen uzmanlarını iki kartta da tutar ve sunulan bir oturum modeli istekler arasında yüklü tutar. Motor ekibi tarafından iki V100-32GB üzerinde Qwen3-Coder-30B-A3B ile ölçüldü (CHANGELOG 0.6.5): run ile token başına 0,33 s (önceden 6,7 s); 65 664 token'lık sunulan bir bağlamla 64 token'lık sunulan bir yanıt yaklaşık 31 s (önceden yaklaşık 170 s).
Kartın KV önbelleğinin ötesinde, sunulan bir konuşmanın en eski sayfaları ana bilgisayar belleğine geçer ve kod çözme birebir devam eder. serve başlarken üst sınırı bildirir; daha uzun bir istek 400 context_length_exceeded ile reddedilir. Çok uzun tek bir prompt yanıtlanır, yavaşça: 79 931 token aynı iki kartta 39 dakika sürdü.
| Bayrak | Anlamı |
|---|---|
--model |
Zorunlu |
--hardware |
Donanım profili kimliği, bkz. Donanım Profilleri |
--timeout |
Daemon'un kendiliğinden kapanmasından önceki boşta kalma saniyesi; varsayılan 1800 (30 dakika) |
--foreground |
Ayırma (detach) yapma |
--http, --http-host, --http-port |
OpenAI uyumlu HTTP API'yi de sunar (varsayılan 127.0.0.1:8765) |
--api-key-file |
HTTP API'nin istediği API anahtarını içeren dosya; loopback dışındaki bir adres için gerekir |
--compiled, --sequential, --triton, --triton-sequential |
Yürütme modu, en fazla biri; bkz. Çıkarım Kılavuzu |
~/.neurobrix içinde: daemon.sock artı bir .pid ve bir .log dosyası (Windows'ta soketin yerini bir TCP port dosyası alır). Bir şey ters gittiğinde ilk bakılacak yer .log dosyasıdır; bkz. Sorun Giderme.
Hangi ailelerin sıcak akıştan yararlandığı ve model başına kazanılan yükleme süresi: henüz belgelenmedi.
Sonraki: CLI Başvurusu
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Dokümantasyon kaynağı: GitLab