NeuroBrix erkennt die Hardware, auf der es läuft, wenn du --hardware weglässt. Erkannt heißt nicht unterstützt: Die Tabelle unten sagt, was tatsächlich ausgeführt wird.
| Stufe | Hardware |
|---|---|
| Validiert | NVIDIA-GPUs (beide Engines); Apple Silicon (die Triton-Engine über Metal, die PyTorch-Engine über MPS); CPU (die PyTorch-Engine) |
| Experimentell | Intel-GPUs mit ihrer Level-Zero-Laufzeit: von der Triton-Engine versucht, noch nicht vom NeuroBrix-Labor auf Hardware validiert — Berichte willkommen |
| Ein Ziel | AMD-GPUs, über den HIP-Treiber von nbxtensor: noch nicht auf einer Karte validiert |
| Nur erkannt | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Nur Volta (V100) ist in der Hersteller-Konfiguration der Engine als empirisch validiert markiert; für Turing, Ampere, Ada und Hopper gibt es Hersteller-Konfigurationsdateien. Eine Mindestversion des Treibers und eine minimale Compute Capability: noch nicht dokumentiert.
| Betriebssystem | Status |
|---|---|
| Linux | Beide Engines |
| Windows | Beide Engines; die Triton-Engine braucht den GPU-Treiber und den Triton-Build für deine GPU (neurobrix doctor nennt, was fehlt) |
| macOS | Apple Silicon: die Triton-Engine über Metal (python -m nbxtensor install-metal), die PyTorch-Engine über MPS |
Ohne --hardware prüft die Engine der Reihe nach: nvidia-smi, ROCm, xpu-smi, tt-smi, weitere Hersteller-Tools, lspci, dann PyTorch. CPUs vom Typ x86_64, ARM64 und RISC-V werden erkannt. Ein erkanntes Profil wird in default.yml innerhalb des installierten Pakets geschrieben; ein Prozess, der keine GPU sieht, erhält ein CPU-Profil.
Prüfe, wie dein Rechner für die Engine aussieht:
neurobrix doctor
Erwartetes Ergebnis: No blocking problem found und Exit-Code 0, oder eine Liste von Problemen mit der jeweiligen Lösung. doctor meldet, ob die Triton-Engine laufen kann, den PyTorch-Build, falls einer installiert ist, und die GPUs, die der Prozess sieht; auf Apple Silicon meldet es die Apple-GPU (Metal). Siehe Fehlerbehebung.
Der Prism-Hardware-Solver bewertet Strategien in Prioritätsreihenfolge:
| Priorität | Strategie | Beschreibung |
|---|---|---|
| 1 | single_gpu |
Alles passt auf eine GPU |
| 2 | lifecycle |
Lebenszyklusverwaltung der Komponenten |
| 3 | pipeline_parallel |
Pipeline-Stufen über mehrere GPUs |
| 4 | component_placement |
Komponenten auf bestimmten GPUs |
| 5 | block_scatter |
Transformer-Blöcke über mehrere GPUs |
| 6 | weight_sharding |
Gewichte auf mehrere GPUs aufgeteilt |
| 7 | component_placement_lazy |
Verzögerte Komponentenplatzierung |
| 8 | lazy_sequential |
Sequentiell mit verzögertem Laden |
| 9 | zero3 |
ZeRO Stage 3 + CPU-Offload |
Der Solver schätzt den Speicherbedarf aus den safetensors-Headern, ohne Tensoren zu laden; die Strategiewahl ist dadurch schnell.
Automatische Dtype-Auswahl abhängig von der Hardware:
| GPU | Empfohlener Dtype |
|---|---|
| V100, T4 | float16 |
| A100, RTX 30/40 Serie | float16 oder bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
Nur CPU ist ein unterstützter Weg: Die Hardware-Erkennung wählt ein CPU-Profil, und kleine Modelle laufen ohne Konfiguration. Installationsanleitung: Installation nach Hardware.
Der Prism-Solver analysiert Speicher und Rechenfähigkeit jedes Geräts unabhängig, sodass gemischte GPU-Konfigurationen von den obigen Strategien abgedeckt werden.
Mit --hardware benennst du ein Profil:
neurobrix serve --model <org>/<Model> --hardware v100-32g
Die Liste der mitgelieferten Profile steht unter Hardware-Profile.
Weiter: Hardware-Profile
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Dokumentationsquelle: GitLab