NeuroBrix detecteert de hardware waarop het draait wanneer u --hardware weglaat. Gedetecteerd is niet ondersteund: de tabel hieronder zegt wat er werkelijk uitvoert.
| Niveau | Hardware |
|---|---|
| Gevalideerd | NVIDIA-GPU's (beide engines); Apple Silicon (de Triton-engine via Metal, de PyTorch-engine via MPS); CPU (de PyTorch-engine) |
| Experimenteel | Intel-GPU's met hun Level Zero-runtime: door de Triton-engine geprobeerd, nog niet op hardware gevalideerd door het NeuroBrix-lab — meldingen welkom |
| Een doel | AMD-GPU's, via de HIP-driver van nbxtensor: nog niet op een kaart gevalideerd |
| Alleen herkend | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Alleen Volta (V100) is in de leveranciersconfiguratie van de engine als empirisch gevalideerd gemarkeerd; Turing, Ampere, Ada en Hopper hebben configuratiebestanden voor leveranciers. Een minimale versie van het stuurprogramma en een minimale compute capability: nog niet gedocumenteerd.
| Besturingssysteem | Status |
|---|---|
| Linux | Beide engines |
| Windows | Beide engines; de Triton-engine heeft de GPU-driver en de Triton-build voor uw GPU nodig (neurobrix doctor noemt wat ontbreekt) |
| macOS | Apple Silicon: de Triton-engine via Metal (python -m nbxtensor install-metal), de PyTorch-engine via MPS |
Zonder --hardware onderzoekt de engine in volgorde: nvidia-smi, ROCm, xpu-smi, tt-smi, andere leveranciershulpmiddelen, lspci, daarna PyTorch. CPU's met x86_64, ARM64 en RISC-V worden herkend. Een gedetecteerd profiel wordt weggeschreven naar default.yml binnen het geïnstalleerde pakket; een proces dat geen GPU ziet, krijgt een CPU-profiel.
Controleer hoe uw machine eruitziet voor de engine:
neurobrix doctor
Verwacht resultaat: No blocking problem found en exitcode 0, of een lijst met problemen met de oplossing voor elk. doctor meldt of de Triton-engine kan draaien, de PyTorch-build als die geïnstalleerd is, en de GPU's die het proces ziet; op Apple Silicon meldt het de Apple-GPU (Metal). Zie Probleemoplossing.
De Prism Hardware Solver evalueert strategieën in volgorde van prioriteit:
| Prioriteit | Strategie | Beschrijving |
|---|---|---|
| 1 | single_gpu |
Alles past op één GPU |
| 2 | lifecycle |
Levenscyclusbeheer van componenten |
| 3 | pipeline_parallel |
Pipelinefasen over GPU's |
| 4 | component_placement |
Componenten op specifieke GPU's |
| 5 | block_scatter |
Transformer-blokken over GPU's |
| 6 | weight_sharding |
Gewichten verdeeld over GPU's |
| 7 | component_placement_lazy |
Lazy plaatsing van componenten |
| 8 | lazy_sequential |
Sequentieel met lazy laden |
| 9 | zero3 |
ZeRO Stage 3 + CPU-offload |
De solver schat de geheugenbehoefte uit safetensors-headers zonder tensors te laden, waardoor de strategiekeuze snel gaat.
Automatische dtype-selectie op basis van de hardware:
| GPU | Aanbevolen dtype |
|---|---|
| V100, T4 | float16 |
| A100, RTX 30/40-serie | float16 of bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
Alleen CPU is een ondersteund pad: hardwaredetectie kiest een CPU-profiel en kleine modellen draaien zonder configuratie. Installatierecept: Installeren per hardware.
De Prism-solver analyseert het geheugen en de rekencapaciteit van elk apparaat afzonderlijk, zodat gemengde GPU-configuraties door de bovenstaande strategieën worden afgehandeld.
Gebruik --hardware om een profiel te noemen:
neurobrix serve --model <org>/<Model> --hardware v100-32g
De lijst met meegeleverde profielen staat in Hardware-profielen.
Volgende: Hardware-profielen
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Documentatiebron: GitHub