Donanım profilleri NeuroBrix'e makinenizin tam olarak neye benzediğini söyler: GPU'lar, CPU, bellek, ara bağlantılar. Prism çözücüsü profili okur ve en iyi yürütme stratejisini otomatik olarak seçer.
Varsayılan olarak NeuroBrix makinenizdeki tüm donanımı otomatik algılar:
neurobrix serve --model <name>
# Auto-detects all GPUs, CPU, interconnects
Şu durumlarda özel bir profil yazın:
Profilleri, makinenizin belirli bir NeuroBrix örneği için ayrılmış bir dilimi olarak düşünün. Aynı makinede her biri farklı GPU'ları hedefleyen kendi profiline sahip birden çok örnek çalıştırabilirsiniz.
neurobrix serve --model <name> --hardware v100-32g
neurobrix serve --model <name> --hardware my-custom-profile
Bu profil kimlikleri motorla birlikte gelir ve --hardware değerine verilebilir:
| Aile | Profil kimlikleri |
|---|---|
| NVIDIA veri merkezi | a100-40g, a100-80g, a10-24g, h100-80g, l40s-48g, t4-16g, v100-16g, v100-32g |
| NVIDIA tüketici | rtx2080ti-11g, rtx3060-12g, rtx3080-10g, rtx3090-24g, rtx4080-16g, rtx4090-24g |
| CPU | cpu-only-x86 |
Bunlardan bazılarının çoklu GPU varyantları da gelir. Makinenizde kurulu tam kimlikleri aşağıdaki profil dizinine bakarak listeleyin.
Birlikte gelen bir profil, donanımın çalıştığı anlamına gelmez: Donanım Desteği sayfasındaki üç dürüstlük düzeyine bakın. Yalnızca Volta deneysel olarak doğrulanmış diye işaretlidir.
Profiller, motor paketindeki YAML dosyalarıdır:
neurobrix/config/hardware/ # inside the installed package
├── default.yml # Auto-generated by detection (default-cpu.yml with no GPU)
├── v100-32g.yml # Bundled
├── ...
└── my-custom.yml # Your custom profile
Dosya adını (.yml olmadan) --hardware argümanı olarak kullanın.
En yaygın kullanım durumu: 4 GPU'nuz var ve yalnızca birini NeuroBrix'e ayırmak istiyorsunuz:
id: single-v100-32g
preferred_dtype: float16
summary:
total_gpus: 1
total_vram_gb: 32.0
total_ram_gb: 251.5
topology: Single-GPU
cpu:
model: "Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz"
cores: 40
threads: 80
ram_mb: 257530
architecture: x86_64
features: [avx2, avx512f, fma]
devices:
- index: 0
brand: nvidia
model: Tesla V100-SXM2-32GB
memory_mb: 32768
compute_capability: "7.0"
supports_dtypes: [float32, float16]
architecture: volta
pcie_version: "3.0"
notes: "Single V100 32GB — other GPUs reserved for training"
Artık kalan GPU'larda ikinci bir model çalıştırabilir ya da onları eğitim için boş tutabilirsiniz.
NVLink ara bağlantılı tam çoklu GPU profili:
id: my-2xv100-32g
vendor: dell
preferred_dtype: float16
summary:
total_gpus: 2
total_vram_gb: 64.0
total_ram_gb: 251.5
topology: Multi-GPU
cpu:
model: "Intel(R) Xeon(R) Gold 6230 CPU @ 2.10GHz"
cores: 40
threads: 80
ram_mb: 257530
architecture: x86_64
features: [fma, avx2, avx512f, avx512_vnni]
devices:
- index: 0
brand: nvidia
model: Tesla V100-SXM2-32GB
memory_mb: 32768
compute_capability: "7.0"
supports_dtypes: [float32, float16]
architecture: volta
pcie_version: "3.0"
- index: 1
brand: nvidia
model: Tesla V100-SXM2-32GB
memory_mb: 32768
compute_capability: "7.0"
supports_dtypes: [float32, float16]
architecture: volta
pcie_version: "3.0"
interconnect:
groups:
- index: 0
members: [0, 1]
type: full_mesh
tech: nvlink
bandwidth_gbps: 300
pcie_fallback:
version: "3.0"
lanes: 16
bandwidth_gbps: 32
notes: "2 x V100 SXM2 32GB with NVLink, Dell C4140"
NeuroBrix heterojen GPU kurulumlarını işler. Prism daha büyük bileşenleri daha büyük GPU'ya yerleştirir:
devices:
- index: 0
brand: nvidia
model: Tesla V100-SXM2-16GB
memory_mb: 16384
compute_capability: "7.0"
supports_dtypes: [float32, float16]
architecture: volta
- index: 1
brand: nvidia
model: Tesla V100-SXM2-32GB
memory_mb: 32768
compute_capability: "7.0"
supports_dtypes: [float32, float16]
architecture: volta
Geliştirme ya da küçük modeller için:
id: cpu-workstation
preferred_dtype: float32
summary:
total_gpus: 0
total_vram_gb: 0
total_ram_gb: 32.0
topology: CPU-Only
cpu:
model: "AMD Ryzen 9 7950X"
cores: 16
threads: 32
ram_mb: 32768
architecture: x86_64
features: [avx2, fma]
devices: []
notes: "CPU-only workstation, no discrete GPU"
| Alan | Zorunlu | Açıklama |
|---|---|---|
id |
Evet | Benzersiz profil tanımlayıcısı |
vendor |
Hayır | Makine üreticisi (dell, supermicro vb.) |
preferred_dtype |
Evet | Varsayılan hesaplama dtype'ı |
summary |
Evet | Gösterim ve çözücü ipuçları için hızlı istatistikler |
cpu |
Evet | CPU bilgisi |
devices |
Evet | GPU aygıtlarının listesi (yalnızca CPU için boş []) |
interconnect |
Hayır | GPU'dan GPU'ya bağlantılar (tek GPU/yalnızca CPU için atlayın) |
pcie_fallback |
Hayır | Gruplar arası iletişim için PCIe özellikleri |
| Donanım | Önerilen | Neden |
|---|---|---|
| V100, T4, RTX 20 | float16 |
bf16 desteği yok |
| A100, RTX 30/40 | float16 veya bfloat16 |
İkisi de çalışır, bf16 taşmayı önler |
| H100, H200 | bfloat16 |
Yerel bf16 tensör çekirdekleri |
| CPU (genel) | float32 |
Yarı hassasiyet hızlandırması yok |
| AMX'li CPU | bfloat16 |
Donanım bf16 matris çarpımı |
Uyarı:
preferred_dtypeolmadan Prism, fp32 olarak oluşturulmuş bir modele fp32 atayabilir; bu da bellek ve verim israfına yol açar. Donanımınız için ayarlayın.
| Teknoloji | Tipik Bant Genişliği | Kullanım Durumu |
|---|---|---|
nvlink |
300-900 GB/s | Sunucu GPU'ları (V100 SXM, A100, H100) |
xgmi |
200-400 GB/s | AMD Instinct (MI250X, MI300X) |
pcie |
16-64 GB/s | Tüketici GPU'ları, karma kurulumlar |
neurobrix info --hardware my-custom
neurobrix serve --model <name> --hardware my-custom
Profilde hata varsa NeuroBrix açık bir iletiyle çöker (ZERO FALLBACK — sessiz varsayılan yok).
--hardware bayrağı kullanımlarıSonraki: Sunma Kılavuzu
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Dokümantasyon kaynağı: GitLab