--hardware vermediğinizde NeuroBrix üzerinde çalıştığı donanımı algılar. Algılanmış olmak, desteklenmek demek değildir: aşağıdaki tablo gerçekte neyin çalıştığını söyler.
| Düzey | Donanım |
|---|---|
| Doğrulanmış | NVIDIA GPU'ları (iki motor da); Apple Silicon (Metal üzerinden Triton motoru, MPS üzerinden PyTorch motoru); CPU (PyTorch motoru) |
| Deneysel | Level Zero çalışma zamanlı Intel GPU'ları: Triton motoru tarafından denenir, henüz NeuroBrix laboratuvarınca donanım üzerinde doğrulanmadı — geri bildirimler memnuniyetle karşılanır |
| Bir hedef | nbxtensor'un HIP sürücüsü üzerinden AMD GPU'ları: henüz bir kartta doğrulanmadı |
| Yalnızca tanınır | Tenstorrent, Moore Threads, Biren, Iluvatar, Hygon DCU, Cambricon |
Motorun üretici yapılandırmasında yalnızca Volta (V100) deneysel olarak doğrulanmış diye işaretlidir; Turing, Ampere, Ada ve Hopper için üretici yapılandırma dosyaları vardır. Asgari sürücü sürümü ve asgari hesaplama yeteneği: henüz belgelenmedi.
| İşletim sistemi | Durum |
|---|---|
| Linux | İki motor da |
| Windows | İki motor da; Triton motoru GPU sürücüsüne ve GPU'nuz için Triton derlemesine ihtiyaç duyar (neurobrix doctor eksik olanı söyler) |
| macOS | Apple Silicon: Metal üzerinden Triton motoru (python -m nbxtensor install-metal), MPS üzerinden PyTorch motoru |
--hardware olmadan motor sırasıyla şunları yoklar: nvidia-smi, ROCm, xpu-smi, tt-smi, diğer üretici araçları, lspci, ardından PyTorch. x86_64, ARM64 ve RISC-V CPU'lar tanınır. Algılanan profil, kurulu paketin içindeki default.yml dosyasına yazılır; hiçbir GPU görmeyen bir süreç bir CPU profili alır.
Makinenizin motora nasıl göründüğünü denetleyin:
neurobrix doctor
Beklenen sonuç: No blocking problem found ve 0 çıkış kodu ya da her biri için düzeltmesiyle bir sorun listesi. doctor, Triton motorunun çalışıp çalışamayacağını, kuruluysa PyTorch derlemesini ve sürecin gördüğü GPU'ları bildirir; Apple Silicon'da Apple GPU'sunu (Metal) bildirir. Bkz. Sorun Giderme.
Prism Donanım Çözücüsü stratejileri öncelik sırasıyla değerlendirir:
| Öncelik | Strateji | Açıklama |
|---|---|---|
| 1 | single_gpu |
Her şey tek bir GPU'ya sığar |
| 2 | lifecycle |
Bileşen yaşam döngüsü yönetimi |
| 3 | pipeline_parallel |
GPU'lar arasında ardışık düzen aşamaları |
| 4 | component_placement |
Belirli GPU'lardaki bileşenler |
| 5 | block_scatter |
GPU'lara dağıtılmış Transformer blokları |
| 6 | weight_sharding |
GPU'lara bölünmüş ağırlıklar |
| 7 | component_placement_lazy |
Tembel bileşen yerleştirme |
| 8 | lazy_sequential |
Tembel yüklemeli sıralı yürütme |
| 9 | zero3 |
ZeRO Aşama 3 + CPU boşaltma |
Çözücü, bellek gereksinimlerini tensörleri yüklemeden safetensors başlıklarından tahmin eder; bu da strateji seçimini hızlı kılar.
Donanıma göre otomatik dtype seçimi:
| GPU | Önerilen Dtype |
|---|---|
| V100, T4 | float16 |
| A100, RTX 30/40 serisi | float16 veya bfloat16 |
| H100 | bfloat16 |
| CPU | float32 |
Yalnızca CPU, desteklenen bir yoldur: donanım algılama bir CPU profili seçer ve küçük modeller yapılandırma olmadan çalışır. Kurulum tarifi: Donanıma göre kurulum.
Prism çözücüsü her aygıtın bellek ve hesaplama yeteneğini bağımsız olarak çözümler; böylece karma GPU yapılandırmaları yukarıdaki stratejilerle ele alınır.
Bir profili adlandırmak için --hardware kullanın:
neurobrix serve --model <org>/<Model> --hardware v100-32g
Birlikte gelen profil listesi Donanım Profilleri sayfasındadır.
Sonraki: Donanım Profilleri
© 2025–2026 Hocine Benkelaya. NeuroBrix engine released under the Apache License 2.0.
Developed by Hocine Benkelaya · Supported and funded by Neural Network Holding Ltd · Commercial distribution by WizWorks OÜ
Dokümantasyon kaynağı: GitLab