Yeni Dağıtım Seçeneği: Gizli Fiziksel Sunucular
NVIDIA, gizli hesaplama altyapısını genişleterek, sınır modeli geliştiricilerinin hassas iş yüklerini üçüncü taraf altyapılarda güvenli bir şekilde yürütmelerine olanak tanıyan yeni bir dağıtım seçeneği olan Gizli Fiziksel Sunucuları tanıttı. Bu yeni seçenek, organizasyonların modelleri ve verileri üzerinde kontrolü sürdürmelerini sağlıyor.
Gizli Fiziksel Sunucular, NVIDIA’nın hızlandırılmış hesaplama altyapısı üzerinde, özel yazılım yığınlarını işletmek isteyen model geliştiricilere, fiziksel sunucu ortamında işletme imkanı sunuyor.
Gelişmiş Güvenlik Kontrolleri
NVIDIA, yeni platform güvenlik kontrolleri ile veri güvenliğini artırıyor. Bu kontroller, veri iletiminde koruma sağlıyor, platform bütünlüğünü ölçüyor ve donanım düzeyinde erişim kısıtlamalarını uyguluyor. Böylece, model geliştiricileri kendi yazılım yığınlarını güvenli bir şekilde yönetebiliyor.
Üç ana dağıtım seçeneği sunulmakta: Gizli Fiziksel Sunucular, Gizli Konteynerler ve Gizli Sanal Makineler. Bu seçenekler, organizasyonların güven sınırlarına ve işletim gereksinimlerine uygun modeller seçmesine imkan tanıyor.
Küresel Kapasitenin Kullanımı
Gizli Fiziksel Sunucular, yüksek değerli iş yükleri için güçlü model ve veri gizliliği koruması gerektiren sağlayıcılara bir yol sunuyor. Model geliştiriciler, bu genişleyen ekosistem sayesinde, eğitim ve çıkarım süreçlerini dünya genelinde ölçeklendirme konusunda daha fazla coğrafi ve operasyonel seçenek buluyor.
Cohere, Gizli Fiziksel Sunucuları Cohere Model Vault’a entegre etmeyi planlıyor. Bu entegrasyon ile donanım köklü güvenlik, doğrudan GPU’ya taşınacak ve modeller ile veriler, bellek ve bağlantılar boyunca korunacak.
Google Cloud ile İşbirliği
Google Cloud, Gizli Fiziksel Sunuculara destek vererek, NVIDIA GB300 NVL72 sistemleri ile güçlendirilmiş A4X Max örneklerini sunuyor. Bu sistemler, eğitim verileri ve model fikri mülkiyetinin şifreli korumasını sağlayarak, sanallaştırılmamış NVIDIA hızlandırmalı hesaplama sunuyor.
Google Cloud’un mühendislerinden Andrés Lagar-Cavilla, bu yeni sistemin, AI laboratuvarlarına donanım izoleli, sanallaştırılmamış hesaplama ortamları sunarak, kullanıcı verilerinin gizliliğini koruyacağını belirtti.
Kapsam ve Destek
NVIDIA Gizli Hesaplama, NVIDIA Grace Blackwell NVL72 sistemleri ile x86 tabanlı NVIDIA HGX Rubin NVL8 ve NVIDIA DGX Rubin NVL8 sistemlerinde de desteklenmektedir. CoreWeave, Microsoft Azure Infrastructure ve diğer küresel sistem ortakları, bu yeni özellikleri destekleyecekler.
NVIDIA DSX OS, tüm NVIDIA Gizli Hesaplama modlarını destekleyerek, bulut sağlayıcılarına gizli iş yüklerini yönetmek için yazılım temeli sunacak.
