Yapay zekâ modellerini buluta göndermeden kendi bilgisayarında çalıştırmak isteyenler için yeni bir seçenek geliyor. Nvidia’nın PAIR (Personal AI Router) yazılımı, aynı yerel ağdaki bilgisayarları keşfederek yapay zekâ işlerini uygun cihazlara yönlendiriyor.
Boşta duran bilgisayar devreye girecek
PAIR’ın temel fikri, evde kullanılmadan duran işlem gücünden yararlanmak. Örneğin bir yapay zekâ ajanı aynı anda birden fazla görev yürütüyorsa PAIR bu işleri tek bilgisayarda sıraya koymak yerine ağdaki uygun sistemlere dağıtabiliyor.
Nvidia’nın demosunda üç cihazdan oluşan PAIR sistemi, beş alt ajanın yer aldığı bir görevi 8 dakika 48 saniyede tamamladı. Aynı işlem tek bir RTX Spark dizüstünde 18 dakika sürdü.
RTX ve Mac aynı sistemde çalışabilecek
PAIR’ın beta sürümü Windows, macOS ve Linux sistemlerini destekliyor. GeForce RTX 20 serisi ve üzeri ekran kartlarının yanı sıra RTX PRO, DGX Spark ve Apple M4 veya daha yeni işlemcili Mac’ler sisteme dahil edilebiliyor.
Yazılım başlangıçta Ollama ve LM Studio ile çalışıyor.
Veriler buluta gitmiyor
PAIR’ın dikkat çeken taraflarından biri de gizlilik. Yapay zekâ istemleri, dosyalar ve işlem trafiği kullanıcının yerel ağında tutuluyor; çıkarım için bulut hizmetine gönderilmiyor.
Nvidia PAIR’ın beta sürümünü ücretsiz olarak kullanıma açtı. Proje aynı zamanda açık kaynak olarak geliştiriliyor.
Kaynak: Nvidia
