🚀 Kurumsal Yapay Zeka İçin Bulut Altyapısı: CoreWeave ve NVIDIA İş Birliği!

[Ahmet Ö.]

CoreWeave ve NVIDIA'dan Yapay Zeka Devrimi!​

CoreWeave ve NVIDIA, yapay zeka iş akışları için özel olarak tasarlanmış hızlandırılmış bilgi işlem mimarilerini hayata geçirmek üzere mühendislik ortaklıklarını genişletti. Bu altyapı, kurumsal yazılım geliştirme ve sağlık operasyonlarında eşzamanlı akıl yürütme, pekiştirmeli öğrenme ve büyük ölçekli model çıkarımını desteklemek için yoğun bilgi işlem raflarını, yüksek verimli ağları ve izole edilmiş yürütme katmanlarını bir araya getiriyor.

⚙️ Donanım Mimarisi ve Küme Mühendisliği​

• NVIDIA Vera Rubin NVL72 sıvı soğutmalı raflar, Spectrum-X 102.4T Ethernet ağı ve BlueField-4 veri işleme birimleri entegre edildi.
  
• Fiziksel mimari, 128 işlemci ve 11.264 çekirdeği tek bir raf alanına sığdıran NVIDIA Vera CPU'yu içeriyor.
  
• Bu çekirdek yoğunluğu, tek donanım çekirdeklerinde aynı anda 11.000'den fazla izole edilmiş sanal ortam örneğini barındırabilen özel yürütme birimleri sağlıyor.
  
• CoreWeave, bu kümeleri tescilli Kubernetes Hizmeti, SUNK orkestrasyon motoru ve özel çıkarım kontrol düzlemleri aracılığıyla yönetiyor.
  

🔄 Sürekli Model Optimizasyonu İçin Birleşik Yürütme Katmanları​

Ajan sistemleri, üretim izleri ve model optimizasyonu arasında sürekli geçişler gerektirir. Parçalanmış araç zincirleri arasındaki sinyal kaybını önlemek için CoreWeave, ağırlık yönetimini, eğitim sonrası dağıtımları ve çalışma zamanı telemetrisini hızlandırılmış bilgi işlem kümelerinde koordine etmek üzere Forge ortamını tasarladı. Entegre yürütme bileşenleri, sunucusuz altyapıda aktif eğitim işlerinin hemen yanında ajan sanal ortamlarını, araç çağrılarını ve pekiştirmeli öğrenme rutinlerini çalıştırır. Açık çıkarım çerçeveleri aracılığıyla, mühendislik ekipleri kümeleri çevrimdışı bırakmadan güncellenmiş kontrol noktalarını aktif çıkarım dağıtımlarına dinamik olarak aktarır.

📊 Üretim Doğrulaması ve Verim Kıyaslamaları​

Ticari dağıtım, karmaşık ajan akıl yürütme görevlerinde ölçülebilir verim iyileştirmeleri gösterdi. Uygulamalı yapay zeka laboratuvarı Cognition, FrontierCode'dan gerçek dünya yazılım mühendisliği kıyaslamalarını kullanarak Vera Rubin NVL72'yi önceki nesil GB200 sistemlerine karşı değerlendirdi ve çıkarım görevlerinde toplam token veriminde 4,8 kata kadar artış elde etti.

• Vera CPU mimarisinin altyapı kıyaslaması, sanal ortam başlatma gecikmesinde üç kat azalma ve terminal tabanlı değerlendirme kıyaslamalarında 1,7 kat performans iyileşmesi gösterdi.
  
• Kurumsal dağıtımlarda, sağlık hizmeti sağlayıcısı Ennoble Care, çok eyaletli operasyonlarda klinik dokümantasyon ajanlarını ve idari otomasyonu çalıştırmak için ayrılmış GPU kümeleri uyguladı.