- Konu Yazar
- #1
Büyük dil modellerinin (LLM) kenar bilişimde (edge computing) yaygınlaşmasıyla birlikte, bellek kısıtlamaları önemli bir engel teşkil ediyordu. Ancak ASRock Industrial ve Phison Electronics arasındaki stratejik iş birliği, bu soruna yenilikçi bir çözüm getiriyor. Bu ortaklık, kenar yapay zeka donanımını bellek genişletme teknolojisiyle birleştirerek, daha büyük yerel yapay zeka modellerinin daha az bellek gereksinimiyle çalışmasını mümkün kılıyor.
─────────────────────────
🧠 Kenar Yapay Zekada Bellek Kısıtlamaları ve Çözüm
Kuruluşlar, yapay zeka iş yüklerini verinin üretildiği yere yaklaştırdıkça, bellek kapasitesi kritik bir sınırlayıcı faktör haline geldi. Büyük dil modelleri genellikle önemli miktarda DRAM veya VRAM kaynakları gerektirir, bu da sistem maliyetini artırır ve kompakt kenar cihazlarda dağıtımı kısıtlar.
Bu ortak çözüm, ASRock Industrial'ın kenar yapay zeka platformlarını Phison'ın aiDAPTIV bellek genişletme mimarisiyle birleştirerek bu zorluğun üstesinden geliyor. Amaç, geleneksel sistem belleğinin ötesinde model kapasitesini genişleterek, kurumsal ve endüstriyel uygulamalarda yerel yapay zeka çıkarımını (inference) sınırlayan bellek kısıtlamalarını azaltmaktır.
─────────────────────────
⚙️ Yapay Zeka Bellek Genişletme Mimarisi Detayları
İş birliği, ASRock Industrial'ın AI BOX-A395 platformunu Phison'ın aiDAPTIV teknolojisiyle entegre ediyor. Şirketlere göre, bu sistem 120 milyar parametreli bir büyük dil modelinin, 64 GB sistem belleği ve 85 GB aiDAPTIV önbellek belleği ile yerel olarak çalışmasını sağlıyor.
Bu mimari, benzer büyüklükteki modellerin geleneksel dağıtımlarına kıyasla, geleneksel bellek gereksinimlerini %50'ye kadar azaltmak üzere tasarlandı. Çözüm, sadece DRAM veya VRAM'e güvenmek yerine, çıkarım işlemleri sırasında model verilerini depolamak ve erişmek için SSD tabanlı bellek genişletmeyi kullanıyor.
Yapay zeka iş yükleri için optimize edilmiş ek bir yüksek hızlı depolama katmanı oluşturarak, platform daha büyük modelleri desteklerken, işletim sistemleri, kenar yazılım ajanları ve eşzamanlı uygulamalar için sistem bellek kaynaklarını koruyabiliyor.
─────────────────────────
⚡ Kenar Yapay Zeka Platformları ve Çıkarım Performansı
Uygulama, AMD Ryzen AI Max+ 395 işlemcilerle güçlendirilmiş AI BOX-A395 platformunu ve Intel Core Ultra Series 3 işlemcilere dayalı NUC Ultra 300 BOX Serisi'ni içeriyor.
Mimari, Uzman Karışımı (Mixture of Experts - MoE) çıkarım yaklaşımını kullanarak, işleme görevleri sırasında yalnızca seçilen model bileşenlerinin etkinleştirilmesine olanak tanıyor. Bu, her çıkarım isteği için tam model aktivasyonu gerektiren mimarilere kıyasla bellek kullanımını ve hesaplama yükünü azaltıyor.
128 GB bellekle donatılmış konfigürasyonlarda, model verileri dinamik olarak SSD önbellek kaynaklarına aktarılabiliyor, bu da sistemin mevcut DRAM ve VRAM'i ek iş yüklerine tahsis etmesini sağlıyor. Bu sayede tek bir kenar cihaz, yapay zeka çıkarımı yaparken aynı anda diğer yazılım süreçlerini de destekleyebiliyor.
─────────────────────────
📊 Yapay Zeka Sistemi Seçimi ve Dağıtım Desteği
Dağıtım planlamasını basitleştirmek için ASRock Industrial, doğrulanmış aiDAPTIV konfigürasyonlarını AI-Pathfinder platformuna entegre edecek. Bu araç, müşterilerin iş yükü özelliklerine ve dağıtım gereksinimlerine göre uygun donanım konfigürasyonlarını, hızlandırıcı kartları, GPU'ları ve kenar yapay zeka sistemlerini belirlemelerine yardımcı olmak üzere tasarlandı.
Amaç, sistem tasarım karmaşıklığını azaltmak ve belirli yapay zeka modellerini ve operasyonel ortamları destekleyebilecek altyapıyı seçmek için rehberlik sağlamaktır.
Bu iş birliği, kenar yapay zekanın geleceği için önemli bir adım olup, daha verimli ve güçlü yerel yapay zeka uygulamalarının önünü açmaktadır.
