Yapay zeka alanında Mixture of Experts (MoE) mimarisine geçiş hız kazanıyor ve bu rekabet giderek kızışıyor. Signal65 tarafından yayınlanan yeni bir inceleme, Nvidia’nın Blackwell tabanlı GB200 NVL72 modellerinin AMD’nin Instinct MI355X çözümlerine kıyasla önemli bir avantaj sağladığını gösteriyor. Test sonuçlarına göre, Nvidia, MoE iş yüklerinde GPU başına 28 kata kadar performans artışı sunuyor.
Yapay zeka modelleri, kaynak kullanımını optimize ederek hızla MoE odaklı bir yapıya evriliyor. Bu yapıda, modellere “uzman” adı verilen alt ağlar oluşturuluyor ve her işlemde sadece ilgili uzmanlar aktif durumda oluyor. Ancak bu yapı büyüdükçe düğümler arası veri aktarımı, gecikme ve bant genişliği sorunları artış gösteriyor. Bu sebeple Amazon Web Services (AWS), Google Cloud, Microsoft Azure ve Oracle Cloud gibi ‘hiperölçekleyiciler’, yalnızca brüt performansa değil, ekonomik maliyet dengesine de odaklanıyor. Signal65’in analizine göre, bu dengelerin en iyi şekilde sağlandığı çözüm Nvidia GB200 NVL72 olarak öne çıkıyor.
72 Çip ve 30 TB Paylaşımlı Bellek
Analizin ilginç noktalarından biri, Nvidia’nın performans farkını nasıl sağladığıyla ilgili teknik detaylar. Şirket, MoE ölçekleme darboğazlarının üstesinden gelmek için “Extreme Co-Design” adı verilen bir yöntem kullanıyor. Bu strateji doğrultusunda, 72 adet GB200 çip, 30 TB yüksek kapasiteli paylaşımlı bellek ile tek bir raf sistemi içinde entegre çalışıyor. Bu mimarinin gecikmeleri önemli ölçüde azalttığı belirtildi. Sonuç olarak, InferenceMAX verilerine göre Nvidia’nın Blackwell tabanlı AI sunucuları, GPU başına saniyede 75 token işleyerek benzer yapıdaki AMD MI355X sistemlerini geride bırakıyor. Tam Boyutta Gör
Sadece performans anlamında değil, toplam sahip olma maliyeti (TCO) açısından da Nvidia’nın belirgin bir avantajı bulunuyor. Signal65, Oracle Cloud fiyatlarını referans alarak yaptığı hesaplamada, GB200 NVL72 raflarının token başına göreli maliyetinin 15 kat daha düşük olduğunu belirtiyor. Bu veri, Nvidia’nın donanım yapısının neden bulut sağlayıcıları ve büyük ölçekli AI geliştiricileri tarafından bu denli tercih edildiğini açık bir şekilde göstermektedir.
Elbette bu veriler, AMD ve Nvidia arasındaki rekabetin tümünü temsil etmiyor. AMD’nin MI355X Instinct çözümleri, yüksek HBM3e bellek kapasiteleri sayesinde yoğun ve sıkıştırılmış ortamlarda güçlü bir alternatif olmaya devam ediyor. Ancak mevcut nesilde, MoE iş yükleri açısından üstünlüğün Nvidia tarafında olduğu görülüyor. Gelecek dönemdeHelios ve Vera Rubin gibi yeni raf ölçekli çözümlerle rekabetin daha da artması bekleniyor.
