Yapay Zekanın "Bellek Duvarı"nı Yıkacak Dev Sunucu: 128 TB Bellek

Bellek, modern yapay zeka büyük dil modellerinin (LLM) en ciddi kısıtlarından biridir. Etkili bir araştırmaya göre, LLM token üretimi doğası gereği bellek bağımlı bir işlemdir; yani modellerin metin çıktısı üretme hızı, verilerin bellekten ne kadar hızlı okunabildiğiyle sınırlıdır. Bu darboğazın şiddeti model boyutuyla birlikte artar. Bu durum, LLM çıkarım (inference) performansını geride tutan bir "bellek duvarı" (memory wall) oluşturur.

Yapay zeka donanım girişimi Majestic Labs, bu soruna doğrudan ve kapsamlı bir yaklaşımla çözüm getiriyor. Şirket, sunucu başına 128 terabayta kadar bellek sunan yeni bir yapay zeka sunucusu olan Prometheus'u geliştiriyor. Bu, Nvidia'nın son teknoloji AI işleme rafı DGX B300 sunucusundan 60 kattan daha fazla bellek anlamına geliyor.

Majestic Labs'in Prometheus AI sunucusu, tek bir sunucuda 128 TB'a kadar LPDDR6 bellek barındıracak. — Majestic Labs

Majestic Labs'in kurucu ortağı ve başkanı Sha Rabii, bu devasa bellek artışının şirketine avantaj sağlayacağına inanıyor. Nvidia'nın "ölçeklenebilir bir sistem yaratma konusunda olağanüstü bir iş çıkardığını" kabul etmekle birlikte, modeller büyüdükçe bu yaklaşımın daha az ekonomik hale geldiğini ve "hesaplamayı aşırı ölçeklendirip belleği aç bıraktığını" savunuyor.

LLM Belleği İçin DRAM Odaklı Mimari

Majestic Labs, "bellek duvarını" aşmak için rakiplerinden temelde farklı bir mimari kullanmayı planlıyor. Nvidia'nın mevcut sunucuları, bir LLM'nin model ağırlıklarını okumak için kullanılan yüksek bant genişlikli belleğe (HBM) sahiptir. Buna ek olarak, genellikle daha büyük ama daha yavaş bir dinamik rastgele erişim belleği (DRAM) havuzu bulunur ve bu da LLM ve sunucu yükünü yönetir. Majestic ise birleşik bir mimaride tamamen DRAM'e (özellikle LPDDR6) odaklanıyor.

Rabii, çoğu bellek arayüzünün kısa bir fiziksel mesafe (bazen sadece birkaç milimetre) üzerinden çalışacak şekilde tasarlandığını ve bunun ne kadar bellek yerleştirilebileceğini sınırladığını belirtiyor. "Hesaplama kalıbında HBM'nizi koyabileceğiniz bir kıyı şeridi elde edersiniz. Daha fazla koymak isterseniz, koyamazsınız," diye açıklıyor Rabii.

Bunu çözmek için Majestic, bir metreye kadar etkili olabilen, minyatür bakır kablolardan oluşan tescilli bir bellek arayüzü kullanıyor. Bu, bellek modüllerinin yanında fiziksel olarak bulunan ve sunucu genelinde belleği koordine eden özel bellek toplama çipleriyle eşleştiriliyor. Rabii, "Bu, o yüksek hızlı arayüz için bir uç nokta ve birçok, birçok emtia DRAM çipine dağılıyor," diyor. Majestic, bu tasarımın saniyede 25,6 terabayta kadar bellek bant genişliği sunduğunu belirtiyor.

LLM Hızlandırması İçin Ignite AI İşlemcisi

Daha fazla bellek iyi olsa da, bunun Nvidia'nın GPU'suna benzer bir AI hızlandırma ile eşleştirilmesi gerekiyor. Majestic'in buna çözümü, sunucunun hesaplama motoru olarak görev yapan özel bir AI işlem birimi olan Ignite. Prometheus sunucusu 12 Ignite çipi içeriyor.

Ignite, veri merkezi sınıfı ARM uygulama çekirdeklerini, RISC-V vektör ve tensör çekirdekleriyle aynı kalıpta birleştiriyor ve tümü aynı bellek alanını paylaşıyor. ARM çekirdekleri, AI modelini orkestre etmek için yonga üstü ana bilgisayar işlemci görevi görüyor. RISC-V çekirdekleri ise asıl LLM işlemesini gerçekleştiriyor. Sonuç, işlemciler arasında geçiş yapmadan LLM çıkarım taleplerinin birden çok yönünü ele alan tek bir çiptir.

Majestic Labs, Prometheus'un hesaplama performansı için henüz belirli metrikler açıklamadı.

Yazılım Uyumluluğu ve Mevcut Çerçeveler

Rabii, birçok AI çerçevesinin zaten yerleşik olduğu göz önüne alındığında yazılımın da önemli olduğunu kabul ediyor. "Müşteri benimsememizin her yönünde, ister fiziksel ister yazılım olsun, sürtüşmeyi mümkün olduğunca azaltmaya çalışıyoruz," diyor. Prometheus, PyTorch, vLLM ve OpenAI'in Triton çıkarım çerçevelerini kod değişikliği gerektirmeden destekleyecek. Bu, bu çerçevelerle uyumlu mevcut modellerin olduğu gibi çalışabileceği anlamına geliyor.

Prometheus Sunucu Tasarımı ve Fiyatlandırma

Tüm bunlar, Open Compute Project uyumlu olan sunucunun kendisinde birleşiyor. Bir sunucu rafına dört adede kadar sunucu sığabiliyor; raf başına güç tüketiminin toplam 120 kilowatt'a kadar çıkması bekleniyor ve ısı, soğuk plakalı sıvı soğutma ile yönetilecek. Sunucunun bellek tasarımı modülerdir, yani maksimum 128 TB'den daha az bellek ile satın alınan sunucular daha sonraki bir tarihte yükseltilebiliyor.

Projenin kapsamına rağmen Majestic, Prometheus'u fiyat açısından da konumlandırmak istiyor. Şirket, bunun HBM yerine DRAM kullanması sayesinde mümkün olacağını savunuyor. Fiyatlandırma henüz açıklanmadı; Prometheus'un 2027'de piyasaya çıkması bekleniyor.

Rabii, "Müşterilerimizin sermaye harcamaları, iş yüküne bağlı olarak 10 ila 50 kat düşecek ve güç tüketimi de benzer oranda azalacak," iddiasında bulunuyor.