5% GPU utilization: The $401 billion AI infrastructure problem enterprises can't keep ignoring

Son 24 aydır teknoloji dünyasındaki tüm aşırı veri merkezi yatırımlarını ve şişkin BT bütçelerini tek bir gerekçe haklı çıkarıyordu: GPU yarışı. Silikonun "yeni petrol" olarak görüldüğü bu dönemde, NVIDIA H100 gibi çipler adeta kaçak mal gibi el değiştirirken, şirketler geride kalmamak adına devasa kapasite rezervasyonları yaptı. Ancak şimdi fatura kesilmeye başlandı ve finans departmanları durumu yakından takip ediyor.

Gartner verilerine göre, yapay zeka altyapısı bu yıl 401 milyar dolarlık yeni bir harcama dalgası yaratıyor. Ancak gerçek dünya denetimleri, tablonun göründüğü kadar parlak olmadığını gösteriyor: Kurumsal düzeydeki ortalama GPU kullanım oranı %5 seviyelerinde çakılı kalmış durumda. Bu düşük verimlilik, atıl durumdaki GPU'ların serbest bırakılmasını neredeyse imkansız hale getiren, kendini besleyen bir satın alma döngüsünden kaynaklanıyor.

Durumu daha da kritik hale getiren unsur ise şirketlerin bilanço tablolarına çarpan sermaye harcamaları (CapEx) gerçeği. Birçok kuruluş, GPU kapasitesini geleneksel üç ila beş yıllık amortisman döngüleri kapsamında sabitledi. Bu durum, "GPU çılgınlığı" döneminde satın alınan altyapının, fiili kullanım miktarından bağımsız olarak artık kaçınılmaz bir sabit maliyet haline geldiği anlamına geliyor.

Varlıklar yaşlandıkça, asıl soru yatırımın haklı olup olmadığı değil, bu yatırımın nasıl üretken hale getirileceği noktasına evriliyor. Yetersiz kullanılan GPU'lar artık sadece boşta duran kaynaklar değil, ölçülebilir bir getiri sağlaması gereken ve değer kaybeden varlıklar olarak görülüyor. Bu durum, teknoloji dünyasında bir zihniyet değişimini zorunlu kılıyor: Artık odak noktası yeni kapasite edinmek değil, halihazırda kurulu olan sistemlerin ekonomik çıktısını maksimize etmek.

Dünya devi şirketler için asıl sorun hiçbir zaman çip erişimi olmadı. Intuit, Mastercard ve Pfizer gibi "Tier 1" olarak adlandırılan dev organizasyonlar; AWS, Azure ve GCP gibi bulut sağlayıcılarıyla olan güçlü ilişkileri sayesinde kapasite sorununu kolayca aşabildiler. Ancak bu şirketlerde kapasite rezerve edilmiş olsa da, iç ekipler veri yönetişimi, mimari yetersizlikler ve veri karmaşıklığı gibi sorunlarla boğuşurken bu kaynaklar atıl kaldı. Sektördeki "kıtlık" anlatısı, aslında bu verimsizliği örtbas eden bir duman perdesi işlevi gördü. Manşetler tedarik zinciri gecikmelerine odaklanırken, şirketlerin içindeki gerçeklik; çip satın alma konusunda zengin, ancak çıktı üretme konusunda son derece verimsiz bir yapıya dönüşmüştü.