Google Gemma 4: Token Tahminiyle 3 Kat Daha Hızlı

Google, yerel yapay zeka performansında yeni bir standart belirlemek amacıyla piyasaya sürdüğü Gemma 4 açık kaynaklı modelleri için heyecan verici bir güncelleme yayınladı. Şirket, "Çoklu Token Tahmini" (Multi-Token Prediction - MTP) taslaklarını devreye alarak, modelin yanıt üretim hızını herhangi bir kalite kaybı yaşamadan 3 kata kadar artırmayı başardı.

Bu hız artışı, deneysel modellerde kullanılan ve "spekülatif kod çözme" (speculative decoding) olarak adlandırılan bir yöntemle sağlanıyor. Geleneksel büyük dil modelleri (LLM), tokenları otoregresif bir yöntemle, yani her seferinde bir önceki token'a dayanarak tek tek üretir. Bu durum, basit bir dolgu kelimesi üretilirken bile karmaşık bir mantıksal problem çözülüyormuş gibi aynı işlem gücünün harcanmasına neden oluyordu. MTP teknolojisi ise gelecekteki tokenları önceden tahmin ederek bu süreci optimize ediyor ve üretim hızını ciddi oranda yükseltiyor.

Google'ın öncü Gemini AI modelleriyle aynı temel teknoloji üzerine inşa edilen Gemma 4, özellikle yerel donanımlarda çalışacak şekilde optimize edildi. Gemini modelleri devasa TPU kümeleri ve yüksek hızlı bellek sistemleri gerektirirken, Gemma 4'ün en büyük versiyonu tek bir yüksek performanslı AI hızlandırıcıda tam hassasiyetle çalışabiliyor. Ayrıca kuantizasyon işlemi sayesinde modelin tüketici sınıfı GPU'larda çalıştırılması da mümkün hale geliyor.

Kullanıcılara verilerini bulut sistemlerine aktarmak yerine kendi donanımları üzerinde işlem yapma özgürlüğü sunan Gemma 4, lisanslama tarafında da önemli bir değişikliğe gitti. Google, önceki sürümlerde kullandığı özel lisans yerine, çok daha esnek ve izin verici olan Apache 2.0 lisansına geçiş yaparak geliştiricilerin önündeki engelleri kaldırdı.