Yapay Zeka Halüsinasyonları: Sosyal Bilimler Atıflarında Zirve!

Yapay zeka modellerinin var olmayan kaynaklara atıfta bulunması (halüsinasyon görmesi) sorunu son dönemde bilim dünyasında büyük bir endişe kaynağı haline geldi. Yeni bir araştırma ekibi, bu sorunun yaygınlığını şimdiye kadarki en kapsamlı şekilde değerlendirmek amacıyla 2,5 milyondan fazla makale ve ön baskıyı inceledi.

Yapılan denetimde, arXiv, bioRxiv, Social Science Research Network (SSRN) ve PubMed Central gibi büyük veri havuzlarında listelenen makale ve ön baskılardaki 111 milyon referans taranarak, yalnızca 2025 yılında yayınlanan materyallerde 146.932 adet yapay zeka kaynaklı "halüsinasyon" atıf tespit edildi.

Analiz, halüsinasyon atıflarının yaygınlığının araştırma alanına göre değiştiğini de ortaya koydu. Çoğunlukla sosyal bilimler araştırmalarını barındıran bir ön baskı sunucusu olan SSRN, yaklaşık %2'lik oranla en yüksek halüsinasyon atıf oranına sahipti. Bu oran, diğer büyük veri havuzlarının neredeyse beş katıydı.

Çalışmanın yazarlarından, Cornell Üniversitesi bilgi bilimi yardımcı profesörü Yian Yin, "Halüsinasyon atıflarının genel büyüklüğü ve dinamikleri karşısında gerçekten şaşkına döndük," açıklamasında bulundu. Analiz, arXiv ön baskı sunucusunda yayınlandı ve henüz hakem değerlendirmesinden geçmedi.

Yin ve meslektaşları, tanıdıkları araştırmacılar tarafından yazıldığı iddia edilen ancak kendilerine yabancı gelen bazı referansları fark etmelerinin ardından sorunun boyutunu araştırmaya karar verdiler. Yin, "Bu yazarları tanıyorum ve %90 eminim ki bu konuda bir makaleleri yok," diyerek araştırmaya nasıl başladıklarını belirtti.

Sorunun ölçeğini niceliksel olarak belirlemek için araştırmacılar, milyonlarca el yazmasından referans başlıklarını çıkardı ve bunları Semantic Scholar, OpenAlex ve Google Scholar veritabanlarıyla karşılaştırdı. Eşleştirilemeyen ve bir büyük dil modeli (LLM) tarafından akademik kaynak olarak değerlendirilen referanslar, eşleşmeyen olarak işaretlendi. Bibliyografik hatalar her zaman var olduğu için, araştırmacılar yalnızca ilk halka açık büyük dil modeli olan ChatGPT'nin piyasaya sürüldüğü 2022 yılından sonra yayınlanan materyallerdeki hatalı referansları saydı.