Doktorların Yapay Zeka Noterleri Uyduruyor: Ontario'da Şok Denetim

Son yıllarda yoğun iş yükü altında çalışan birçok doktor, hasta görüşmelerini, tanıları ve tedavi kararlarını otomatik olarak özetleyip sağlık kayıtlarına işleyen "yapay zeka tıbbi katiplerine" yöneldi. Ancak Ontario Sayıştayı tarafından gerçekleştirilen kapsamlı bir denetim, hükümet tarafından önerilen bu sistemlerin düzenli olarak yanlış, eksik ve "halüsinasyon" içeren bilgiler ürettiğini ortaya koydu. Raporda, bu hataların yetersiz veya zararlı tedavi planlarına yol açabileceği ve doğrudan hasta sağlığını tehlikeye atabileceği konusunda ciddi uyarılarda bulunuldu.

Ontario hükümetinin "Hükümette Yapay Zeka Kullanımı" raporu kapsamında, sağlık kuruluşlarının satın alması için önceden onaylanmış ve kalifiye edilmiş 20 farklı yapay zeka yazılımı tedarikçisi test edildi. İki simüle edilmiş hasta-doktor görüşmesi üzerinden yapılan transkripsiyon testlerinde, 20 tedarikçinin tamamının en az bir testte doğruluk veya eksiklik sorunu yaşadığı tespit edildi. Verilere göre, 9 yazılım tamamen hayali hasta bilgileri üretti, 12 yazılım bilgileri yanlış kaydetti ve 17 yazılım ise ruh sağlığıyla ilgili kritik detayları tamamen göz ardı etti.

Sayıştayın raporunda, hastanın sonraki bakım sürecini doğrudan etkileyebilecek korkutucu hatalara dikkat çekildi. Yapay zeka sistemlerinin, gerçekte hiç yapılmamış kan tahlili veya terapi yönlendirmelerini varmış gibi gösterdiği, reçete edilen ilaç isimlerini yanlış yazdığı ve simülasyonlarda konuşulan kritik psikolojik detayları atladığı belirlendi. Tedarikçilerin "tıbbi notların doğruluğu" kriterindeki ortalama puanı 20 üzerinden sadece 12 olarak kaydedildi.

Rapordaki en çarpıcı detaylardan biri ise onay sürecindeki kriterlerin dağılımı oldu. Kritik öneme sahip olan "doğruluk" metriğinin, bir tedarikçinin toplam puanının yalnızca yüzde 4'ünü etkilediği ortaya çıktı. Buna karşılık, tedarikçinin "Ontario'daki yerel varlığı" gibi tıbbi performansla ilgisi olmayan bir kriterin puanlamada yüzde 30 ağırlığa sahip olduğu görüldü. Bu durum, bir yapay zeka sisteminin doğruluk testinden sıfır alsa bile minimum onay eşiğini kolayca geçebildiğini gösteriyor.

Denetim raporu, mevcut yapay zeka katiplerinin "yeterince değerlendirilmediği" sonucuna varırken, bu sistemlerin hasta güvenliğini riske atmamak adına çok daha sıkı testlerden geçirilmesi gerektiğini vurguluyor.