Yapay Zeka Kodlama Ödevlerini Notlandırabilir mi?

Yapay zeka araçları, kodlama ödevlerini değerlendirme konusunda ne kadar başarılı? Michigan State Üniversitesi'nden Yulu Hou ve partneri Boyan Li, lisans öğrencilerinin kodlama ödevlerini puanlamak için ChatGPT'yi kullanarak dikkat çekici bir deney gerçekleştirdi.

Harvard Tıp Fakültesi'nde doktora çalışmaları kapsamında bir kodlama dersi veren Boyan Li, öğrencilerin hesaplamalı biyoloji algoritmalarını belirli veri setleri üzerinde uygulama ödevlerini değerlendirirken ciddi bir zaman kaybı yaşadığını fark etti. Kodların çalıştırılması ve çıktıların kontrol edilmesi ilk bakışta teknik bir işlem gibi görünse de, özellikle "gri bölgede" kalan, yani kısmen doğru ancak mantık yürütme hataları içeren ödevlerin değerlendirilmesi derin bir yorumlama süreci gerektiriyordu.

Bir yükseköğretim araştırmacısı olan Yulu Hou, bu süreci gözlemleyerek kodlama değerlendirmesinin sadece mekanik bir işlem olmadığını, aksine öğrencinin konuyu ne kadar anladığını belirlemeye çalışan bir "diyalog" olduğunu savundu. Bu noktada temel soru şuydu: Üretken yapay zeka (genAI), bu anlamlı yorumlama sürecini yok etmeden değerlendirme aşamasında yardımcı olabilir mi?

Kodlama ödevleri, kompozisyonların aksine katı kurallara ve net yapılara sahip olduğu için yapay zeka araçları için ideal bir alan gibi görünüyordu. Li, OpenAI'ın ChatGPT 5.4 modelini kullanarak; ödev talimatlarını ve referans çözümü sisteme yükledi ve öğrenci kodlarını doğruluk açısından değerlendirmesini istedi.

Ancak sonuçlar bekleneni karşılamadı. ChatGPT, öğrenci kodlarını ağırlıklı olarak referans çözümle kıyasladığı için geçerli olan alternatif çözüm yöntemlerini tanımakta zorlandı. Yapay zeka, asıl öğrenme hedefi olan "algoritmanın anlaşılması" yerine, düşük hesaplama verimliliği gibi ikincil ve küçük detaylara odaklandı.

Deneyin sonunda Hou, yapay zekanın başarısızlığının temel nedeninin "bağlam eksikliği" olduğunu tespit etti. Bu sorunu aşmak için yapay zekaya öğrencilerin sık yaptığı hataların bildirilmesi ve hangi küçük kusurların göz ardı edilebileceğinin net bir şekilde tanımlanması gerektiği sonucuna varıldı.