Yapay zeka modellerinin sosyal yardım bilgilerindeki doğruluğu araştırıldı

Bilecik Şeyh Edebali Üniversitesi Sağlık Bilimleri Fakültesi Dr. Öğr. Üyesi Hacer Taşkıran Tepe, yapay zeka sistemlerinin sosyal yardım hizmetlerine erişimde sunduğu bilgilerin niteliğini araştırdı. 'Accuracy and Readability of Large Language Models’ Responses to Frequently Asked Questions on Social Assistance' başlıklı çalışma, uluslararası Journal of the Society for Social Work and Research dergisinde yayımlandı.

Araştırma kapsamında, Aile ve Sosyal Hizmetler Bakanlığı'nın resmi internet sitesinde yer alan sosyal yardımlara ilişkin sıkça sorulan sorular; ChatGPT-3.5, ChatGPT-4o, Gemini ve Microsoft Copilot modellerine yöneltildi. Çalışmada, yapay zeka tarafından üretilen yanıtların hem hukuki ve uygulama açısından doğruluğu hem de farklı kullanıcı grupları tarafından anlaşılabilirliği ölçüldü.

Yapılan analizler sonucunda, yapay zeka modellerinin sosyal yardım konusundaki bilgi sunma performanslarının birbirinden farklı olduğu ve hiçbir modelin tüm sorular bakımından yeterli düzeyde doğruluk sağlayamadığı tespit edildi. Ayrıca, modeller tarafından üretilen yanıtların ortalama olarak orta güçlükte bir okunabilirlik düzeyinde olması, sunulan bilginin herkes tarafından kolaylıkla anlaşılamayabileceğini ortaya koydu.

Dr. Öğr. Üyesi Hacer Taşkıran Tepe, sosyal yardım programlarının kapsamı ve başvuru koşulları konusunda yanlış bilgi edinilmesinin ihtiyaç sahiplerinin hak kaybına yol açabileceğine dikkat çekti. Tepe, yapay zeka araçlarının tek bilgi kaynağı olarak değil, resmi mevzuat ve kurumsal kaynaklarla doğrulanması gereken destekleyici araçlar olarak kullanılması gerektiğini belirtti.