Yapay zeka modelleri finansal sorularda yüksek hata oranıyla karşılaştı

Teknoloji firması Saturn'ün gerçekleştirdiği araştırma kapsamında, ChatGPT, Claude, Copilot, Grok ve Gemini gibi 18 farklı yapay zeka modeline 100'den fazla finansal soru yöneltildi. Toplamda 10 bini aşkın sorgulamanın incelendiği çalışmada, modellerin finansal sorulara verdiği yanıtların ortalama yüzde 57 oranında hatalı olduğu tespit edildi. Birden fazla işlem gerektiren karmaşık sorularda hata oranının yüzde 88'e yükseldiği, bazı modellerde ise bu oranın yüzde 99'a ulaştığı belirlendi.

İncelemeler sonucunda yapay zeka yanıtlarının hatalı hesaplamalar içerdiği, güncel vergi değişikliklerini göz ardı ettiği veya var olmayan kurallar uydurduğu saptandı. Saturn CEO'su Amal Jolly, milyonlarca insanın para tavsiyesi almak için bu modellere güvendiğini ancak yanlış yanıtların ciddi maddi kayıplara yol açabileceğini ifade etti. Araştırmada, Claude Haiku 4.5 modelinin emeklilik vergi kurallarına ilişkin hatalı bilgisi nedeniyle bir kullanıcının 17 bin 500 sterlinlik ceza riskiyle karşı karşıya kaldığı örneği paylaşıldı.

Çalışma verilerine göre, ücretli modeller ücretsiz sürümlere, yeni modeller ise eski sürümlere kıyasla daha başarılı performans sergiledi. Mantık yürütme modunda çalışan Claude Opus 5, yüzde 39'luk hata oranına rağmen genel anlamda en iyi performansı gösteren model olarak kaydedildi. Uzmanlar, yapay zekanın metin tabanlı verilerde başarılı olsa da bilanço analizleri, borsa tabloları ve çok katmanlı finansal verileri yorumlamada yetersiz kaldığına dikkat çekti.

Yapay zeka araçlarının finans ve yatırım dünyasında yaygınlaşmasına rağmen, karmaşık veriler arasındaki mantıksal bağları kurmakta zorlandığı belirtildi. Modellerin finansal tablolardaki ince ayrıntıları gözden kaçırabildiği ve gerçek dışı veriler üreterek yatırımcıları hatalı kararlara yönlendirebileceği vurgulandı.