Bilimsel araştırma: Yapay zeka, bilmediğini itiraf etmektense yanlış cevap verme eğiliminde

Yeni bir araştırmaya göre, bir yapay zeka büyük dil modeli (LLM) ne kadar gelişmiş olursa, bir sorguya cevap veremediğini kabul etme ihtimali de o kadar azalıyor.

BEĞENDİM

Yeni bir araştırmaya göre, büyük dil modellerinin (LLM) bir kullanıcının sorusuna yanlış yanıt verme olasılığı, cevabı bilmediğini kabul etme olasılığından daha yüksek ve bu da onları daha az güvenilir yapıyor.

Euronews’in haberine göre, İspanya’daki Universitat Politecnica de Valencia’dan yapay zeka (AI) araştırmacıları, BigScience’ın BLOOM, Meta’nın Llama ve OpenAI’nin GPT’sinin en son sürümlerini, her modele matematik, fen ve coğrafya üzerine binlerce soru sorarak doğruluk açısından test etti.

Araştırmacılar her bir modelin verdiği yanıtların kalitesini karşılaştırdı ve bunları doğru, yanlış ya da kaçıngan yanıtlar olarak sınıflandırdı.

Nature dergisinde yayınlanan çalışmada, her yeni modelle birlikte daha zorlu problemlerde doğru cevapların arttığı görüldü. Yine de modeller, bir soruyu doğru yanıtlayıp yanıtlayamadıkları konusunda daha az şeffaf olma eğilimindeydi.

Daha önceki LLM modelleri cevapları bulamadıklarını ya da bir cevaba ulaşmak için daha fazla bilgiye ihtiyaç duyduklarını belirtirken, yeni modellerin tahmin etme ve kolay sorulara bile yanlış cevaplar üretme olasılığı daha yüksekti.

shutterstock2473384115 1jpg qDf3cIC3hESBoWy303HDaw

TEMEL PROBLEMLERİ ÇÖZMEDE BELİRGİN BİR GELİŞME YOK

LLM’ler, veri setlerini anlamak, tahmin etmek ve bunlara dayalı yeni içerikler üretmek için yapay zekayı kullanan derin öğrenme algoritmaları olarak biliniyor.

Yeni modeller daha karmaşık sorunları daha doğru bir şekilde çözebilirken, çalışmadaki LLM’ler temel soruları yanıtlarken hala bazı hatalar yapıyor.

Araştırmaya göre, çok düşük zorluk seviyelerinde bile tam güvenilirlik elde edilemiyor. Modeller son derece zorlu örnekleri çözebilseler de, çok basit örneklerde de başarısız oluyorlar.

OpenAI’nin GPT-4’ünde de aynı durum görülüyor; “kaçıngan” cevapların sayısı bir önceki model olan GPT-3.5’e göre önemli ölçüde düştü.

Çalışmanın yazarları, “Bu durum, daha yeni LLM’lerin kendi çalışma aralıkları dışında cevap vermekten daha başarılı bir şekilde kaçınacağı beklentisiyle uyuşmuyor,” dedi.

Araştırmacılar daha sonra, teknoloji ölçeklendirilmiş olsa bile modeller için “belirgin bir gelişme olmadığı” sonucuna vardı.