İngiltere Yapay Zeka Güvenlik Enstitüsünden bilgisayar bilimciler ile Stanford, Berkeley ve Oxford üniversitelerinin de aralarında bulunduğu 14 kurumdan 29 araştırmacı, "Önemli Olanı Ölçmek: Büyük Dil Modeli Kıyaslamalarında Yapı Geçerliği" başlıklı bir çalışma yaptı.

Bilim insanları çalışmada, yapay zekanın alt dallarından olan "doğal dil işleme" ve "makine öğrenimi" alanlarının önde gelen konferanslarından alınan 445 değerlendirme testini sistematik olarak inceledi.

İncelemeler sonucunda, testlerin neredeyse hepsinin "sonuçların geçerliliğini zedeleyebilecek" kusurlara sahip olduğu sonucuna ulaşıldı.

Çalışmanın baş yazarı, Oxford İnternet Enstitüsünden Andrew Bean, çalışmaya ilişkin Guardian'a yaptığı açıklamada, kullanılan bu testlerin büyük teknoloji şirketleri tarafından piyasaya sürülen son yapay zeka modellerinin değerlendirilmesinde kullanıldığını söyledi.

Bean, değerlendirme testlerinin yapay zekayla ilgili tüm iddiaların temelini oluşturduğuna vurgu yaparak ortak tanımlar ve sağlıklı ölçümler olmadan modellerin gerçekten gelişip gelişmediğini anlamanın zorlaştığını kaydetti.