Araştırma, karmaşıklık arttığında LLM'lerin basit muhakemeye yöneldiğini ortaya koyuyor

Bir araştırma ekibi kapsamlı bir çalışma yayınladı 20 Kasım'da 192,000'den fazla akıl yürütme izini analiz ederek büyük dil modelleri (LLM'ler)Yapay zeka sistemlerinin, insanların doğal olarak kullandığı hiyerarşik bilişsel süreçler yerine yüzeysel, doğrusal stratejilere dayandığını ortaya koyuyor.

Araştırma ekibi, metin, görsel ve işitsel muhakeme görevlerinde 18 farklı modeli inceleyerek, yaklaşımlarını çalışma için özel olarak toplanan 54 insan sesli düşünme iziyle karşılaştırdı. Analiz, hesaplamalı kısıtlamaları, üst-bilişsel kontrolleri, bilgi temsillerini ve dönüşüm işlemlerini kapsayan 28 bilişsel öğeden oluşan bir sınıflandırma oluşturdu ve modellerin yalnızca doğru cevaplar üretip üretmediğini değil, aynı zamanda bu sonuçlara nasıl ulaştıklarını değerlendirmek için bir çerçeve sağladı.

Bilişsel Mimarideki Temel Farklılıklar

İnsan muhakemesi, hiyerarşik iç içe geçme ve meta-bilişsel izlemeyi (kişinin kendi düşünme süreçleri üzerinde düşünme ve düzenleme becerisi) sürekli olarak sergiler. İnsanlar, karmaşık problemler arasındaki ilerlemelerini aktif olarak izlerken, bilgileri akıcı bir şekilde iç içe geçmiş yapılar halinde düzenlerler.

Hukuk alanında lisans programları (LL.M.) çoğunlukla yüzeysel ileri zincirleme kullanır ve insan bilişinin karakteristik özelliği olan hiyerarşik organizasyon veya öz-yansıtma olmadan, sorunlar arasında adım adım ilerler. Bu farklılık, görevler kötü yapılandırılmış veya belirsiz olduğunda, insan uyumunun yapay zeka yaklaşımlarından önemli ölçüde daha iyi performans gösterdiği durumlarda en belirgin hale gelir.

Çalışma, dil modellerinin başarılı akıl yürütmeyle ilişkili davranışsal bileşenlere sahip olduğunu, ancak bunları kendiliğinden uygulamada genellikle başarısız olduğunu ortaya koymuştur. Performans, problem türüne göre önemli ölçüde değişmektedir: ikilem muhakemesi en yüksek varyansı sergilerken, küçük modeller önemli ölçüde zorlanırken, mantıksal muhakeme orta düzeyde bir performans sergilemiş ve büyük modeller genellikle küçük modellerden daha iyi performans göstermiştir. Modeller, karmaşık görevlerde başarılı olurken, daha basit varyantlarda başarısız olarak sezgiye aykırı zayıflıklar göstermektedir.

Rehberli Akıl Yürütme Yoluyla Performans İyileştirmeleri

Araştırma ekibi, başarılı bilişsel yapıları otomatik olarak destekleyen ve modeller daha insan benzeri muhakeme yaklaşımları benimsemeye yönlendirildiğinde karmaşık problemlerde %66.7'ye varan performans iyileştirmeleri gösteren test zamanı muhakeme rehberliği geliştirdi. Bu bulgu, hukuk yüksek lisansı (LL.M.) öğrencilerinin daha karmaşık muhakeme için gizli yeteneklere sahip olduklarını, ancak bunları etkili bir şekilde kullanmak için açık rehberliğe ihtiyaç duyduklarını göstermektedir.

Görev karmaşıklığı arttıkça, insan ve yapay zeka akıl yürütmesi arasındaki fark da giderek büyüyor. Modeller, yalnızca ileri zincirleme yoluyla basit sorunları çözebilse de, insanların belirsiz veya çok katmanlı zorluklarla karşılaştıklarında doğal olarak kullandıkları türden yinelemeli, kendi kendini izleyen stratejilerle başa çıkmakta zorlanıyorlar.

Çalışmanın herkese açık veri seti, yapay zeka ve insan zekasını karşılaştıracak gelecekteki araştırmalar için bir temel oluşturuyor. 28 farklı bilişsel unsuru haritalayan çerçeve, araştırmacıların yalnızca doğruluk puanlarını ölçmek yerine, yapay zeka muhakemesinin tam olarak nerede bozulduğunu belirlemelerini sağlıyor.

Yapay Zeka Geliştirmeye Yönelik Etkiler

Bulgular, mevcut yapay zeka sistemlerindeki temel bir sınırlamayı vurguluyor: hesaplama kapasitesi ile gerçek bilişsel gelişmişlik arasındaki uçurum. Büyük veri kümeleri üzerinde eğitilen modeller, birçok görevde doğru yanıtları bulmak için kalıp eşleştirmesi yapabilir, ancak insan problem çözme becerisinin karakteristik özelliği olan yansıtıcı, hiyerarşik düşünmeden yoksundur.

Bu araştırma, artan endişelere dayanmaktadır Yapay zekanın akıl yürütme sınırlamaları Birden fazla alanda tanımlanmıştır. Rehberli akıl yürütmeden kaynaklanan performans iyileştirmesi, daha iyi yönlendirme stratejilerinin ve mimari değişikliklerin, modellerin gizli akıl yürütme yeteneklerine daha etkili bir şekilde erişmelerine yardımcı olabileceğini göstermektedir.

Çalışmanın en önemli katkısı, araştırmacılara ve geliştiricilere belirli iyileştirme hedefleri sunan bilişsel unsurların ayrıntılı sınıflandırması olabilir. Çerçeve, akıl yürütmeyi tek bir yetenek olarak ele almak yerine, eğitim değişiklikleri veya hızlı mühendislik teknikleriyle ayrı ayrı ele alınabilen ölçülebilir bileşenlere ayırır.