Dil Modelleri Ses ile Anlam İlişkilendiriyor mu? Çok Modelli Ses Sembolizmi Çalışması

Dil Modelleri Ses ile Anlam İlişkilendiriyor mu?

Ses sembolizmi, sesbilimsel biçimler ile anlamları arasındaki keyfi olmayan ilişkileri ifade eden dilbilimsel bir kavramdır. Bu, Çok Modelli Büyük Dil Modellerinin (MLLMs) insan dillerindeki işitsel bilgileri nasıl yorumladığına dair dikkat çekici bir inceleme olabilir. Metinsel (yazım ve IPA) ve işitsel formlar ile en fazla 25 semantik boyut (örn. keskin vs. yuvarlak) üzerindeki fonetik ikoniklik performansını araştırıyor, modellerin katmanlı bilgi işleme süreçlerini fonem düzeyindeki dikkat kesir puanlarını ölçerek gözlemliyoruz.

Kapsamlı Mimik Kelime Veri Seti: LEX-ICON

Bu amaçla, İngilizce, Fransızca, Japonca ve Korece olmak üzere 4 doğal dilden 8.052 kelime ve sistematik olarak oluşturulmuş 2.930 sözde kelimeden oluşan, metin ve ses modellikleri için uygulanan semantik özelliklerle etiketlenmiş kapsamlı bir mimik kelime veri seti olan LEX-ICON'u sunuyoruz.

Temel Bulgular

Anahtar bulgularımız şunlardır: (1) MLLMlerin mevcut dilbilimsel araştırmalarla uyumlu fonetik sezgileri çeşitli semantik boyutlarda ve (2) ikonik fonemler üzerine odaklanan fonosemantik dikkat kalıpları. Bu sonuçlar, yapay zeka ve bilişsel dilbilim alanlarını birleştiriyor ve MLLMlerin yorumlanabilirliği açısından fonetik ikonikliğin ilk kapsamlı, nicel analizlerini sunuyor.

Sonuç

Çalışma, dil modellerinin ses ile anlam arasındaki ilişkileri nasıl algıladığını ve yorumladığını ortaya koyuyor. Bu, dil modellerinin dilbilimsel fenomenleri nasıl içselleştirdiğini anlamak için önemli bir adım. Gelecekteki çalışmalarda, modellerin ses sembolizmini daha derinlemesine anlamak ve uygulamak için yeni yollar keşfedilebilir.