Dil Modelleri Ses ile Anlam İlişkisini Kurabiliyor mu? Çoklu Modaliteli Ses Sembolizmi Çalışması

Dil Modelleri Ses ile Anlam İlişkisini Kurabiliyor mu?

Ses sembolizmi, sesin biçimsel yapısı ile anlamsal içeriği arasındaki keyfi olmayan ilişkileri ifade eden dilbilimsel bir kavramdır. Bu çalışmada, Çoklu Modaliteli Dil Modellerinin (ÇMDM) ses bilgisi ile ilgili bilgileri nasıl yorumladıklarını inceliyoruz. Ortografik, IPA ve ses biçimlerindeki girişler üzerinde 25 semantik boyut (örn. keskin vs. yuvarlak) üzerinden fonolojik ikonikliği araştırıyor ve modellerin katmanlı bilgi işleme süreçlerini ses bilgisi odaklı dikkat ölçümleriyle ölçüyoruz.

LEX-ICON Veri Seti

Bu amaçla, 4 farklı dilde (İngilizce, Fransızca, Japonca ve Korece) 8.052 sözcük ve 2.930 yapay sözcükten oluşan kapsamlı bir LEX-ICON veri setini sunuyoruz. Bu veri seti, hem metin hem de ses modalitelerinde uygulanan semantik özelliklerle etiketlenmiştir.

Temel Bulgular

1. ÇMDM'lerin, mevcut dilbilimsel araştırmalarla uyumlu fonolojik sezgileri
2. Modellerin fonolojik-anlamsal dikkat desenlerinin, ikonik sesler üzerindeki odaklanmalarını vurgulaması

Bu sonuçlar, yapay zeka ve bilişsel dilbilim alanlarını birleştirerek, ÇMDM'lerin yorumlanabilirliği bağlamında fonolojik ikonikliğin ilk kapsamlı, nicel analizlerini sunuyor.

Sonuç

Çalışmanın bulguları, dil modellerinin ses bilgisi ile anlam arasındaki ilişkileri yorumlayabildiğini gösteriyor. Bu sonuçlar, dil teknolojilerinin gelişimi ve insan dilinin doğasının daha iyi anlaşılması için önemli katkılar sağlıyor.