Video-BrowseComp: Açık Web'de Etkin Video Araştırması için Bir Karşılaştırma Platformu
Video-BrowseComp: Açık Web'de Etkin Video Araştırması için Bir Karşılaştırma Platformu
Otonom ajanların evrimleşmesi, bilgi edinme sürecini pasif geri çağırmadan proaktif, açık uçlu web araştırmasına dönüştürmektedir. Ancak metin ve statik çoklu ortam ajanlarındaki hızlı ilerlemeye rağmen, web'in en dinamik modalitesi olan videoda hala önemli bir modalite açığı bulunmaktadır. Mevcut video kıyaslamaları büyük ölçüde pasif algıya odaklanmakta, modellere düzenlenmiş klipleri beslemekte ve dış alıntıların doğrulanmasını gerektirmeyen amaçlar sunmaktadır.
Bu açığı kapatmak için, Video-BrowseComp adlı zorlu bir kıyaslama platformu sunduk. Bu platform, açık web'deki etkin video akıl yürütmesi için tasarlanmış 210 sorudan oluşmaktadır. Önceki kıyaslamalardan farklı olarak, Video-BrowseComp, cevapların yalnızca metin aramasıyla türetilemeyeceği, video zaman çizelgelerinde gezinilerek dış iddiaların doğrulanması gerektiği bir bağımlılık dayatmaktadır.
Mevcut Modellerin Performansı
Öncül arama destekli modeller olan GPT-5.1 (w/ Search) gibi son teknoloji modellerin bile yalnızca %15,24 doğruluk oranına ulaşması, kritik bir darboğazı ortaya koymaktadır. Analizlerimiz, bu modellerin büyük ölçüde metin vekilleri üzerine dayandığını, meta verisi açısından zengin alanlarda (örn. konusu özetleri olan TV şovları) üstün performans gösterdiğini ancak meta verisi zayıf, dinamik ortamlarda (örn. spor, oyun oynama) görsel temellenmenin hayati önem taşıdığı durumlarda çöktüğünü göstermektedir.
Video-BrowseComp'un Önemi
Video-BrowseComp, pasif algıdan proaktif video akıl yürütmeye geçişi teşvik eden ilk açık web video araştırması kıyaslamasıdır. Bu platform, video işleme alanında yeni bir çağ başlatmayı hedeflemektedir.
Sonuç
Video-BrowseComp, web'deki en dinamik modaliteyi işleme konusunda kritik bir boşluğu doldurmaktadır. Bu zorlu kıyaslama, video akıl yürütme alanındaki son teknoloji modellerin sınırlarını ortaya koymakta ve gelecekteki araştırmalara yön vermektedir.