Yapay Zeka Destekli Güvenli Video Analizi: İnstance-Aligned Açıklamaların Gücü

Güvenli Video Analizi için Yeni Bir Çözüm

Güvenlik kritik uygulamalar için açıklanabilir video anomali tespiti (VAD) son derece önemlidir. Ancak mevcut araştırmaların çoğu, mekansal konumlandırmadaki eksiklikler nedeniyle açıklamaların doğrulanabilirliğini azaltmaktadır. Bu sınırlılık, özellikle çoklu varlık etkileşimlerinde kendini gösterir. Mevcut açıklanabilir VAD yöntemleri genellikle eksik veya görsel olarak hizalanmamış açıklamalar üretir, bu da güvenilirliklerini azaltır.

Instance-Aligned Açıklamaların Gücü

Bu zorlukları ele almak için, her bir metinsel iddiayı belirli nesne örnekleriyle, görünüm ve hareket öznitelikleriyle ilişkilendiren instance-aligned açıklamalar sunuyoruz. Çerçevemiz, kimin anomaliye neden olduğunu, her bir varlığın ne yaptığını, kimi etkilediğini ve açıklamanın nerede konumlandırıldığını yakalar. Bu, doğrulanabilir ve uygulanabilir bir akıl yürütme sağlar.

Kapsamlı Bir Değerlendirme Ortamı

Sekiz yaygın olarak kullanılan VAD benchmark'unu ve 868 ek video, sekiz konum ve dört yeni anomali türü içeren VIEW360+ veri setini oluşturduk. Bu, güvenilir ve yorumlanabilir anomali tespiti için sağlam bir test ortamı sunar.

Mevcut Yöntemlerin Sınırları

Deneyler, mevcut LLM ve VLM tabanlı yöntemlerin önemli sınırlamalarını ortaya koyarken, güvenilir ve yorumlanabilir anomali tespiti için sağlam bir temel sağlamaktadır.

Sonuç

İnstance-aligned açıklamalar, güvenlik kritik uygulamalarda güvenilir ve doğrulanabilir anomali tespiti sağlar. Bu yeni yaklaşım, gelecekteki araştırmalar için kapsamlı bir test ortamı sunarken, mevcut yöntemlerin önemli kısıtlamalarını da ortaya koymaktadır.