Llama Tabanlı Kaynak Kodu Güvenlik Açığı Tespiti: Komut İşleme vs. İnce Ayar

Giriş

Yazılım üretimindeki büyük artış, son yirmi yılda geliştirme döngülerindeki hızlanma nedeniyle, CVE programı tarafından her yıl yayınlanan istatistiklere göre yazılım güvenlik açıklarında da sürekli bir artışa yol açmıştır. Bu nedenle, kaynak kodu güvenlik açığı tespiti (CVD) sürecinin otomasyonu hayati önem kazanmış ve program analizi tekniklerinden, daha yeni AI tabanlı yöntemlere kadar çeşitli yöntemler önerilmiştir.

Bu araştırmamızda, Büyük Dil Modelleri (LLM'ler) üzerinde duruyoruz, çünkü bugüne kadarki en performanslı AI modelleri olarak kabul ediliyorlar ve CVD görevi için kullanılmalarını inceliyoruz. Amacımız, bu görev için etkinliklerini artırmak üzere farklı ince ayar ve komut işleme tekniklerini uygulamaktır.

İnce Ayar ve Komut İşleme Teknikleri

Çalışmamızda, Llama-3.1 8B modelini kullanıyor ve BigVul ile PrimeVul veri setlerinden elde edilen kaynak kod örneklerinden yararlanıyoruz. Özellikle, Çift İnce Ayar adını verdiğimiz yeni bir ince ayar yaklaşımını öneriyoruz ve Test Zamanı İnce Ayar yaklaşımını da test ediyoruz.

Ayrıca, Komut İşleme ve Geri Çağırma Destekli Üretim (RAG) tekniklerini de değerlendiriyoruz.

Sonuçlar ve Gelecek Çalışmalar

Araştırmamızın sonuçları, ince ayarın bu görev için çözüm bulmada önemli olduğunu, Çift İnce Ayar'ın performansını ve Llama modellerinin CVD için potansiyelini vurguluyor. Komut işlemenin etkisiz olduğu, ancak RAG'ın görece iyi performans gösterdiği tespit edilmiştir.

Bazı araştırma sorularımız yanıtlanmış olsa da, gelecekteki çalışmalar için daha fazla potansiyel bulunmaktadır.

Sonuç

Yazılım güvenlik açıklarının tespiti, hızla artan yazılım üretimi nedeniyle giderek daha önemli hale geliyor. Bu çalışmada, Llama tabanlı LLM'lerin CVD görevinde kullanılması incelenmiş ve farklı ince ayar ile komut işleme tekniklerinin etkinliği araştırılmıştır.

Sonuçlar, ince ayarın bu görevde kritik olduğunu, Çift İnce Ayar'ın umut verici olduğunu ve Llama modellerinin CVD için uygun olduğunu göstermektedir. Komut işleme etkisiz bulunurken, RAG iyi bir performans sergilemiştir.

Gelecek çalışmalar, bu alanda daha fazla potansiyel barındırmaktadır ve araştırmacıların ilgisini çekmeye devam edecektir.