Llama Tabanlı Kaynak Kod Güvenlik Açığı Tespiti: Komut Mühendisliği vs. İnce Ayar
Llama Tabanlı Kaynak Kod Güvenlik Açığı Tespiti
Yazılım üretimindeki önemli artış, son iki on yılda geliştirme döngülerindeki hızlanma nedeniyle, CVE programı tarafından yıllık olarak yayınlanan istatistiklerde de görüldüğü üzere, yazılım güvenlik açıklarında da istikrarlı bir artışa yol açmıştır. Bu nedenle, kaynak kod güvenlik açığı tespit (CVD) sürecinin otomasyonu, son derece önemli hale gelmiş ve program analizi tekniklerinden daha yeni AI tabanlı yöntemlere kadar çeşitli yöntemler önerilmiştir.
Araştırmamız, bugüne kadarki en başarılı AI modelleri arasında kabul edilen Büyük Dil Modelleri'ni (LLM'ler) CVD görevi için incelemektedir. Amacımız, performanslarını araştırmak ve bu görev için etkinliklerini artırmak üzere çeşitli son teknoloji teknikleri uygulamaktır. İnce ayar ve komut mühendisliği ayarlarını keşfediyoruz. Özellikle, LLM'leri ince ayarlamak için önerdiğimiz yeni bir yaklaşım olan Çift İnce Ayar'ı ve ayrıca az çalışılan Test Zamanı İnce Ayar yaklaşımını test ediyoruz.
Llama-3.1 8B ve Veri Kümeleri
Çalışmamızda, BigVul ve PrimeVul veri kümelerinden çıkarılan kaynak kod örneklerini kullanarak, yeni açık kaynaklı Llama-3.1 8B modelini kullanıyoruz. Sonuçlarımız, bu görev için ince ayarlamanın önemini, Çift İnce Ayar'ın performansını ve Llama modellerinin CVD potansiyelini vurgulamaktadır. Komut verme etkisiz olsa da, Geri Çağırma Destekli Üretim (RAG) örnek seçimi tekniği olarak nispeten iyi performans sergilemiştir.
Gelecek Çalışmalar
Araştırma sorularımızın bir kısmı yanıtlanmış olsa da, birçoğu hala yanıtsız kalmıştır ve bize gelecekteki çok sayıda çalışma perspektifi sunmaktadır.
Kaynaklar ve Referanslar
Sonuç
Yazılım güvenlik açıklarının tespit edilmesi ve önlenmesi, hızla gelişen yazılım endüstrisinde kritik öneme sahiptir. Llama gibi gelişmiş dil modellerinin bu alanda kullanılması, otomatik ve etkin çözümler sunma potansiyeline sahiptir. Çalışmamız, bu alandaki umut verici sonuçlar ortaya koymuş olsa da, daha fazla araştırma ve geliştirme çalışmasına ihtiyaç vardır.