AI Kodlama Ajanlarının Yazılım Geliştirme Üzerindeki Etkisini Ölçmek

AI Kodlama Ajanlarının Yazılım Geliştirme Üzerindeki Etkisi

Büyük dil modeli (LLM) tabanlı kodlama ajanları giderek daha otonom katkıda bulunan olarak hareket etmektedir, ancak gerçek dünya projelerine etkileri, özellikle yaygın olarak benimsenen IDE tabanlı AI asistanlarına kıyasla belirsizdir. Eşleştirilmiş kontrolleri kullanarak açık kaynaklı depolarda ajan benimsenmesinin uzun vadeli nedensel bir çalışmasını sunduk. AIDev veri kümesini kullanarak, benimsemeyi ilk ajan tarafından oluşturulan çekme isteği olarak tanımlıyor ve geliştirme hızı (işlenen sayısı, eklenen satır) ve yazılım kalitesi (statik analiz uyarıları, bilişsel karmaşıklık, yineleme ve yorum yoğunluğu) gibi aylık depo düzeyindeki sonuçları analiz ediyoruz.

Hız Kazançları ve Kalite Riskleri

Sonuçlar, ajanların bir projede gözlemlenen ilk AI aracı olduğunda büyük, ön yüklü hız kazançları olduğunu göstermektedir; daha önce AI IDE kullanımı deneyimi olan depolarda minimum veya kısa ömürlü verim faydaları vardır. Buna karşılık, kalite riskleri ayarlar genelinde kalıcıdır, statik analiz uyarıları ve bilişsel karmaşıklık sırasıyla yaklaşık %18 ve %35 oranında artmaktadır.

Azalan Getiriler ve Kalite Önlemleri

Bu heterojen etkiler, AI yardımına azalan getiriler olduğunu ve kalite güvenceleri, köken izleme ve seçici ajan dağıtımı gerektirdiğini göstermektedir. Bulgularımız, ajansal ve IDE tabanlı araçların nasıl etkileşime girdiğini anlamak için ampirik bir temel oluşturuyor ve AI entegre edilmiş geliştirme iş akışlarında ivmelenme ile sürdürülebilirlik arasındaki dengeyi araştırmayı motive ediyor.