Yapay zeka kodu hızlandırdı, darboğaz kod incelemesine kaydı: Harvard araştırması ne söylüyor?
655 şirket ve 720 bin çalışanın verisi: AI ajanları kod satırını %44 artırdı, tamamlanan iş yalnızca %13,7 arttı. Aradaki fark kod incelemesinde birikiyor; onay süresi %56 uzadı.
Yapay zeka kod yazmayı hızlandırdı. Peki yazılım ekipleri gerçekten daha fazla iş mi teslim ediyor? Harvard Üniversitesi'nden Fiona Chen ve James Stratton'ın "Artificial Intelligence in the Firm: Bottlenecks in Software Production" başlıklı çalışması bu soruya bugüne kadarki en geniş veriyle bakıyor: 655 şirket, 720.542 çalışan ve 445 milyon iş kaydı (GitHub hareketleri, Jira işleri, takvim kayıtları). Sonuç kısaca şöyle: kod çok arttı, teslim edilen iş az arttı, aradaki fark kod incelemesinde birikti.
Kod arttı, teslim edilen iş aynı hızla artmadı
Araştırma iki kuşak aracı ayrı ayrı ölçüyor. Satır tamamlayan AI asistanları, benimsendikten sonra kod satırını %30,4, commit sayısını %16,8, pull request sayısını %20,9 artırıyor. Görevi baştan sona kendi yürüten AI ajanları bunun üzerine kod satırında %44,0, commit'te %36,0, açılan pull request'te %35,7 artış getiriyor.
Üretime çıkan işe bakınca tablo değişiyor. Asistanların kapatılan Jira işlerine etkisi sıfıra yakın (−%1,5). Ajanlarda artış %13,7; yazarlar bunu "sınırda anlamlı" diye niteliyor. Yani kod %44 artarken tamamlanan iş en iyi ihtimalle bunun üçte biri kadar artıyor. İşlerin büyüdüğüne dair bir işaret de yok; yazarlar iş tanımlarını ayrıca inceleyip bunu denetlemiş.
Fark nerede kayboluyor: kod incelemesi
AI ajanları benimsendikten sonra bir değişikliğin incelemeye gönderilmesinden onaylanmasına kadar geçen süre %56,1 uzuyor. Bunun iki parçası var: kod, bir inceleyenin eline geçmek için %59,9 daha uzun bekliyor; inceleme başladıktan sonra da %58,5 daha uzun sürüyor. Değişiklik başına yorum sayısı %38,6 artıyor.
İlk parça basit bir kuyruk sorunu: aynı sayıda inceleyene daha fazla kod geliyor. İkinci parça daha önemli: inceleme başına harcanan emek de artıyor, yani gelen kodu onaylanır hale getirmek daha zor. İncelemeyi çoğunlukla o kodu tanıyan kıdemli mühendisler yaptığı için yük en pahalı kişilerin üzerinde toplanıyor. Yazarların modeline göre ajanlar kod yazma verimini %73,7 artırırken inceleme verimini %7,0 düşürüyor; şirketler de emeği kodlamadan incelemeye kaydırıyor.
AI inceleme araçları neden yetmedi?
Şirketlerin %79,1'i bir AI kod inceleme aracı kullanıyor. Darboğaz yine de sürüyor, çünkü son onayı hâlâ insan veriyor ve inceleme yorumlarının büyük çoğunluğunu insanlar yazıyor. Araç yorum üretebiliyor; ama "bu değişiklik üretime çıkabilir" kararının sorumluluğunu almıyor.
Yazarların beş yıllık benzetimi de aynı yere işaret ediyor: inceleme verimi yerinde sayarsa çıktı 2031'e kadar %57,8 artıp duruyor; inceleme kodlamayla aynı hızda gelişirse artış %341,4'e çıkıyor. Kazancın büyüklüğünü kod yazma hızı değil, inceleme kapasitesi belirliyor.
Bundan ne çıkarmalı?
Önce bir not: bu bir çalışma makalesi, henüz hakem değerlendirmesinden geçmedi ve veri, mühendislik analitiği satan Jellyfish'in müşterilerinden geliyor. Rakamlar sürümden sürüme değişti (ağustos sürümünde inceleme süresindeki artış %49'du, 14 Kasım sürümünde %56,1). Yön ise her sürümde aynı.
Ekipler için pratik sonuçlar:
1. Ölçtüğünüz şeyi değiştirin. Kod satırı ve pull request sayısı artık başarıyı göstermiyor. Tamamlanan işe, bir değişikliğin açılmasından onaya kadar geçen süreye ve geri gönderilen değişikliklerin oranına bakın.
2. İnceleme kapasitesini bütçeleyin. Ajan lisansı alırken, o kodu kimin inceleyeceğini de planlayın. Onayların %80'ini kaç kişinin verdiğine bakmak iyi bir başlangıç.
3. İnceleyenin elindeki kanıtı artırın. İnceleme süresini uzatan şey güvensizlik: inceleyen, değişikliğin neyi bozabileceğini kendi kafasında çözmek zorunda kalıyor. Değişikliğin dokunduğu testler kendiliğinden koşmuşsa ve pull request'te hangi değişen satıra hiçbir testin ulaşmadığı görünüyorsa, inceleyen "çalışıyor mu" sorusunu değil "doğru tasarım mı" sorusunu inceler.
Üçüncü madde bizim de üzerinde çalıştığımız yer. CoverOps, her pull request'te değişen satırlardan hangilerinin testle karşılandığını gösterir; TestingOps değişikliğe göre testleri üretir ve koşturur. Araştırmanın ölçtüğü darboğazı testin tek başına çözeceğini söylemiyoruz; yazarlar da öyle bir şey söylemiyor. Ama kod üretimi bu hızla artarken, inceleyenin önüne kanıtıyla gelen değişiklik ile kanıtsız gelen değişiklik arasındaki fark her ay büyüyor.