Regresyon testinde yapay zeka: değişikliğin dokunduğu testleri koşturun

Regresyon setleri kimsenin bakımına yetişemeyeceği hızda büyür. Her sürüm test ekler, pek azı silinir ve tam koşu dakikalardan saatlere çıkar. Ekipler sonunda kötü bir seçimle karşılaşır: her şeyi koşturup beklemek ya da hafızaya göre seçilmiş bir kısmı koşturup umut etmek. Yapay zeka üç yerde yardım edebilir: neyin koşacağını seçmek, testleri ayakta tutmak ve koşturma maliyetini sabit tutmak.

1. Testleri değişikliğin dokunduğu koda göre seçin

Bir regresyon koşusunun cevaplaması gereken soru basit: bu değişiklik daha önce çalışan bir şeyi bozdu mu? Cevap için hangi testlerin değişen kodu çalıştırdığını bilmeniz gerekir.

CoverOps bunu çalışan servislerde ölçer. Hafif agent'lar yayındaki Java, .NET, Node.js, Python, Go ve PHP servislerine takılır ve her fonksiyonel, uçtan uca ya da manuel testin hangi satırları çalıştırdığını kaydeder. Bir commit'ten sonra değişen satırları her testin son koşusunda çalıştırdıklarıyla eşleştirir, bu satırlara ulaşan testleri listeler ve pull request'e geçti/kaldı kapısı yazar. Hiçbir testin ulaşmadığı değişen satırlar, değişiklik yayına çıkmadan listelenir.

İki uyarı. Kaydedilmiş koşusu olmayan testler listede yer almaz; yeni testleri her durumda koşturun. Ayrıca kapsam, kodun bir test sırasında çalıştığını gösterir, testin onu kontrol ettiğini değil. Kapsamı kalite kanıtı olarak değil, boşlukları bulmak için kullanın.

2. Ürün değiştiğinde testleri ayakta tutun

Regresyon zamanının çoğu testleri koşturmaya değil, onarmaya gider. Adı değişen bir buton ya da formdaki yeni bir adım, ürün çalışsa bile script tabanlı testi kırar. RunningOps'ta prompt ile koşturmada agent uygulamayı her adımın amacından yola çıkarak kullanır, motor hataları ve kopan oturumlar otomatik olarak yeniden denenir, başarısız bir adım koşunun kendisinden yapay zekayla düzeltilip devam ettirilebilir.

Kendini onarmanın bir sınırı olmalı: onarılan bir adım gerçek bir hatayı asla "geçti" sonucuna çevirmemeli. RunningOps her koşuyu geçti, test hatası, ortam hatası ya da platform hatası olarak bitirir; ekran görüntüsünü, videoyu ve agent'ın gerekçesini saklar, böylece neyin değiştiğini görürsünüz.

3. Maliyeti sabit tutun

Her gece her testin her adımında modeli çağırmak birikir. RunningOps adım başına token'ı ve maliyeti gösterir, modeli maliyete, başarı oranına ya da hıza göre seçebilir, daha önce geçen senaryoları sıfır token ile script olarak tekrar koşturur ve aylık bütçe sınırına yaklaşınca uyarır. Modele yalnızca değişen ya da kalan senaryolar için yeniden ihtiyaç duyulur.

Hepsi bir arada

Bir değişiklik gelir, CoverOps ona ulaşan testleri listeler, hattınız bu testleri örneğin RunningOps'ta koşturur, değişmeyen ve geçen senaryolar modeli çağırmadan tekrar koşar ve pull request'teki kapı test edilmeden kalan bir değişen satır olup olmadığını gösterir. Mevcut Selenium, Appium ya da Playwright setleriniz aynı hatta koşmaya devam eder. CoverOps testleri Playwright, Cypress ve JUnit 5 eklentileriyle tanır; diğer araçlar tek bir başlık gönderir.

Tanımlar, script tabanlı otomasyonla karşılaştırma ve satıcıya sorulacak sorular için yapay zeka ile test otomasyonu rehberimizi okuyun.