Yapay zeka test araçları nasıl karşılaştırılır? Demoda sorulacak 10 soru
Neredeyse her test aracı artık yapay zeka kullandığını söylüyor. Bu on soru farkı demoda gösterir: her adım nereden geliyor, yeşil sonuca güvenilir mi, bir koşu neye mal oluyor ve veriniz nereye gidiyor.
Neredeyse her test aracı artık yapay zeka kullandığını söylüyor. Kimi gereksinimlerden test yazıyor, kimi bozulan locator'ları onarıyor, kimi testi düz dille tarif edip bir cihazda koşturmanızı sağlıyor. Satış sunumunda bu etiketler birbirine benziyor. Fark, demoda doğru soruları sorduğunuzda ortaya çıkıyor. Biz şu on soruyu sorardık; sizi neyden koruduklarına göre grupladık.
Test gerçek bir şeye mi dayanıyor?
Her adım nereden geliyor? Satıcıdan üretilmiş bir case'i açıp her adımın dayandığı gereksinimi, kaydı, belgeyi ya da kodu göstermesini isteyin. Kaynağa dayanmadan yazan bir model, var olmayan ekranlar ve kurallar uydurur.
Kanıt yoksa ne oluyor? İyi bir agent kuralı bulamadığını söyler. Zayıf olanı tahmin eder ve bu tahmin hiçbir şeye karşı geçen bir teste dönüşür.
Beklenen sonucu kim doğruluyor? Beklenen sonuçlar prompt'tan kopyalanmamalı, canlı ürün üzerinde doğrulanmalı.
Yeşil sonuca güvenebilir misiniz?
Hatalar nasıl sınıflandırılıyor? Ürün hatası, bozuk test ortamı ve platform hatası farklı kişilerin işidir. Hepsi "kaldı" diye görünürse ekibiniz sabahlarını bunları ayıklamaya harcar.
Kendini onarma bir hatayı gizleyebilir mi? Ekran değiştiği için agent bir adımı yeniden planladığında neyi neden değiştirdiğini kaydetmeli. Bu kaydı görmek isteyin.
Bir koşuyla birlikte hangi kanıtlar geliyor? Her adım için ekran görüntüsü, video, log ve agent'ın gerekçesi, bir hatayı yeniden koşturmadan tekrarlamanızı sağlar.
Her gün koşturmak neye mal olacak?
Bir adım ne kadar tutuyor ve bu nerede görünüyor? Model çağrıları sürekli bir maliyettir. Adım ve set başına token'ı ve tutarı görebilmeli, aylık bir sınır koyabilmelisiniz.
Değişmeyen ve geçen testler modeli yeniden çağırıyor mu? Bir regresyon seti aynı senaryoları yüzlerce kez koşturur. Geçen bir senaryonun modeli çağırmadan script olarak tekrar koşması, öngörülebilir bir fatura ile büyüyen bir fatura arasındaki farktır.
Veriniz nereye gidiyor, platformdan çıkabilir misiniz?
Testleri hangi model, nerede koşturuyor? Ekranlar, test verisi ve bazen kaynak kod modele ulaşır. Kendi anahtarlarınızı, kendi sunucunuzdaki bir modeli, özel bulutu ya da on-prem kurulumu kullanıp kullanamayacağınızı sorun.
Testler platformdan çıkabiliyor mu? Geçen bir senaryo Playwright, Selenium ya da zaten kullandığınız başka bir çerçeveye aktarılabiliyorsa bağımlı kalmazsınız.
Cunda bu sorulara nasıl cevap veriyor?
TestingOps ve RunningOps'u bu sorular etrafında kurduk. TestingOps'ta her adım kanıtını gösterir; agent'lar kanıt bulamazsa bunu söyler. RunningOps'ta her koşu geçti, test hatası, ortam hatası ya da platform hatası olarak biter. Her adım token'ını ve maliyetini gösterir, daha önce geçen senaryolar sıfır token ile tekrar koşar ve geçen bir senaryo Playwright script'i olarak ya da Selenium, Testinium (Gauge) ve Maestro'ya aktarılabilir. İkisi de bulutta, özel bulutta ya da on-prem, seçtiğiniz modelle çalışır.
Tanımlardan nereden başlanacağına kadar daha geniş bir resim için yapay zeka ile test otomasyonu rehberimizi okuyun.