Web'de Deney Sistemi: A/B Testi Ne Zaman Karar Verir?

1. Her Karar Deney Gerektirmez

Bazı kararlar zaten bilinen bir doğruya sahiptir. Erişilebilirlik hatasını, kırık bir formu veya okunmayan bir kontrast oranını test etmezsiniz; düzeltirsiniz. Bunları deneye sokmak yalnızca gecikme üretir.

Bazı kararlar ise ölçülemeyecek kadar küçüktür. Ayda birkaç yüz ziyaretçi alan bir sayfada buton rengini test etmek, istatistiksel olarak anlamlı bir sonuç üretmeden aylar sürer ve bu süre boyunca ekibin dikkatini işgal eder.

Deneye değen kararlar üç özelliği birlikte taşır: sonucu gerçekten belirsizdir, yeterli trafik vardır ve sonuç bir yatırımı yönlendirecektir. Üçünden biri eksikse muhakeme, araştırma veya doğrudan uygulama daha verimlidir.

Bu ayrımı yapmadan kurulan deney kültürü, kısa sürede kendi ağırlığı altında çöker. Sonuçsuz testler biriktikçe ekip verinin işe yaramadığına inanmaya başlar; oysa sorun veride değil, soru seçiminde olmuştur.

Deney kültürünü savunurken bir noktayı da açıkça söyleyin: test etmemek tembellik değildir. Yerleşik kullanılabilirlik ilkelerinin cevabını çoktan verdiği bir soruyu yeniden ölçmek, ekibin zamanını gerçek belirsizliklerden çalar.

2. Kararı Yönteme Eşleştirin

Belirsizliğin türü, hangi yöntemin uygun olduğunu belirler. Kullanıcının neyi anlamadığını bilmiyorsanız deney değil gözlem gerekir; iki iyi seçenek arasında kalmışsanız deney doğru araçtır.

Aşağıdaki tablo, ekiplerin sık karıştırdığı durumları yöntemle eşleştirir. Amaç deneyi küçümsemek değil, ona uygun soruyu ayırmaktır.

Tabloyu kullanırken trafik eşiğini de yazın. Aynı soru, günde iki yüz ziyaretçi alan bir sayfada gözlemle, günde yirmi bin ziyaretçi alan bir sayfada deneyle yanıtlanabilir.

3. Hipotezi ve Metriği Önceden Yazın

İyi bir hipotez üç parçadan oluşur: kime, ne değişikliği, hangi davranış değişikliğini bekliyoruz. Bu üçü yazılmadan başlayan test, sonucu ne çıkarsa çıksın yorumlanabilir hale gelir.

Tek bir birincil metrik seçin. Birden fazla metriğe aynı anda bakan ekipler, hangisinin oynadığına göre hikâye kurar; bu, testi bir doğrulama törenine dönüştürür.

Birincil metriğin yanına bir de koruma metriği koyun. Dönüşümü artıran bir değişiklik iade oranını veya destek talebini yükseltiyorsa kazanç gerçek değildir.

Testi başlatmadan önce kararı da yazın: hangi sonuçta yayına alınır, hangi sonuçta geri alınır, hangi sonuçta veri yetersiz sayılır. Bu üç eşik önceden yazılmazsa sonuç her zaman lehte yorumlanır.

• Hipotezi tek cümlede yazın.
• Birincil metriği tek seçin.
• Koruma metriğini belirleyin.
• Örneklem ve süreyi önceden hesaplayın.
• Karar eşiklerini önceden kaydedin.

4. Kurgusal Senaryo: Kazanan Testin Kaybettirdiği

Kurgusal bir hizmet sitesinde ekip, teklif formundaki alan sayısını yediden üçe indiren bir varyant deniyor. İki hafta sonra form gönderimi belirgin biçimde artıyor ve varyant kazanan ilan ediliyor.

Bir ay sonra satış ekibi şikâyet ediyor: gelen taleplerin büyük bölümü bütçesi veya kapsamı uymayan kişilerden geliyor ve ilk görüşmeye dönüşme oranı düşmüş durumda. Test kazanmış, iş kaybetmiştir.

Hata testin kurgusunda değil metrik seçimindedir. Birincil metrik form gönderimi yerine nitelikli görüşme olsaydı, koruma metriği de talep başına satış süresi olsaydı sonuç baştan farklı okunurdu. Bu kurgusal bir örnektir; gerçek bir müşteri sonucu değildir.

5. İstatistik Disiplini

Deneyin güvenilirliği çoğunlukla istatistikten değil, sabırsızlıktan zarar görür. Sonuçlara her gün bakıp anlamlılık görünür görünmez testi durdurmak, yanlış pozitif oranını ciddi biçimde yükseltir.

Evan Miller'ın sıkça anılan uyarısı tam da budur: sonuçları tekrar tekrar kontrol edip anlamlılık belirdiği anda durmak, testin gerçek hata oranını ilan edilenin çok üzerine çıkarır; çözüm örneklem büyüklüğünü önceden belirleyip ona bağlı kalmaktır. Deney takvimi bu yüzden pazarlama takvimine değil ölçüm gücüne göre kurulur.Evan Miller — How Not To Run An A/B Test

Test süresini iş döngüsüne göre de ayarlayın. Hafta içi ve hafta sonu davranışı farklı olan bir sitede yalnızca üç gün süren test, gerçek etkiyi değil takvim etkisini ölçer.

Sonuç anlamlı çıkmadığında bunu başarısızlık saymayın. Etkisi olmayan bir değişikliği yayına almamak da bir karardır ve ekibi bir sonraki daha büyük soruya yönlendirir.

6. Deney Sistemini Kurma Sırası

Araç seçmeden önce süreç kurun. Hipotez havuzu, önceliklendirme ölçütü, karar eşikleri ve sonuç arşivi olmadan alınan bir test aracı, yalnızca daha hızlı sonuçsuzluk üretir.

Hipotezleri tek bir listede toplayın ve beklenen etki, uygulama maliyeti ile ölçüm gücüne göre sıralayın. Sıralama ölçütü yazılı olduğunda tartışma fikirden yönteme kayar.

Her testin sonucunu, kazandı ya da kaybetti demeden önce ne öğrendiğinizle birlikte kaydedin. Altı ay sonra en değerli varlığınız kazanan varyantlar değil, denenmiş ve elenmiş fikirlerin arşivi olacaktır.

Arşivi ararken kolay bulunur tutun. Her kayıtta hipotez, hedef kitle, süre, örneklem, birincil metrik, sonuç ve alınan karar bulunsun. Bu alanlar standart olduğunda yeni gelen bir ekip üyesi aynı fikri altı ay sonra ikinci kez denemez.

• Hipotez havuzu tek listede toplandı.
• Önceliklendirme ölçütü yazıldı.
• Birincil ve koruma metrikleri seçildi.
• Örneklem ve süre önceden hesaplandı.
• Karar eşikleri kaydedildi.
• Test tek değişkenle sınırlandı.
• Sonuç ve öğrenim arşive yazıldı.

7. Sınırlar ve Başarısızlık Modları

A/B testi neden sorusunu yanıtlamaz. Hangi varyantın kazandığını söyler; kullanıcının neyi anlamadığını, neden tereddüt ettiğini ancak gözlem ve görüşme gösterir.

Küçük değişikliklerin biriktirdiği kazanç da sınırlıdır. Yalnızca renk ve metin denemeleriyle ilerleyen bir program, bir süre sonra ölçülemeyecek kadar küçük farklarla uğraşmaya başlar.

Yenilik etkisi sonucu geçici olarak şişirebilir. Mevcut kullanıcıların yeni bir düzene ilk tepkisi, uzun vadeli davranışı temsil etmeyebilir; kritik değişikliklerde ölçümü bir süre daha izleyin.

Deneyin etik ve hukuki sınırları da vardır. Fiyat, sözleşme koşulu veya kişisel veri toplama kapsamında yapılan denemeler, kullanıcı açısından adaletsiz veya mevzuata aykırı olabilir; bu alanlarda önce hukuki değerlendirme gerekir.

Son olarak deney sistemi kültürel bir taahhüttür. Sonuçları yalnızca beklentiyi doğruladığında dikkate alan bir ekipte test, karar aracı değil ikna aracına dönüşür.