Kitap / Lift'in Gürültüden Büyük mü?
A/B testi, yeni sürümün gerçekten daha iyi olup olmadığını trafiğin içinden öğrenmeye çalışır. Bu demo, örneklem, varyans ve guardrail etkisinin birlikte nasıl okunması gerektiğini gösterir.
Ne Yap
Temel dönüşüm oranını, challenger lift'ini, örneklem büyüklüğünü, trafik split'ini ve guardrail etkisini değiştir.
Ne Gör
Küçük lift büyük görünse bile gürültü yüksekse deney kararsız kalabilir; guardrail bozuluyorsa kazanç tek başına yetmez.
Kitaptaki Karşılığı
İyi deploy sezgiyle değil, ölçülen fark ve kabul edilen risk disipliniyle karar verir.
A/B testi, “yeni model daha iyi gibi” cümlesini istatistik ve ürün maliyeti açısından sınama disiplinidir.