A/B Testi: Gerçekten Cevap Veren Deneyler Nasıl Kurulur?

Test Aslında Ne İşe Yarar?

Test, görüşün çözemediği anlaşmazlıkları çözmek için vardır. Kulağa bariz geliyor ama bu, test edilenlerin çoğunu zaten eler. Odadaki herkes değişikliğin iyileştirme olduğunda hemfikirse, yayınlayın. Değişiklik yasal ya da erişilebilirlik gereği zorunluysa, yayınlayın. Test; müşteri davranışına dair iki makul inancın farklı tasarımlara götürdüğü ve kimsenin hangisinin doğru olduğunu kanıtlayamadığı durumlar içindir.

Testin ikinci işlevi kalibrasyondur. Düzenli deney yapan ekipler, tek bir değişikliğin bir rakamı ne kadar oynatabileceğine dair çok daha isabetli bir sezgi geliştirir — ki bu, o işi yapma gerekçesinin ima ettiğinden genellikle çok daha azdır. Bu yeniden kalibrasyon, kazanan herhangi bir varyant kadar değerlidir.

Test Etmeye Değer Bir Hipotez

Zayıf hipotez şuna benzer: yeşil butonun daha iyi çalışacağını düşünüyoruz. Güçlü olanı ise inancı, mekanizmayı ve beklenen yönü birlikte söyler: kargo ücreti son adıma kadar bilinmediği için ziyaretçilerin ödeme adımında tereddüt ettiğini düşünüyoruz; bunu daha erken göstermek sepetten ödemeye geçişteki kaybı azaltacaktır.

Fark önemlidir, çünkü ikinci versiyon test başarısız olduğunda ne öğrendiğinizi söyler. Kargo hipotezi kaybederse müşterileriniz hakkında bir şey öğrenmiş olursunuz. Yeşil buton kaybederse bir sonraki karara taşıyabileceğiniz hiçbir şey öğrenmemiş olursunuz.

Hipotez Nereden Gelmeli?

En iyi hipotezler, elinizde olan ama doğru dürüst bakılmamış kanıttan gelir: destek talepleri, satış itirazları, oturum kayıtları, insanların sitenizde arayıp hiçbir sonuç alamadığı sorgular. Toplantıda sıfırdan üretilen fikirler genelde bir rötuş listesi olur. Şikâyetlerden üretilen fikirler ise bir sorun listesi olur ki bu çok daha faydalıdır.

Trafik, Örneklem ve Dürüst Beklenti

Test programlarının çoğu sessizce burada çöker. Küçük bir farkı güvenilir biçimde tespit etmek çok trafik ister ve tespit etmek istediğiniz fark küçüldükçe ihtiyacınız artar; bu ilişki affetmez. Mütevazı trafiği olan bir site, yüzde ikilik bir iyileşmeyi makul bir sürede çözemez — ekip ne kadar sabırlı olursa olsun.

Pratik sonucu iç karartıcı değil, özgürleştiricidir. Küçük değişiklikleri tespit edecek trafiğiniz yoksa küçük değişiklikleri test etmeyi bırakın. Büyüklerini test edin: farklı bir teklif, yeniden kurgulanmış bir sayfa, ne sattığınızın kökten farklı bir anlatımı. Bunlar rakamları görünür ölçüde oynatır ve zaten doğru bilmeye değer kararlar bunlardır.

Ne Kadar Süre Çalıştırmalı?

Süreyi başlamadan önce belirleyin ve tam hafta katları yapın. Davranış hafta içi ile hafta sonu, maaş günleri ile ayın kalanı arasında farklıdır; perşembe öğleden sonra biten bir test bir ortalamayı değil bir kesiti örneklemiştir. Test ortasında bir kampanya, tatil ya da basında yer alma denk gelirse not edin; çünkü bu, ölçtüğünüzden farklı bir kitle getirmiştir.

Aynı Ziyaretçi Ne Demek?

Sonuç bir anlam ifade etmeden önce, bölmenin sandığınız işi yaptığını doğrulayın. Telefonunda A varyantını, dizüstünde B varyantını gören bir ziyaretçi testin iki tarafını da kirletir. Aylar önce, sayfanın önceki bir sürümünde atanmış geri dönen bir müşteri de öyle. Atamanın nasıl saklandığını, ne kadar kalıcı olduğunu ve biri tarayıcısını temizlediğinde ne olduğunu teyit edin.

Bölmenin kendisini de kontrol edin. Trafik eşite yakın dağılmıyorsa sorun müşterilerinizde değil kurulumdadır; akışın başındaki bozuk dağıtımı, sonraki hiçbir istatistiksel özen düzeltmez.

Ekiplerin Kendini Kandırmasının Üç Yolu

Birincisi erken bakmaktır. Devam eden bir teste her sabah bakıp anlamlı göründüğü an durdurmak, sahte kazanan üretmenin en yaygın yoludur; çünkü bakmaya devam ederseniz rastgele dalgalanma eninde sonunda her eşiği geçer. Bitiş tarihini belirleyin ve ona sadık kalın.

İkincisi segment madenciliğidir. Genel sonuç düzse, veriyi bir alt grup kazanana kadar dilimlemek cazip gelir — belirli bir ülkedeki, belirli bir tarayıcıdaki mobil kullanıcılar. Yeterince dilimlerseniz mutlaka birini bulursunuz. O segmenti önceden öngörmediyseniz, bunu bu testin bulgusu değil bir sonraki testin hipotezi sayın.

Üçüncüsü aynı sayfada aynı anda birkaç test çalıştırıp sonra değişimi hangisinin yarattığını tartışmaktır. Üst üste binen testler çalıştırmak zorundaysanız bunları hunide ilgisiz bölümlerde tutun ve yorumun bulanıklaşacağını kabul edin.

Sonuçsuz Bir Testle Ne Yapmalı?

Testlerin çoğu net bir kazanan üretmez; bu bir başarısızlık değil normaldir. Faydalı varsayılan davranış, bakımı daha kolay, anlatması daha basit ya da erişilebilirlik açısından daha iyi olan sürümü yayınlamak ve değişikliğin ölçülebilir bir fark yaratmadığını kayda geçirmektir. O kayıt değerlidir: aynı fikrin gelecek yıl yepyeniymiş gibi tekrar önerilmesini engeller.

Düz sonuç aynı zamanda nereye baktığınıza dair bir sinyaldir. Aynı sayfadaki birkaç test üst üste düz geliyorsa kısıt muhtemelen o sayfa değildir. Sorun büyük olasılıkla daha yukarıda, trafik kalitesinde ya da teklifin kendisindedir; bu alanı dönüşüm oranı optimizasyonu rehberimizde ele alıyoruz.

Kararı Başlamadan Önce Yazın

Her sonucun sizi ne yapmaya götüreceğini önceden kararlaştırın. Varyant kazanırsa kimsenin test etmediği sayfalar dahil her yere yayacak mısınız? Kaybederse orijinal kalıcı mı olacak, yoksa asıl soru açık mı kalacak? Bunu yazmak beş dakika sürer ve test sonrası en yaygın kırılmayı ortadan kaldırır: kurallar hâlâ tarafsızken kimse anlaşmadığı için yorum üzerine tartışan bir ekip.

Her testin basit bir kaydını tutun: hipotez, tarihler, sonuç ve karar. Bir yıl içinde bu, pazarlama ekibinizin sahip olduğu en değerli belge olur; çünkü müşterilerinizin gerçekte neye tepki verdiğine dair — sırayla gelen kişilerin neye tepki vereceğini sandığına değil — tek dürüst kayıttır.

Hiç Test Etmemek Gereken Durumlar

Nitel araştırma çoğu zaman bir deneyden hızlı ve ucuzdur. Siz izlerken satın almayı tamamlamaya çalışan beş kişi, bir aylık testin daha bulanık anlatacağını bir öğleden sonrada anlatır — üstelik yalnızca olup olmadığını değil, nedenini de söyler. Testi bir kararı ölçekte doğrulamak için, araştırmayı ise neyi test edeceğinizi bulmak için kullanın.

Bir de ölçüm ön koşulu var. Testin altındaki rakamlara güvenemiyorsanız test sonucuna da güvenemezsiniz; bunu iş sorularına cevap veren web analitiği yazımızda ayrıntılandırıyoruz. Dönüşüm tanımında mutabık kalmak ve ölçümü temizlemek teste hazırlık değildir; işin kendisidir. Bu programın doğru kurulup yürütülmesini istiyorsanız performans pazarlama ekibimiz önce ölçümü sonra deneyi kurar ve aynı disiplini süregelen kampanya yönetiminin parçası sayar.