Metode pengujian A/B mudah dijelaskan: bagi lalu lintas, bandingkan hasilnya, dan tunggu hingga signifikan secara statistik tercapai. Namun, metode ini mudah disalahgunakan, dan sejumlah kesalahan sering terjadi, bahkan di antara tim yang berpengalaman. Artikel ini mengulas kesalahan yang paling sering terjadi dalam pengujian A/B, mengapa kesalahan tersebut memengaruhi hasil, dan cara paling sederhana untuk menghindarinya.
Kesalahan #1: Melakukan pengujian tanpa hipotesis yang jelas
Melakukan pengujian karena pesaing telah melakukan perubahan serupa, atau karena tren desain sedang beredar daring, jarang menghasilkan hasil yang dapat ditindaklanjuti. Tanpa hipotesis yang jelas yang menghubungkan pengamatan, perubahan, dan metrik yang diharapkan, menafsirkan hasilnya menjadi sulit: pengujian yang berhasil tidak mengungkapkan apa pun tentang "mengapa," dan pengujian yang gagal tidak mengajarkan apa pun yang dapat ditransfer ke pengujian berikutnya.
Koreksi ini mudah diterapkan: sebelum setiap pengujian, rumuskan hipotesis dalam bentuk "karena [pengamatan], kami percaya bahwa [perubahan] akan menyebabkan [efek], yang diukur dengan [metrik]." Jika kalimat ini tidak dapat diselesaikan dengan jelas, pengujian tersebut mungkin belum siap untuk dijalankan.
Kesalahan #2: Menghentikan tes segera setelah hasilnya tampak signifikan
Ini mungkin kesalahan yang paling umum, bahkan di antara tim yang memahami teori statistik. Sebagian besar alat menampilkan tingkat kepercayaan secara real-time, yang dihitung ulang setiap kali kunjungan baru dilakukan. Memeriksa angka ini setiap hari dan menghentikan pengujian segera setelah melebihi 95%—kadang-kadang hanya setelah dua atau tiga hari—meningkatkan kemungkinan terjadinya fluktuasi acak yang, pada saat tertentu, menyerupai efek nyata.
Fenomena ini, yang didokumentasikan sebagai "mengintip" dalam literatur pengujian terkontrol, dapat secara signifikan meningkatkan tingkat positif palsu dibandingkan dengan tingkat kepercayaan yang dinyatakan. Solusinya adalah menetapkan ukuran sampel dan durasi minimum sebelum meluncurkan pengujian (lihat artikel di blog ini yang membahas tentang perhitungan ukuran sampel), dan menganggap hasilnya definitif hanya ketika kedua kondisi tersebut terpenuhi—jangan pernah sebelumnya, bahkan jika dasbor sudah tampak menjanjikan.
Kesalahan #3: Menguji terlalu banyak perubahan sekaligus
Mengubah judul, gambar, tombol, dan tata letak halaman secara bersamaan dalam satu variasi mungkin tampak efisien—satu pengujian alih-alih empat. Masalahnya adalah hasil positif tidak mengungkapkan perubahan mana dari keempat perubahan tersebut yang menghasilkan efek tersebut, atau apakah beberapa di antaranya sebenarnya menghambat hasil yang bisa lebih baik tanpa perubahan tersebut.
Mengisolasi variabel per pengujian memungkinkan Anda untuk secara jelas mengaitkan hasil dengan perubahan spesifik, dan karenanya memanfaatkan pembelajaran ini untuk pengujian selanjutnya. Ini tidak berarti Anda harus membatasi diri pada penyesuaian mikro: desain ulang halaman lengkap benar-benar dapat diuji sebagai varian "desain ulang" tunggal terhadap kontrol, selama tujuan pengujian adalah untuk memvalidasi desain ulang secara keseluruhan daripada mengisolasi efek dari setiap komponen.
Kesalahan #4: Mengabaikan ukuran sampel yang dibutuhkan
Meluncurkan pengujian tanpa terlebih dahulu memperkirakan jumlah pengunjung yang dibutuhkan seringkali menyebabkan salah satu dari dua situasi bermasalah: pengujian dihentikan terlalu dini karena kurangnya kesabaran, yang mirip dengan kesalahan mengintip, atau dibiarkan berjalan tanpa batas waktu tanpa keputusan yang jelas, yang melumpuhkan sebagian lalu lintas pada varian yang belum divalidasi selama berbulan-bulan.
Menghitung ukuran sampel sebelum peluncuran, berdasarkan tingkat konversi saat ini dan efek minimum yang ingin kita deteksi, memungkinkan kita untuk mengetahui sejak awal apakah pengujian tersebut layak dilakukan dalam jangka waktu yang wajar, dan untuk menyesuaikan ambisi kita sesuai dengan itu daripada mengetahuinya setelahnya.
Kesalahan #5: Mengabaikan perbedaan antar segmen
Hasil agregat dapat menyembunyikan perilaku yang sangat berbeda di berbagai segmen lalu lintas. Sebuah perubahan mungkin meningkatkan konversi seluler sementara sedikit menurunkannya di desktop, atau berhasil untuk pengunjung baru tanpa memengaruhi pengunjung yang kembali. Berfokus semata-mata pada angka keseluruhan berisiko menggeneralisasi hasil yang, pada kenyataannya, hanya menguntungkan sebagian audiens—atau bahkan menerapkan perubahan yang efek positif keseluruhannya menutupi penurunan di segmen strategis.
Tidak perlu menganalisis setiap segmen yang mungkin untuk setiap pengujian, tetapi memeriksa konsistensi hasil pada sumbu yang paling relevan dengan bisnis Anda (jenis perangkat, pengunjung baru versus pengunjung tetap, sumber lalu lintas utama) sebelum menggeneralisasi kesimpulan tetap merupakan pemeriksaan sederhana yang menghindari kejutan yang tidak menyenangkan setelah implementasi.
Kesalahan #6: Mencampuradukkan korelasi, sebab-akibat, dan efek kebaruan
Uji A/B yang dilakukan dengan baik, dengan distribusi lalu lintas yang diacak, biasanya menetapkan hubungan sebab-akibat yang cukup andal antara perubahan yang diuji dan efek yang diukur. Namun, bias tetap mungkin terjadi: efek kebaruan. Tata letak baru dapat menarik lebih banyak perhatian hanya karena berbeda, efek yang memudar setelah pengunjung tetap terbiasa dengannya. Fenomena ini sangat penting untuk dipantau untuk perubahan yang sangat terlihat yang diuji dengan audiens yang memiliki proporsi pengunjung tetap yang tinggi.
Pendekatan paling sederhana adalah memperpanjang durasi pengujian melebihi batas minimum statistik yang ketat ketika efek kebaruan dicurigai, dan membandingkan, jika volumenya memungkinkan, evolusi tingkat konversi varian antara hari pertama dan terakhir pengujian: efek yang jelas terkikis seiring waktu merupakan tanda efek kebaruan dan bukan peningkatan yang berkelanjutan.
Kesalahan #7: Mengabaikan dokumentasi hasil
Suatu pengujian yang hasilnya tidak dicatat secara terstruktur—hipotesis, metrik yang dilacak, durasi, ukuran sampel, dan hasil—akan kehilangan sebagian besar nilai jangka panjangnya. Tanpa catatan ini, ide yang sama terkadang diuji ulang setahun kemudian karena kurangnya memori kolektif, dan wawasan individu tidak pernah diterjemahkan menjadi pemahaman yang lebih bernuansa dan kumulatif tentang perilaku pengunjung.
Memelihara riwayat pengujian yang terstruktur, bahkan dalam bentuk sederhana, adalah salah satu investasi paling murah dan paling menguntungkan yang dapat dilakukan tim dalam program eksperimennya. Hal ini juga memungkinkan Anda, seiring waktu, untuk mengidentifikasi tema-tema yang berulang (perubahan yang menyederhanakan perjalanan pengguna hampir selalu bekerja lebih baik daripada perubahan yang memperkayanya, misalnya) yang spesifik untuk audiens target Anda.
Kesalahan #8: Menggeneralisasi hasil di luar konteksnya
Tes yang dilakukan hanya selama periode penjualan yang tidak lazim (penjualan, puncak lalu lintas musiman, kampanye iklan sekali waktu) mungkin menghasilkan hasil yang tidak dapat direplikasi sepanjang tahun, karena profil pengunjung selama periode tersebut berbeda dari profil biasanya. Demikian pula, hasil yang diperoleh dari satu sumber lalu lintas (misalnya, kampanye iklan tertentu) belum tentu dapat digeneralisasikan ke semua lalu lintas situs web.
Memperhatikan konteks di mana suatu pengujian dilakukan — periode waktu, sumber lalu lintas dominan, peristiwa luar biasa selama periode pengujian — memungkinkan penilaian yang lebih akurat tentang cakupan sebenarnya dari suatu hasil sebelum menerapkannya secara luas, atau memutuskan untuk mengujinya kembali dalam konteks yang lebih representatif jika ada keraguan.
Kesalahan #9: Melewati pemeriksaan teknis sebelum peluncuran
Suatu pengujian dapat secara metodologis baik — hipotesis yang bagus, sampel yang bagus, hanya satu variabel yang diuji — namun tetap menghasilkan hasil yang tidak dapat digunakan jika masalah teknis tidak terdeteksi saat peluncuran: pelacak konversi yang dikonfigurasi dengan buruk yang tidak menghitung peristiwa tertentu, varian yang tampil buruk pada browser atau ukuran layar tertentu, atau elemen varian yang merusak komponen lain dari halaman tanpa langsung terlihat jelas.
Pemeriksaan sistematis sebelum meluncurkan pengujian menghindari jebakan ini: visualisasikan varian pada browser utama dan ukuran layar yang digunakan oleh audiens Anda, picu secara manual peristiwa konversi yang dilacak untuk memastikan bahwa peristiwa tersebut sedang direkam, dan biarkan pengujian berjalan selama beberapa jam dengan beban lalu lintas yang dikurangi sebelum beralih ke beban akhir, untuk mendeteksi anomali yang jelas sebelum memengaruhi sampel yang lebih besar. Pemeriksaan ini jarang memakan waktu lebih dari sepuluh menit dan mencegah ditemukannya, setelah beberapa hari pengumpulan data, bahwa sebagian dari hasilnya tidak dapat digunakan.
Daftar periksa singkat sebelum meluncurkan pengujian
Untuk meringkas semua kesalahan ini dalam bentuk yang langsung dapat digunakan, berikut adalah poin-poin yang perlu diperiksa sebelum meluncurkan uji A/B:
- Hipotesis dirumuskan dengan jelas, dengan satu pengamatan, satu perubahan, dan satu metrik keberhasilan.
- Hanya satu variabel yang dimodifikasi per varian, kecuali jika hal itu dilakukan secara sengaja untuk menguji desain ulang global sebagai suatu keseluruhan yang koheren.
- Ukuran sampel yang dibutuhkan dihitung berdasarkan tingkat konversi saat ini dan efek minimum yang diinginkan.
- Durasi minimum (setidaknya satu hingga dua minggu) ditetapkan sebelumnya, dan akan dipatuhi meskipun hasilnya sudah tampak jelas setelah beberapa hari.
- Pelacakan konversi diuji secara manual sebelum peluncuran final.
- Varian tersebut diverifikasi secara visual pada perangkat dan peramban utama yang digunakan oleh audiens.
- Rencana telah disusun untuk mendokumentasikan hasil akhir, apa pun itu.
Daftar ini hanya membutuhkan beberapa menit untuk diperiksa sebelum setiap peluncuran, dan mencakup sebagian besar kesalahan yang membatalkan pengujian setelahnya — waktu verifikasi yang sebagian besar diimbangi oleh keandalan yang diperoleh pada keputusan akhir.
Poin-poin penting
Tak satu pun dari kesalahan ini memerlukan alat canggih untuk dihindari—kesalahan tersebut diperbaiki melalui metode dan disiplin: hipotesis dirumuskan sebelum setiap pengujian, hanya satu variabel yang diuji pada satu waktu, ukuran sampel dihitung sebelumnya, durasi dipatuhi sepanjang waktu, perhatian pada perbedaan antar segmen, dan dokumentasi hasil yang sistematis. Kebiasaan-kebiasaan inilah, lebih dari sekadar pilihan satu alat dibandingkan alat lainnya, yang menentukan apakah program pengujian A/B menghasilkan keputusan yang andal dari waktu ke waktu.
BlastOptimize dirancang untuk menghilangkan hambatan teknis dari proses ini—pembuatan varian tanpa kode, perhitungan ukuran sampel terintegrasi, pelacakan signifikansi statistik secara real-time—sehingga perhatian tim tetap terfokus pada hal yang benar-benar penting: kualitas hipotesis dan ketelitian metode. Jika Anda mengenali kesalahan-kesalahan ini dalam pengujian Anda sebelumnya, ini adalah kesempatan yang baik untuk meninjau kembali topik tersebut dengan metode yang lebih kuat dalam pengujian Anda berikutnya.
Kolom komentar telah ditutup.