Meluncurkan uji A/B pertama Anda mungkin tampak menakutkan: antara memilih alat yang tepat, kekhawatiran akan "merusak" sesuatu di situs web yang sedang berjalan, dan ketidakpastian tentang cara menafsirkan hasilnya, banyak tim pemasaran menundanya. Namun, mekanisme uji A/B yang dieksekusi dengan baik bergantung pada sejumlah langkah terbatas, yang semuanya dapat diakses tanpa keterampilan teknis tingkat lanjut. Panduan ini menjelaskan, langkah demi langkah, cara menyusun dan meluncurkan uji A/B pertama yang menghasilkan hasil yang dapat ditindaklanjuti, bukan sekadar angka yang sulit ditafsirkan.
Mengapa harus melakukan pengujian sebelum menggeneralisasi suatu perubahan?
Intuisi seorang desainer atau pemasar adalah sumber ide yang sangat baik, tetapi bukan dasar yang baik untuk pengambilan keputusan jika berdiri sendiri. Tombol yang lebih menonjol, judul yang ditulis ulang, atau formulir yang lebih pendek mungkin tampak seperti peningkatan yang jelas di atas kertas, namun justru menurunkan tingkat konversi setelah diimplementasikan—karena konteks sebenarnya dari pengunjung (perangkat, niat, riwayat dengan merek) seringkali luput dari intuisi. Pengujian A/B menggantikan tebakan dengan pengukuran: sebagian lalu lintas melihat versi saat ini (kontrol), sebagian lainnya melihat varian, dan perbedaan perilaku antara kedua kelompok memberikan jawaban berdasarkan data, bukan opini.
Pendekatan ini memiliki konsekuensi: pengujian membutuhkan waktu, memerlukan lalu lintas, dan hanya memberikan hasil yang andal jika aturan metodologis tertentu diikuti. Tujuh langkah berikut mencakup hal-hal penting yang perlu Anda ketahui untuk menghindari kesalahan umum sejak pengujian pertama.
Langkah 1: Mulailah dengan hipotesis yang jelas, bukan ide yang samar-samar.
"Menguji tombol baru" bukanlah hipotesis, melainkan sebuah niat. Hipotesis pengujian menghubungkan sebuah pengamatan, sebuah perubahan, dan hasil yang diharapkan dengan cara yang dapat divalidasi atau disangkal secara jelas. Rumusan yang bermanfaat terlihat seperti ini:
"Karena [pengamatan atau data], kami yakin bahwa [perubahan] akan menyebabkan [dampak yang diharapkan], yang diukur dengan [metrik]."
Contohnya: "Karena tingkat pengabaian di halaman pembayaran tinggi pada tahap pengisian alamat, kami yakin bahwa mengurangi formulir dari 12 menjadi 6 kolom akan meningkatkan tingkat penyelesaian pesanan, yang diukur dengan tingkat konversi pembayaran." Rumusan ini memaksa Anda untuk menjawab tiga pertanyaan bahkan sebelum meluncurkan alat pengujian: masalah apa yang diamati yang membenarkan pengujian ini, perubahan spesifik apa yang akan diuji, dan metrik apa yang akan menyelesaikan perdebatan.
Asal muasal hipotesis juga penting. Hipotesis terbaik umumnya berasal dari tiga sumber: analisis kuantitatif (halaman dengan tingkat keluar tinggi, alur yang bocor pada tahap tertentu), umpan balik kualitatif (rekaman sesi, uji pengguna, tanggapan dukungan pelanggan), dan perbandingan dengan praktik yang telah divalidasi di tempat lain dalam konteks serupa. Hipotesis yang lahir dari pengamatan dunia nyata secara statistik lebih mungkin menghasilkan hasil positif daripada perubahan estetika yang dipilih secara acak.
Langkah 2: Pilih satu metrik keberhasilan yang jelas dan tidak ambigu.
Keberhasilan uji A/B harus ditentukan oleh satu metrik utama, yang didefinisikan sebelum peluncuran. Metrik ini secara langsung menjawab hipotesis: rasio klik-tayang pada tombol, rasio penyelesaian formulir, rasio tambah ke keranjang, rasio konversi akhir. Melacak metrik sekunder secara paralel (waktu yang dihabiskan di halaman, rasio pentalan, nilai pesanan rata-rata) berguna untuk memahami "mengapa" di balik hasilnya, tetapi metrik tersebut tidak boleh digunakan untuk menyatakan uji coba sebagai pemenang jika metrik utama tidak bergerak ke arah yang diharapkan.
Poin ini perlu ditekankan: semakin banyak metrik yang Anda lacak secara bersamaan, semakin tinggi kemungkinan setidaknya satu metrik berubah "secara kebetulan," meskipun perubahan yang diuji tidak memiliki efek nyata. Ini adalah fenomena statistik yang dikenal sebagai perbandingan berganda. Memutuskan terlebih dahulu metrik mana yang akan menjadi metrik utama akan melindungi Anda dari godaan untuk memilih, setelah kejadian, metrik yang mendukung hasil yang Anda inginkan.
Langkah 3: Perkirakan ukuran sampel yang dibutuhkan
Sebelum meluncurkan pengujian, diperlukan perkiraan jumlah pengunjung (atau konversi) yang dibutuhkan untuk mendapatkan hasil yang andal. Ukuran ini terutama bergantung pada tiga elemen: tingkat konversi halaman yang sedang diuji saat ini, besarnya efek yang dideteksi (perubahan yang akan meningkatkan tingkat konversi dari 2% menjadi 2,1% membutuhkan lalu lintas yang jauh lebih besar untuk dideteksi daripada perubahan yang akan meningkatkannya menjadi 3%), dan tingkat kepercayaan statistik yang diinginkan.
Topik ini cukup penting untuk mendapatkan bagian tersendiri—ini adalah subjek artikel lain di blog ini yang secara khusus berfokus pada perhitungan ukuran sampel. Untuk pengujian awal ini, ingatlah aturan praktis berikut: jika alat perhitungan Anda menunjukkan bahwa akan membutuhkan beberapa bulan untuk mencapai ukuran sampel yang dibutuhkan mengingat lalu lintas Anda saat ini, lebih baik untuk menguji perubahan dengan dampak yang lebih signifikan (desain ulang halaman daripada perubahan warna tombol) daripada meluncurkan pengujian yang ditakdirkan untuk tidak memberikan hasil yang pasti.
Langkah 4: Distribusikan lalu lintas dengan benar
Distribusi antara kelompok kontrol dan kelompok varian harus acak dan stabil: pengunjung yang sama harus melihat versi yang sama pada setiap kunjungan selama pengujian. Sebagian besar alat pengujian A/B mengelola persistensi ini secara otomatis melalui cookie atau ID sesi, tetapi ini adalah poin yang perlu diverifikasi sebelum meluncurkan pengujian, terutama pada situs di mana pengunjung mengakses situs menggunakan beberapa perangkat atau secara teratur menghapus cookie mereka.
Pembagian 50/50 secara statistik adalah cara paling efektif untuk mencapai signifikansi secepat mungkin, tetapi beberapa tim lebih memilih untuk memulai dengan pembagian yang lebih hati-hati (misalnya, 90% kontrol / 10% varian) sambil memeriksa apakah tidak ada bug yang memengaruhi versi baru, sebelum beralih kembali ke 50/50 untuk sisa pengujian.
Langkah 5: Biarkan pengujian berjalan dalam waktu yang cukup lama.
Ada dua aturan yang digabungkan di sini. Yang pertama bersifat numerik: pengujian harus dijalankan hingga ukuran sampel yang dihitung pada langkah 3 tercapai, tidak kurang dari itu. Yang kedua bersifat temporal: pengujian harus mencakup setidaknya satu siklus lengkap selama satu hingga dua minggu, untuk meratakan variasi perilaku antara hari kerja dan akhir pekan, dan idealnya mencakup beberapa siklus penggajian atau periode penjualan jika bisnis tersebut sensitif terhadap hal tersebut.
Kesalahan paling umum yang dilakukan pemula adalah memeriksa hasilnya setiap hari dan menghentikan pengujian segera setelah perbedaan signifikan muncul di antarmuka—kadang-kadang hanya setelah dua atau tiga hari. Perilaku ini, yang disebut "peeking" dalam literatur pengujian A/B, secara artifisial meningkatkan tingkat positif palsu: perbedaan yang tampak signifikan pada waktu tertentu sering menghilang beberapa hari kemudian, setelah ukuran sampel lengkap. Pendekatan paling sederhana adalah menetapkan durasi target atau ukuran sampel sebelum memulai pengujian dan mematuhinya.
Langkah 6: Analisis hasilnya tanpa menafsirkannya secara berlebihan
Setelah ukuran sampel tercapai, ada tiga kemungkinan hasil: varian tersebut berkinerja jauh lebih baik daripada kontrol, berkinerja jauh lebih buruk, atau tidak ada perbedaan signifikan yang terdeteksi. Kasus ketiga ini bukanlah kegagalan—ini adalah informasi berguna yang menunjukkan bahwa perubahan yang diuji tidak memiliki efek terukur pada perilaku pengunjung, sehingga menghindari penerapannya tanpa manfaat atau, sebaliknya, terus menginvestasikan waktu pengembangan ke arah tersebut.
Ketika suatu hasil signifikan, tetap bermanfaat untuk memverifikasi konsistensi antar segmen (seluler vs. desktop, pengunjung baru vs. pengunjung tetap, sumber lalu lintas) sebelum menggeneralisasikan kesimpulan ke seluruh situs. Hasil positif yang hanya didorong oleh segmen tertentu memerlukan analisis lebih lanjut sebelum diterapkan di seluruh situs.
Langkah 7: Dokumentasikan apakah tes tersebut berhasil, gagal, atau netral.
Pengujian A/B yang tidak terdokumentasi merupakan kesempatan belajar yang terlewatkan. Merekam hipotesis awal, metrik yang dilacak, durasi, ukuran sampel, dan hasilnya memungkinkan Anda untuk membangun, dari waktu ke waktu, basis pengetahuan yang spesifik untuk audiens Anda: jenis perubahan mana yang berhasil, mana yang tidak, dan mengapa. Basis pengetahuan ini menjadi lebih berharga daripada pengujian individual mana pun karena dapat meningkatkan kualitas hipotesis di masa mendatang.
Bagaimana memprioritaskan ide-ide uji coba awal Anda?
Setelah metode dipahami, tantangan selanjutnya seringkali adalah memiliki terlalu banyak ide pengujian dan tidak tahu harus mulai dari mana. Kisi prioritas sederhana membantu membuat keputusan objektif daripada mengikuti preferensi orang yang paling meyakinkan dalam rapat. Tiga kriteria umum terdapat di sebagian besar kisi yang digunakan dalam CRO (Optimasi Tingkat Konversi):
- Dampak potensial : lalu lintas dan nilai halaman yang bersangkutan. Menguji perubahan pada halaman yang dilihat oleh 1% pengunjung secara mekanis akan memiliki efek keseluruhan yang lebih kecil daripada pengujian pada halaman beranda atau alur pembayaran.
- Kepercayaan pada hipotesis Hipotesis yang didasarkan pada data yang diamati (tingkat pengabaian yang tinggi, komentar pelanggan yang berulang-ulang) lebih layak dipercaya daripada intuisi estetika yang terisolasi.
- Kemudahan implementasi : perubahan teks atau tata letak dapat diuji dalam beberapa menit dengan editor visual; perancangan ulang alur perjalanan secara menyeluruh membutuhkan persiapan yang lebih banyak.
Dengan memberi peringkat pada setiap ide pengujian berdasarkan tiga kriteria ini (misalnya dari 1 hingga 5), urutan prioritas akan muncul secara alami, dan pengujian pertama yang diluncurkan adalah pengujian yang memiliki rasio terbaik antara upaya dan probabilitas hasil yang dapat digunakan — yang sangat penting untuk pengujian pertama, di mana tujuannya juga untuk memahami metode tersebut tanpa menunggu berbulan-bulan sebelum mendapatkan hasil pertama.
Poin-poin penting
Uji A/B yang andal dibedakan bukan oleh kecanggihan alat yang digunakan, tetapi oleh ketelitian metodenya: hipotesis yang dirumuskan dengan jelas, metrik keberhasilan tunggal yang ditentukan sebelumnya, ukuran sampel yang cukup besar yang diperkirakan sebelum peluncuran, durasi yang dipatuhi secara ketat tanpa tergoda untuk melihat hasilnya terlalu cepat, dan dokumentasi sistematis dari hasilnya, baik positif, negatif, atau netral. Prinsip-prinsip ini berlaku sama untuk uji pertama dan uji keseratus, dan penerapan yang konsisten inilah, lebih dari ukuran tim atau anggaran, yang membedakan program pengujian yang menghasilkan hasil yang berkelanjutan dari program yang gagal setelah beberapa kali percobaan.
Kesalahan yang perlu diwaspadai sebelum memulai
Panduan ini berfokus pada metodologi; sebuah artikel khusus di blog ini merinci kesalahan yang paling sering terjadi dalam pengujian A/B, mulai dari menghentikan pengujian terlalu dini hingga menguji terlalu banyak varian secara bersamaan. Artikel tersebut melengkapi panduan awal ini untuk membantu menghindari kesalahan umum sejak awal.
Memulai tanpa kerumitan teknis
Kabar baiknya adalah metode yang dijelaskan di atas tidak memerlukan keahlian pengembangan untuk diimplementasikan. Editor visual memungkinkan Anda membuat variasi (mengubah teks, tombol, tata letak) langsung dari browser, tanpa menyentuh kode situs, dan dasbor menampilkan evolusi metrik yang dilacak dan tingkat kepercayaan statistik secara real-time selama pengujian.
BlastOptimize dirancang dengan mempertimbangkan hal ini: platform pengujian A/B dan personalisasi 100% gratis, yang dirancang untuk memungkinkan tim pemasaran merumuskan hipotesis, membuat variasi, dan melacak hasilnya tanpa bergantung pada tim teknis di setiap langkah. Jika Anda memiliki hipotesis setelah membaca panduan ini, sekarang mungkin waktu yang tepat untuk mengujinya.
Kolom komentar telah ditutup.