Berapa ukuran sampel yang dibutuhkan untuk pengujian yang dapat diandalkan?

Ini adalah salah satu pertanyaan yang paling sering diajukan oleh tim yang baru mengenal pengujian A/B: berapa banyak pengunjung, atau berapa banyak konversi, yang Anda butuhkan sebelum Anda dapat mempercayai hasil pengujian? Jawabannya bukanlah angka yang berlaku untuk semua—itu tergantung pada tingkat konversi awal Anda, besarnya perubahan yang ingin Anda deteksi, dan tingkat kepastian yang Anda perlukan sebelum menarik kesimpulan. Artikel ini menjelaskan faktor-faktor ini satu per satu, tanpa rumus matematika yang rumit, sehingga Anda dapat memperkirakan sendiri ukuran sampel yang dibutuhkan untuk pengujian yang andal.

Mengapa ukuran sampel adalah pertanyaan terpenting dalam sebuah tes?

Uji A/B membandingkan perilaku dua kelompok pengunjung yang terpapar dua versi halaman yang berbeda. Namun, perilaku manusia secara alami bervariasi dari satu pengunjung ke pengunjung lainnya, terlepas dari versi yang dilihat: beberapa hari, beberapa waktu, beberapa profil menghasilkan konversi yang lebih baik daripada yang lain karena alasan yang tidak terkait dengan uji yang dilakukan. Dengan ukuran sampel yang kecil, variasi alami ini—"noise" statistik—dapat dengan mudah menghasilkan perbedaan antara kedua kelompok yang menyerupai efek nyata, padahal itu hanyalah fluktuasi acak.

Ukuran sampel adalah faktor utama dalam membedakan sinyal sebenarnya dari noise. Semakin besar sampel, semakin besar kemungkinan fluktuasi acak saling meniadakan, dan semakin besar kemungkinan perbedaan terukur antara dua kelompok mencerminkan efek nyata dari perubahan yang diuji daripada sekadar kebetulan. Melakukan pengujian tanpa memperkirakan ukuran sampel yang diperlukan sama saja dengan memutuskan terlebih dahulu apakah hasil yang diperoleh akan dapat diandalkan.

Tingkat konversi awal

Faktor pertama yang perlu diketahui adalah tingkat konversi saat ini dari halaman atau alur pengguna yang sedang diuji, berdasarkan metrik yang akan digunakan untuk mengevaluasi pengujian. Angka ini dapat dengan mudah diperoleh dari data yang sudah tersedia di alat analitik Anda: jumlah konversi dibagi dengan jumlah pengunjung, selama periode terkini dan representatif (sebisa mungkin tidak termasuk periode dengan promosi luar biasa atau lonjakan lalu lintas yang tidak lazim).

Tingkat awal ini secara langsung memengaruhi ukuran sampel yang dibutuhkan: untuk efek yang sama, tingkat konversi rendah (misalnya, 1%) membutuhkan sampel yang lebih besar daripada tingkat konversi tinggi (misalnya, 20%) untuk mendeteksi perbedaan relatif yang sama. Ini adalah salah satu alasan mengapa pengujian pada metrik yang jarang terjadi (pembelian, langganan) umumnya membutuhkan lebih banyak lalu lintas dan waktu daripada pengujian pada metrik yang lebih sering terjadi (klik, pengguliran halaman).

MDE, atau besarnya efek yang ingin kita deteksi.

MDE (Minimum Detectable Effect) mengacu pada perbedaan terkecil antara kelompok kontrol dan varian yang dapat dideteksi secara andal oleh pengujian. Ini adalah pilihan, bukan nilai terukur: Anda memutuskan tingkat perbaikan apa yang layak dideteksi.

Pilihan ini memiliki dampak dramatis pada ukuran sampel yang dibutuhkan. Mendeteksi efek kecil (misalnya, meningkatkan rasio konversi dari 5% menjadi 5,2%, peningkatan relatif sebesar 4%) membutuhkan lalu lintas yang jauh lebih besar daripada mendeteksi efek besar (meningkatkan rasio yang sama dari 5% menjadi 6,5%, peningkatan relatif sebesar 30%). Dalam praktiknya, ini berarti bahwa perubahan kecil—warna tombol, satu kata dalam judul—membutuhkan ukuran sampel yang jauh lebih besar daripada perancangan ulang halaman secara keseluruhan, dengan tingkat lalu lintas yang sama, hanya karena efek yang diharapkan lebih sederhana.

Konsekuensi praktisnya sederhana: pada situs dengan lalu lintas sedang, lebih baik memusatkan pengujian awal pada perubahan yang diharapkan memberikan efek yang jelas (penataan ulang halaman, penyederhanaan alur pengguna) daripada pada penyesuaian mikro yang membutuhkan waktu berbulan-bulan untuk menghasilkan hasil yang dapat digunakan.

Tingkat kepercayaan dan kekuatan statistik

Dua parameter teknis lainnya melengkapi perhitungan tersebut. Tingkat kepercayaan (sering ditetapkan pada 95%) menunjukkan probabilitas salah menyatakan suatu tes sebagai pemenang padahal sebenarnya tidak ada perbedaan antara kedua versi tersebut—yang disebut positif palsu. Kekuatan statistik (sering ditetapkan pada 80%) menunjukkan probabilitas mendeteksi efek nyata jika memang ada, daripada salah menyimpulkan bahwa tidak ada perbedaan—negatif palsu.

Kedua nilai ini (95% dan 80%) adalah konvensi yang banyak digunakan dalam industri pengujian A/B, bukan aturan mutlak. Meningkatkan nilai-nilai ini (misalnya, menargetkan kepercayaan 99%) mengurangi risiko kesimpulan yang salah tetapi semakin meningkatkan ukuran sampel yang dibutuhkan; menurunkannya mempercepat perolehan hasil, dengan mengorbankan risiko yang lebih tinggi untuk menarik kesimpulan yang salah. Untuk pengujian dengan konsekuensi terbatas (penyesuaian yang mudah dibalik), ambang batas yang lebih fleksibel mungkin dapat dibenarkan; untuk pengujian yang hasilnya akan menentukan keputusan yang mahal untuk diimplementasikan, ambang batas yang lebih ketat lebih disukai.

Bagaimana cara memperkirakan ukuran sampel Anda dalam praktik?

Dalam praktiknya, jarang sekali perlu menghitung sendiri rumus statistik yang mendasarinya. Sebagian besar platform pengujian A/B, termasuk BlastOptimize, menyertakan kalkulator yang hanya meminta rasio konversi saat ini dan efek minimum yang ingin Anda deteksi, dan langsung mengembalikan ukuran sampel yang dibutuhkan per varian, serta perkiraan durasi pengujian berdasarkan lalu lintas halaman saat ini.

Estimasi ini harus dibuat sebelum meluncurkan pengujian, tidak pernah setelahnya. Tujuannya adalah untuk memutuskan apakah pengujian tersebut layak dilakukan dalam jangka waktu yang wajar mengingat lalu lintas yang tersedia, dan jika tidak, untuk menyesuaikan cakupan perubahan yang diuji (bertujuan untuk efek yang lebih luas, sehingga MDE lebih tinggi), atau cakupan pengujian (mengelompokkan beberapa halaman dengan lalu lintas rendah daripada menguji satu halaman saja), atau untuk mempertimbangkan metode penelitian lain (pengujian pengguna kualitatif, survei) ketika lalu lintas tidak memungkinkan untuk mencapai sampel yang cukup dalam jangka waktu yang wajar.

Kesalahan "mengintip": melihat hasil sebelum selesai.

Setelah ukuran sampel diperkirakan, disiplin terpenting adalah menunggu hingga ukuran sampel tercapai sebelum menarik kesimpulan—bahkan jika dasbor menunjukkan perbedaan yang mengesankan hanya setelah beberapa hari. Perilaku ini, yang dikenal sebagai "mengintip," adalah salah satu penyebab paling sering dari hasil yang salah dalam pengujian A/B: indikator signifikansi statistik yang ditampilkan secara real-time oleh sebagian besar alat dihitung secara terus menerus, dan perbedaan mungkin tampak signifikan pada saat tertentu dan kemudian berkurang, atau bahkan berbalik, setelah ukuran sampel penuh tercapai.

Aturan praktis paling sederhana untuk menghindari jebakan ini adalah dengan menetapkan, sebelum memulai pengujian, baik ukuran sampel minimum maupun durasi minimum (umumnya setidaknya satu hingga dua minggu, untuk mencakup variasi antara hari kerja dan akhir pekan), dan menganggap hasilnya sebagai definitif hanya ketika kedua kondisi tersebut terpenuhi secara bersamaan.

Apa yang harus dilakukan ketika lalu lintas terlalu rendah untuk pengujian standar?

Tidak semua situs web memiliki lalu lintas yang cukup untuk menguji pengoptimalan mikro dengan ukuran sampel yang memadai selama beberapa hari. Ketika lalu lintas terbatas, beberapa penyesuaian dapat membantu untuk terus meningkatkan kinerja:

• Menguji perubahan yang diperkirakan memiliki dampak tinggi. alih-alih penyesuaian mikro, untuk mengurangi ukuran sampel yang dibutuhkan.
• Kelompokkan metrik dengan mengikuti tujuan yang lebih tinggi dalam corong penjualan (misalnya, klik untuk menambahkan ke keranjang belanja daripada pembelian akhir), ketika hal itu tetap relevan dengan hipotesis yang sedang diuji, karena kejadian yang lebih sering membutuhkan sampel yang lebih kecil.
• Perpanjang durasi tes melampaui jangka waktu dua minggu yang biasanya, dengan menerima penundaan yang lebih lama sebelum keputusan diambil.
• Lengkapi pengujian A/B dengan metode kualitatif. (uji pengguna, rekaman sesi, wawancara pelanggan) yang tidak memerlukan volume lalu lintas yang besar untuk menghasilkan wawasan yang dapat ditindaklanjuti.

Sebuah contoh konkret untuk memvisualisasikan penalaran tersebut.

Untuk membuat konsep-konsep ini lebih konkret, mari kita ambil contoh yang murni ilustratif. Bayangkan sebuah landing page dengan tingkat konversi saat ini sebesar 3%, dan sebuah tim yang ingin mendeteksi efek relatif minimum sebesar 15% (yaitu, perubahan dari 3% menjadi sekitar 3,45%), menggunakan ambang batas umum 95% kepercayaan dan 80% kekuatan statistik. Kalkulator ukuran sampel akan menunjukkan, dalam skenario ini, bahwa beberapa ribu pengunjung per variasi diperlukan agar pengujian dapat diandalkan—besarnya angka pastinya bergantung pada rumus yang digunakan, tetapi prinsipnya tetap sama: semakin kecil efek yang diinginkan relatif terhadap tingkat awal, semakin cepat ukuran sampel yang dibutuhkan bertambah.

Jika halaman yang sama hanya menerima beberapa ratus pengunjung per minggu, pengujian ini akan memakan waktu beberapa bulan untuk mencapai ukuran sampel yang dibutuhkan—jangka waktu yang jarang sesuai dengan kecepatan tim pemasaran. Dua pilihan kemudian muncul: merevisi hipotesis untuk menargetkan efek yang lebih luas (perubahan yang lebih struktural daripada penyesuaian kecil), atau menerima MDE yang lebih tinggi, yang mengurangi sensitivitas pengujian tetapi juga durasinya. Kompromi semacam ini, yang dilakukan secara sadar sebelum peluncuran, lebih baik daripada pengujian yang diluncurkan tanpa pertimbangan yang cermat dan dihentikan sebelum waktunya karena ketidaksabaran.

Pertanyaan yang Sering Diajukan

Apakah sampel yang sama harus digunakan untuk kontrol dan varian?
Dalam sebagian besar kasus, ya: pembagian lalu lintas yang sama antara kedua versi adalah konfigurasi paling efisien untuk mencapai signifikansi statistik secepat mungkin, dengan total lalu lintas yang sama.

Bisakah kita menguji lebih dari dua varian sekaligus?
Ya, tetapi setiap varian tambahan akan mengurangi jumlah lalu lintas yang tersedia per cabang dan meningkatkan waktu yang dibutuhkan untuk mendapatkan ukuran sampel yang cukup untuk masing-masing varian. Tes A/B/C/D, dengan total lalu lintas yang sama, membutuhkan waktu yang jauh lebih lama daripada tes A/B tradisional untuk mencapai kesimpulan yang dapat diandalkan pada setiap varian.

Apakah pengujian dapat diandalkan untuk situs web kecil?
Ya, asalkan ekspektasi disesuaikan: prioritaskan perubahan dengan potensi dampak tinggi, terima durasi pengujian yang lebih lama, dan jangan ragu untuk melengkapi pengujian A/B dengan metode yang tidak bergantung pada volume lalu lintas, seperti pengujian pengguna kualitatif.

Poin-poin penting

Ukuran sampel bukanlah detail teknis yang hanya diperuntukkan bagi ahli statistik; ini adalah parameter yang menentukan apakah uji A/B akan menghasilkan kesimpulan yang dapat diandalkan atau hasil yang menyesatkan. Hal ini bergantung pada tingkat konversi awal, besarnya efek yang ingin Anda deteksi, dan tingkat kepercayaan yang dibutuhkan—tiga elemen yang lebih baik diperkirakan sebelum meluncurkan uji coba daripada ditemukan setelahnya, yang ternyata membatalkan kesimpulan. Kabar baiknya adalah, kalkulator ukuran sampel yang terintegrasi ke dalam alat pengujian sudah cukup, dalam sebagian besar kasus, untuk melakukan perhitungan ini bagi tim pemasaran.

BlastOptimize mengintegrasikan kalkulator ini langsung ke dasbornya, memberikan perkiraan durasi pengujian yang dibutuhkan berdasarkan lalu lintas aktual ke halaman yang diuji, untuk mencegah menjalankan pengujian yang pasti tidak memberikan hasil yang konklusif. Jika Anda tidak yakin tentang ukuran sampel yang dibutuhkan untuk pengujian Anda berikutnya, ini adalah titik awal yang baik untuk diputuskan bahkan sebelum membuat varian Anda.