Pengujian A/B vs pengujian multivariat (MVT): apa perbedaannya?

Diperbarui pada 16 September 2026

Ringkasan

• Perbedaan dalam satu kalimat
• Bagaimana cara kerja uji A/B klasik?
• Bagaimana cara kerja uji multivariat?
• Mengapa MVT membutuhkan lalu lintas yang jauh lebih banyak: alasan statistik yang sebenarnya
• Kapan memilih tes A/B?
• Kapan memilih pengujian multivariat?
• 5 alasan untuk waspada terhadap MVT jika Anda belum siap
• Tes A/B/n, opsi menengah yang kurang dikenal.
• Contoh numerik: Apakah lalu lintas pengunjung Anda cukup?
• Kesalahan yang menghabiskan waktu berminggu-minggu untuk pengujian.
• Pertanyaan yang Sering Diajukan
• Poin-poin penting

Tiga elemen untuk diuji dalam satu halaman. Dua variasi untuk masing-masing elemen. Itu berarti ada 8 kombinasi yang mungkin untuk dibandingkan secara bersamaan. Tim yang terburu-buru sering memilih pengujian multivariat karena "menguji semuanya sekaligus." Hasil yang sering terjadi: pengujian yang berlangsung selama enam minggu tanpa pernah mencapai signifikansi statistik, sedangkan tiga pengujian A/B berturut-turut akan memberikan jawaban yang jelas dalam sebulan.

Ini bukan masalah alat. Ini adalah masalah metodologi yang dipilih dengan buruk terkait dengan trafik yang tersedia. Artikel ini menjelaskan perbedaan sebenarnya antara pengujian A/B dan pengujian multivariat—bukan hanya definisi manualnya, tetapi alasan statistik yang tepat mengapa yang terakhir jauh lebih mahal dalam hal trafik, penjelasan yang diabaikan oleh sebagian besar panduan tentang subjek ini.

Perbedaan dalam satu kalimat

Tes A/B membandingkan dua versi lengkap dari sebuah halaman; uji multivariat Secara simultan membandingkan beberapa elemen terpisah dari halaman yang sama (judul, gambar, tombol) untuk mengidentifikasi kombinasi terbaik yang mungkin di antara elemen-elemen tersebut.

Dalam kedua kasus tersebut, lalu lintas didistribusikan secara acak di antara versi-versi tersebut, dan hasilnya diinterpretasikan dengan cara yang sama: varian mana yang menghasilkan konversi terbaik, dengan tingkat kepercayaan statistik berapa? Perbedaannya terletak pada apa yang diuji dan jumlah lalu lintas yang dibutuhkan untuk menarik kesimpulan—dan di sinilah sebagian besar tim menggunakan metode yang salah. Jika konsep konversi atau signifikansi masih belum jelas bagi Anda, kami Glosarium CRO meletakkan dasar sebelum melangkah lebih jauh.

Bagaimana cara kerja uji A/B klasik?

Prinsipnya sengaja dibuat sederhana. Anda membuat versi B yang berbeda dari versi asli (A) dalam satu hal spesifik—kadang-kadang hanya satu elemen, kadang-kadang desain ulang halaman secara keseluruhan. Lalu lintas dibagi menjadi dua, dan Anda mengukur versi mana yang menghasilkan konversi lebih baik dalam jangka waktu yang cukup lama.

Ini adalah metode standar untuk sebagian besar situs web, dan ada alasan yang bagus untuk itu: metode ini membutuhkan lalu lintas paling sedikit untuk mencapai hasil yang andal, dan mudah diimplementasikan. editor visualDan ini secara jelas mengisolasi penyebab suatu hasil. Jika B menang, Anda tahu persis alasannya.

Bagaimana cara kerja uji multivariat?

ITU tes multivariat (MVT) Metode ini didasarkan pada prinsip yang berbeda: desain faktorial. Alih-alih membandingkan dua halaman secara keseluruhan, Anda mengisolasi beberapa elemen dan menguji semua kemungkinan kombinasinya secara paralel.

Mari kita ambil contoh konkret. Anda ingin menguji 3 elemen halaman arahan (landing page): judul (2 versi), warna tombol ajakan bertindak (call-to-action) (2 versi), dan gambar utama (2 versi). Jumlah kombinasinya mudah dihitung: 2 × 2 × 2 = 8 kombinasi berbeda yang akan dievaluasi secara bersamaan, masing-masing menerima sebagian kecil dari total lalu lintas.

Inilah mengapa MVT begitu menarik di atas kertas: satu kampanye pengujian tunggal tidak hanya mengungkapkan elemen mana yang bekerja paling baik secara terpisah, tetapi juga bagaimana elemen-elemen tersebut berinteraksi. Tombol merah mungkin berkinerja buruk dengan satu judul dan berkinerja lebih baik dengan judul lain—interaksi yang tidak dapat dideteksi oleh serangkaian pengujian A/B terpisah. Dan ini bukan hanya detail teoretis: ini seringkali satu-satunya cara untuk mendeteksi efek silang semacam ini sebelum menemukannya setelah kejadian, setelah pilihan yang buruk telah meluas.

Sebelum kita mulai, ada satu poin teknis yang perlu diperhatikan: semakin banyak kombinasi yang ada, semakin cepat skrip yang menampilkan varian yang benar kepada setiap pengunjung perlu dijalankan, jika tidak, akan muncul efek berkedip antara versi asli dan kombinasi yang ditampilkan. Halaman kami tentang Difusi ultra cepat menjelaskan bagaimana risiko ini, yang lebih sering terjadi pada MVT dengan banyak kombinasi, ditangani secara teknis.

Mengapa MVT membutuhkan lalu lintas yang jauh lebih banyak: alasan statistik yang sebenarnya

Inilah poin yang hampir semua artikel tentang subjek ini—baik berbahasa Prancis maupun Inggris—hanya singgung. Mereka menawarkan aturan praktis (“Anda membutuhkan 5 hingga 10 kali lebih banyak trafik daripada uji A/B”) tanpa pernah menjelaskan dari mana pengali ini berasal. Inilah alasan sebenarnya.

Setiap kombinasi yang diuji dalam uji perbandingan berganda (MVT) mewakili perbandingan statistik yang berbeda. Semakin banyak perbandingan simultan yang Anda lakukan, semakin besar risiko keseluruhan untuk menemukan positif palsu—varian yang tampaknya menang murni karena kebetulan. Ini dikenal sebagai masalah perbandingan berganda.

Untuk mengimbangi hal tersebut, platform-platform terkemuka menerapkan koreksi statistik. Target AdobeSebagai contoh, secara eksplisit mendokumentasikan penggunaan koreksi Bonferroni dalam estimator lalu lintasnya untuk pengujian multivariat: semakin tinggi jumlah kombinasinya, semakin ketat ambang batas signifikansi yang dibutuhkan untuk setiap perbandingan individual, yang membutuhkan lebih banyak data per kombinasi untuk menghasilkan kesimpulan dengan keandalan yang sama seperti uji A/B klasik.

Secara praktis, ini berarti bahwa MVT 8 kombinasi tidak membutuhkan "8 kali lebih banyak trafik" daripada uji A/B 2 varian—melainkan membutuhkan trafik yang jauh lebih signifikan, karena ambang batas bukti yang dibutuhkan per kombinasi itu sendiri lebih ketat. Mekanisme statistik inilah, bukan sekadar masalah "lebih banyak versi untuk diuji," yang menjelaskan mengapa MVT sangat intensif trafik. Dan ini juga mengapa mencoba "menguji semuanya sekaligus" pada situs dengan trafik sedang hampir selalu menghasilkan pengujian yang tidak pernah mencapai kesimpulan.

Kapan memilih tes A/B?

Tes A/B klasik adalah pilihan standar yang tepat dalam sebagian besar situasi:

• Jumlah pengunjung bulanan ke halaman yang diuji adalah puluhan ribu, bukan ratusan ribu.
• Anda menginginkan jawaban yang cepat dan dapat ditindaklanjuti — dua hingga empat minggu, bukan dua hingga tiga bulan.
• Anda sedang menguji hipotesis yang jelas dan terisolasi, tanpa perlu memahami interaksi antara banyak elemen.
• Anda sedang memulai program pengujian dan ingin membangun budaya eksperimen sebelum membuat metode tersebut lebih kompleks.

Hal ini memang berlaku untuk sebagian besar situs e-commerce Prancis: dengan 158.200 toko online aktif yang terdaftar oleh Fevad dan lalu lintas yang sangat terkonsentrasi pada sebagian kecil dari mereka, pengujian A/B tetap menjadi format yang paling sesuai untuk realitas pasar nasional. Pilihan kami 7 ide pengujian A/B untuk e-commerce Ini memberikan titik awal yang konkret jika Anda mencari tahu dari mana harus memulai.

Kapan memilih pengujian multivariat?

MVT menjadi relevan dalam konteks tertentu, bukan sebagai metode standar:

• Halaman yang sedang diuji menerima lalu lintas yang sangat tinggi — biasanya halaman beranda atau halaman arahan dengan volume iklan yang tinggi.
• Beberapa elemen perlu dioptimalkan secara bersamaan, dan Anda menduga ada interaksi nyata di antara elemen-elemen tersebut (misalnya, perubahan tata letak yang mengubah persepsi tombol aksi).
• Anda sudah memiliki praktik pengujian A/B yang matang dan ingin beralih ke tahap berikutnya daripada memperbanyak pengujian berurutan.
• Jangka waktu bukanlah batasan yang kritis — MVT yang dirancang dengan baik diukur dalam hitungan bulan, bukan minggu.

Berikut panduan bermanfaat untuk mengambil keputusan cepat: jika Anda harus bertanya pada diri sendiri apakah Anda memiliki cukup trafik, kemungkinan besar Anda belum memilikinya.

5 alasan untuk waspada terhadap MVT jika Anda belum siap

Analisis yang diterbitkan oleh Dynamic Yield (diakuisisi oleh Mastercard) dengan tepat merangkum jebakan klasik dari pengujian multivariat, yang sering kali diminimalkan dalam panduan penjualan penerbit:

1. Kebutuhan data yang sangat besar — Semakin kompleks pengujiannya, semakin banyak lalu lintas dan waktu yang dibutuhkan untuk menghasilkan hasil yang bermanfaat.
2. Konfigurasi teknis yang rumit — MVT yang dikonfigurasi dengan buruk lebih mudah disabotase secara tidak sengaja daripada pengujian A/B sederhana.
3. Hasil panen rendah dari waktu ke waktu — selama satu kali pelaksanaan MVT (Managed Verification Test), sebuah tim dapat meluncurkan dan menyelesaikan puluhan uji A/B.
4. Ketidaksesuaian dengan iterasi cepat — MVT membekukan program pengujian pada satu pertanyaan selama berminggu-minggu, yang merugikan kelincahan.
5. Kecenderungan terhadap detail visual — format ini sering mendorong pengujian variabel sekunder (warna, font) daripada perubahan yang berdampak besar (konten, penawaran, struktur).

Dan bukan hanya itu. Keterbatasan ini tidak membatalkan MVT — keterbatasan ini hanya menjelaskan mengapa MVT tetap menjadi alat khusus, yang hanya digunakan dalam konteks di mana ia benar-benar memberikan lebih dari sekadar serangkaian uji A/B yang diprioritaskan dengan baik.

Tes A/B/n, opsi menengah yang kurang dikenal.

Di antara uji A/B klasik dan MVT, ada opsi ketiga yang sering dilupakan oleh banyak panduan: uji A/B/n. Uji ini terdiri dari membandingkan beberapa versi lengkap suatu halaman satu sama lain — bukan hanya A dan B, tetapi A, B, C, D — tanpa memecahnya menjadi elemen-elemen terpisah.

Ini berguna ketika Anda memiliki beberapa ide desain ulang yang bersaing dan ingin membandingkannya secara langsung, tanpa harus melalui kompleksitas kombinatorial MVT. Trafik yang dibutuhkan tetap mendekati trafik uji A/B klasik, dikalikan dengan jumlah versi yang diuji—sebuah perkembangan linier, bukan eksponensial seperti pada desain faktorial penuh.

Contoh numerik: Apakah lalu lintas pengunjung Anda cukup?

Mari kita ambil contoh konkret. Sebuah halaman menerima 8.000 pengunjung per bulan dan saat ini memiliki tingkat konversi 3%. Untuk uji A/B sederhana yang bertujuan mendeteksi peningkatan 20% (sehingga meningkat menjadi sekitar 3,6%) dengan tingkat kepercayaan standar 95%, beberapa ribu pengunjung per varian umumnya cukup untuk mencapai kesimpulan dalam tiga hingga empat minggu.

Untuk MVT dengan 8 kombinasi pada halaman yang sama, setiap kombinasi kini hanya menerima sekitar 1.000 pengunjung per bulan—dan ambang batas bukti yang dibutuhkan per kombinasi, karena koreksi statistik yang disebutkan di atas, lebih ketat daripada untuk uji A/B tunggal. Hasilnya: pada tingkat lalu lintas ini, MVT seringkali membutuhkan waktu beberapa bulan untuk mencapai kesimpulan, jika memang mencapai kesimpulan sama sekali. Inilah tepatnya skenario yang didokumentasikan oleh Adobe dan beberapa praktisi industri: di bawah ambang batas lalu lintas tertentu, MVT bukanlah metode yang tepat, terlepas dari kualitas hipotesis yang diuji.

Praktik terbaik tetaplah menentukan ukuran sampel uji Anda sebelum meluncurkannya, menggunakan kalkulator ukuran sampel, daripada baru menyadari setelah enam minggu bahwa uji tersebut tidak akan pernah mencapai kesimpulan. dasbor analitik BlastOptimize menampilkan perkiraan waktu yang tersisa sebelum hasil pengujian signifikan, yang terus diperbarui selama pengujian berlangsung.

Kesalahan yang menghabiskan waktu berminggu-minggu untuk pengujian.

Tiga kesalahan umum yang dilakukan oleh tim yang baru mengenal MVT:

• Meluncurkan MVT tanpa memeriksa lalu lintas yang tersedia.hanya mengandalkan antusiasme untuk "menguji semuanya sekaligus".
• Kebingungan antara tes A/B/n dan tes multivariat, secara keliru mengira bahwa membandingkan 4 halaman penuh sama dengan menguji kombinasi elemen — itu bukan mekanisme statistik yang sama, dan persyaratan lalu lintasnya pun tidak sama.
• Abaikan interaksi dan baca hasilnya elemen demi elemen., yang sama saja dengan melakukan MVT hanya untuk menganalisisnya pada akhirnya sebagai serangkaian tes A/B — sehingga kehilangan semua manfaat dari format tersebut.

Jika Anda baru memulai program pengujian, langkah paling aman adalah membangun riwayat pengujian A/B yang andal terlebih dahulu sebelum mempertimbangkan program pengujian multi-kendaraan (MVT)—sebuah tahapan yang kami uraikan dalam panduan kami tentang MVT. tujuan dan pelacakan dari program pengujian yang baru dimulai.

Pertanyaan yang Sering Diajukan

Bisakah pengujian multivariat dilakukan dengan lalu lintas rendah?

Jika jumlah pengunjung halaman yang diuji kurang dari beberapa puluh ribu per bulan, pengujian multivariat umumnya membutuhkan waktu terlalu lama untuk mencapai signifikansi statistik. Dalam kasus seperti itu, pengujian A/B atau A/B/n tetap menjadi pilihan yang paling realistis.

Apa itu tes A/B/n?

Tes A/B/n membandingkan beberapa versi lengkap suatu halaman (3, 4, atau lebih) satu sama lain, tidak seperti tes multivariat yang menggabungkan elemen-elemen yang terisolasi. Tes ini membutuhkan lalu lintas yang lebih sedikit daripada MVT tetapi tidak mengungkapkan interaksi antar elemen.

Mengapa pengujian multivariat membutuhkan lalu lintas yang jauh lebih banyak daripada pengujian A/B?

Karena harus membedakan antara beberapa kombinasi sekaligus, yang meningkatkan risiko positif palsu. Alat ini menerapkan koreksi statistik (seperti koreksi Bonferroni yang digunakan oleh Adobe Target) untuk mengkompensasi hal tersebut, yang secara mekanis meningkatkan lalu lintas yang dibutuhkan per kombinasi.

Apakah pengujian multivariat mengungkapkan interaksi yang tidak terlihat dalam pengujian A/B?

Ya, itulah keunggulan utamanya: metode ini dapat menunjukkan bahwa kombinasi tepat dari dua elemen bekerja lebih baik daripada jumlah efeknya jika diambil secara terpisah — sebuah interaksi yang tidak dapat dideteksi oleh serangkaian uji A/B yang terisolasi.

Apakah pengujian A/B selalu harus lebih disukai daripada pengujian multivariat?

Tidak. Pengujian A/B adalah pilihan yang tepat secara default untuk sebagian besar situs, tetapi pengujian multivariat menjadi relevan pada halaman dengan lalu lintas sangat tinggi di mana beberapa elemen perlu dioptimalkan bersama dan di mana interaksi di antara elemen-elemen tersebut sangat penting.

Poin-poin penting

Pengujian A/B membandingkan dua versi lengkap, sedangkan pengujian multivariat membandingkan kombinasi elemen-elemen yang terisolasi—dan perbedaan mekanisme ini memiliki biaya lalu lintas yang tidak linier tetapi diperkuat oleh koreksi statistik yang diperlukan untuk menghindari positif palsu. Justru alasan inilah, lebih dari sekadar jumlah varian itu sendiri, yang menjelaskan mengapa begitu banyak pengujian multivariat yang tidak dipersiapkan dengan baik tidak pernah mencapai kesimpulan.

Bagi sebagian besar situs web, termasuk yang paling aktif di pasar Prancis, pengujian A/B tradisional tetap menjadi titik awal yang paling andal. Pengujian A/B/n mengisi celah ketika beberapa versi lengkap dibandingkan. MVT, di sisi lain, hanya menjadi relevan setelah lalu lintas dan eksperimen mencapai tingkat yang cukup untuk membenarkan biayanya.

Sebelum memilih metode, pertanyaan yang tepat bukanlah "tes mana yang paling komprehensif?" tetapi "tes mana yang sebenarnya dapat saya lakukan dengan trafik saya saat ini?". antarmuka pembuatan pengujian memungkinkan Anda untuk meluncurkan kedua format, yang tersedia dari kami. penawaran tingkat pemula, tanpa perlu mengganti alat ketika trafik Anda membenarkan peningkatan — dan jika Anda masih membandingkan solusi pasar, umpan balik pengguna kami yang terperinci dibandingkan dengan Kameleoon Dan AB Tasty Mereka juga membahas cara mereka menangani uji multivariat.