Algoritma bandit vs. pengujian A/B klasik: kapan menggunakan yang mana?

Diperbarui pada 15 Oktober 2026

12,75%. Itulah tingkat pemenang palsu yang kami peroleh dengan menerapkan uji statistik standar di akhir pengujian yang didorong oleh algoritma bandit, pada 2.000 simulasi di mana kedua versi tersebut benar-benar identik. Dengan pembagian tetap 50/50, tingkat ini tetap 4,65%, konsisten dengan ambang batas 5% yang diharapkan. Algoritma bandit bukanlah alat yang buruk. Algoritma ini hanya menangani pertanyaan yang berbeda dari pengujian A/B, dan menafsirkannya sebagai pengujian A/B menyebabkan kesalahan.

Panduan ini membandingkan kedua pendekatan tersebut dari sudut pandang statistik (eksplorasi, pengambilan sampel Thompson, penyesalan, kekuatan), kemudian berdasarkan studi kasus, dengan angka simulasi pendukung.

Pengujian multi-armed bandit atau A/B testing: jawaban singkatnya

Uji A/B tradisional mendistribusikan lalu lintas dengan cara tetap untuk mengukur perbedaan antara dua versi secara tepat; uji multi-armed bandit mengalihkan lalu lintas ke versi yang tampaknya unggul agar kehilangan konversi sesedikit mungkin selama pengujian. Pilih pengujian A/B ketika Anda perlu membuat keputusan jangka panjang dan mengukur dampaknya, dan uji bandit ketika jangka waktunya singkat dan hanya hasil kumulatif yang penting.

Kedua metode tersebut mengoptimalkan dua besaran yang berbeda:

• Pengujian A/B meminimalkan kesalahan estimasi. Ini memberi tahu Anda apakah B mengalahkan A, seberapa besar perbedaannya, dan dengan interval kepercayaan berapa. Anda membayar kepastian ini dengan mengarahkan setengah dari lalu lintas ke versi yang lebih buruk hingga akhir.
• Perampok itu mengecilkan penyesalannya, Artinya, konversi yang hilang dibandingkan dengan skenario di mana Anda mengetahui pemenangnya sejak hari pertama. Anda membayar untuk peningkatan akurasi ini: versi yang kalah menerima terlalu sedikit pengunjung untuk diukur dengan benar.

Tidak ada metode yang unggul dalam kedua hal tersebut.

Eksplorasi versus eksploitasi: dilema mesin judi satu tangan

Nama permainan ini berasal dari mesin slot, "bandit satu lengan": dihadapkan dengan beberapa mesin yang pembayarannya tidak Anda ketahui, Anda harus mencoba beberapa mesin (eksplorasi) dan bermain sesering mungkin pada mesin terbaik (eksploitasi).

Dalam CRO, setiap varian adalah "lengan," setiap pengunjung adalah bagian, dan konversi adalah keuntungan. Tes A/B klasik melibatkan eksplorasi 100% selama pengujian, kemudian eksploitasi 100% setelah varian pemenang diterapkan. Sebuah bandit terus menerus mencampur keduanya.

Masalah ini sudah lama ada: William R. Thompson mempublikasikan metode yang menyandang namanya sejak tahun 1933, untuk uji coba medis.

Jika istilah "senjata," "penyesalan," atau "tunjangan" masih asing bagi Anda, glosarium pengujian A/B dan CRO mendefinisikan masing-masing dalam satu baris.

Pengambilan sampel epsilon-greedy, UCB, Thompson: tiga cara untuk melakukan arbitrase

Ketiga keluarga algoritma bandit tersebut berbeda dalam cara mereka mengukur eksplorasi: secara kebetulan (epsilon-greedy), secara optimisme terhitung (UCB) atau secara pengambilan sampel probabilistik (Thompson sampling), dan yang terakhir inilah yang mendominasi saat ini dalam alat pengujian.

Epsilon-rakus: sederhana, tetapi boros

Algoritma ini mengirimkan sebagian lalu lintas tetap, misalnya 10%, secara acak di antara semua varian, dan sisanya ke varian terbaik pada waktu tertentu. Sesederhana itu, algoritma ini terus memberikan alokasi ke varian yang jelas-jelas buruk hingga akhir. Alokasi seperti "80% berdasarkan kinerja, 20% acak" berasal dari logika ini.

UCB: Optimisme dalam menghadapi ketidakpastian

Upper Confidence Bound menghitung batas atas untuk potensi pengembalian setiap varian dan memilih yang tertinggi. Varian yang kurang teruji memiliki batas yang lebar, sehingga akan diuji. Varian yang teruji dengan baik tetapi biasa-biasa saja tidak akan diuji lagi. Metode ini bersifat deterministik, oleh karena itu kurang cocok untuk pembaruan massal.

Pengambilan sampel Thompson: bertaruh berdasarkan probabilitas menjadi yang terbaik

Untuk setiap varian, algoritma mempertahankan distribusi probabilitas tingkat konversinya. Untuk setiap pengunjung, algoritma memilih nilai dari setiap distribusi dan menampilkan varian dengan nilai tertinggi. Akibatnya, varian dengan probabilitas 70% menjadi yang terbaik akan menerima sekitar 70% lalu lintas. Tutorial referensi Russo dkk. tentang Thompson sampling menjelaskan mengapa aturan ini mendekati penyesalan minimum teoretis tanpa penyesuaian khusus apa pun.

Ini adalah metode yang digunakan oleh sebagian besar platform. Dokumentasi alokasi dinamis dari AB Tasty menunjukkan bahwa algoritma ini bergantung pada Thompson, hanya memengaruhi pengunjung baru (pengunjung yang sudah terpapar tetap mempertahankan variannya), dan menunggu setidaknya satu konversi per varian pada indikator yang dipilih sebelum memulai. Perbandingan antara BlastOptimize dan AB Tasty membahas perbedaan pengaturan antara kedua alat tersebut.

Kelemahannya: biaya pengujian A/B dalam konversi.

Penyesalan adalah jumlah konversi yang hilang selama pengujian dibandingkan dengan skenario ideal di mana seluruh audiens akan melihat versi terbaik sejak awal; skenario 50/50 memiliki penyesalan yang tumbuh sebanding dengan lalu lintas, sedangkan skenario bandit memiliki penyesalan yang melambat selama pengujian.

Mari kita ambil contoh kasus yang telah dijelaskan secara rinci dalam panduan autopilot BlastOptimize Dengan 40.000 pengunjung, A memiliki tingkat konversi 3%, sedangkan B 3,6%. Dalam pembagian 50/50, A menerima 20.000 pengunjung dan B 20.000, menghasilkan 600 + 720 = 1.320 konversi. Jika semua orang melihat B, tingkat konversinya akan menjadi 1.440. Kerugian yang terkait dengan uji A/B adalah 120 konversi, atau 8,3% dari potensi konversi.

Karya Elea Feit (Drexel) dan Ron Berman (Wharton), berjudul "Test & Roll", Hal ini terbukti dengan jelas. Untuk situs dengan 100.000 pengunjung, pengujian yang memaksimalkan total keuntungan hanya membutuhkan 2.284 pengunjung per kelompok, dibandingkan dengan 18.468 untuk pengujian hipotesis klasik yang dirancang untuk mendeteksi peningkatan 2%. Pengujian yang besar dan "bersih" tersebut membutuhkan 476 konversi lebih banyak. Para penulis juga menunjukkan bahwa penyesalan yang terkait dengan pengujian hipotesis meningkat seiring dengan ukuran audiens, sedangkan penyesalan yang terkait dengan pengambilan sampel Thompson hanya meningkat seiring dengan akar kuadratnya.

Ingatlah gagasan ini: untuk kampanye dua minggu, hampir semua lalu lintas berada "di tahap uji coba" dan penyesalannya sangat signifikan. Untuk halaman beranda yang akan ada selama dua tahun, tahap uji coba hanya mewakili sebagian kecil dari lalu lintas tersebut.

Simulasi kami: bandit vs. 50/50 berdasarkan 2.000 pengujian

Kami memutar ulang setiap skenario 2.000 kali, membandingkan distribusi tetap dengan pengambilan sampel Thompson yang diperbarui dalam kelompok 500 pengunjung: bandit tersebut memulihkan tiga perempat dari penyesalan ketika celah itu nyata, tetapi mendeteksi pemenang lebih jarang dan hampir tiga kali lipat positif palsu ketika tidak ada celah.

Metode: Beta a priori (1,1), pembaruan batch, uji z dua sisi 5% dihitung di akhir, seperti yang akan dilakukan tim saat membaca hasilnya.

Empat pelajaran yang dipetik:

• Keuntungannya ada di sana. Thompson hanya kehilangan 29 konversi dari 120, sesuai dengan perhitungan panduan autopilot (sekitar 1.408 konversi).
• Situasinya semakin memburuk. Varian yang kalah hanya menerima rata-rata 4.370 pengunjung. Akibatnya, pengujian menjadi signifikan hanya dalam 66% kasus, dibandingkan dengan 92% pada skenario 50/50.
• Tanpa penyimpangan nyata apa pun, bandit tersebut menciptakan kepastian. Hal ini melanjutkan sifat acak dari kelompok data pertama, membuat distribusi menjadi tidak seimbang, dan uji klasik kemudian menghasilkan kesimpulan yang salah di hampir satu dari delapan kasus.
• Dalam perdagangan ilegal skala kecil, bandit tidak menyimpan apa pun. Dengan 4.000 pengunjung, kedua metode tersebut mengidentifikasi varian yang salah dalam 15 hingga 17% kasus, dan perbedaan penyesalan terbatas pada 4 konversi.

Harga yang harus dibayar oleh si bandit: kekuasaan, bias, dan kesalahan positif.

Metode bandit mengorbankan tiga hal yang dilindungi oleh pengujian A/B: kekuatan statistik, tidak adanya bias pada perbedaan yang diukur, dan validitas uji signifikansi klasik.

Daya lebih rendah

Daya deteksi, yaitu probabilitas mendeteksi perbedaan nyata, terutama bergantung pada kelompok terkecil. Seorang bandit sengaja membuat kelompok ini kekurangan data: bagus untuk konversi Anda, buruk untuk pengukuran Anda.

Kesenjangan yang diperkirakan dengan buruk

Saham yang berkinerja buruk di awal perdagangan akan cepat kehilangan trafik: valuasi saham tersebut tetap terpaku pada awal yang buruk, sementara saham favorit memperbaiki posisinya. Akibatnya, spread yang ditampilkan menjadi bias, seringkali dilebih-lebihkan. Sebelum mempresentasikan kenaikan harga saham yang bermasalah kepada manajemen Anda, rencanakan uji konfirmasi terlebih dahulu.

Nilai P yang maknanya sudah tidak sama lagi.

Rumus signifikansi mengasumsikan distribusi yang telah ditentukan sebelumnya. Ketika algoritma menentukan distribusi berdasarkan hasilnya, asumsi tersebut tidak berlaku. Ini terkait dengan masalah "mengintip", yang melibatkan pengamatan terus-menerus terhadap hasil dan berhenti segera setelah hasilnya tampak menguntungkan. Artikel kami tentang hal ini... hasil positif palsu dalam pengujian A/B menjelaskan mengapa praktik ini menyebabkan tingkat kesalahan meroket, dan daftar kesalahan umum dalam pengujian A/B tempat yang paling umum.

Titik buta operasional

Tim eksperimental DoorDash, yang membangun platform banditnya sendiri berdasarkan pengambilan sampel Thompson, mencantumkannya dalam umpan balik yang dipublikasikan pada Desember 2025 terdapat beberapa keterbatasan konkret: kesulitan menganalisis indikator yang bukan bagian dari imbalan yang dioptimalkan, pengalaman yang tidak konsisten dari pengguna yang beralih varian dari satu kunjungan ke kunjungan berikutnya, dan jeda antara tindakan dan hasil. Untuk membatasi bias ketika perilaku pelanggan berubah seiring waktu, tim memilih untuk memodelkan perbedaan dari versi kontrol daripada tingkat mentah dari setiap varian.

Kapan memilih algoritma bandit?

Pilihlah opsi "bandit" (opsi yang menampilkan kesalahan tanpa kepastian) ketika biaya menampilkan versi yang salah selama pengujian melebihi nilai mengetahui secara pasti mengapa versi lain menang, yang terutama terjadi pada jangka waktu yang singkat dan keputusan tanpa kepastian di masa depan.

• Kampanye terbatas waktu Penjualan, promosi Black Friday, peluncuran produk. Pada promosi dengan 20.000 pengunjung dan empat headline, simulasi kami menghasilkan 82 konversi dari 136, yaitu 60% dari biaya pengujian, dan tidak akan ada "implementasi" setelahnya.
• Elemen yang berputar sangat cepat Judul, subjek email, banner, visual iklan, diganti setiap bulan.
• Banyak variasi, sedikit prasangka Enam jebakan diusulkan oleh tim atau dihasilkan oleh AI. Sang bandit dengan cepat menyingkirkan yang terlemah. Tes distribusi tetap akan membayar harga mahal untuk setiap jebakan.
• Optimalisasi berkelanjutan : sebuah blok kode yang dibiarkan berjalan tanpa batas waktu, terkadang menambahkan variasi.

Kondisi umum: indikator yang dioptimalkan harus diukur dengan cepat (klik, tambah ke keranjang, pengiriman formulir) dan secara akurat mencerminkan nilainya. Di situs e-commerce, halaman kami di CRO untuk e-commerce merinci halaman-halaman di mana kondisi-kondisi ini terpenuhi.

Kapan sebaiknya menggunakan uji A/B klasik?

Pertahankan uji A/B split tetap untuk setiap keputusan jangka panjang yang mahal untuk dibatalkan atau perlu dibenarkan dengan data pendukung, dan untuk setiap pengujian di mana konversi terjadi di tahap akhir.

• Desain ulang, penetapan harga, alur pembayaran Penyesalan selama beberapa minggu tidak seberapa dibandingkan dengan risiko menggunakan pemenang palsu selama bertahun-tahun.
• Kebutuhan akan angka dampak : perkiraan pendapatan, arbitrase anggaran, laporan kepada manajemen. Hanya alokasi tetap yang memberikan varians yang tidak bias dengan interval kepercayaan yang dapat diandalkan.
• Konversi tertunda Dalam B2B atau pembuatan prospek, pengisian formulir terjadi dengan cepat, tetapi nilai sebenarnya (prospek berkualitas, janji temu, penandatanganan kontrak) baru datang beberapa hari kemudian. Penipu yang mengoptimalkan proses pengisian formulir mungkin lebih menyukai varian yang menarik prospek yang paling tidak berkualitas. Sebelum diluncurkan, tetapkan tujuan dan pelacakannya. yang benar-benar mencerminkan nilai ini.
• Beberapa indikator yang perlu dipantau Seorang bandit mengoptimalkan satu imbalan dan salah menilai sisanya, termasuk rata-rata keranjang belanja.
• Efek yang berbeda tergantung pada segmennya. : sebuah varian yang unggul di desktop dan kalah di perangkat seluler. Bandit tersebut mendekati nilai rata-rata dan berhenti mengirimkan segmen yang terpengaruh ke versi yang sesuai.
• Lalu lintas rendah Seperti yang ditunjukkan oleh simulasi dengan 4.000 pengunjung, bandit hampir tidak memberikan manfaat apa pun ketika sinyal terlalu lemah. Pengujian sederhana pada perubahan yang signifikan akan lebih baik.

Logika yang sama berlaku untuk menguji beberapa elemen sekaligus: perbandingan kita antara pengujian A/B dan pengujian multivariat menunjukkan bahwa setiap kombinasi tambahan membutuhkan lalu lintas tambahan.

Menggabungkan keduanya: tiga strategi hibrida

Kedua metode tersebut saling melengkapi dengan baik: eksplorasi cepat terlebih dahulu, kemudian pengukuran yang tepat, tergantung pada taruhannya.

1. Urutkan berdasarkan bandit, konfirmasi di A/B

Jalankan lima atau enam varian bandit selama satu hingga dua minggu untuk menghilangkan yang terlemah. Kemudian bandingkan dua yang terbaik dalam uji A/B yang telah ditentukan sebelumnya.

2. Uji coba singkat, lalu terapkan ("uji dan luncurkan")

Ini adalah rekomendasi Feit dan Berman: untuk menentukan ukuran pengujian berdasarkan keuntungan yang diharapkan daripada ambang batas signifikansi. Pengujian menjadi lebih singkat, distribusi tetap dan tidak bias, dan kerugiannya tetap mendekati kerugian pada algoritma bandit.

3. Validasi menggunakan pengujian A/B, lalu eksploitasi menggunakan pengujian bandit.

Untuk kampanye permanen (banner, rekomendasi), uji A/B awal memastikan bahwa kampanye tersebut memberikan manfaat. Kemudian, sebuah kelompok kontrol (bandit) mengelola rotasi konten dalam kampanye ini. Pertahankan kelompok kontrol permanen yang kecil, misalnya, 5% dari trafik, untuk memverifikasi bahwa manfaat keseluruhan tetap terjaga dari waktu ke waktu.

Apa pun strateginya, pengiriman varian yang cepat catatan: kedipan halaman asli akan membatalkan kedua metode dengan cara yang sama. Dan untuk membaca perbedaan sebenarnya antara varian, beserta intervalnya, dasbor analitik BlastOptimize menampilkan hasil tanpa menggunakan jargon.

Daftar Periksa: Memilih metode yang tepat dalam 7 pertanyaan

Jawablah tujuh pertanyaan ini sebelum setiap tes: setidaknya empat jawaban "bandit" dari enam jawaban pertama menunjukkan alokasi otomatis; jika tidak, tetaplah dengan alokasi tetap. Pertanyaan ketujuh memverifikasi bahwa tes tersebut memiliki peluang untuk berhasil.

1. Jangka waktu berlakunya keputusan kurang dari sebulan (bandit) atau beberapa bulan atau lebih (A/B)?
2. Kebutuhan akan angka dampak untuk menampilkan atau menggunakan kembali: tidak (bandit), ya (A/B)?
3. Waktu konversi : dapat diukur dalam sesi tersebut (bandit) atau beberapa hari kemudian (A/B)?
4. Jumlah varian : empat atau lebih tanpa favorit yang jelas (bandit), dua atau tiga (A/B)?
5. Indikator sekunder hal-hal yang perlu dipantau (ukuran keranjang rata-rata, tingkat pengembalian dana, kualitas prospek): tidak ada (bandit), setidaknya satu (A/B)?
6. Segmen kemungkinan bereaksi berbeda: tidak (bandit), ya (A/B atau bandit kontekstual dengan kelompok kontrol)?
7. Lalu lintas : setidaknya beberapa ratus konversi per varian diharapkan seiring waktu (keduanya mungkin) atau kurang (tidak ada yang akan memutuskan: uji perubahan yang lebih signifikan)?

Kurang dari sepuluh tes per tahun? Hindari membayar untuk opsi yang jarang digunakan: bandingkan dengan harga BlastOptimize.

Poin-poin penting

Pengujian Bandit dan pengujian A/B menjawab dua pertanyaan yang berbeda.

• Pengujian A/B meminimalkan kesalahan pengukuran; multi-armed bandit meminimalkan penyesalan, yaitu konversi yang hilang selama pengujian.
• Algoritma referensi yang digunakan adalah Thompson sampling: setiap varian menerima bagian lalu lintas yang proporsional dengan probabilitasnya menjadi yang terbaik.
• Dalam simulasi kami, bandit tersebut memulihkan sekitar 75% dari penyesalan 50/50, tetapi deteksi pemenang turun dari 92% menjadi 66% dan pemenang palsu dari 4,65% menjadi 12,75% tanpa perbedaan yang nyata.
• Bandit cocok untuk kampanye singkat, konten yang cepat berganti, dan berbagai variasi; pengujian A/B untuk keputusan jangka panjang, konversi tertunda, dan pengujian harga.
• Untuk volume lalu lintas yang kecil, kedua metode tersebut tidak memberikan hasil yang ajaib.

Pertanyaan yang Sering Diajukan

Apakah uji bandit lebih cepat daripada uji A/B?

Mengeksploitasi data memang lebih cepat, tetapi tidak untuk menarik kesimpulan. Karena varian yang kalah menerima sedikit pengunjung, seringkali dibutuhkan lebih banyak lalu lintas untuk menunjukkan perbedaannya. Untuk kesimpulan statistik, uji A/B distribusi tetap tetap merupakan jalan tercepat.

Bisakah kita menghitung signifikansi pada uji bandit?

Tidak dengan rumus tradisional, yang mengasumsikan distribusi yang telah ditentukan sebelumnya. Dalam simulasi kami, penerapannya pada bandit menghasilkan 12,75% pemenang palsu, bukan 5%. Sebagai gantinya, gunakan probabilitas menjadi varian terbaik yang diberikan oleh algoritma, atau konfirmasikan hasilnya dengan uji A/B singkat.

Seberapa banyak penyelundupan yang dibutuhkan untuk menggunakan seorang bandit?

Bandit tersebut tidak membutuhkan lalu lintas yang lebih sedikit daripada pengujian A/B untuk belajar. Ia membutuhkan konversi pada setiap varian untuk mulai berjalan, setidaknya satu kali menurut dokumentasi.AB Tasty, Dan dalam praktiknya, beberapa lusin orang diperlukan untuk mengatasi kebisingan dari kelompok pengunjung pertama. Dengan total beberapa ribu pengunjung, kedua metode tersebut seringkali gagal.

Pengambilan sampel Thompson atau epsilon-greedy: mana yang harus dipilih?

Pengambilan sampel Thompson adalah metode yang lebih disukai dalam sebagian besar kasus: metode ini menyesuaikan pencarian dengan ketidakpastian dan tidak membuang-buang trafik pada varian yang sudah usang. Pengambilan sampel epsilon-greedy hanya dibenarkan jika Anda menginginkan bagian pencarian yang tetap dan mudah dijelaskan.

Apakah strategi bandit efektif untuk menghasilkan prospek B2B?

Untuk elemen taktis (judul halaman arahan, visual iklan, label tombol), ya, jika metrik yang dioptimalkan adalah pengiriman formulir. Untuk keputusan strategis, tidak: kualitas prospek diukur terlalu terlambat untuk memandu algoritma, yang berisiko mengutamakan formulir yang menarik kontak yang tidak memenuhi syarat.

Apa itu contextual bandit?

Ini adalah algoritma yang memilih varian berdasarkan profil pengunjung: perangkat, sumber lalu lintas, dan jumlah tampilan halaman. Algoritma ini bertujuan untuk personalisasi, bukan untuk menentukan satu pemenang tunggal, membutuhkan lalu lintas yang jauh lebih banyak, dan perlu mempertahankan kelompok kontrol untuk mengukur dampaknya.