Diperbarui pada 27 Oktober 2026

Uji A/B terakhir Anda menyatakan varian B kalah: −2% konversi di seluruh trafik. Namun, saat memfilter hasilnya, Anda melihat bahwa pengunjung seluler yang datang dari LinkedIn mengonversi 18% lebih banyak dengan varian yang sama. Haruskah B dibuang, dipertahankan, atau hanya ditampilkan kepada segmen ini? Di sinilah personalisasi web dan pengujian A/B bertemu, dan di sinilah sebagian besar tim keliru.

Menurut Studi McKinsey tentang nilai personalisasi, 71% konsumen mengharapkan interaksi yang dipersonalisasi, dan personalisasi yang dilakukan dengan baik biasanya menghasilkan pendapatan 10 hingga 15% lebih banyak. Kata kuncinya adalah "dilakukan dengan baik." Tanpa protokol pengujian, personalisasi hanyalah intuisi yang diterapkan dalam skala besar.

Personalisasi dan pengujian A/B: apa perbedaannya?

Pengujian A/B menjawab pertanyaan, "Versi mana yang menghasilkan konversi terbaik untuk semua pengunjung saya?", sedangkan personalisasi web menjawab, "Versi mana yang menghasilkan konversi terbaik untuk segmen spesifik ini?" Menggabungkan keduanya melibatkan penggunaan pengujian untuk memvalidasi setiap aturan personalisasi sebelum diterapkan, dan kemudian terus mengukur kinerja aktualnya dibandingkan dengan kelompok kontrol.

A Pengujian A/B, sebagaimana didefinisikan dalam glosarium kami., membagi trafik secara acak di antara dua versi dan membandingkan tingkat konversinya. Uji ini menghasilkan satu pemenang yang diterapkan untuk semua. Sebaliknya, personalisasi tidak mencari pemenang universal: personalisasi menampilkan konten yang berbeda berdasarkan karakteristik pengunjung (sumber akuisisi, perangkat, sektor usaha, halaman yang sudah dilihat, keranjang yang ditinggalkan).

Kedua praktik tersebut tidak bersaing. Yang satu menargetkan, yang lain memverifikasi. Personalisasi yang belum teruji bergantung pada asumsi yang belum divalidasi oleh siapa pun; uji A/B yang tidak tersegmentasi dapat menutupi perbedaan perilaku yang signifikan antar audiens. Tabel di bawah ini merangkum perbedaan operasionalnya.

KriteriaPengujian A/BKustomisasi web
Pertanyaan yang diajukanVersi mana yang terbaik secara rata-rata?Versi mana yang paling cocok untuk segmen ini?
Distribusi lalu lintasAcakMenurut aturan atau model
HasilPemenang, diterapkan 100%Beberapa pengalaman aktif secara paralel
LamanyaTerbatas (umumnya 2 hingga 6 minggu)Melanjutkan
UkuranSignifikansi statistikPerbedaan dibandingkan dengan kelompok kontrol permanen
Kebutuhan lalu lintasDiangkat pada halaman yang diujiKinerja tinggi di setiap segmen yang ditargetkan

Mengapa rata-rata dari uji A/B dapat menyesatkan Anda

Hasil keseluruhan menggabungkan segmen-segmen yang terkadang bereaksi dengan cara yang berlawanan: suatu varian mungkin memperoleh keuntungan signifikan pada satu audiens dan mengalami kerugian pada audiens lain, sehingga hasil rata-ratanya mendekati nol.

Mari kita lihat contoh spesifik. Halaman demo SaaS menerima 60% lalu lintas desktop dan 40% lalu lintas seluler. Varian B mengganti formulir 7 kolom dengan formulir 3 kolom yang menawarkan pemesanan janji temu langsung. Di perangkat seluler, tingkat konversi meningkat dari 2,0% menjadi 2,6% (+30%). Di desktop, tingkat konversi menurun dari 4,0% menjadi 3,6% (-10%), karena pengambil keputusan di desktop lebih menyukai formulir yang lebih detail, yang meyakinkan mereka tentang kualifikasi prospek. Hasil keseluruhan: 3,20% untuk A, 3,20% untuk B. Tes "netral", varian tersebut ditinggalkan, dan keuntungan seluler sebesar 30% hilang.

Pendekatan sebaliknya sama berbahayanya. Membagi tes yang telah selesai menjadi sepuluh segmen untuk menemukan "pemenangnya" sama dengan mengalikan perbandingan: dengan 5 segmen yang dianalisis pada tingkat kepercayaan 95%, probabilitas mendapatkan setidaknya satu pemenang palsu secara kebetulan melebihi 22%. Inilah mekanisme yang dijelaskan dalam artikel kami tentang hasil positif palsu dalam pengujian A/B. Segmen yang diidentifikasi setelah kejadian hanyalah hipotesis, bukan bukti: segmen tersebut harus diuji lebih lanjut secara terarah.

Tiga tingkat kematangan

Ada tiga cara untuk menggabungkan pengujian dan penargetan: pengujian global, personalisasi berbasis aturan yang diuji segmen demi segmen, dan personalisasi algoritmik yang terus belajar.

Level 1: Tes keseluruhan

Versi yang menguntungkan semua pihak. Ini adalah fondasinya, dan tetap relevan selama trafik Anda belum memungkinkan pengujian segmentasi. Sebagian besar situs harus menghabiskan beberapa bulan untuk ini sebelum melangkah lebih jauh, menghindari kesalahan pengujian A/B klasik (penghentian prematur, pengujian tanpa hipotesis, indikator yang buruk).

Level 2: Personalisasi berbasis aturan

Anda menetapkan aturan seperti "jika pengunjung berasal dari kampanye" Google Ads "Pada kata kunci X, tampilkan judul Y." Setiap aturan diuji: satu bagian segmen melihat versi yang disesuaikan, bagian lainnya melihat versi standar. CXL menjelaskan level ini sebagai langkah perantara antara pengujian klasik dan personalisasi prediktif, dengan kasus-kasus di mana penargetan berdasarkan perangkat atau wilayah geografis telah menghasilkan keuntungan yang berbeda dari pengujian global.

Level 3: Personalisasi algoritmik

Sebuah model secara otomatis memilih varian yang akan ditampilkan kepada setiap pengunjung berdasarkan konteks mereka dan menyesuaikannya secara real-time. Netflix menerapkan ini pada visual judul-judulnya: setiap pelanggan tidak melihat poster yang sama untuk serial yang sama. Dalam Catatan teknis tentang kustomisasi visual, tim tersebut menjelaskan bahwa mereka memvalidasi algoritmenya secara offline pada data historis, lalu dalam uji A/B klasik terhadap versi yang tidak dipersonalisasi. Bahkan di tingkat paling lanjut, uji A/B tetap menjadi penentu akhir.

Kendala sebenarnya: anggaran lalu lintas per segmen.

Setiap segmen kustom harus mencapai ukuran sampel yang sama dengan uji A/B lengkap: membagi lalu lintas menjadi empat bagian secara praktis melipatgandakan waktu yang dibutuhkan untuk mencapai kesimpulan.

Inilah poin yang sering diabaikan dalam panduan perbandingan, dan yang menyebabkan sebagian besar proyek gagal. Untuk mendeteksi peningkatan relatif sebesar 20% pada rasio konversi 3% (dari 3,0% menjadi 3,6%), dengan tingkat kepercayaan 95% dan kekuatan 80%, dibutuhkan sekitar 13.900 pengunjung per varian, atau hampir 27.800 pengunjung secara total untuk pengujian dua cabang.

Mari kita terapkan perhitungan ini pada halaman yang menerima 20.000 pengunjung per bulan:

  • Tes keseluruhan Dibutuhkan 27.800 pengunjung, atau sekitar 6 minggu.
  • Pengujian pada segmen yang mewakili 50% lalu lintas. : 10.000 pengunjung per bulan, atau hampir 3 bulan.
  • Pengujian pada segmen yang mewakili 20% dari lalu lintas. 4.000 pengunjung per bulan, atau 7 bulan. Terlalu lama: faktor musiman dan perubahan kampanye akan memengaruhi pengukuran jauh sebelumnya.

Kami menyebut ini sebagai Anggaran lalu lintas per segmen. Aturan praktis: segmen yang tidak dapat mencapai ukuran sampel yang dibutuhkan dalam waktu maksimal 6 minggu sebaiknya tidak diuji secara terpisah. Dua pilihan: mengelompokkan beberapa segmen kecil yang memiliki tujuan yang sama, atau menargetkan efek yang lebih besar (peningkatan 40% membutuhkan sekitar empat kali lebih sedikit pengunjung daripada peningkatan 20%). Pilihan tujuan yang dilacak dalam tes Anda juga berpengaruh: mengukur klik pada tombol demo alih-alih penandatanganan kontrak meningkatkan volume konversi dan mempersingkat pengujian.

Metode 4 langkah untuk menggabungkan keduanya

Pertama, optimalkan pengalaman untuk semua orang, kemudian identifikasi kesenjangan antar segmen, uji setiap personalisasi pada segmennya masing-masing, lalu pantau peningkatannya dari waktu ke waktu dengan kelompok kontrol.

Langkah 1: Stabilkan basis pemenang untuk semua

Mempersonalisasi halaman yang kurang optimal sama saja dengan menggandakan satu masalah ke beberapa versi. Mulailah dengan pengujian global pada elemen yang sama bagi semua audiens: kejelasan proposisi nilai, panjang formulir, bukti sosial, kecepatan tampilan. Jika Anda ragu jenis pengujian apa yang harus dijalankan, perbandingan kami Uji A/B atau uji multivariat akan membantu Anda memilih.

Langkah 2: Mengidentifikasi penyimpangan perilaku

Analisis pengujian Anda sebelumnya berdasarkan segmen, tanpa menarik kesimpulan pasti. Anda mencari petunjuk: segmen yang bereaksi sangat berbeda dari rata-rata, perbedaan yang konsisten dalam tingkat konversi antara dua sumber lalu lintas. Dalam hal ini, dasbor analitik digunakan untuk mendaftar kandidat, bukan untuk menentukan pemenang.

Langkah 3: Uji setiap personalisasi pada segmennya

Untuk setiap opsi yang dipilih, rumuskan hipotesis eksplisit: "Pengunjung yang datang dari situs perbandingan pesaing akan melakukan konversi lebih baik jika halaman tersebut menyoroti perbedaan harga kami." Jalankan pengujian yang terbatas pada segmen tersebut, menggunakan versi standar sebagai kontrol. Verifikasi terlebih dahulu bahwa segmen tersebut berada dalam anggaran lalu lintas yang dihitung sebelumnya.

Langkah 4: terapkan dan pertahankan kelompok kontrol

Kustomisasi yang telah divalidasi diluncurkan ke segmennya, tetapi sebagian kecil dari segmen tersebut tetap menggunakan versi standar. Hal ini memungkinkan Anda untuk menentukan, enam bulan kemudian, apakah manfaatnya masih signifikan. Kami menjelaskan mekanisme ini secara detail di bagian berikut.

Mengukur personalisasi dengan kelompok kontrol

Kelompok kontrol (atau holdout) adalah sebagian kecil dari lalu lintas, seringkali 5 hingga 10%, yang sengaja dikecualikan dari personalisasi apa pun untuk terus mengukur keuntungan nyata yang dihasilkan oleh keseluruhan sistem.

Pengujian acak mengukur efek suatu aturan pada momen tertentu. Pengujian ini tidak menjelaskan efek kumulatif dari sepuluh aturan yang aktif secara bersamaan, maupun tentang penurunan efektivitasnya dari waktu ke waktu: pesan "pelanggan baru" kehilangan dampaknya ketika penawaran Anda berkembang, atau banner khusus sektor menjadi usang. Kelompok kontrol keseluruhan menjawab pertanyaan ini.

Dalam praktiknya:

  • Ukuran : 5% dari trafik sudah cukup pada situs dengan volume tinggi; tingkatkan menjadi 10% untuk situs dengan kurang dari 50.000 kunjungan bulanan untuk mendapatkan pengukuran yang bermanfaat.
  • Stabilitas : pengunjung yang ditempatkan di kelompok kontrol harus tetap di sana dari satu kunjungan ke kunjungan berikutnya; jika tidak, perbandingannya tercemar.
  • Membaca Bandingkan rasio konversi kelompok kustom dengan kelompok kontrol setiap kuartal. Jika selisihnya menyempit, satu atau lebih aturan menjadi tidak efektif: uji ulang aturan tersebut satu per satu.

Kelompok kontrol ada biayanya: 5 hingga 10% pengunjung Anda tidak menikmati perbaikan tersebut. Itulah harga dari pengukuran yang jujur. Tanpanya, mustahil mempertahankan anggaran personalisasi di hadapan manajemen yang menanyakan hasilnya.

Segmen mana yang dipersonalisasi terlebih dahulu

Mulailah dengan segmen yang besar, stabil dari waktu ke waktu, dan memiliki tujuan yang jelas berbeda: sumber akuisisi, pelanggan baru atau berulang, perangkat, dan dalam sektor B2B atau ukuran perusahaan.

Urutkan segmen kandidat Anda berdasarkan tiga kriteria, dengan nilai dari 1 hingga 3:

  1. Volume Apakah segmen tersebut memenuhi anggaran trafik selama 6 minggu?
  2. Perbedaan niat Apakah audiens ini benar-benar mencari sesuatu yang berbeda dari kebanyakan orang?
  3. Kemudahan identifikasi Apakah kriteria tersebut diketahui dari halaman pertama yang dilihat (parameter UTM, perangkat) atau hanya setelah beberapa kali kunjungan?

Segmen yang mendapat skor 8 atau 9 diproses terlebih dahulu. Beberapa contoh yang telah terbukti:

  • Konsistensi halaman iklan Sertakan kata kunci atau janji dari iklan berbayar yang mendatangkan pengunjung ke halaman arahan (landing page) dalam judul halaman. Ini seringkali merupakan bentuk personalisasi yang paling sederhana dan hemat biaya.
  • Pengunjung tetap Gantikan promosi penjualan pengantar dengan ajakan bertindak yang lebih langsung (demonstrasi, harga). Mengarahkan ke tabel harga alih-alih ke presentasi umum masuk akal bagi seseorang yang kembali untuk ketiga kalinya.
  • Pengunjung dari perbandingan Pengunjung yang datang dari pencarian "alternatif untuk" mengharapkan elemen pembeda, seperti yang ada di halaman kami. BlastOptimize menghadapi AB Tasty atau milik kami perbandingan dengan Kameleoon.
  • Perdagangan elektronik : kategori yang dilihat selama kunjungan sebelumnya, ambang batas pengiriman gratis disesuaikan dengan ukuran keranjang belanja rata-rata segmen tersebut. Detail spesifik tersedia di halaman khusus kami. Pengujian A/B untuk e-commerce.

Implementasikan tanpa pengembang

Personalisasi berbasis aturan pada dasarnya terdiri dari dua elemen: kondisi penargetan dan modifikasi halaman. Dengan editor visual, keduanya dapat dikonfigurasi tanpa perlu menyentuh kode situs.

Hambatan yang paling sering terjadi bukanlah hambatan statistik, melainkan hambatan organisasi: setiap varian yang dipersonalisasi menjadi tiket bagi tim teknis, dan proyek pun menjadi terhambat. Editor visual BlastOptimize memungkinkan Anda mengubah judul, tombol, gambar, atau blok penjamin kepercayaan langsung di halaman, lalu mengaitkan varian tersebut dengan sebuah segmen. Tim pemasaran tetap memegang kendali atas iterasi; pengembang hanya turun tangan untuk perubahan struktural.

Ada dua poin teknis yang perlu Anda perhatikan:

  • Kilauan : jika versi standar muncul sepersekian detik sebelum versi yang dipersonalisasi, pengunjung menyadarinya dan hasil Anda menjadi bias. Skrip yang dimuat dengan cepat membatasi fenomena ini, dan itulah topik halaman kami tentang pengiriman varian yang sangat cepat.
  • Mematuhi aturan Dokumentasikan setiap personalisasi aktif (segmen, modifikasi, tanggal peluncuran, hasil uji validasi). Lebih dari sepuluh aturan, tanpa catatan ini, tidak ada yang tahu apa yang ditampilkan kepada siapa.

Bagi tim yang tidak punya waktu untuk mengelola setiap pengujian, mode Autopilot mengotomatiskan sebagian pemantauan. Mode ini tidak menggantikan perumusan hipotesis per segmen, yang tetap merupakan pekerjaan manusia.

Persetujuan dan GDPR: poin yang tidak boleh diabaikan

Di Prancis, pelacak yang digunakan untuk mempersonalisasi konten sesuai dengan profil pengunjung tidak termasuk dalam pengecualian persetujuan yang diberikan untuk pengukuran audiens: oleh karena itu, persetujuan sebelumnya dari pengguna internet diperlukan.

Halaman FAQ CNIL tentang cookie mencantumkan pelacak yang dikecualikan dari persetujuan: pengukuran audiens yang benar-benar terbatas pada akun penerbit dan menghasilkan statistik anonim, beberapa mekanisme keamanan, dan lain-lain. Personalisasi yang didasarkan pada riwayat penjelajahan atau profil tidak termasuk dalam kategori tersebut.

Konsekuensi nyata untuk tes Anda:

  • Pengunjung yang menolak pelacakan akan melihat versi standar. Oleh karena itu, segmen yang dapat disesuaikan lebih kecil daripada total lalu lintas Anda: pertimbangkan tingkat penerimaan Anda dalam perhitungan anggaran lalu lintas Anda.
  • Pengunjung yang menerima belum tentu mewakili mereka yang menolak. Keuntungan yang diukur untuk kelompok pertama tidak secara otomatis berlaku untuk kelompok kedua.
  • Beberapa penyesuaian tidak memerlukan pelacakan: adaptasi halaman terhadap parameter UTM di URL atau terhadap jenis perangkat dilakukan menggunakan informasi yang dikirimkan oleh browser selama kunjungan itu sendiri. Mintalah validasi dari Petugas Perlindungan Data (DPO) Anda sesuai dengan konfigurasi Anda.

Daftar periksa yang dapat ditindaklanjuti

Sebelum meluncurkan kustomisasi yang telah diuji, periksa sepuluh poin berikut.

  • ☐ Halaman ini telah menjalani setidaknya dua atau tiga pengujian global yang sukses.
  • ☐ Segmen target dapat diidentifikasi dari halaman pertama yang dilihat (atau hampir pertama kali dilihat).
  • ☐ Segmen tersebut mencapai ukuran sampel yang dibutuhkan dalam waktu maksimal 6 minggu.
  • ☐ Hipotesisnya dituliskan sebagai: segmen, modifikasi, efek yang diharapkan, indikator.
  • ☐ Indikator utama ditentukan sebelum peluncuran, dan tidak dipilih setelahnya.
  • ☐ Kontrol pengujian adalah versi standar, yang ditampilkan pada segmen yang sama.
  • ☐ Tingkat penerimaan pelacak diintegrasikan ke dalam perhitungan lalu lintas.
  • ☐ Tidak adanya kedipan telah diverifikasi pada perangkat seluler dan desktop.
  • ☐ Kelompok kontrol global sebesar 5 hingga 10% telah dibentuk dan stabil.
  • ☐ Aturan tersebut tercatat dalam register penyesuaian aktif.

Pertanyaan yang Sering Diajukan (FAQ)

Apakah personalisasi web menggantikan pengujian A/B?

Tidak. Personalisasi menentukan apa yang dilihat oleh suatu segmen; pengujian A/B memverifikasi bahwa pilihan ini benar-benar meningkatkan konversi. Bahkan Netflix, yang mempersonalisasi setiap gambar dengan algoritma pembelajaran mesin, memvalidasi modelnya melalui pengujian A/B terhadap versi yang tidak dipersonalisasi.

Segmen saya terlalu kecil untuk mencapai signifikansi: apa yang harus saya lakukan?

Ini adalah keberatan yang paling sering muncul di forum pengguna alat pengujian. Ada tiga solusi: mengelompokkan segmen yang memiliki tujuan yang sama, menargetkan perubahan yang lebih signifikan (efek yang diharapkan dua kali lebih besar membutuhkan sekitar empat kali lebih sedikit pengunjung), atau memilih metrik perantara yang lebih sering. Jika tidak satu pun dari solusi ini berhasil, terapkan personalisasi berdasarkan prinsip yang telah divalidasi di tempat lain, tanpa mengklaim telah membuktikannya.

Bisakah kita menganalisis segmen demi segmen dari uji A/B yang telah selesai, lalu mempersonalisasikannya secara langsung?

Analisis berdasarkan segmen berguna untuk menemukan prospek. Penerapan secara langsung berisiko: semakin banyak segmen yang Anda periksa, semakin tinggi kemungkinan menemukan pemenang palsu (lebih dari 22% dengan lima segmen pada tingkat kepercayaan 95%). Lakukan uji coba yang ditargetkan pada segmen yang telah diidentifikasi sebelum menerapkannya.

Berapa proporsi lalu lintas yang harus dialokasikan untuk kelompok kontrol?

Rata-rata antara 5 dan 10%. Semakin rendah trafik Anda, semakin besar kelompok kontrol yang dibutuhkan agar perbedaan yang diukur dapat diandalkan. Pertahankan pengunjung yang sama dalam kelompok yang sama dari satu kunjungan ke kunjungan berikutnya.

Apakah personalisasi dan pengujian A/B memerlukan persetujuan cookie?

Personalisasi berdasarkan profil atau riwayat memerlukan persetujuan, karena berada di luar cakupan pengecualian "pengukuran audiens" yang ditetapkan oleh CNIL (Otoritas Perlindungan Data Prancis). Personalisasi yang hanya berdasarkan parameter URL atau jenis perangkat mungkin tidak memerlukan pelacakan. Mintalah konfigurasi Anda divalidasi oleh Petugas Perlindungan Data (DPO) Anda.

Berapa banyak aturan personalisasi yang harus tetap aktif?

Sebanyak yang dapat Anda ukur dan kelola. Untuk situs B2B dengan beberapa puluh ribu kunjungan bulanan, tiga hingga lima aturan yang divalidasi dan diikuti lebih baik daripada dua puluh aturan yang tidak pernah diuji.

Poin-poin penting

Personalisasi memilih, pengujian A/B membuktikan: salah satu tanpa yang lain menghasilkan intuisi yang tidak terverifikasi atau rata-rata yang menutupi segmen terbaik Anda.

  • Optimalkan pengalaman untuk semua orang terlebih dahulu, kemudian personalisasikan.
  • Hitung anggaran lalu lintas untuk setiap segmen sebelum menargetkannya: dalam waktu 6 minggu untuk menyelesaikannya, jika tidak, kelompokkan bersama.
  • Perlakukan setiap segmen yang diidentifikasi setelah kejadian sebagai hipotesis yang perlu diuji, jangan pernah sebagai hasil akhir.
  • Pertahankan kelompok kontrol tetap sebanyak 5 hingga 10% untuk mengukur keuntungan aktual dan mendeteksi keausan pada aturan.
  • Sertakan persetujuan dalam perhitungan Anda: lalu lintas yang dapat disesuaikan lebih kecil daripada total lalu lintas Anda.

Untuk meluncurkan varian target pertama Anda tanpa melibatkan pengembang, temukan Cara membuat varian khusus hanya dalam beberapa klik.

Berita

Kolom komentar telah ditutup.