Algorytmy bandyckie kontra klasyczne testy A/B: kiedy stosować który?

Zaktualizowano 15 października 2026 r.

12,75%. To wskaźnik fałszywych zwycięzców, który uzyskaliśmy, stosując standardowy test statystyczny na końcu testów przeprowadzanych algorytmem bandyty, w 2000 symulacjach, gdzie obie wersje były identyczne. Przy stałym podziale 50/50, wskaźnik ten utrzymuje się na poziomie 4,65%, co jest zgodne z oczekiwanym progiem 5%. Algorytm bandyty nie jest złym narzędziem. Po prostu zajmuje się innym zagadnieniem niż testy A/B, a interpretowanie go jako testu A/B prowadzi do błędów.

W niniejszym przewodniku porównano oba podejścia ze statystycznego punktu widzenia (eksploracja, próbkowanie Thompsona, żal, władza), a następnie według przypadku użycia, wraz z pomocniczymi danymi symulacyjnymi.

Wieloręki bandyta czy testowanie A/B: krótka odpowiedź

Tradycyjny test A/B dystrybuuje ruch w ustalony sposób, aby precyzyjnie zmierzyć różnice między dwiema wersjami; test wieloramiennego bandyty kieruje ruch do wersji, która wydaje się wygrywać, aby stracić jak najmniej konwersji podczas testu. Wybierz test A/B, gdy musisz podjąć długoterminową decyzję i określić jej wpływ, a test bandyty, gdy czas jest krótki i liczy się tylko wynik skumulowany.

Obie metody optymalizują dwie różne wartości:

• Testowanie A/B minimalizuje błąd szacunków. Informuje, czy B pokonuje A, o ile i z jakim przedziałem ufności. Płacisz za tę pewność, kierując połowę ruchu do gorszej wersji aż do końca.
• Bandyta bagatelizuje swój żal, Oznacza to utratę konwersji w porównaniu ze scenariuszem, w którym zwycięzca byłby znany od pierwszego dnia. Płacisz za ten zysk dokładnością: wersja przegrywająca otrzymuje zbyt mało odwiedzających, aby można ją było prawidłowo zmierzyć.

Żadna z metod nie jest skuteczna w obu przypadkach.

Eksploracja kontra eksploatacja: dylemat jednorękiego bandyty

Nazwa pochodzi od automatów do gry, zwanych „jednorękimi bandytami”: mając do dyspozycji kilka maszyn, których wygranych nie znasz, musisz wypróbować kilka (eksplorować) i grać jak najczęściej na najlepszej maszynie (eksploatować).

W CRO każdy wariant jest „ramieniem”, każdy odwiedzający jego częścią, a konwersja zyskiem. Klasyczny test A/B obejmuje 100% eksploracji podczas testowania, a następnie 100% eksploatacji po wdrożeniu zwycięskiego wariantu. Bandyta stale miesza te dwa elementy.

Problem jest stary: William R. Thompson opublikował metodę noszącą jego nazwisko już w 1933 r. na potrzeby badań medycznych.

Jeśli terminy „ramię”, „żał” lub „pozwolenie” są dla Ciebie nowością, słownik testów A/B i współczynnika konwersji (CRO) definiuje każdy z nich w jednym wierszu.

Epsilon-chciwy, UCB, próbkowanie Thompsona: trzy sposoby arbitrażu

Trzy rodziny algorytmów bandyckich różnią się sposobem pomiaru eksploracji: metodą losową (epsilon-greedy), metodą obliczonego optymizmu (UCB) lub metodą próbkowania probabilistycznego (próbkowanie Thompsona), przy czym obecnie w narzędziach testowych dominuje ta druga metoda.

Epsilon-chciwy: prosty, ale marnotrawny

Algorytm wysyła losowo ustaloną część ruchu, na przykład 10%, spośród wszystkich wariantów, a resztę do najlepszego w danym momencie. Mówiąc wprost, aż do końca przesyła wyraźnie słaby wariant. Alokacje takie jak „80% na podstawie wydajności, 20% losowo” wynikają z tej logiki.

UCB: Optymizm w obliczu niepewności

Górna granica ufności oblicza górną granicę potencjalnego zwrotu każdego wariantu i wybiera najwyższą. Słabo przetestowany wariant ma szeroką granicę, więc zostanie przetestowany. Dobrze przetestowany, ale przeciętny wariant nie będzie już testowany. Jest deterministyczny, dlatego mniej nadaje się do aktualizacji wsadowych.

Próbkowanie Thompsona: obstawianie oparte na prawdopodobieństwie bycia najlepszym

Dla każdego wariantu algorytm utrzymuje rozkład prawdopodobieństwa współczynnika konwersji. Dla każdego odwiedzającego wybiera wartość z każdego rozkładu i wyświetla wariant o najwyższej wartości. W rezultacie wariant z 70% prawdopodobieństwem bycia najlepszym generuje około 70% ruchu. Podręcznik referencyjny Russo i in. dotyczący próbkowania Thompsona wyjaśnia, dlaczego ta zasada zbliża się do teoretycznego minimum żalu bez żadnych specjalnych dostosowań.

Jest to metoda używana przez większość platform. Dokumentacja dynamicznego przydziału AB Tasty wskazuje, że opiera się na Thompsonie, że wpływa tylko na nowych użytkowników (użytkownik, który już miał styczność z narzędziem, zachowuje swoją wersję) i że czeka na co najmniej jedną konwersję na wersję wybranego wskaźnika przed rozpoczęciem działania. Porównanie BlastOptimize i AB Tasty omawia różnice w ustawieniach obu narzędzi.

Wadą jest koszt testów A/B konwersji.

Żal to liczba konwersji utraconych w trakcie testu w porównaniu do idealnego scenariusza, w którym cała publiczność od początku zobaczyłaby najlepszą wersję; w przypadku 50/50 żal rośnie proporcjonalnie do ruchu, a w przypadku bandyty żal maleje w trakcie trwania testu.

Weźmy przypadek już szczegółowo opisany w naszym przewodnik autopilota BlastOptimize Przy 40 000 odwiedzających, A generuje konwersję na poziomie 3%, B na poziomie 3,6%. W podziale 50/50, A otrzymuje 20 000 odwiedzających, a B 20 000, co daje 600 + 720 = 1320 konwersji. Gdyby wszyscy zobaczyli B, współczynnik konwersji wyniósłby 1440. Żal związany z testem A/B to 120 konwersji, czyli 8,3% potencjalnych konwersji.

Praca Elei Feit (Drexel) i Rona Bermana (Wharton), zatytułowanego „Test i rzut”, Jest to wyraźnie udowodnione. W przypadku witryny ze 100 000 odwiedzających, test maksymalizujący całkowity zysk wymaga zaledwie 2284 odwiedzających na grupę, w porównaniu z 18 468 w przypadku klasycznego testu hipotezy zaprojektowanego w celu wykrycia wzrostu o 2%. Duży, „czysty” test kosztuje o 476 konwersji więcej. Autorzy pokazują również, że żal związany z testem hipotezy rośnie wraz z liczbą odbiorców, podczas gdy żal związany z próbkowaniem Thompsona rośnie jedynie wraz z pierwiastkiem kwadratowym.

Zapamiętaj tę ideę: w przypadku dwutygodniowej kampanii prawie cały ruch jest „w fazie testowej”, a żal jest znaczący. W przypadku strony głównej, która będzie działać przez dwa lata, faza testowa stanowi jedynie ułamek tego ruchu.

Nasza symulacja: bandyta kontra 50/50 na podstawie 2000 testów

Każdy scenariusz powtórzyliśmy 2000 razy, porównując stały rozkład z próbką Thompsona aktualizowaną w partiach po 500 odwiedzających: bandyta odzyskuje trzy czwarte żalu, gdy luka jest rzeczywista, ale wykrywa zwycięzcę rzadziej i prawie trzykrotnie zwiększa liczbę fałszywych alarmów, gdy nie ma luki.

Metoda: a priori Beta(1,1), aktualizacja wsadowa, 5% dwustronny test z obliczony na końcu, tak jak zrobiłby to zespół odczytujący swoje wyniki.

Cztery wyciągnięte wnioski:

• Zysk jest. Thompson traci tylko 29 konwersji w porównaniu do 120, co jest zgodne z obliczeniami autopilota (około 1408 konwersji).
• Sytuacja się pogarsza. Wariant przegrywający notuje średnio zaledwie 4370 odwiedzin. W rezultacie test staje się istotny jedynie w 66% przypadków, w porównaniu do 92% w scenariuszu 50/50.
• Bandyta, nie dokonując żadnych istotnych odstępstw, tworzy pewniki. Utrzymuje losowość pierwszych partii, zaburza rozkład, a klasyczny test w prawie jednym na osiem przypadków kończy się błędnymi wynikami.
• W przypadku drobnego handlu bandyta nie oszczędza niczego. Przy liczbie odwiedzających wynoszącej 4000 osób obie metody pozwoliły zidentyfikować nieprawidłową wersję w 15–17% przypadków, a różnica w poziomie żalu ograniczyła się do 4 konwersji.

Cena bandyty: władza, stronniczość i fałszywe alarmy

Bandyta poświęca trzy rzeczy chronione przez testy A/B: moc statystyczną, brak stronniczości w mierzonych różnicach i trafność klasycznych testów istotności.

Mniej mocy

Moc, czyli prawdopodobieństwo wykrycia rzeczywistej rozbieżności, zależy przede wszystkim od najmniejszej grupy. Bandyta celowo głodzi tę grupę: dobrze dla konwersji, źle dla pomiaru.

Źle oszacowana luka

Pechowy, wczesny gracz szybko traci na popularności: jego wycena pozostaje niezmienna po słabym starcie, podczas gdy faworyt koryguje się. Wyświetlany spread jest zatem zniekształcony, często przeszacowany. Zanim zaprezentujesz kierownictwu wzrost z pozycji sprawiającej kłopoty, zaplanuj test potwierdzający.

Wartości p, które już nie oznaczają tego samego

Wzory istotności zakładają z góry określony rozkład. Gdy algorytm ustala rozkład na podstawie wyników, założenie to ulega załamaniu. Jest to związane z problemem „peeking”, który polega na ciągłym obserwowaniu wyników i przerywaniu ich, gdy tylko wydają się korzystne. Nasz artykuł na ten temat fałszywie pozytywne wyniki w testach A/B wyjaśnia, dlaczego ta praktyka powoduje gwałtowny wzrost liczby błędów i listę typowe błędy w testach A/B miejsce wśród najczęściej występujących.

Martwe pola operacyjne

Zespół eksperymentalny DoorDash, który zbudował własną platformę bandytów opartą na próbkach Thompsona, wymienia w swojej liście opinia opublikowana w grudniu 2025 r. istnieje kilka konkretnych ograniczeń: trudność w analizie wskaźników, które nie są częścią zoptymalizowanej nagrody, niespójne doświadczenia użytkownika zmieniającego warianty między wizytami oraz opóźnienie między działaniem a rezultatem. Aby ograniczyć stronniczość związaną ze zmianami w zachowaniu klienta w czasie, zespół zdecydował się na modelowanie różnic w stosunku do wersji kontrolnej, a nie surowego wskaźnika dla każdego wariantu.

Kiedy wybrać algorytm bandycki

Wybierz bandytę, gdy koszt pokazania złej wersji podczas testu przewyższa wartość dokładnej wiedzy, dlaczego druga strona wygrywa, co zdarza się szczególnie w przypadku krótkich okienek wyboru i decyzji bez przyszłości.

• Kampanie o ograniczonym czasie trwania Sprzedaż, promocja z okazji Czarnego Piątku, premiera produktu. Przy promocji z czterema nagłówkami i liczbą odwiedzających 20 000, nasza symulacja odzyskuje 82 konwersje na 136, czyli 60% kosztów testu, a później nie będzie żadnego „wdrożenia”.
• Elementy o dużej rotacji Tytuły, tematy wiadomości e-mail, banery, materiały reklamowe wymieniane co miesiąc.
• Wiele wariantów, niewiele uprzedzeń Sześć haków jest proponowanych przez zespół lub generowanych przez sztuczną inteligencję. Bandyta szybko eliminuje najsłabsze. Test z ustalonym rozkładem przyniósłby wysoką cenę za każdy z nich.
• Ciągła optymalizacja :blok, który jest pozostawiany do wykonania w nieskończoność, czasami z dodaną wariacją.

Powszechny warunek: zoptymalizowany wskaźnik musi być szybko mierzony (kliknięcie, dodanie do koszyka, wysłanie formularza) i dokładnie odzwierciedlać wartość. W witrynie e-commerce nasza strona na CRO dla e-commerce wyszczególniono strony, na których spełnione są te warunki.

Kiedy należy zachować klasyczny test A/B

Przeprowadź test A/B ze stałym podziałem na potrzeby każdej długoterminowej decyzji, której odwrócenie jest kosztowne lub która musi zostać uzasadniona danymi pomocniczymi, a także dla każdego testu, w którym konwersja następuje późno.

• Nowy projekt, ceny, lejek płatności :kilka tygodni żalu nie jest niczym w porównaniu z ryzykiem, jakie niesie ze sobą wystawianie fałszywego zwycięzcy na próbę przez lata.
• Potrzeba liczby wpływowej : prognozowanie przychodów, arbitraż budżetowy, raportowanie dla kierownictwa. Tylko stała alokacja zapewnia nieobciążoną wariancję z wiarygodnym przedziałem ufności.
• Odroczone konwersje W B2B lub w generowaniu leadów, wypełnianie formularzy odbywa się szybko, ale prawdziwa wartość (kwalifikowany lead, spotkanie, podpisanie umowy) pojawia się dopiero po kilku dniach. Oszust optymalizujący proces składania zamówień może faworyzować wariant, który przyciąga najmniej kwalifikowanych leadów. Przed uruchomieniem, określ cel i śledzenie które naprawdę odzwierciedlają tę wartość.
• Kilka wskaźników do monitorowania :bandyta optymalizuje jedną nagrodę i źle ocenia resztę, łącznie ze średnią wartością koszyka.
• Różne efekty w zależności od segmentów : wariant, który wygrywa na komputerach stacjonarnych, a przegrywa na urządzeniach mobilnych. Bandit zbliża się do średniej i przestaje wysyłać segment, którego dotyczy problem, do wersji, która mu odpowiada.
• Mały ruch Jak pokazuje symulacja z udziałem 4000 odwiedzających, bandyta nie dodaje prawie nic, gdy sygnał jest zbyt słaby. Lepiej jest przeprowadzić prosty test na znaczącej zmianie.

Ta sama logika ma zastosowanie przy testowaniu kilku elementów na raz: nasze porównanie między testowanie A/B i testowanie wielowymiarowe pokazuje, że każda dodana kombinacja wymaga dodatkowego ruchu.

Połączenie dwóch: trzy strategie hybrydowe

Obie metody dobrze się uzupełniają: najpierw szybka eksploracja, a potem właściwy pomiar, w zależności od stawki.

1. Sortuj według bandyty, potwierdź w A/B

Przeprowadź pięć lub sześć testów wariantów bandytów przez jeden do dwóch tygodni, aby wyeliminować najsłabsze. Następnie porównaj dwa najlepsze warianty w ustalonym wcześniej teście A/B.

2. Przeprowadź krótki test, a następnie wdróż („test i rzuć”)

Feit i Berman zalecają: skalowanie testu według oczekiwanego zysku, a nie progu istotności. Test jest krótszy, rozkład pozostaje stały i nieobciążony, a żal zbliżony do żalu bandyty.

3. Zweryfikuj za pomocą testów A/B, a następnie wykorzystaj testy bandyckie.

W przypadku kampanii stałej (banery, rekomendacje) wstępny test A/B potwierdza, że ​​kampania przynosi korzyści. Następnie, grupa docelowa zarządza rotacją treści w ramach tej kampanii. Utrzymuj małą, stałą grupę kontrolną, na przykład 5% ruchu, aby zweryfikować, czy ogólne korzyści utrzymują się w czasie.

Bez względu na strategię, szybkie wyświetlanie wariantów uwaga: mrugnięcie oryginalnej strony unieważnia obie metody w ten sam sposób. Aby odczytać rzeczywistą różnicę między wariantami, wraz z ich interwałami, panel analityczny BlastOptimize wyświetla wyniki bez żargonu.

Lista kontrolna: Wybór właściwej metody w 7 pytaniach

Odpowiedz na te siedem pytań przed każdym testem: co najmniej cztery odpowiedzi „bandyckie” z pierwszych sześciu oznaczają automatyczny przydział; w przeciwnym razie pozostań przy stałym przydziale. Siódme pytanie weryfikuje, czy test ma szansę na powodzenie.

1. Okres obowiązywania decyzji mniej niż miesiąc (bandyta) czy kilka miesięcy lub dłużej (A/B)?
2. Potrzeba liczby wpływowej przedstawić czy wykorzystać ponownie: nie (bandyta), tak (A/B)?
3. Czas konwersji : mierzalne w trakcie sesji (bandit) czy kilka dni później (A/B)?
4. Liczba wariantów : cztery lub więcej bez wyraźnego faworyta (bandyta), dwa czy trzy (A/B)?
5. Wskaźniki wtórne co należy monitorować (średnia wartość koszyka, wskaźnik zwrotów, jakość leadów): brak (bandyt), co najmniej jeden (A/B)?
6. Segmenty prawdopodobnie zareaguje inaczej: nie (bandyta), tak (bandyta A/B lub kontekstowy z grupą kontrolną)?
7. Ruch drogowy :co najmniej kilkaset konwersji na wariant spodziewanych w miarę upływu czasu (obie opcje są możliwe) czy mniej (żadna z nich nie będzie decydująca: przetestuj bardziej wyraźną zmianę)?

Mniej niż dziesięć testów rocznie? Unikaj płacenia za rzadko używaną opcję: porównaj z ceny BlastOptimize.

Najważniejsze wnioski

Testy Bandit i A/B odpowiadają na dwa różne pytania.

• Testowanie A/B minimalizuje błędy pomiaru, a metoda „wielorakiego bandyty” minimalizuje żal, czyli utratę konwersji w trakcie testu.
• Próbkowanie Thompsona jest algorytmem referencyjnym: każda odmiana otrzymuje część ruchu proporcjonalną do prawdopodobieństwa, że ​​jest najlepsza.
• W naszej symulacji, bandyta odzyskuje około 75% żalu z 50/50, ale wykrywalność zwycięzcy wzrasta z 92% do 66%, a fałszywych zwycięzców z 4,65% do 12,75%, bez żadnej realnej różnicy.
• Bandit do krótkich kampanii, szybko rotującej treści i licznych wariantów; testy A/B w celu podejmowania trwałych decyzji, opóźnionych konwersji i testowania cen.
• W przypadku małego natężenia ruchu żadna z metod nie działa cudów.

Często zadawane pytania

Czy test bandycki jest szybszy od testu A/B?

Szybciej jest wykorzystać dane, ale nie wyciągać wniosków. Ponieważ wariant przegrywający generuje mniej odwiedzających, często potrzebny jest większy ruch, aby wykazać różnicę. Do wyciągnięcia wniosków statystycznych najkrótszą drogą pozostaje test A/B o stałym rozkładzie.

Czy możemy obliczyć istotność testu bandyty?

Nie z tradycyjnymi formułami, które zakładają z góry ustalony rozkład. W naszej symulacji zastosowanie ich do bandyty daje 12,75% fałszywych zwycięzców zamiast 5%. Zamiast tego należy wykorzystać prawdopodobieństwo bycia najlepszym wariantem gwarantowanym przez algorytm lub potwierdzić wynik krótkim testem A/B.

Ile potrzeba handlu ludźmi, żeby wykorzystać bandytę?

Bandit nie potrzebuje mniej ruchu niż test A/B, aby się nauczyć. Na początek potrzebuje konwersji dla każdego wariantu, co najmniej jednej, zgodnie z dokumentacją.AB Tasty, W praktyce wystarczy kilkadziesiąt, żeby przebrnąć przez szum pierwszych partii. Przy kilku tysiącach odwiedzających obie metody często zawodzą.

Próbkowanie Thompsona czy epsilon-greedy: co wybrać?

Próbkowanie Thompsona jest preferowaną metodą w większości przypadków: dostosowuje wyszukiwanie do niepewności i nie marnuje ruchu na przestarzały wariant. Próbkowanie epsilon-chciwe jest uzasadnione tylko wtedy, gdy zależy Ci na stałym i łatwym do wyjaśnienia udziale w wyszukiwaniu.

Czy bandit sprawdza się w generowaniu leadów B2B?

W przypadku elementów taktycznych (nagłówek landing page'a, wizualizacja reklamy, etykieta przycisku) tak, jeśli zoptymalizowanym wskaźnikiem jest wypełnienie formularza. W przypadku decyzji strategicznych – nie: jakość leadów jest mierzona zbyt późno, aby na jej podstawie algorytm mógł kierować procesem, co grozi faworyzowaniem formularzy, które przyciągają niekwalifikowane kontakty.

Czym jest bandyta kontekstowy?

To bandyta, który wybiera wariant na podstawie profilu odwiedzającego: urządzenia, źródła ruchu, wyświetleń strony. Służy personalizacji, a nie wskazywaniu pojedynczego zwycięzcy, wymaga znacznie większego ruchu i utrzymania grupy kontrolnej, aby zmierzyć jego wpływ.