実験とCROの用語集

ページまたは要素の2つのバージョンを比較し、どちらがより優れたパフォーマンスを発揮するかを判断する手法。

データが到着するにつれて、ある変異株が勝者となる確率を固定の閾値を待つのではなく、随時更新していく統計的手法。

テスト対象の中で最もパフォーマンスの高いバリアントに合わせてトラフィック配分を自動的に調整する機能。

すべてのバリアントに均等にトラフィックを割り当てるのではなく、テスト対象の中で最もパフォーマンスの高いバリアントに段階的にトラフィックを多く割り当てるアルゴリズム。

テスト対象となった訪問者のサンプルが全体の対象者を代表していない場合、結果が歪められるというエラー。

訪問者がページ上のどこをクリック、マウスオーバー、またはスクロールしたかを視覚的に示すもので、最適化すべき領域を特定するのに役立ちます。

ページの現行バージョン（チャンピオン）と1つ以上の新しいバージョン（チャレンジャー）を比較し、どれが最も優れたパフォーマンスを発揮するかを検証する手法。

訪問者の行動やサイト内での行動履歴に基づいて、訪問者をセグメント化する。

ウェブサイトやアプリケーションのコンバージョン率を向上させることを目的としたあらゆる手法。

コードを書かずにページの見た目（テキスト、色、要素）を変更して、テスト用のバリエーションを作成できるインターフェース。

テスト済みのバリアントに置き換えられる前に、元のコンテンツが短時間表示されます。これはユーザーエクスペリエンスに悪影響を与える可能性があります。

訪問者がコンバージョンに至るまでにたどる以下の手順（例：商品ページ、カート、支払い）は、ユーザーが購入を断念する箇所を特定するのに役立ちます。

観察された差が偶然によるものであるにもかかわらず、ある変異株が優勢であると誤って結論付けること。

変異体間の真の差異を検出できないのは、多くの場合、サンプルサイズが不十分なためである。

コードを再デプロイすることなく、特定のユーザーに対して機能を有効または無効にできる技術的な仕組み。テストを段階的に展開する際によく用いられる。

実験に先立って策定される、検証可能な記述であり、予想される変化と、それが訪問者の行動に及ぼすと考えられる影響を説明するもの。

テストや実験の成功度を測るために選択される指標。例えば、コンバージョン率や平均注文額など。

検査の真の結果が、一定の確実性をもって存在すると推定される値の範囲。

同一ページ上で複数の変数の組み合わせを同時にテストし、最も効率的な組み合わせを特定する。

訪問者に期待される具体的な行動（購入、登録、クリックなど）で、バリアントのパフォーマンスを測定するために使用されます。

訪問者がリンクをクリックした後にアクセスするページ。最適化テストの対象となることが多い。

訪問者のプロフィールや行動に基づいて、表示されるコンテンツを調整する。

変異体間に実際に違いが存在する場合に、検査がそれを検出できる確率。これは特にサンプルサイズに依存する。

検査の異なるバリエーション間で訪問者をランダムに分配することは、信頼性の高い結果を保証するために不可欠です。

訪問者を共通の基準（行動、アクセス元、使用デバイスなど）に基づいてグループ分けし、対象を絞った分析やテストを実施する。

サイト訪問者の連続活動期間。テスト分析における測定単位としてよく用いられる。

2つの変異体間の観測された差異が信頼できるものであり、偶然によるものではないかどうかを判断するための指標。

同じページの2つのバージョンではなく、2つの異なるURLを比較するタイプのテスト。

統計的に有意な結果が得られるために必要な訪問者数またはセッション数。

要素（ボタン、リンク、バナー）をクリックした訪問者の割合を、その要素を見た総数と比較した値。

特定の目標行動を完了した訪問者の割合（訪問者総数に対する割合）。

1ページだけ閲覧して、それ以上の操作を行わずにサイトを離れる訪問者の割合。

同一バージョンのページを2つ比較するテストで、テストツールと測定方法が正しく機能していることを確認するために使用されます。

テスト終了後、例えば対象者セグメント別に結果を詳細に分析し、さらなる教訓を引き出す。

変異体間に実際的な差がなかった場合に、測定された結果と少なくとも同程度に極端な結果が観測される確率。値が低いほど、結果に対する信頼性が高まる。

ページまたは要素の代替バージョン。オリジナル（対照バージョン）と比較して、その影響を測定するためにテストされる。