ABテストの結果を活用するには、統計学的な観点からの分析が必要不可欠です。
従来のABテストでは、**「統計的有意差」**があるか確かめることが重要とされてきました。
一方、Optimize Next では**「最適である確率」**という指標を重視しています。
「Optimize Next」ABテスト結果のレポート画面
この記事では、それぞれの概念的な意味をわかりやすく説明した上で、 **「最適である確率」を算出するために用いる「ベイズ推定」**という手法の仕組みについて、簡略化したモデルをもとに解説しています。
**「統計的に有意な差がある」**とは、データ間の差異が「偶然によって生じたものではなく何らかの意味を持つ」と言える状態のことを指します。
たとえば、薬の効能を調べる臨床試験では、被験者をランダムに2つのグループに割り振り、 グループAには本物の薬を、グループBにはプラセボ（偽薬）を服用させて、 グループAの被験者の方が効能を示すことを確認します。
このとき、単にグループAの方が数値が良いというだけでは不十分で、 グループBとの差分が「偶然とは言えない」ものであるかどうかが重要になります。
この判断は、p値 と呼ばれる指標を算出し、その大きさによって行います。
p値 は価値のある指標ではありますが、
一方で、その解釈や利用方法に関して多くの批判や警告が繰り広げられていることも事実です。
また、そもそも p値 は学術的な文脈において使われる指標であり、私たちマーケターにとってどれほどの価値を持つものかという点については一考の余地があります。
私たちの興味の対象は**「いかにWebサイトのパフォーマンスを最大化させるか」**であり、 「実施したABテストの結果に統計的有意差があると言えるか」ではありません。
むしろ、テストパターンの方が高いパフォーマンスを示したものの、 p値 が基準よりも大きい（統計的有意差が認められない）という理由だけで実装を見送ってしまうことは、場合によってはサイト改善の機会損失になり得るということを覚えておかなければなりません。