2014年9月30日
A/Bテストで出た結果に意味があるのか統計的に確かめる方法
リスティング広告やランディングページのリニューアルでテストをして、クリック率や直帰率で差が出たときに、その差が意味のある差なのか、ただの誤差なのか、判断に迷うことも多いと思います。
特にあまりデータの母数が多くないとなおさらです。
そんなときでも、統計の考え方をざっくりとでも理解していれば正しいジャッジをすることができます。ここでは難しい計算を使わなくても、ツールを使ってできる統計的な計算方法についてご紹介します。
2群の母比率の差の検定
例えば、2つのパターンのページを50%ずつの比率で出し分けてどちらの直帰率が低いかを確かめる場合を考えてみます。
【例】
- パターンA：表示500回、直帰率50%
- パターンB：表示500回、直帰率55%
この場合は「対応のない2群の母比率の差の検定」を行うのですが、名称を覚える必要はありません。
以下のサイトにアクセスし、「対応のないデータ」の入力欄にデータを入力していきましょう。
入力の際の注意点として、「割合」ではなく「実数」を入力するので、Aの被験者は500人、該当者は250人、Bの被験者も500人、該当者は275人となります。
ここまで入力できたら「計算」と押してみましょう。
すると、「両側P値」に「0.1134」と表示されるはずです。一般的にはこのP値が5%以下になったときに統計的に有意差があると言われ、データの差異は誤差ではないと判断されます。
この場合は0.1134となり5%以上なので、有意差があるとは言えない、という結果になります。
では、有意差を出すにはどうすればよいのでしょうか。
仮に同じ直帰率でもデータの母数がそれぞれ1000まで伸びるとP値は0.0252となり、この場合は有意差がある、と判断されます。
つまり、テストの期間を延ばすことで母数が増え、有意差が判断しやすくなるのです。
もちろん、この5%というのはあくまでも統計的な目安であり、「2つのデータが同じである確率が5%以下なら有意と言ってよい」と決まっているだけです。もちろんテストをやる目的は様々かと思いますので、目的によっては有意差の基準を甘くしてでも判断のスピードを上げることが重要な場合もあるでしょう。
あくまでも目安としてとらえることが大切だと思います。
