A/B テストのやり方とかのメモ
# AirbnbのA/Bテストの進め方
「何回の失敗なら許容するか」ということでしょう。この「帰無仮説が正しいのに、帰無仮説を棄却する」という過ちのことを第1種の過誤といいますが、第1種の過誤を犯す確率をどの程度までなら許容するか、という境界のことを有意水準といいます。この有意水準は検定を行う前に設定しておくべきもので、心理学では慣例的にα = 0.05（5%水準）という値を採用することが多いです。5%水準ということは、換言すると「100回に5回の誤りなら許容しよう」とするものです。
#ブラウザのごとの分析
サーチ結果を大改善にするにあたり、A/Bテストを行ってみた結果の表。
この画像がwp-contentの配下にあったのが、いいかんじですがw
これが面白かった。
△がCTRみたいな指標らしいんですが、それがIEだけ格段におちているんだって。
で、調べてみると、ボタンが、IEの古いバージョンだとうごいていなかったという落ち。
どっちかというと、CTRから見る、各ブラウザがjsを正しく動かしているか？というところまで、踏み込んでみているよう。いろんなバージョン、言語があるからここは、内部テストやヘッドレステストだけだと大変な部分としても使えるようだ。
