A/Bテストと言えば、グロースハックに欠かせない手法のひとつ。サイト内のボタンや文言などを複数パターン用意して実際の環境に設置して、計測結果から最良のパターンを探しだす手法として多く使われています。
私たちSix Apart ブログも、A/BテストツールのひとつOptimizelyを使って、サイト改善のためのテストを実施しています。そんなある日、私たちのテストを見てくださった、Optimizely正規代理店のイー・エージェンシーさんから声をかけていただきました。
「ツールの紹介を兼ねて、A/Bテストの利点や運用方法のご案内にお伺いしましょうか？」という、ありがたいご提案です。これは、Six Apartブログにとっても、他社のオウンドメディアに対しても役に立つお話が伺えそう！ということで、取材させていただきました。
成果につなげるためのA/Bテストの活用について、お伺いした内容をご紹介します。
今回、お話をお伺いしたのは、クリエイティブサポートチームに所属する下園さん(写真向かって左)と、導入コンサルタントの久多良さん(写真向かって右)のお二人です。
A/Bテストとは「同一条件で複数パターンを検証し、統計的に有意な効果あるパターンを見つけ出す」もの
ことぶき：最初に、A/Bテストとは何か、基本的なところからお教えいただけますか？
下園：はい。A/Bテストとは、PDCAにおける効果検証手法のひとつです。異なるパターンを同時に、ランダムに出し分けをおこない、その中で効果があるものを見つけ出す手法になります。
効果があるパターンかを見極めるためには、同一条件でテストを行うことが必須であるというのは、重要なポイントです。
例えば、それぞれのパターンでの実験を別の時期に行ってしまうと、外部要因（流入してくるユーザーの違い、シーズナリー要因）で結果が左右されることがあり、単純な数値比較、勝敗の判断がしにくくなります。
A/Bテストは「同じ箇所」に対し、「同じ時期」「同じ属性のユーザー」にテストを配信することで施策を同条件で比較できるため、結果判断がしやすいのです。
久多良：テスト実施の際は、最低でも一週間、平日と土日が含まれるように期間を設定しています。また、初期のテストではサイトへの全訪問者に対してなど、大きな母数に対して行うことが多いですね。
訪問数やコンバージョン数が少なく明確な結果が出ない場合でも、学びが得られることもある
ことぶき：A/Bテストは、サイトへの訪問数やコンバージョンに到達する数が少ない場合でも有効でしょうか？
下園：A/Bテストは、PDCAサイクルの中で活用していただくものですので、改善が必要なフェーズのサイトでは有用だと思います。規模感については、統計学的に有位性を立証するためにある程度の母数が必要です。有意差が出ない場合は結果が成立する指標を考えるか、今はまだテストをやるフェーズ（段階）では無いと判断することも必要かと思います。
サイトごとに、テストを行う必要があるフェーズであるかを判断いただければと思います。
ことぶき：Six Apartブログでも以前、サイドバーに設置した4パターンのバナー画像のA/Bテストを行いました。その結果、最大でも1.5%の差しか無く、母数が十分でなかったために、統計的な有意差があるという判定には至りませんでした。とはいえ、4パターンの画像の中では、対話している雰囲気の画像のほうが、若干ですが反応が良さそうだ、ということがわかりました。
下園：そういう学びは重要ですね。
テスト規模については、有意差を出すための訪問者数を事前に算出できる、サンプルサイズカリキュレーターというツールを用意しています。これは、Web上で簡単に有意なテスト結果を出すためにどれくらいの訪問者数（UU）が必要なのかを算出できるツールです。
対象ページの現在のコンバージョン率と、それを何％上げたいかを入力すると、その結果を導き出すために必要なサンプルとなる訪問者数を表示します。
たとえば、現在3%のコンバージョン率を20%あげたい（つまりコンバージョン率3.6%にしたい）場合、12,000人がテストのパターン（バリエーション）毎に必要だということがわかります。
想定していたテストで結果を出すために必要な訪問者数が10万人必要だけれど、10万人を得るまでに時間を要することが事前にわかれば、他の場所や条件でのテストに切り替えるなどの判断基準になります。
テストのための仮説を立てる3つのヒント
ことぶき：A/Bテストを設計するためには、サイトの課題を見つけ出して、仮説を作ることが必要ですが、多くの人にとってここが一番ハードルが高いと思います。どういうアプローチで進めていけばよいのでしょうか。
下園：まずは、サイトの課題を見つけ出して具体施策に落とし込んでいきます。課題の発見には３つの方法があります。
1. ヒューリスティック調査
ユーザーシナリオを設定し、そのシナリオに基いてヒューリスティック調査を行います。
※ヒューリスティック調査とは
専門のコンサルタントがWebサイトのインタフェースについて、ユーザビリティやアクセシビリティをチェックする調査のこと。
2. 定量データからユーザー行動を把握
アクセスログや、ヒートマップなどのツールから定量データの解析をし、そこからユーザーの行動を把握します。
3. ユーザーテストから、潜在的な課題を見つける
そして、ユーザーテストを用いて潜在的な課題を洗い出します。
これらの3つの手法を組み合わせ、サイト改善のための課題を検討します。ボタンのサイズといった表面上の問題だけでなく、ユーザー心理を把握することが、効果の高い課題を見つけるポイントだと考えています。
課題が見つかれば、その課題を解決するための仮説を出して、テストプランを作る、という流れになります。
久多良：加えて、テスト時に変更する要素はなるべく少なくすることをオススメします。例えば、ボタンのコンバージョンを見るときに、デザイン文字も色も変えてしまうと、結果としてどれが一番影響あるのかが判断しづらくなります。ただし、違いがなさすぎると、結果の差も少なくなってしまうので、そこの兼ね合いは試しながらやっていくと良いと思います。
テスト結果の数字だけで判断してはいけない
ことぶき：A/Bテストを行った結果、勝利パターンがわかったら、すぐにそのパターンに切り替えていいのでしょうか？
下園：いいえ、結果についてはひとつのツールに頼りきらず、総合的に判断した方が良いかと思います。テストしたページ単体の結果は上がったけれども、サイト全体でどこかの指標のパフォーマンスが下がっている可能性があるからです。そのため、A/Bテストツールで出された結果のみならず、サイトに別途設置しているアクセス解析ツールと併用して検証していくことが重要です。
例えば、とあるECサイトで、ABCの3パターンを用意して実験したところ、購入完了率はAパターンが勝ちました。けれども、他に重要な指標である商品詳細への到達率は下がりました。そういうときに何を優先するかは、ビジネス上の判断になるでしょう。
久多良：コンサルタントとして協力しているテストに対しては、必ず毎回レポートを提出しています。そのレポートには「勝った／負けた」だけでなく、それ以外の発見も合わせて報告します。毎回必ず記載するのは、「フォローテストとして次に何をテストすべきか」ということですね。
テストの結果、見えてきた新しい気付きや発見があれば、そこをテストしてみましょうと提案しています。先ほどのSix Apartブログのバナーのテストの例で言えば、対話風の画像の印象が良ければ、それが他ページでも有効かどうかを調べるといった横展開が考えられます。
決着が付かなかった場合には、その場所がユーザーにとって重要なページであったかどうかをもう一度見直した上で、別の場所でのテストを検討します。
また、勝ったけれども短期間で数値が動きすぎて外部要因が疑わしい場合などは、再テストをしましょうという提案もします。
A/Bテスト実施の時に気をつけたい3つのポイント
ことぶき：最後に、これからA/Bテストを実施したい人へのアドバイスはありますか？
下園：テストを実施する際に気をつけることは、3 つあります。
1. テスト場所は、改善効果の高い場所から。
トラフィックは多いのに、コンバージョン率が低い場所などは、改善結果も出やすいです。
2. テスト箇所は、必ずコンバージョンに影響を与えるポイントで。
コンバージョンに至るルートにかかわらない箇所で実施しても意味がありません。
3. 成果指標として他の指標も確認しますが、結果判断をシンプルにするためにも、テスト結果を判断するための最重要指標は一つだけにする。
そして、事前に決めておく。
これらに気をつけることで、改善効果の高いテストの実施につながると思います。
まとめ
以上、イー・エージェンシーのお二人に、テスト立案と結果判定に役立つノウハウをお教えいただきました。
トラフィックが多くコンバージョンに影響を与える部分で、事前に最重要指標をひとつに絞ったA/Bテスト実施が効果的だというのは、Six ApartブログでのA/Bテストの今後のテスト計画にすぐに役立てられそうです。
イー・エージェンシーさまありがとうございました！