A/Bテストの失敗事例、テストすること自体が有効という思い込み

公開日: : 最終更新日:2015/04/12 効果測定


LINE facebook twitter URLコピー
B! pocket note 楽天


RSS購読のURLが変わりました。
新しいFEED購読方法を見る

baby-674073_640

そもそも論、重要。

Googleアナリティクスで、クライアントIDをごにょごにょしますと、簡易的なA/Bテストがすぐにできます。ウェブテストもありますが、バナーなどページ内でのオブジェクト単位では使えませんので、実装してしまえばとても簡単にテストできます。

カートボタンなど成果を上げるために、A/Bテストを重要なデザイン調整に役立てたいと思っている人も多いと思います。今日はそんなA/Bテストの「失敗例」をご紹介します。みなさんは気をつけてくださいね。

バナーのA/Bテストをした

バナーのパターン

A/Bテストは、わかりやすく違いのあるパターンを用意すること、コンバージョン付近で行うことなど注意が必要です。たとえば、購入とトップページなどは、遷移が何ページにも渡るため影響度をそこで判断してもいいの?となりがち。また、デザイン的にほとんど違いがないパターンも、差異が結局得られず時間だけが無駄になるということも少なくありません。

そこで、今回は、ボタンクリックをコンバージョンにし、デザインも暖色系・寒色系とはっきりとわかる違いにしてみました。

スクリプトを組んで、セッションごとにランダムに発生させます。

GoogleアナリティクスでA/Bテストした結果

アブテスト

画像のALT属性をイベントに入れましたが、赤の圧勝です。2倍ものクリックを獲得できました。

コンバージョン率まで知りたい場合は、カスタムディメンションにまで記録すれば、まあいろいろと楽だとは思います。とまあ、結果はこんな感じに出たわけですよ。

赤いいじゃん!

・・・とはなりません(泣)!

そもそもクリックされてないじゃん!

バナーダメだよね

もうお気づきの方も多いと思いますが、あまりにもクリックが少なすぎます。

>>バナーは目に入らないのか?~新旧の知見 - U-Site

そうですね。そもそもがバナーがクリックされているはずという過信だったのですね。いちおうある程度の期間はA/Bテストしましたが、あまりにも増えずテストは中断。

バナー位置が良くなかったのか、内容がダメだったのか・・・。まさか、タイトル下がここまでクリックされていないとは思いもせず、いやほんと浅はかでした。

思い込みを数字で確認するための、A/Bテストがそもそもそれ自体が思い込みだったという失敗事例でした。

ちなみに、A/Bテストの判定にcinciさんが便利な計算ツールを出してくれています。A/Bテストの有効性の検証にどうぞ。

>>A/Bテスト信頼度判定ツール | 真摯 (Cinci)

どうぞお気をつけください(ノ∀\*)。


部長、その勘はズレてます! 「A/Bテスト」最強のウェブマーケティングツールで会社の意思決定が変わる: ダン シロカー, ピート クーメン, 栗木 さつき: 本

「本質論、ほんと重要。」
  • このエントリーをはてなブックマークに追加
  • Pocket

Profile


Yoshihiko Yoshida
ブロガー兼ユーチューバー。個人事業主でネット業界のお仕事24年目です。40代で2児の父。「マツコの知らない世界」Googleマップ案内人TV出演。Googleストリートビュー認定フォトグラファー。教育システム情報学会会員。元立教大学非常勤講師。Googleアナリティクス公式コミュニティ・アンサリスト最高ランク「レジェンド」国内初獲得。主な著書「Googleアナリティクス基礎講座」(技術評論社)。趣味はデジカメとゲームとパン作り。>>もっと読む

Instagram

◆代表者略歴 ◆受賞歴
◆おもな著書 ◆TV出演歴
◆新聞掲載歴 ◆雑誌/連載歴
 <<お問い合わせはこちら>>

PAGE TOP ↑