A/Bテストの失敗事例、テストすること自体が有効という思い込み

baby-674073_640

そもそも論、重要。

Googleアナリティクスで、クライアントIDをごにょごにょしますと、簡易的なA/Bテストがすぐにできます。ウェブテストもありますが、バナーなどページ内でのオブジェクト単位では使えませんので、実装してしまえばとても簡単にテストできます。

カートボタンなど成果を上げるために、A/Bテストを重要なデザイン調整に役立てたいと思っている人も多いと思います。今日はそんなA/Bテストの「失敗例」をご紹介します。みなさんは気をつけてくださいね。

バナーのA/Bテストをした

バナーのパターン

A/Bテストは、わかりやすく違いのあるパターンを用意すること、コンバージョン付近で行うことなど注意が必要です。たとえば、購入とトップページなどは、遷移が何ページにも渡るため影響度をそこで判断してもいいの?となりがち。また、デザイン的にほとんど違いがないパターンも、差異が結局得られず時間だけが無駄になるということも少なくありません。

そこで、今回は、ボタンクリックをコンバージョンにし、デザインも暖色系・寒色系とはっきりとわかる違いにしてみました。

スクリプトを組んで、セッションごとにランダムに発生させます。

GoogleアナリティクスでA/Bテストした結果

アブテスト

画像のALT属性をイベントに入れましたが、赤の圧勝です。2倍ものクリックを獲得できました。

コンバージョン率まで知りたい場合は、カスタムディメンションにまで記録すれば、まあいろいろと楽だとは思います。とまあ、結果はこんな感じに出たわけですよ。

赤いいじゃん!

・・・とはなりません(泣)!

そもそもクリックされてないじゃん!

バナーダメだよね

もうお気づきの方も多いと思いますが、あまりにもクリックが少なすぎます。

>>バナーは目に入らないのか?~新旧の知見 - U-Site

そうですね。そもそもがバナーがクリックされているはずという過信だったのですね。いちおうある程度の期間はA/Bテストしましたが、あまりにも増えずテストは中断。

バナー位置が良くなかったのか、内容がダメだったのか・・・。まさか、タイトル下がここまでクリックされていないとは思いもせず、いやほんと浅はかでした。

思い込みを数字で確認するための、A/Bテストがそもそもそれ自体が思い込みだったという失敗事例でした。

ちなみに、A/Bテストの判定にcinciさんが便利な計算ツールを出してくれています。A/Bテストの有効性の検証にどうぞ。

>>A/Bテスト信頼度判定ツール | 真摯 (Cinci)

どうぞお気をつけください(ノ∀\*)。


部長、その勘はズレてます! 「A/Bテスト」最強のウェブマーケティングツールで会社の意思決定が変わる: ダン シロカー, ピート クーメン, 栗木 さつき: 本

・ ・ ・ ・ ・

>>安っ!アマゾンで半額以下になっている食品タイムセール
セール特設ページを見る

↓↓↓無料のニュースレターを配信中です

本質論、ほんと重要。