中小企業のWebサイトにA/Bテストが向かない3つの理由

『リーン・スタートアップ』のような本においては、すべてのWebページを分割してテストするべきだと主張しています。

しかし、もしあなたが中小企業のマーケティング部門、製品部門、またはデザイン部門で働いているならば、A/Bテストの採用は一度立ち止まってよく考えるべきです。「ページの全てのパートごとに分割してテストすることで、体系的にすべての情報を知れる」という王道の理論は、現実には機能しないからです。

この記事では、A/Bテストが中小企業のWebサイトに向かない理由を3つの観点から説明していきます。

理由1. A/Bテストで結果を得るまでに時間がかかりすぎる

多くのテストソフトウェアとその担当者は統計的に有意であることを重視しますが、同じくらい重要なことが見落とされています。それは検出力(仮説検定の結果が偶然ではない確率)です。A/Bテストの検出力を高める、つまり仮説が正しいことを証明するためには、十分なトラフィックでテストを実施する必要があります。

例えば、テストを実施してコンバージョンが5%から5.5%(10%の増加)に変化したことをA/Bテストで確認しようとすれば、62,000人のユーザーから結果を得る必要があります。そのためには、何十万円もの資金も必要でしょう。

サイト内の深いページ(決済フローなど)を1か月以内にテストするとしたら、さらに10倍の固有のユーザートラフィックが必要になります。中規模のスタートアップでさえ、そのようなトラフィックを獲得するのは簡単ではありません。さらに言えば、これは10%というかなり大きな変化を検出するばあいの話です。より小さな変化を検出したいばあい、必要なユーザー数は急激に増加します。

また、開発したての環境で1ヶ月間テストを実施するのは至難の技といえます。実際にはたった1ヶ月でも、まるで永遠のように感じられるでしょう。

  • 1ヶ月の間に多くのことが起こり得る中で、次に何かデザインするのをテスト結果が出るまで待てるでしょうか?
  • テスト結果を見たうえで、将来的に結果が変わったときにも惑わされずにいられますか?
  • テストを早期に中止して別の方向性に進む際、管理部からの圧力に耐えられますか?
  • その月のA/Bテストで違いが見られなかった場合、どのようにしてそれをステークホルダーに説明しますか?

もちろんテストを中止することもできますが、それによってテストをやり切っていれば防げたはずの誤った結果を招くことがあります。「新機能をリリースした際にテストと同じ結果が出ない」……人々を混乱させる、よくある現象です。

理由2. A/Bテストは統計学の知識なしにはできない

統計学の知識は、A/Bテストを実施する上で必須です。しかしあなたは、「偽陽性」「p値」「二項分布」「帰無仮説」「A/A検定」「両側検定」といったワードにピンと来ますか?

あなたがデザインまたはマーケティング畑の出身ならば、答えはおそらくノーでしょう。私自身もA/Bテストに取り組み始めた当初は、統計学の知識はありませんでした。

A/Bテストはソフトウェアを介して簡単に実施できるようになりましたが、その裏では高度な計算が行われています。実施する人が数学や統計学を理解しておかなければ、テスト結果の保証はできないでしょう。

テストの結果自体が統計的に有意であるというだけでは意味はないのです。実際、多くのメディアではそれを意味のある情報として受け入れていません。

結論として、A/Bテストは専門家に任せるべき仕事だと考えられます。A/Bテストの運用に本気で挑戦するのであれば、データサイエンティストを雇うべきでしょう(コピーライターにバックエンドコードを書かせないのと同じように)。

理由3. ユーザーテストならサイト訪問者がどう考えたかまでわかる

私がコンサルティング先でA/Bテストを実施する際、テスト内容のアイディアはユーザーテストの結果からもらっていました。

ユーザーテストは、ユーザーがサイトに訪れた際の行動に関する、豊富なデータソースです。適切に実行されたユーザーテストでは、サイトの全体的な流れとさまざまな要素について、訪れた人がどう考えているかまで明らかになります。これは他の方法では得られない貴重な情報でしょう。一般的なA/Bテストでは、単一のページや単一の要素についての理解を深められるのみです。

例えば従来のウェブページと全く新しいデザインのページとでA/Bテストし、新しい方のコンバージョンが改善していたとします。このとき、次のデザイン案に進めるために何を得られたでしょうか? ユーザーが好む部分は何だったのか、特定することは可能でしょうか?

ユーザーテストのような定性的な根拠は、高レベルな定量分析の厳密さには及びません。しかし、例えば「5人のユーザーが検索フィールドを見つけられなかった」というような事実からサイトの改善点を考える際に、統計的な有意性は必要ありません。

ユーザーが苦労したり諦めたりしたポイントを発見することは、他のどんな施作よりも多くのことを学び取れます。ユーザーがバグをひとつ発見するだけで、あなたはそれを修正する必要があることを認知できるのです。

ビジネスの初期段階やトラフィックの量が少ないばあい、ユーザーテストはA/Bテストよりも早く簡単に改善ポイントを教えてくれます。

頻度は2週間に1回、各メジャーリリースの後にユーザーテストを行うとよいでしょう。現在ではリモートでユーザーテストを実施することも可能です。

まとめ

すべてのA/Bテストに意味がないわけではありません。大量のトラフィックがあるサイトの統計を、目的を絞ったプログラムを通じて、十分に理解のあるデータサイエンティストの手によって観測・検討できるなら、重要な情報源となるでしょう。しかしあなたの環境がそうでないのであれば、他の部分に労力を割くべきです。

もし「サイトにおけるちょっとした変更だけで登録者数が50%増!」のように宣伝しているテストサービスがあったら、その言葉は慎重に考えてみてください。

その企業がきちんとした結果を公表せず、トラフィック量も公開していないのであれば、真に受けない方がよいでしょう。世の中に溢れる多くのA/Bテストは、あまりにも現実からかけ離れているのです。

(原文:Matt Isherwood 翻訳:Tomomi Takei)

 

あわせて読みたい!▼

SHARE

RELATED

  • お問い合わせ
  • お問い合わせ
  • お問い合わせ