第15回：結果はすぐには分からない – 結果の確認と次策

2019.09.11

結果はすぐには分からない

WEB解析HTML_アイキャッチ画像施策を実行したら、次は結果の確認です。ただし、ここで一つ、非常に重要な前提があります。それは、アクセス解析の数字はすぐには判断できないということです。

アクセス解析は「統計情報」ですから、ある程度サンプルが集まらないと、その変化が統計的に意味のあるものなのか、それともただの誤差なのかが分かりません。サンプル数、つまりアクセス数が少ない状態では、たまたまWebサイトを隅から隅までじっくり見てくれた人が1人いただけで、平均滞在時間や平均ページビューが大幅に跳ね上がってしまいます。

判断に必要なアクセス数の目安

厳密に変化が「意味のあるもの（統計的に有意）」なのか「ただの誤差」なのかを調べるには、1〜2％の変化であっても最低10,000件程度のアクセスが必要です。とはいえ、それだけのアクセスを集めるのは多くのサイトにとって簡単ではありません。

現実的なラインとしては、少なくとも「1,000アクセス」が集まってから判断する。あるいは、ユーザーテストを併用する前提であれば「500アクセス」でも多面的に見ることで、ある程度の判断は可能です。統計学的にはまだまだ本来必要な数には足りませんが、この水準を下回った状態で結論を出してしまうと、意味のない誤差に振り回されるリスクが高くなります。

また、BtoBにしてもBtoCにしても、曜日によってアクセスの傾向は変わります。期間としては最低でも1週間は様子を見たいところです。五十日（ごとおび）についても、金融や輸送系など五十日が大きな意味を持つ業種であれば、考慮に入れたほうがよいかもしれません。

統計的な正しさと現実のはざまで

実はこのサンプル数の問題は、Web解析の現場においてとても悩ましいテーマです。たとえば新規開業に伴ってサイトを立ち上げた場合、アクセスはすぐには集まりません。放っておけば月間100アクセス程度というのも珍しくないのです。これではテストのしようがありません。

かといって、広告で大量にアクセスを集めるには資金が必要です。1クリック50円のキーワードに入札したとしても、1,000アクセスを得るには5万円かかります。一度のテストに5万円は、決して小さな金額ではないでしょう。さらに、立ち上げ直後はとにかく効果を出そうといろいろなことに手を出すものですから、「アクセスが集まるまで待ってられない、今の段階で結論を出して次に行こう」という気持ちになりがちです。

ここは正直なところ、どちらかを選ぶしかありません。一つは、じっくり腰を据えてノウハウを溜めながらテストしていく方針。もう一つは、ユーザーテストなどでできるだけフォローしつつ、少なめのアクセス数でも多面的に判断して次の施策に進む方針です。

できれば前者を選んでいただきたいと思っています。ただ、これは本当に難しい選択です。私自身も、見切りをつけて少ないサンプルを多面的に見て判断することは少なからずあります。大切なのは、どちらの方針を取るにせよ、「今の判断はどの程度の確度なのか」を自覚しておくことです。その意識があるだけで、結果に対する向き合い方が変わりますし、次の一手の打ち方も慎重さを保てます。

コンテンツナビゲーション

コンテンツ一覧・目次