第15回：結果はすぐには分からない – 結果の確認と次策

結果はすぐには分からない

まずなによりも、ここです。

アクセス解析というのは「統計情報」なので、ある程度サンプルが集まらないと統計的に意味のある変化なのかどうか分かりません。

サンプル数（＝アクセス数）が少なければ、偶然にもあなたのホームページをじっくりじっくり隅から隅まで、間にお手洗いを挟みながら見る人が1人いただけで、平均滞在時間や平均ページビューは大幅に上がってしまいます。

厳密にその変化が「意味があるのか（統計的有意とも言います）」「ただの誤差なのか」を調べるのは、１～２％の変化でも、最低でも10,000件程度のアクセスが必要です。

とは言え、そんなにたくさんのアクセス数を集めるのは至難の業なので、

少なくとも「1,000アクセス」あってから

あるいは

ユーザテストも一緒にある前提で「500アクセス」あってから

判断をしないと、意味のない誤差に振り回されてしまいます。

※統計学的にはもっともっと本当は必要なのですが…

また、BtoBにしてもBtoCにしても曜日によって傾向が変わります。期間として１週間はできれば様子を見たいところです。

五十日も意味があるのですが、そこは偶然当たっていれば考慮するぐらいで、とは言え五十日が大きな意味を持つ、金融や輸送系は考えた方が良いかもしれませんね。

統計学的有意と現実のはざま

ちなみに統計の件ですが、実はこれは、ウェブ解析上とても難しく悩ましい問題です。

例えば新規開業に伴ってサイトを立ち上げて商売の役に立てよう！と思っても、アクセスはすぐには集まりません。放っておけば月間100アクセス程度なんて当たり前です。

これではテストができません。

かといって広告で大量にアクセスを集めるには資金が必要です。1クリック50円のキーワードに入札しても1,000アクセスには5万円かかります。一度のテストで５万円は大きいですよね。

また、立ち上げた後はとにかく効果を出そうと色々なことをするものなので、「アクセスが集まるまで待ってられない、今の段階で結論を出して次に行こう」という気持ちになりがちです。

これはどちらかを取るしかないので、ゆっくりノウハウを溜めながらテストしていく方針で行くか、ユーザテストなどでできるだけフォローをしつつ、少なめのアクセス数で多面的に判断して、次の策に出る、どちらかです。

できれば前者を選んで頂きたいです。ただ、難しいです。これは本当に難しいです。私も見切りを付けて少ない件数のサンプルを多面的に見て判断することは少なからずあります。

コンテンツナビゲーション

• 前のページ：第14回：施策の実行 – 改善案の発案と実行
• 今のページ：第15回：結果はすぐには分からない – 結果の確認と次策
• 次のページ：第16回：待つしか無いのか？- 結果の確認と次策