A、B、C、Dという４つの化粧品を設計して、現行品Eも含めて効果を測定して有意差検定を行なった。A, E間に有意差はみられなかった。B, E間、C, E間にも有意差はみられなかったが、D, E間にぎりぎりではあるが5%有意差が見られた。おおっ、やったぜカアチャン、明日はホームランだ。研究討論会で「開発品Dは現行品Eに対して有意に効果があることを確認しました。」と自慢げに発表したところ、ケチがついた。「それ、ホントに有意に差があったって言えるの？」

はあ？何言っちゃってんの。5%有意差って言ったじゃんよ。聞いてなかったの？ゴ・パーセントゆ・う・い・さ。ユー・アンダスターン？

ホントは差がないにも関わらず偶然そんな差が出てしまう確率を求める。偶然発生する確率が5%以下なら「ホントは差がないのに偶然そんな差が出た」という仮説は棄却され、すなわち「その差は意味が有る差だ」ということになる。

つまりDとEの差は偶然起きる確率が５％以下なのよ、わかる？だからもうこれは偶然じゃないの。意味があるのよ。開発品Dは現行品Eよりも有意に効果的なの。ユー・アンダスターン？

でも５％って20分の１だろ。20回に１回は偶然起きてもおかしくないってことだよな。君は「AとEの間に20回に１回しか起きない偶然の差は出てないかなあ」「BとEの間に20回に１回しか起きない偶然の差は出てないかなあ」「CとEの間に20回に１回しか起きない偶然の差は出てないかなあ」と偶然の出会いを求めてとうとう４回目の「DとEの間に20回に１回しか起きない偶然の差は出てないかなあ」という挑戦でみごとその偶然を引き当てただけなんじゃないの？　４回目も挑戦して偶然発生確率５％の結果を引き当てたとか言われても、それってホントは５％有意差って言えないんじゃない？

ドンガラガッシャン！！

たとえばサイコロを２個投げて両方３が出る投げ方をいろいろ考えたとする。右手の甲で投げてみる。左手の人差し指と中指で投げてみる。右足でつまんで投げてみる。口から吹き出してみる・・・・いろんな投げ方を試すうち10回目に背中に乗せて投げてみたらとうとう両方３が出た。偶然そうなる確率が36分の１しかない現象が背中に乗せてから投げる方法の時に起きた。これはもはや偶然ではないといえる。だから「背中に乗せて投げると他の投げ方とくらべてサイコロが両方３になりやすい」とか結論付けされても困るだろ？　偶然起きる可能性があるってことは何度も試せばいつかは偶然起こるってことだよ。５％有意差なんてその程度のものなんだからあんまり軽々しく使わない方がいいんじゃない？

ひー、すみません、すみません。お許しくださいお代官様。私が悪うございましたぁ。