この記事では「Post-hoc test（事後検定）とは？なぜ分散分析（ANOVA）の後の多重比較との認識なのか？」ということでお伝えします。
個人的に、Post-hoc test（事後検定）という用語ほど、誤解されて使われているものはないかなと思っています。
そのため今回は
- Post-hoc test（事後検定）とはどんな解析か？
- 分散分析（ANOVA）の後にPost-hoc test（事後検定）するという手順は必ずしも正しくない
- なぜ多重比較がPost-hoc test（事後検定）の位置付けとの認識なのか？
をお伝えしていきますね！
Contents
Post-hoc test（事後検定）とは？
まずはPost-hoc test（事後検定）という用語を整理しましょう。
一般的にPost-hoc test（事後検定）とは、3群以上を比較したい場合に、分散分析（ANOVA）を実施した後に対比較（2群間の比多重較）を実施することを指します。
つまり、
- まずは分散分析（ANOVA）をする
- 分散分析で有意差があった場合には、対比較（2群間の多重比較）を実施する
という手順の時の、「対比較（2群間の多重比較）を複数回実施する」といことをPost-hoc testと呼んでいることが多いです。
2群間の多重比較とは、例えばTukey検定だったりDunnett検定だったりを指します。
なぜPost-hoc test（事後検定）かというと、対比較（2群間の多重比較）が分散分析（ANOVA）の後に実施する検定のように思われているから。
ちなみに混乱しやすい用語としてPost-hoc analysis（事後解析）という用語もあります。
事後解析は「試験実施計画書」では規定されていなかった解析のことを意味しますので、事後検定とは異なる概念です。
分散分析（ANOVA）の後にPost-hoc test（事後検定）するという手順は必ずしも正しくない
3群以上ある場合の世間的な認識として、
- まずは分散分析（ANOVA）をする
- 分散分析で有意差があった場合には、対比較（2群間の多重比較）を複数回実施する
という手順が、まるで絶対的に正しいように書かれていることが多いです。
しかし、この手順は必ずしも正しくありません。
なぜなら、分散分析と対比較（2群間の比較）の多重検定では有意差があった時に見出せること（結論づけられること）が全く違うから。
分散分析の帰無仮説と対立仮説を見てみましょう。
簡単のために、3群の分散分析の場合を記載します。
- 帰無仮説H0：A群の母平均＝B群の母平均＝C群の母平均
- 対立仮説H1：A群の母平均、B群の母平均、C群の母平均の中に異なる値がある
つまり、分散分析では有意だったとしても「どこかに差がある」しか言えないわけです。
一方の対比較。
対比較だと、有意差が出た場合には明確に「どこの群とどこの群（例えばA群とB群）の間に違いがある」という結論になります。
つまり、研究目的として最初から「どこの群とどこの群（例えばA群とB群）の間に違いがある」のかを知りたいのなら、分散分析は不要なんです。
なぜなら、分散分析をしても「どこの群とどこの群（例えばA群とB群）の間に違いがある」という結論は検定の性質上、導き出せないからです。
Post-hoc testで有意差が出るかどうかのスクリーニングとしても分散分析は意味ない
中には「対比較で何度も検定する手間があるから、その前に分散分析でどこかに差があるかどうかを確認するだけでも意味があるのでは？」と考えてらっしゃる方もいるかもしれません。
しかし、分散分析で有意差がなくても、Post-hoc testで有意差が出る場合もあります。
研究目的として「どこの群とどこの群（例えばA群とB群）の間に違いがある」のかを知りたいのに、分散分析をし、有意差があれば対比較（2群間の比較）の多重検定に進むという手順を実施してしまったら。
もしかしたら2群の比較で有意差が出たかもしれないのに、「どこの群とどこの群（例えばA群とB群）の間に違いがある」は知ることができない（見逃してしまう）可能性があるんです。
なぜ多重比較がPost-hoc test（事後検定）の位置付けとの認識なのか？
分散分析（ANOVA）を実施した後に対比較（2群間の多重比較）を実施するという手順は間違いであることがわかりました。
しかし一つ疑問なのは、「3群以上ある場合に2群の多重比較がPost-hoc test（事後検定）」という世間の認識があるのか、ということ。
本当の正解は分かりませんが、原因の一つとしては多くの統計ソフトで分散分析の機能と同じ場所にオプションとして多重比較を備えていることもあるかな、とは思います。
例えば統計解析ソフトの一つであるEZRでも、分散分析の機能のオプションとして追加されていることがわかります。
でも前述の通り、目的が「どこの群とどこの群（例えばA群とB群）の間に違いがある」のかを知りたいのなら。
- 分散分析の結果は無視して最初から2群の比較結果を見れば良い
- 分散分析で有意だったとしても、有意差がなかったとしても無視する
という結果の見方で問題ないです。
まとめ
いかがでしたか？
この記事では「Post-hoc test（事後検定）とは？なぜ分散分析（ANOVA）の後の多重比較との認識なのか？」ということでお伝えしました。
- Post-hoc test（事後検定）とはどんな解析か？
- 分散分析（ANOVA）の後にPost-hoc test（事後検定）するという手順は必ずしも正しくない
- なぜ多重比較がPost-hoc test（事後検定）の位置付けとの認識なのか？
が理解できたのなら幸いです！
第1章：臨床研究ではなぜ統計が必要なのか？計画することの重要性
第2章：研究目的をどれだけ明確にできるのかが重要
第3章：p値で結果が左右される時代は終わりました
第4章：多くの人が統計を苦手にする理由
第5章：統計を使えるようになるために今日から何をすれば良いか？
第6章：統計を学ぶために重要な環境
もしあなたがこれまでに、何とか統計をマスターしようと散々苦労し、何冊もの統計の本を読み、セミナーに参加してみたのに、それでも統計が苦手なら…
私からプレゼントする内容は、あなたがずっと待ちわびていたものです。
