データ分析を行う際、「正規分布しているか？」「分散は等しいか？」と、手法を選ぶための「予備テスト（前提確認）」を行っていないだろうか。実は、この予備テストの結果を見てから本番の検定手法を選択する行為は、統計的な誤りを生む原因となる。本記事では、なぜ前提確認の検定が「不適切」とされるのか、そのロジックと代替案を整理する。
前提確認の検定を必須と考えるのは理解可能である
統計学の教科書を開くと、多くの手法には「適用条件（前提）」が記されている。そのため、初心者が以下のようなステップを踏むのは無理もないことである。
- 等分散性の検定：結果次第で、Studentのt検定かWelchの検定かを選ぶ
- 正規性の検定：結果次第で、パラメトリックかノンパラメトリックかを選ぶ
- 球面性の検定：結果次第で、分散分析に補正を入れるか決める
「条件を満たしていない手法を使うのは間違いだ」という認識から、まず検定で白黒つけたくなるのは当然の心理といえる。しかし、ここには「検定の二段構え」という大きな罠が潜んでいる。
検定の有意水準はそもそも何だったか
ここで一度、検定の基本に立ち返る必要がある。
有意水準（一般に $\alpha = 0.05$）とは、「本当は差がないのに、誤って『差がある』と判定してしまう確率（第一種の過誤）」を5%以内に抑えるという約束事である。
この5%という確率は、あくまで「一回きりの勝負」であることを前提に計算されている。
前提確認の検定が不適切である理由
なぜ前提確認の検定が推奨されないのか。主な理由は以下の2点に集約される。
1. 有意水準が保てなくなる（多重性の問題）
予備検定の結果を見てから本番の検定を行うと、全体の「間違いを犯す確率」が5%を超えてしまう。これを「条件付き確率」の問題と呼ぶ。簡単に言えば、二段階の判定を経ることで、本来の統計学的な保証（有意水準の厳密さ）が崩れてしまうのである。
2. 「差がない」ことの証明ではない
検定で「有意差なし（$p > 0.05$）」となったとしても、それは「前提条件を完璧に満たしている」ことを意味しない。単に「サンプルサイズが小さいために、ズレを検出できなかっただけ」という可能性があるからだ。逆にサンプルサイズが非常に大きい場合、実用上は無視できるほどの微小なズレも「有意」と判定され、不必要に手法を変更せざるを得なくなる。
では、どうすればよいか：前提確認を行わないことへの批判に対する回答
「前提を確認しないのは無責任ではないか？」という批判に対しては、以下の3つのスタンスで臨むのが妥当である。
1. 最初から「前提を置かない手法」を選択する
例えば、2群の平均値の比較であれば、等分散性を確認してから手法を選ぶのではなく、最初からWelchの検定（等分散を仮定しないt検定）を使用するのが現代のスタンダードである。
2. グラフによる視覚的確認（記述統計）
検定（p値）に頼るのではなく、ヒストグラムやQ-Qプロットを用いて、データが極端に歪んでいないかを目視で確認する。これは「検定」ではなく「観察」であるため、有意水準を汚染することはない。
3. 先行研究やドメイン知識に従う
その分野で一般的に「この種のデータは正規分布に近い」とされているならば、その知見に基づき、分析前に手法を決定（プリレジストレーション）しておくことが重要である。
まとめ
「前提確認の検定」は、一見丁寧な手続きに見えて、実は分析の妥当性を損なうリスクを孕んでいる。
- 等分散性 → 最初からWelchの検定を採用する
- 正規性 → グラフで確認し、疑わしければ最初からノンパラメトリック法を検討する
- 交互作用・適合度 → 理論的背景に基づき、モデルの構成を事前に決定する
「データを見てから手法を変える」のではなく、「データの性質をあらかじめ想定し、最初から最も頑健（ロバスト）な手法を選択する」。これが、現代的なデータ分析における誠実な作法である。
おすすめ書籍
誰も教えてくれなかった 医療統計の使い分け〜迷いやすい解析手法の選び方が，Rで実感しながらわかる！
コメント