後輩「先生、解析が終わりました。主要評価項目は有意になりませんでした……。でも、年齢×治療の交互作用だけp < 0.05でした！」
先輩「それはいい。じゃあ『高齢者でだけ効く治療』というストーリーで論文を書こう」
一見、よくある研究室の風景だ。しかし、この会話には大きな落とし穴がある。有意だった結果を見てから、ストーリーを決めているのだ。
これは、矢を放ったあとで、矢の刺さった場所に的を描くのに似ている。的の中心に当たるのは当たり前で、そこには何の腕前も示されていない。
この記事では、なぜ検定結果を見てからストーリーを作ってはいけないのか、そして今日から何をすればよいのかを、初心者向けに整理する。
この記事のポイント（先に結論）
- 仮説と主要解析は、データを見る前に決める
- 検定は「新たな発見」の道具ではなく、仮説の確認である
- 後から思いついた仮説は、「探索的」と明示すれば問題ない
検定の役割は「予定調和の確認」である
検定の結果で、研究のストーリーが決まるわけではない。ストーリー（仮説）は、データを見る前にすでにある。p値は、そのストーリーとデータがつじつまを合わせているかを確かめる、いわば確認作業にすぎない。
旅行にたとえてみよう。事前に宿を予約しておき、当日に「予約どおり部屋が用意されているか」を確かめるのが検定だ。予約なしで飛び込んだホテルに、たまたま空室があったとしても、それは次も再現できる成功とは限らない。
その意味で、検定は予定調和である。仮説が先にあり、検定はそれを確認する。検定の段階で、仮説にない「新たな発見」が生まれるわけではない。
ただし、ここでいう予定調和とは、「ストーリーが先に決まっている」という意味であって、「結果が仮説どおりに決まっている」という意味ではない。仮説が支持されないこともある。そのときは、有意にならなかったことを、そのまま報告すればよい。
※コラム①：p値とは何か
p値とは、「もし本当は差がない（帰無仮説が正しい）としたら、今回のようなデータ、あるいはもっと極端なデータが得られる確率」のことだ。「仮説が正しい確率」ではない。また、p値の大小で効果の強さを語ることもできない。強さを示すなら、効果量や信頼区間を使う。p値の誤用への注意は、米国統計協会（ASA）も2016年に声明として示している（Wasserstein & Lazar 2016）。
なぜ「後付け」がいけないのか
くじを何度も引き直す問題
有意水準を5%とした検定は、本当は差がない場合でも、1回の検定あたり5%、つまり20回に1回ほどの割合で「有意」と出る。つまり、検定を何度も行えば、どこかで偶然に有意になる。
Simmonsらは2011年、研究者が持つ「解析の自由度」（researcher degrees of freedom）が偽陽性を大きく増やすことをシミュレーションで示した。たとえば次のような選択だ。
- 有意でなかったので、症例を追加してもう一度検定する
- 複数の評価項目のうち、有意だったものだけを報告する
- 年齢や性別などでサブグループに切り分けて、有意なところを探す
- 外れ値の除外や共変量の入れ方を変えて、有意になる組み合わせを選ぶ
このような選択を重ねると、見かけ上の偽陽性率は5%を大きく上回る。Simmonsらのシミュレーションでは、論文で扱った4種類の選択を、すべて有利な方向に使った最悪の場合、偽陽性率は約6割にまで上がると報告されている。くじを何度も引き直して「当たった」と報告しているようなものだ。
HARKing：結果を見てから、最初からあった仮説にする
Kerr（1998）は、結果を見てから作った仮説を、最初から立てていた仮説であるかのように報告する行為を、HARKing（Hypothesizing After the Results are Known）と名づけた。
冒頭の会話の続きを見てみよう。「高齢者でだけ効く治療」は、論文の序論で「我々は高齢者で効果が高いと予想した」と書かれてしまう。これがHARKingだ。読者は、これが事前の仮説の検証だと誤解する。
※コラム②：HARKingとp-hackingの違い
HARKingは「結果に合わせて仮説を変える」こと。p-hackingは「有意になるように解析を変える」こと。方向は違うが、どちらも「結果を見てから決めたことを、事前に決めたように見せる」点で共通している。
では、探索的解析は悪なのか？
いや、悪ではない。探索的解析は、新しい仮説を生む大切な作業だ。Kerrも、データを見て新しい仮説を考えること自体は、科学の正当な営みであると区別している。
問題は、探索を検証であるかのように見せることだ。後から思いついた仮説を、「探索的」「事後的」と明記して報告すれば、それは誠実な報告になる。
| 検証（confirmatory） | 探索（exploratory） | |
|---|---|---|
| 目的 | 事前の仮説が正しいかを確かめる | 新しい仮説の種を見つける |
| 仮説・解析の決定 | データを見る前 | データを見たあとでもよい |
| p値の意味 | 事前に定めた基準で、仮説を確認する | 参考値（結論にはしない） |
| 報告の仕方 | 結果にかかわらず、計画どおりに報告する | 「探索的」と明記する |
| 次のステップ | 結論として報告する | 新しい研究で検証する |
ICH E9（臨床試験の統計的原則）も、検証的な試験と探索的な試験を区別して扱っている。ICH E9は臨床試験向けの指針だが、検証と探索を分けるという考え方は、観察研究でも同じように使える。
今日からできる実務の対策
1. 解析の前に、これだけは決めておく
- 研究の仮説（何を明らかにしたいか）
- 主要評価項目（何で効果をみるか）
- 主解析の方法と検定方法
- 有意水準
- 解析対象集団（誰を解析に含めるか）
- 欠測データの扱い
- 主要評価項目が複数ある場合の、多重性の調整方法
ICH E9は、主要な解析の方針を事前にプロトコルに記載すること、また詳細な統計解析計画書（SAP）を、データ解析の開始前（盲検試験では盲検解除前）に確定することを求めている。
2. 事前登録を活用する
研究の計画をあらかじめ公開しておく方法もある。臨床研究であれば、UMIN-CTRやClinicalTrials.govへの登録がこれにあたる。登録時点の計画と論文の内容が一致しているかを、第三者が確認できるからだ。
※コラム③：事前登録は「縛り」ではなく「守り」
事前登録は、研究者を縛るためのものではない。結果が思わしくなかったときでも、「計画どおりに行い、誠実に報告した」と示せるための、研究者自身の守りになる。
3. 既存データの解析（後ろ向き研究）の場合
すでに集まっているデータを解析する研究では、「事前登録」を使いにくいことがある。その場合でも、次の工夫ができる。
- データの中身（結果）を見る前に、仮説・主解析・解析対象集団を文書にまとめ、日付を記録しておく
- その文書を、共同研究者や指導者と共有しておく（メールの送信記録でも、日付の証拠になる）
- 論文には、「解析計画はデータの確認前に作成した」と書ける範囲で書く。書けないところは、正直に「探索的」と書く
データを見てしまった後では、「事前に決めた」とは言えない。そのときは、無理に事前の仮説だったと書かず、探索的として報告するのが誠実な方法だ。
4. 結果を見たあとの解析は、すべて「探索的」と書く
計画になかった解析を行ってもよい。ただし、論文では「探索的解析」「事後解析（post hoc）」と明記する。これだけで、報告の信頼性は大きく変わる。
そのまま使える例文集
数値や項目は [ ] の穴埋め形式にしてある。自分の研究に合わせて書き換えて使ってほしい。実際に解析していない数値を、本物らしく書き込んではいけない。
例文1：解析計画を事前に定めたことを示す（Methods・英文）
使う場面：検証的な研究のMethodsで、解析方針を事前に決めたことを示すとき。
The statistical analysis plan, including the primary endpoint, the primary
analysis method, and the significance level, was prespecified before data
analysis [and registered at [registry name] (identifier: [ID])].
The primary analysis was [analysis method] with a two-sided significance
level of [α].例文2：探索的解析を明示する（Methods・英文）
使う場面：計画になかった解析を行ったとき。
The following analyses were not prespecified and were performed
post hoc as exploratory analyses: [analysis description].
These results should be interpreted as hypothesis-generating
and require confirmation in future studies.例文3：探索的な結果を報告する（Results・英文）
使う場面：事後的に行った解析の結果を載せるとき。
In an exploratory analysis, [outcome] differed between [subgroups]
([effect size, 95% CI]). Because this analysis was not prespecified
and no adjustment for multiplicity was made, the result should be
interpreted with caution.注意：「no adjustment for multiplicity was made」は、実際に多重性の調整をしていない場合にだけ使う。調整した場合は、その方法に書き換えること。
例文4：後から得られた仮説を述べる（Discussion・英文）
使う場面：予想外の結果を考察するとき。仮説は「事後に得られたもの」として控えめに書く。
Although the primary analysis did not show a significant difference,
an exploratory analysis suggested a possible [effect] in [subgroup].
This finding is hypothesis-generating rather than confirmatory,
and warrants investigation in a prospectively designed study.例文5：研究計画書・解析計画書の日本語例
使う場面：研究計画書、SAPの解析方法の項目。
主要評価項目は[評価項目]とし、主解析は[解析方法]を用いて、両側有意水準[α]で検定する。
解析方法および解析対象集団は、データの確認前に本計画書で規定する。
計画書に規定しない解析は、探索的解析として報告し、結果の解釈は慎重に行う。まとめ：投稿前のチェックリスト
- 仮説と主解析は、データを見る前に決めたか
- 行った検定の数と、報告している検定の数は一致しているか
- 後付けの解析には、「探索的」「事後」と明記したか
- 主要な解析が有意でなくても、そのまま報告したか
- 評価項目が複数ある場合、多重性の扱いを決めて書いたか
- p値を、効果の強さの指標として使っていないか（効果量と信頼区間を併記したか）
- 序論の仮説は、計画時の仮説と一致しているか
検定の結果で、ストーリーは決まらない。ストーリー（仮説）が先にあり、p値はそれを確認するだけだ。そして、確認の外で見つけた発見は、「探索的」と胸を張って報告すればよい。
参考文献
- Kerr NL. HARKing: Hypothesizing after the results are known. Personality and Social Psychology Review. 1998;2(3):196-217. doi:10.1207/s15327957pspr0203_4
- Simmons JP, Nelson LD, Simonsohn U. False-positive psychology: undisclosed flexibility in data collection and analysis allows presenting anything as significant. Psychological Science. 2011;22(11):1359-1366. doi:10.1177/0956797611417632
- Wasserstein RL, Lazar NA. The ASA’s statement on p-values: context, process, and purpose. The American Statistician. 2016;70(2):129-133. doi:10.1080/00031305.2016.1154108
- ICH Harmonised Tripartite Guideline. Statistical Principles for Clinical Trials (E9). 1998. (CPMP/ICH/363/96) https://tga.gov.au/sites/default/files/2024-12/statistical_principles_for_clinical_trials.pdf
おすすめ書籍
『それをしたらダメ！NG事例から学ぶ臨床研究デザイン』
石丸美穂・大野幸子・橋本洋平、金芳堂、2023年（ISBN 978-4-7653-1963-8）
臨床研究でありがちな失敗を、事例から学べる入門書。この記事で扱った「後付け」の落とし穴のほかにも、研究計画の段階で避けたい失敗を具体的に知ることができる。
Amazonで見る：https://link.amazon/B00d0aN3T
コメント