「有意差なし」は「差なし」ではない――約30年続く誤用の正体

新薬Aと標準治療Bを比べた小さな臨床研究の解析が終わった。結果は次のとおりである。

先輩「P値は0.23。有意差なしだから、AとBは同等と書いておこう」
後輩「え、でも……『差がない』と『差があるとは言えなかった』は、同じ意味なんですか？」

後輩の違和感は正しい。「有意差なし」と「同等」は、似ているようで別の主張である。この記事では、数式を使わずに次の4点を整理する。

• 「有意差なし」が本当に意味していること
• 信頼区間を、誤解なく読む方法
• 「同等」を主張したいときに、最初から必要な準備
• 悩みの種である「同等性マージン」の決め方の考え方

---

1. 「有意差なし」が意味していること

有意差なしとは、「今回のデータでは、差があると言い切るだけの証拠が集まらなかった」という意味である。差がゼロだと証明されたわけではない。

たとえば、暗い部屋で探し物をする場面を考えてみよう。見つからなかったからといって、「この部屋に物はない」とは言えない。部屋が暗すぎたのかもしれない。探し方が足りなかったのかもしれない。

この「部屋の明るさ」にあたるのが、サンプルサイズであり、検出力である。

※コラム：検出力とは
検出力とは、「想定した大きさの差が本当にあるとき、それを見つけられる確率」のことである。懐中電灯の明るさに例えるとわかりやすい。電池切れ寸前の懐中電灯（検出力が低い）では、床に落ちている物があっても見つけられない。検出力は主にサンプルサイズで決まる。サンプルが少ない研究は、暗い部屋を弱い光で探しているようなものである。

つまり、有意差がなかった理由は2通り考えられる。

1. 本当に差が（ほとんど）ない
2. 差はあるが、サンプルが少なすぎて見つけられなかった

P値だけを見ても、この2つは区別できない。

---

2. この誤用は、昔も今も続いている

30年前の実例：検出力が約5%の試験が「同等」と結論した

Altman と Bland は、1995年の BMJ の解説で、次のような実例を紹介している。

静脈瘤出血の治療を比べた試験で、必要とされる人数は約1,800人と計算されていたのに、実際に集まったのは100人であった。検出力はおよそ5%である。そして、結果は有意差なしであった。ところが、論文の著者らは「2つの治療は同等に有効」と結論づけた。

しかも、この試験の信頼区間は、最大で20パーセントポイントもの差を含んでいた。治療成績が2割も違うかもしれない状況で、「同等」と言ってしまったのである。

要するに、「差がなかった」のではなく、「データが少なすぎて、何も言えなかった」のだ。

2019年の指摘：それでも誤用は減っていない

これは、30年前の古い話ではない。2019年、Amrhein、Greenland、McShane の3名は、科学誌 Nature の論説で、同じ問題を再び取り上げた。彼らは、5つの学術誌に載った791本の論文を調べた調査を紹介している。その調査によると、約半数の論文が、有意差なしを「効果なし」と解釈していた。

しかも、そのような結論は、信頼区間を見れば、実は支持されないことが少なくない。信頼区間が、臨床的に意味のある差まで含んでいるからである。

1995年の警告から、四半世紀以上が過ぎた。それでも同じ誤用が、今も続いている。だからこそ、この記事で改めて整理する価値がある。

---

3. 信頼区間を、正しく読む

「有意差なし」と書く代わりに、何を見ればよいのか。答えは信頼区間である。ただし、信頼区間は誤解されやすいので、ここで丁寧に整理する。

母数は動かない。動くのは区間のほうである

まず、大事な前提がある。

• 母集団の「本当の差」（母数）は、私たちには分からない。しかし、固定された1つの値である。
• 動いているのは母数ではなく、データから作る区間のほうである。研究をやり直すたびにデータが変わるので、区間も変わる。

輪投げに例えよう。地面に、見えない杭が1本打たれている。これが母数である。杭は動かない。私たちは、その杭を狙って輪を投げる。この輪が信頼区間である。投げるたびに、輪の位置は少しずつ変わる。

「95%信頼区間」とは、この輪の投げ方（区間の作り方）が、同じ方法でいくつもの研究を行ったとき、そのうち約95%の研究で、できた輪が杭を囲めるように設計されている、という意味である。

別の言い方をすると、次のようになる。

• 母数を含む確率が95%になるように作った範囲のうちの1つが、今回得られた95%信頼区間である。
• 今回の区間が杭を囲めているかどうかは分からない。ただ、この区間の作り方でいくつもの研究を行えば、そのうち約95%の研究で、できた区間は母数を含む。

だから、「母数が95%の確率でこの区間にある」という言い方は正確ではない。母数は動いていないので、確率で揺れているのは区間のほうである。

それでも信頼区間が役に立つ理由

では、なぜ信頼区間を見るのか。理由は、差がどのくらいの範囲まであり得るかを、データと整合する範囲として示してくれるからである。

• 区間が狭い → 差の大きさをかなりしぼり込めている
• 区間が広い → 情報が足りず、差が小さいのか大きいのかも分からない

2章の実例は、まさに「区間が広いのに、有意差なしだけを見て同等と書いた」ケースである。

※コラム：「区間が0を含む」ことの意味
95%信頼区間（両側）が0を含むことと、5%水準でP値が有意にならないことは、同じ状況を別の言葉で述べている（信頼水準と有意水準が対応している場合）。つまり、「0（差なし）も、データと矛盾しない候補の1つ」ということである。ただし、0以外の値も、同じようにデータと矛盾しない。0だけが特別扱いされるわけではない。

---

4. 同等と言うための設計

「同等」と主張したいなら、データを見てから考えるのでは遅い。最初から設計に組み込む必要がある。

4-1. 「ここまでなら同じとみなす」幅を先に決める

これを同等性マージンと呼ぶ。たとえば、「血圧が±3 mmHg以内の差なら、臨床的に同じとみなす」というように、研究の前に決めておく。

ここは、試験の「合格ライン」に似ている。受験の後で合格ラインを決めたら、不正になってしまう。マージンも、結果を見てから動かしてはいけない。

では、マージンは何を根拠に決めればよいのか。実は、初心者だけでなく、経験を積んだ研究者にとっても、ここが一番悩ましいところである。唯一の正解はない。ただ、考え方の筋道はある。あとの4-4で整理する。

4-2. 区間がマージンの中に収まるかを見る

あとはシンプルである。差の信頼区間が、マージンの範囲にすっぽり収まれば、「同等」と言える。

差の信頼区間のようす	解釈
0を含まない	有意差あり（差の大きさが臨床的に重要かは別に検討する）
0を含み、区間がマージンをはみ出す	同等とも差があるとも言えない（データ不足）
0を含み、区間全体がマージンの内側	同等と言える
0を含まないが、区間全体がマージンの内側	有意差はあるが、臨床的には同等とみなせる

特に2行目が、冒頭の先輩の解釈が危ない場面である。「データ不足で、何も言えない」状態を、「同等」と読み替えてはいけない。

※コラム：なぜ「95%」と「90%」が混在するのか
表の1行目（有意差の判定）では、一般に95%信頼区間を使う。一方、次に説明するTOSTでは、同等性の判定に90%信頼区間を使うことが多い。混乱しやすいが、理由は検定の数にある。

• 通常の有意差の検定は、「差がない」を1つの検定で、両側5%で調べる。両側5%なので、区間は左右に2.5%ずつ余白を残す（95%信頼区間）。
• TOSTは、「下にはみ出していない」と「上にはみ出していない」という片側の検定を2回行い、それぞれ片側5%で調べる。片側5%を左右で1回ずつ使うので、区間の外に左右5%ずつ余白を残す（90%信頼区間）。

つまり、検定の組み立て方が違うだけで、基準を甘くしているわけではない。なお、規制対応の臨床試験などでは、片側2.5%で95%信頼区間を使う設計もある。どちらを使うかは、研究計画の段階で決めておく。

4-3. TOST（トースト）とは

同等性を検定の形で示したいときに使われるのが、TOST（Two One-Sided Tests、2つの片側検定）である。考え方はシンプルで、次の2つを両方ともクリアしたら「同等」とする。

1. 「差は、マージンの下限（−Δ）より大きい」と言えるか
2. 「差は、マージンの上限（+Δ）より小さい」と言えるか

つまり、「下にはみ出していない」と「上にはみ出していない」の2つを、それぞれ検定で確かめる方法である。2つとも有意なら、差はマージンの内側にあると結論できる。実際の計算は、統計ソフトやパッケージ（Rなら TOSTER など）に任せればよい。この記事では、名前と考え方の紹介にとどめる。

※コラム：TOSTは「帰無仮説」の向きが逆である
通常の検定では、「差がない」が帰無仮説であり、それを棄却して「差がある」と言いたい。TOSTでは向きが逆になる。「差がマージンの外にある」が帰無仮説であり、それを棄却できたときに、はじめて「同等」と結論する。同等と言いたいなら、「同等でない」可能性をデータで否定できなければならない、ということである。

ここで、1つ大切な注意がある。ソフトでTOSTが実行できることと、同等性を事前に設計していることは、別のことである。

有意差が出なかったあとで、「それなら同等性を示そう」とTOSTを実行しても意味がない。なぜなら、TOSTの結果は、マージンをいくつに設定したかで簡単に変わるからである。結果を見てからマージンを決めれば、「同等と言える」幅をいくらでも後付けできてしまう。それは、的を射たあとに矢の周りに円を描くようなものである。

TOSTが意味を持つのは、次の3点が研究の前に決まっているときだけである。

1. 同等性マージン（臨床的な根拠つき）
2. そのマージンで十分な検出力が得られるサンプルサイズ
3. 同等性を主たる目的とする解析計画（計画書・プロトコル）

では、同等性を事前に設計していなかった研究では、何もできないのか。そうではない。事後でも、信頼区間を示して、「どの大きさの差までデータと矛盾しないか」を述べることはできる。これは有益な報告である。ただし、それは「同等性を示した」ことにはならない。あくまで、データから分かる範囲を正直に述べるということである（5章の例①）。

※コラム：非劣性試験と同等性試験
「新薬が標準治療より悪くなっていないか」だけを確かめるのが、非劣性試験である（片側だけを見る）。「良くも悪くもなっていないか」を確かめるのが、同等性試験である（両側を見る）。目的が違うので、マージンの決め方や報告の仕方も変わる。報告の指針としては、CONSORT声明の非劣性・同等性試験向け拡張版（Piaggio ら、JAMA 2012）がある。

4-4. マージンの決め方の考え方

マージンの決め方は、同等性試験の最大の難所である。唯一の正解はないが、筋道は次のように整理できる。

例え：機械の部品には「許容公差」がある。時計の部品なら0.01 mmのずれも許されないが、家具の脚なら1 mmのずれは気にならない。許される誤差は、用途（その差が現場でどんな意味を持つか）で決まる。マージンも同じである。

考え方①：臨床的に意味のある最小の差から出発する
患者さんや臨床家が「違いを感じる」「治療方針が変わる」最小の差を、まず考える。同等とみなす幅は、この差よりも小さくなければ筋が通らない。血圧なら何mmHg、痛みのスケールなら何ポイント、という具合である。この判断は、統計家ではなく、臨床の専門家が中心になって行う。

考え方②：既存の標準治療の効果を根拠にする（特に非劣性試験）
標準治療が、プラセボ（または無治療）に対してどのくらい効くかを、過去の試験から見積もる。そのうえで、「新しい治療は、その効果のうち一定の割合以上を保てていればよい」と考える。たとえば、標準治療の効果の半分以上を保つ、といった決め方である。この考え方は、規制当局のガイダンスや、ICH E10などの国際的なガイドラインにも見られる。どの割合を許すかは、病気の重さや、新しい治療の安全性・利便性などを総合して、臨床的に判断する。ただし、この方法には、「過去の試験で見られた標準治療の効果が、今回の試験でも同じように成り立つ」という前提が必要である。

考え方③：サンプルサイズの都合でマージンを広げてはいけない
マージンを狭くするほど、「同等」を示すのに必要な人数は増える。目安として、マージンを半分にすると、必要なサンプルサイズはおおよそ4倍になる。そのため、「人数が足りないからマージンを広げよう」という誘惑が生じやすい。しかし、これは本末転倒である。まず臨床的な根拠でマージンを決め、そのうえで必要人数を計算し、実現可能かを判断する。実現できなければ、「同等性は示せない研究」と認めるほうが誠実である。

考え方④：根拠を明記し、事前に宣言する
迷う場合でも、次の3つは守りたい。

• 複数の専門家（臨床医、患者・市民の視点を含めてもよい）で議論し、合意を得る。
• マージンの根拠（先行研究、臨床的な意味づけ、議論の過程）を、研究計画書に書く。
• 論文のMethodsにも、根拠を添えて記載する。読者が「その幅は妥当か」を自分で判断できるようにするためである。

根拠が示されていれば、「その幅は広すぎる」と批判されても、議論の土台ができる。逆に、根拠のないマージンは、同等と言っても説得力を持たない。

---

5. 論文でそのまま使える例文

以下の数値は、いずれも記述例である。実際の値に置き換えて使うこと。

NGの書き方

有意差が認められなかったため、A群とB群は同等であった（P = 0.23）。

OKの書き方①：同等性を事前に設計していない研究で、区間を示して述べる場合

日本語

A群とB群の平均血圧の差は−1.2 mmHg（95%信頼区間：−3.2〜0.8）であり、統計学的に有意ではなかった（P = 0.23）。ただし、信頼区間は臨床的に意味のある差の可能性を含んでおり、本研究のサンプルサイズでは、両群が同等であると結論づけることはできない。

英文テンプレート（Results）

The difference in mean blood pressure between Group A and Group B was −1.2 mmHg (95% confidence interval: −3.2 to 0.8; P = 0.23). Because the confidence interval included clinically meaningful differences, we could not conclude that the two groups were equivalent.

OKの書き方②：同等性試験として設計した場合（①とは別の研究の記述例）

日本語（Methods）

本研究は同等性試験として計画した。同等性マージンは、臨床的な観点から、血圧の差で±3 mmHgと事前に設定し、このマージンで十分な検出力が得られるようサンプルサイズを算出した。同等性は、2つの片側検定（TOST）を用い、各検定の片側有意水準を5%として評価した（差の90%信頼区間がマージン内に収まるかを確認することに相当する）。

日本語（Results）

群間差は−0.8 mmHg（90%信頼区間：−1.9〜0.3）であり、区間全体が事前に設定した同等性マージン（±3 mmHg）の範囲内に収まった。したがって、2群は同等と判断した。

英文テンプレート（Methods）

This study was designed as an equivalence trial. The equivalence margin was prespecified as ±3 mmHg for the between-group difference in mean blood pressure, on clinical grounds, and the sample size was calculated to provide adequate power at this margin. Equivalence was assessed using the two one-sided tests (TOST) procedure at a one-sided significance level of 0.05 for each test, which corresponds to checking whether the 90% confidence interval of the difference lies entirely within the margin.

英文テンプレート（Results）

The between-group difference in mean blood pressure was −0.8 mmHg (90% confidence interval: −1.9 to 0.3), which fell entirely within the prespecified equivalence margin of ±3 mmHg. Therefore, the two treatments were considered equivalent.

---

6. まとめ

• 「有意差なし」は、「差がない」の証明ではない。「差があるとは言い切れなかった」にすぎない。この誤用は、1995年にも2019年にも指摘されており、今も続いている。
• 有意差なしの理由は、本当に差が小さいか、データが足りないか、の2通りある。両者の区別には、信頼区間を見る。
• 95%信頼区間とは、母数（固定・未知）を囲む確率が95%になるように作った区間の1例である。動いているのは区間のほうである。
• 「同等」と言いたいなら、研究の前に、臨床的な根拠のある同等性マージンを決めておく。結果を見てからでは遅い。
• ソフトでTOSTが実行できることと、事前に設計していることは別である。後から実行しても意味がない。
• 区間全体がマージンの内側に収まったとき、はじめて「同等」と言える。

---

参考文献

1. Altman DG, Bland JM. Statistics notes: Absence of evidence is not evidence of absence. BMJ. 1995;311:485. doi:10.1136/bmj.311.7003.485
2. Amrhein V, Greenland S, McShane B. Scientists rise up against statistical significance. Nature. 2019;567:305–307. doi:10.1038/d41586-019-00857-9
3. Piaggio G, Elbourne DR, Pocock SJ, Evans SJ, Altman DG; CONSORT Group. Reporting of noninferiority and equivalence randomized trials: extension of the CONSORT 2010 statement. JAMA. 2012;308(24):2594–2604. 10.1001/jama.2012.87802
4. Lakens D. Equivalence tests: a practical primer for t tests, correlations, and meta-analyses. Social Psychological and Personality Science. 2017. doi:10.1177/1948550617697177
5. Wangge G, Roes KCB, de Boer A, Hoes AW, Knol MJ. The challenges of determining noninferiority margins: a case study of noninferiority randomized controlled trials of novel oral anticoagulants. CMAJ. 2013;185(3):222–227. doi:10.1503/cmaj.120142

おすすめ書籍

「それをしたらダメ！NG事例から学ぶ臨床研究デザイン」
研究デザインの段階でやってはいけないことを、NG事例から学べる一冊である。同等性マージンのように「結果を見る前に決めておくべきこと」を考えるうえでも参考になる。