統計学的検定の多重性は、医薬研究でかなり問題となります。

多重性の問題が、試験の計画段階で統計の専門家が一番頭を悩ませる点といっても過言ではありません。

そんな検定の多重性の問題ですが、調整する方法はあるのでしょうか？

この記事では、まずは医薬研究で多重性が発生する状況をまとめます。

そして、統計学的検定の多重性を補正する方法を3つ紹介します！

多重性を調整する必要がある状況：検定を2回以上実施すれば多重性の問題は起こる

多重性は、複数回の検定（2回以上の検定）を実施する際に起こる問題です。

なぜ２回以上検定をすると問題なのか。

それは、試験全体としてαエラーが大きくなってしまうからです。

統計的検定が有意水準を５％として設定していることは、誰もが知っていますよね。

そのαエラーが５％を超えてしまうということは、とても重大な問題であると認識できるかと思います。

それでは、臨床試験ではどのような状況で多重性の問題が出てくるでしょうか？

具体的には以下の３つの状況が考えられます。

どういう状況か、もう少し考えてみましょう。

多重性の調整が必要な状況1：主要エンドポイントが複数ある場合

これは一番イメージしやすい状況かもしれません。

主要エンドポイントを複数設定し、そのうち「どれか一つでも達成」すれば試験の目的を達成する。

そんな状況であれば、多重性の問題が発生します。

例えば、アトピー性皮膚炎という疾患があります。

この疾患は、皮膚炎とかゆみの2つの特徴を持つ疾患です。

その時、主要エンドポイントを「皮膚炎の改善」と「かゆみの改善」の2つにしたとします。

皮膚炎だけが改善すればアトピー性皮膚炎の薬として申請し、かゆみだけが改善すればアトピー性皮膚炎に伴うかゆみの改善薬として申請する。

上記のような戦略を取るのであれば、どっちかのエンドポイントで達成できなくても、申請ができる。

これではいいとこ取りになりますよね。

つまり、多重性の問題があるということになります。

多重性の調整が必要な状況2：比較する群が複数ある場合

この状況も、多重性の問題が出てきます。

例えば、Phase II試験までに用量を決めきれずに、実薬群は低用量と高用量の2用量でPhase III試験を実施したとします。

すると、

1. プラセボ群
2. 低用量実薬群
3. 高用量実薬群

の3群で試験を実施することになります。

この時Phase IIIの比較は「プラセボ群vs低用量群」「プラセボ群vs高用量群」の2つの比較をすることになります。

その際に、どちらか一方でも有意になればその用量で申請するという戦略にしている場合、この時にも多重性の問題が出てきます。

多重性の調整が必要な状況3：解析する時点が複数ある場合

2つ目の状況は、解析する時点が複数ある場合です。

具体的にいうと、中間解析を実施する場合です。

例えば、1年間の試験の場合に、半年時点で一回解析を計画するような場合。

この時に、

1. 試験開始から半年後に1度検定する
2. 試験開始から1年後に2回目の検定をする

というように、2回の検定をすることになりますね。

そして、半年時点もしくは1年時点のいずれかの結果が有意であれば試験の目的を達成するという状況であれば、これも多重性の問題が出て来ます。

また、中間解析ではなくとも、経時的にデータを取得し、いずれかの時点で有意かどうかを判定する際にも、多重性の問題が発生します。

複数検定する場合でも、多重性の調整が必要ない状況

複数の検定を実施する場合でも、多重性の問題が出てこない状況があります。

それは「複数の検定全てで有意になる場合に目的を達成する」場合です。

例えば2つの主要エンドポイントがあった時に、どちらか一方が有意になれば試験の目的を達成する場合には多重性の問題が出てきますが、どちらも有意にならない限り試験の目的を達成しない、というような場合には多重性の問題が出てきません。

さいころの例だと、2回投げた時に、どちらか1回でも6が出る確率というのが多重性の問題が発生する状況ですが、2回とも6が出る確率というのは1回よりも厳しくなります。

そのため、αエラーという観点では、「どちらか一方をいいとこ取りする」という状況でなければ多重性の問題が発生しないのです。

AもしくはBの状況では多重性の問題が発生しますが、AかつBの状況では多重性の問題が発生しません。

少しだけ、αエラーを図式化してみます。

1回だけ検定をした場合、αエラーは全体（100%）の中で5%を占めますね。

では、２回検定をした場合。

その場合には、以下のような図になります。

１回目のαエラーと２回目のαエラーがあり、その一部が重なっているような図です。

この時、「もしくは」の状況（１回でもαエラーが生じる確率）は二つの円の総面積になります。

つまり、0.05+0.05-0.05*0.05=0.0975となります。この0.0975が0.05より大きいため、問題となります。

ですが、「かつ」の状況（２回ともαエラーが生じる確率）は二つの円が重なっている面積になります。

つまり、0.05*0.05=0.0025となります。この0.0025は0.05よりも大きいので、多重性という点では問題ないことになります。

閉手順など多重性を回避する３つの方法は？

複数回検定してそのうちどれかが有意になる場合、多重性の問題が生じます。

では、どうすれば多重性の問題を回避することが出来るでしょうか？

よく行われる回避方法としては、3つ挙げられます。

では、この３つに関して詳細にみていきましょう。

多重性の回避方法1：検定をどうにか一つにする

これは、多重性を回避するのに一番シンプルな方法です。

複数回の検定に問題があるのであれば、一つにすればよいということです。

主要エンドポイントが複数あれば、一つに選ぶか、複数のエンドポイントを合成して一つにしてしまう（合成変数の作成）がアイデアとして挙げられます。

合成変数を作成する場合には、その変数がちゃんと使えるかどうかという評価をしなければならない、という新たな問題が出てくるため、一つに選ぶという方法が一番シンプルになります。

多重性の回避方法2：閉手順（検定に順番を付ける）

これは、閉手順という用語として知られる手法です。

複数回検定をする場合であっても、そこに順番を付けることで多重性を回避することが出来ます。

具体的には、このような手順です。

この方法によってなぜ多重性の問題が回避できるのか。

それは、「いずれかが有意である」という状況を避けることができるからです。

多重性の問題とは、複数回検定をする、ということ自体に問題があるわけではありません。

複数回検定をして、どれか一つが有意になればOKという状況にある、ということが問題です。

そのため、「いずれかが有意である」という状況を避けることができるこの「検定に順番をつける」というのは多重性の問題の回避につながるのです。

そして、ここも重要なのですが、この検定の順番というのも、事前に決める必要があることに注意しなければなりません。

多重性の回避方法3：有意水準を調整する

これは最終的な手段になります。

どうしても複数回の検定を実施し、いずれかの結果によって試験の目的を達成することを言いたい場合、有意水準を調整する必要があります。

例えばボンフェローニ法の場合、2回の検定を実施するのであれば、通常は5%にしている有意水準を2.5%にして2回検定を実施します。

その場合には、P値は0.025を下回らなければ有意という結論は出せなくなります。

多重性の調整方法まとめ

医薬研究で多重性の問題が発生する状況として3つ例をあげました。

1. 主要エンドポイントが2つ以上ある場合
2. 比較する群が複数ある場合
3. 解析する時点が複数ある場合

よく行われる多重性の回避方法も3つあります。

1. 検定をどうにかして一つにする
2. 検定に順番を付ける
3. 有意水準を調整する

ただし、複数回の検定が発生したら必ず多重性の調整をしなければならないかといえば、実はそうではない状況もあります。

研究自体が探索的であれば多重性の問題はあると認識しつつ、多重性の調整は実施しない、という選択肢もあります。

その場合のP値は、名目上のP値になりますので、取り扱いには注意しましょう。

この記事では、ボンフェローニ法（Bonferroni法）による統計学的検定の多重比較でどのような計算をしたらいいのか、そしてメリットやデメリットをお伝えします。

統計学的検定では、様々な場面で多重性の問題が発生します。

臨床試験の場合にも例に漏れず、多重性の問題は統計担当者が一番頭を悩ませる問題。

多重比較をすると問題なのが、全体的なαエラーが増大するということ。

αエラーの増大を防ぐために、対処する方法は3つあります。

このページでは、その対処法の中で３つ目の「有意水準を補正する」方法を紹介します。

最も有名なのがボンフェローニ法（Bonferroni法）と呼ばれる補正方法です。

ボンフェローニ法とは？統計検定で多重比較の際に有意水準を補正する方法

検定の多重性を回避する方法として、有意水準を補正する方法がありました。

どんな場面で有意水準を補正するか。

そんな場面であれば、有意水準を調整する方法にします。

つまり、最終手段の方法ですね。

ではなぜ、検定を1つに絞ったり、優先順位をつけたりする方法を優先して使ったほうがいいのか。

その理由は、明確なメリットがあるからです。

検定を1つに絞ったり、優先順位をつけたりする方法のメリット。

だから、最初は検定を1つに絞ったり、優先順位をつけたりする方法を検討したほうがいいのです。

では、どうしようもなく検定を複数回実施しなければならない場合。

有意水準を補正します。

そして有意水準を調整する方法がいくつか開発されています。

具体的にはボンフェローニ（Bonferroni）法、ホルム（Holm）法、そして多重比較検定であるダネット（Dunnett）検定やテューキー（Tukey）検定などです。

今回の記事では、直感的かつ数学的にもイメージしやすいボンフェローニ法を紹介します。

ボンフェローニ法で有意水準を補正する場合、どんな計算式なのか

ボンフェローニ法の有意水準の補正方法は簡単です。

通常の有意水準をα（普通は0.05）、実施する検定の数をNとする場合に、一つ一つの検定の有意水準をα/Nにするという方法です。

例えば、有意水準が0.05で、検定を２回実施したい時。

それぞれの検定の有意水準を0.05/2=0.025に調整するのです。

そして検定の結果、P値が0.025を下回れば、有意になります。

決して、0.05を下回ったからといって、有意にはならないので注意してください！

重要なのでもう一度書きます。

では、検定が５つの場合は。

一つ一つの検定の有意水準を0.05/5=0.01にして、P値が0.01を下回る場合に有意という結論を得ます。

つまり、このようになりますね。

この方法はとても直観的であり、かつ簡単に実施しやすい方法ではあります。

ですが、他の有意水準の調整方法よりも一番厳しい、つまり一番有意になりにくい方法であるといえます。

ボンフェローニ法などを使って有意水準を補正するとなぜαエラーが増大しないのか？

ボンフェローニ法で有意水準を補正する計算式はわかりました。

αエラーを検定の回数で割るだけなので、特に難しくありませんでしたね。

では、なぜそのような有意水準の補正をするだけで、αエラーの増大が防げるのか？ということです。

以下の図のように、1回だけ検定をした場合、αエラーは全体（100%）の中で5%を占めます。

では、2回検定をした場合にはどうなるでしょうか。

その場合にαエラーは以下のようになります。

1回目のαエラーと2回目のαエラーがあり、その一部が重なっているような図です。

このとき、2回検定をして1回でもαエラーが生じる確率は、2つの円の総面積になります。

つまり、このときのαエラー「0.05+0.05-0.05*0.05=0.0975」となってしまうのです。

0.0975は有意水準で設定した0.05より大きいため、問題となります。

しかし、ボンフェローニ法で有意水準を補正してあげると、1つ1つのアルファエラーが0.025になるため、以下のような図になります。

そのため、2回検定をして1回でもαエラーが生じる確率は、2つの円の総面積の0.049375となります。

そうすると、有意水準である0.05よりも小さいαエラーで2回の検定をすることができることになります。

ボンフェローニ法で有意水準を補正するデメリット

計算が簡単で、直感的に理解しやすいボンフェローニ法。

しかし、この方法には問題点があります。

それは検出力が低くなってしまうこと。

検出力が低いということは、本来であれば有意差が出るはずのデータなのに有意差が付きにくい、ということです。

統計的な用語を使うと「保守的な」検定方法です。

なぜならば、本当は有意水準を0.05として設定していいですが、前述の通り2回検定した場合に0.049375のαエラーになります。

0.05-0.04375=0.00625だけ、有意差が付きにくくなっている、ということ。

ほんのちょっとの違いのように思いますが、この数字の差はかなり大きいのです。

この保守的な側面を解決するために、ホルム（Holm）法や多重比較検定であるダネット（Dunnett）検定やテューキー（Tukey）検定などが開発されました。

ボンフェローニ法に関するまとめ

多重性の対処法の中で、有意水準を調整する方法は、最後に選択する最終手段。

Bonferroni法は直感的で、簡単に実施しやすい調整方法。

しかし、他の調整法と比べて有意になりにくい、保守的な方法とも言える。

Bonferroni法は分散分析の後の事後検定としても使われることがあります。

動画でも多重性の問題とボンフェローニ法の解説をしていますので、記事内容と合わせてご確認いただけると理解が進むかと思います。

統計学的検定を学ぶと、必ず避けて通れない問題があります。

それが、検定の多重性。

臨床研究でも検定の多重性は重要な問題となります。

この記事では、統計学的検定で問題となる検定の多重性のについて解説します。

多重性の意味や、p値の解釈で注意しなければならないことがあるので、それを理解していきましょう。

検定の多重性とは？統計学的検定を複数回実施することで起こる問題

まずは、多重性とは何か、ということを理解しましょう。

多重性の問題を一言で表すと、こんな問題です。

多重性の問題とは？：
→検定を複数回実施すると、少なくとも一つ以上の検定結果が有意になる確率が増大する問題

あまりピンとこないかもしれませんので、さいころを例に多重性を紐解いてみます。

検定の多重性の意味を例でわかりやすく：サイコロで1回でも6が出る確率

みなさんご存知の通り、サイコロは1〜6の目がそれぞれ1/6の確率で出るようになっています。

では、６が出る確率を考えてみましょう。

1回さいころを投げて6が出る確率は、当然1/6≒17%ですね。

次からが多重性の問題。

では、2回さいころ投げて「少なくとも1回6が出る確率」はどうなるでしょうか？

あなたは答えられますか？

計算方法としては、1-（１回も6が出ない確率）を求めればよいです。

すると、１回も６が出ない確率は６以外の目が出る確率なので、5/6です。

となると、2回さいころ投げて「少なくとも1回6が出る確率」は、以下のように計算できます。

1-5/6*5/6 = 11/36 ≒ 31%

3回さいころを投げて「少なくとも1回6が出る確率」も、同様に計算してみます。

1-5/6*5/6*5/6 ≒ 42%

今までの計算を、表にまとめます。

さいころを投げて6の目が出る確率は1/6でした。

しかし、複数回さいころを投げることで「一回でも6の目が出る確率」は1/6よりも大きくなってしまいました。

この概念が、統計学的検定の多重性の問題と同じなのです。

統計学的検定の多重性を考える時には、検定の回数に注意

検定の多重性とは、さいころを複数回投げることと一緒です。

さいころの例のように、複数回の検定を実施することで「1回でもその結果が出る確率（検定であれば有意になる確率）」が増大してしまうという現象が起きます。

さいころの例を統計的検定に置き換えると、αエラーが1回の検定だと5%であったものが、複数回繰り返すと全体のαエラーが5%よりも大きくなってしまうということになります。

例えば、検定を２回実施した場合。

「少なくとも1つが有意になる確率」はどうなるでしょうか。

サイコロの例と同じように数式に表してみましょう。

計算方法としては、1-（１回も有意にならない確率）を求めればよいですね。

ということは、1-0.95*0.95＝0.0975。

つまり、αエラーが9.75%になってしまうのです！

これは重大な問題ですね。

αエラーが増大するということは、患者さんの不利益につながります。

そのため、統計的検定は、1回だけ実施することが原則になります。

検定の多重性が発生する時には、p値の解釈にも注意する

検定の多重性が発生しているということは、αエラーが増大しているということです。

そのため、p値の解釈にも注意が必要です。

通常は有意水準を0.05に設定している場合、多重性の問題がなければp値が0.05を下回っている場合に「有意である」と結論づけることになります。

しかし、多重性の問題が発生している場合には、有意になりやすくなっている状況なので、意図的に有意になりにくいように解釈をする必要があるのです。

そのため、例えばボンフェローニ法のように検定を2回実施するのであれば、p値も0.025を下回らない限り有意とは言えない、というように、厳しくp値を解釈する必要があるのです。

αエラーとβエラーをコントロールしていないp値は、名目上のp値として位置付けられます。

名目上のp値は「それ単独で解釈できないp値（つまり、0.05を下回ったかどうかで判断できないp値）」のため、特に解釈に注意が必要です。

＞＞名目上のp値とは？

検定の多重性を補正するには、αエラーに着目する

上記の通り多重性の本質は、複数回検定を実施することでαエラーが増大してしまう、ということ。

ということは、実際には「複数回検定を実施する」こと自体が問題ではなく、「αエラーが増大してしまう」ということが問題です。

ということなので、たとえ複数回検定を実施することになっても、αエラーさえ増大しなければ、それはそれで複数回検定を実施してもOKということです。

多重性を回避しながら複数の検定を実施したいときにはどうすればよい？

多重性によって検定結果が信頼のおけない結果になることは分かりました。

ただそれでも、複数の項目・複数の時点で検定を実施したい場合、どうすればよいでしょうか？

1. どうにかして検定を1回にする
2. 検定に順番を付ける（閉手順）
3. 有意水準を分ける（有名なのがボンフェローニ法）

といった方法が考えられます。

そして、多重性を考慮した検定なんかもあります。

有名なところで言うと、Tukey（テューキー）の検定、Dunnett（ダネット）の検定などです。

＞＞Tukey（テューキー）の検定とは？

＞＞Dunnett（ダネット）の検定とは？

医薬研究で多重性が発生する場面、そして多重性を回避する方法に関しては別ページで解説しておりますので、ご参照ください。

検定の多重性の意味：数撃ちゃ当たる理論

多重性の問題は、つまるところ「数撃ちゃ当たる」ということです。

αエラーを5%にするということは、20回に1回は間違いを許容するということです。

そのため、データに対して100回ぐらい検定を実施して、P値が0.05を下回る結果があったぞー！！と言っても、それは多重性によりたまたま0.05を下回ったにすぎない可能性が高いです。

かの有名なノストラダムスも、この「多重性」を巧みに使って有名になった一人です。

ノストラダムスは、予言を何千も何万も用意していました。

たまたま、そのうちの何個かが的中したため、有名になったのです。

検定の多重性とは？まとめ

• 多重性によるαエラーの増大が、医薬品開発にとって問題となる。
• どうしても複数回の検定を実施したい場合には、全体のαエラーが5%未満になるように制御する必要がある。