バートレット検定という統計手法はご存知でしょうか？

分散分析などの検定手法に比べて目立たない検定なので知らない方も多いかもしれません。

ですが論文などでバートレット検定が出てくる場合もありますので、結果を理解する上では知っておいて損はないでしょう。

本記事では、なるべく分かりやすくバートレット検定について解説していきますね！

バートレット検定とは？

バートレット検定は各群の分散が等しいかどうか確かめる検定です。

そのためバートレット検定のことを”等分散性の検定”と呼ぶこともあります。

バートレット検定の結果、p値が有意水準を下回った場合に“比較した群の分散は等しくない”という判断をします。

ある検定を実施する上では分散が等しい方が望ましい検定もあるため、p値が有意水準より高く出る方が良いことが多く、通常の検定と結果の見方が逆になるので注意して下さい。

またバートレットは各群の分布が正規分布している時にしか使えません。

正規分布していない場合はルビーン検定という検定手法を使うようにしましょう。

以上がバートレット検定の概要ですが、まだまだ説明不足な点も多いので、一つ一つ詳しく説明していきましょう。

バートレット検定が確かめている分散とは？

「そもそも分散って何？」

となった方もいると思うので、分散とは何か解説していきましょう。

分散を一言で表すと、”データのばらつき”です。

分散が小さいと全てのデータが平均値付近にあり、分散が大きいと平均値から離れたデータが多いということです。

計算方法を言葉で表すと、”各データの値から全体の平均を引いたものを2乗し、全て足し合わせた後にn数で割ったもの”となります。

分散についてはこちらで解説していますので、もっと詳しく知りたい方はご覧ください。

なぜバートレット検定が必要なのか？

「どうして分散が等しいかどうか確かめる必要があるの？」

と疑問に思われた方も多いかもしれません。

でも分散が等しいか確かめることは非常に大事なのです。

なぜなら分散が等しくない場合、一部の検定を使うことが出来なくなってしまうからです。

• StudentのT検定
• 分散分析
• テューキー検定

今挙げた検定はいずれも有名ですが、これらは全て各群の分散が等しいことを前提としているパラメトリック検定なのです。

つまりこれから分散分析やテューキー検定を使う予定がある場合、事前にバートレット検定を検討することがあります（T検定の場合は後述するF検定を検討します）。

これがバートレット検定が必要な理由です。

ただし、どの検定を使うか判断するために検定を実施することは、多重性の問題や標本データに依存しすぎた判断になるため、あまり推奨しません。

そのため、各群のヒストグラムや箱ひげ図などを作成しながらざっと判断する、ということでOKかなと、個人的には思っています。

ちなみに正規分布しているけど分散が等しくないという結果になった場合、

• T検定→WelchのT検定
• 分散分析→一元配置分散分析Welch拡張
• 多重比較→ゲームズハウエル法

という変法を使えば問題ありません。

バートレット検定とF検定の違いは？

F検定は2群間の分散が等しいかどうか確かめる検定です。

「あれ？それってバートレット検定と同じじゃない？」

と思った方も多いと思います。

分散が等しいか確かめる点では、バートレット検定もF検定も同じです。

違うのは、比較する群の数です。

• 2群間の分散をみる→F検定
• 3群以上間の分散をみる→バートレット検定

このように群の数によって使う検定が変わってきます。

実際に検定をかけるときは、群の数を確認してからどちらを使うか決めるようにしましょう。

F検定について詳しく知りたい方はこちらの記事もご覧ください。

バートレット検定はエクセルで実施できる？

バートレット検定をエクセルで実施するのはかなり大変です。

実施できないことはないのですが、計算式が複雑なためすごく時間と手間がかかります（数式を間違えるリスクもあります）。

ですのでバートレット検定をかける際は、フリーソフトのEZR等の統計解析ソフトを使うことをおすすめします。

特にEZRは無料で使うことができ、バートレット検定などの統計検定を簡単にかけることができる統計ソフトです。

なるべく使い慣れたエクセルで済ませたい気持ちも分かりますが、複雑な数式を打つ時間をEZRの勉強に当てた方が確実に時短できますので、是非使ってみて下さい。

バートレット検定をエクセルで実施する方法

どうしてもエクセルを使わないといけない事情がある人に向けて、エクセルでバートレット検定を実施する方法を解説していきますね。

バートレット検定をエクセルで実施するには以下の手順で計算していきます。

1. 各群の分散と全体の分散を計算する
2. 統計量を算出する（χ2値)
3. χ2分布表から統計量が有意水準を上回っているか確認する

ここではA群(n=5),B群(n=8),C群(n=10)に対してバートレット検定をしていってみましょう。

各群の分散と全体の分散を計算する

各群の分散は、エクセル関数の”VAR.S()”を使用しましょう。

次に全体の分散を計算します。

さきほど算出した分散と各群の(標本数-1)を掛け算し、全て足し合わせましょう。

例だと

(A群の分散×4)+(B群の分散×7)+(A群の分散×9)

という具合に計算していきます。

最後に全体の標本数の総数から群の数を引いた数で割ってあげましょう。

例では全体の標本数が5+8+10=23で、群の数が3ですので、23-3=20で割ります。

まとめると、今回の例では

全体の分散＝{(A群の分散×4)+(B群の分散×7)+(C群の分散×9)} ÷ 20

となります。

ここまでは大丈夫でしょうか？

次の統計量がややこしいので頑張りましょうね！

統計量を算出する

まずはじめに統計量の計算式の概要がこちらです。

とにかく計算量が多いため、一つずつじっくりやっていきましょう。

まずは分子の計算です。

(全体の標本数-群の数)×log(全体の分散)から(各群の標本数-1)×log(各群の分散)を引いています。

例だと

{(23-3)×log(全体の分散)}-{(5-1)×log(A群分散)+(8-1)×log(B群分散)+(10-1)×log(C群分散)}

となります。

logの計算はエクセル関数の”LN()”関数を使いましょう。

常用対数のLOG関数ではなく、自然対数のLN関数なので注意して下さい。

続いて分母の計算です。

分母の中で分数が出てくるので厄介ですが、これも一つずつ計算していきます。

まずは分母の分子部分です。

1/(5-1)+1/(8-1)+1/(10-1)-1/(23-3)

という感じで計算します。

分母は3×3 – 3です。

先程の分子を今計算した分母で割った後、1を足せばOKです。

例だと

{1/(5-1)+1/(8-1)+1/(10-1)-1/(23-3)}÷(3×3 – 3) + 1

という感じです。

ようやく計算式の分母と分子の計算が終わりましたので、分子を分母って割れば統計量が出ます！

かなり大変ですが、ここまで出来れば後もう一息です。

頑張りましょう！

χ2分布表で有意か確認する

こちらでχ2分布表を確認できます。

有意確率は0.05、自由度は(群の数-1)で該当する値を確認しましょう。

先程算出した統計量が該当した値を上回っていれば、有意に分散が等しくないことが示されます。

以上がエクセルでバートレット検定を実施する方法です。

まとめ

最後におさらいをしましょう。

バートレット検定はメインの検定ではなく、事前準備の際に必要な検定です。

そのためあまり話題に上がることはないのですが、統計の知識がある方はバートレット検定を使っています。

間違った統計解析をしないためにも、本記事の内容を覚えておいてもらえれば幸いです。

最後までお読み頂きありがとうございました。

この記事では「False Discovery Rate（FDR）とは？意味や使い方を解説！」ということでお伝えします。

医療統計ではあまり出てくる印象はないですが、遺伝子解析などの場面で出てくる印象があるFDR。

• FDRってどんな場面で使われるの？
• FDRのアイデアは何でどんな意味がある？
• q値を計算し、FDRを使った判定方法の具体的な手順は？

ということをお伝えしていきますね！

FDRとは？多重性の考慮方法の一つ！

結論から言うと、FDRは多重性の考慮方法の一つです。

多重性の問題とは、検定を複数実施すると間違って検定結果が有意になってしまう確率が増大してしまう問題。

その問題に対処するために、多重性の調整方法がいくつか提案されています。

FDRもその調整方法の一つ、ということです。

FDRとはどんな意味を持つ？どんなアイデアで成り立っているの？

FDRが多重性を考慮する方法の一つであることがわかりました。

では、FDRはどんなアイデアで成り立っており、どんな意味を持つのでしょうか？

それを考えるために、以下の分割表を考えます。

いわゆる、αエラーとβエラーの説明の際に用いられる表ですね。

FDRは多重性の問題への対処方法ですから、検定をたくさん実施している研究を想定します。

例えば、検定を100回実施するような研究の場合。

この場合、M=100です。

仮に検定結果が有意であるものが100個中10個の場合、R=10になります。

じゃあFDRがどんな定義かというと、FDR＝V/Rなんです。

定義としては結構簡単ですよね。

仮に偽陽性の数が2個の場合、V=2ですから、FDR=2/10=0.2という計算ができます。

つまりFDRとは、検定結果が有意になった数の中で偽陽性がどのぐらいの割合か？ということを示した値である、ということができますね。

しかしここで一つ問題が。

実際の研究では、偽陽性の数であるVの個数が観測不可能だ、ということです。

真実は誰もわからないため、検定結果が偽陽性かどうかを誰も判断できないんです。

そのためFDRを使う場合は「FDRの値を研究者が決める」ということをやります。

つまり、「今回の研究ではFDRを0.1に設定する」というような感じです。

じゃあ「今回の研究ではFDRを0.1に設定する」ってどんな意味があるのでしょうか？

それは定義からも明らかなように、「検定結果が有意になった数に対して偽陽性の割合を10%に抑える」という意味になるんです。

q値を計算し、FDRを使った手順と具体例

FDRの意味がわかったところで、具体的にFDRを使った多重性の調整方法の手順をお伝えします。

FDRの中にも細かく分類がありますが、今回は最も有名なBH法（Benjamini-Hochberg法）でお伝えします。

FDRを使った調整方法の手順は以下の通り。

そしてFDRの値をどうするかは、研究者が決めます。

通常は、0.05や0.1が使われているイメージですね。

FDRを使った判定法の具体例

手順はわかりましたが、実際の数値での具体例があるとよりわかりやすいと思いますので、具体例をあげてみます。

いま、6つの遺伝子での検定結果が以下の通りだったとします。（手順1が完了している）

その後、手順2〜5を一つの表にすると以下の通りです。

まずは手順2のとおり、6つの遺伝子をP値が小さい順に並べ替えます。

iは、P値が小さいものから順に数字を付与したものです。

そしてNは、今回の研究の検定した数を示しているため、今回は6ですね。

iとNが分かればq値が計算でき、q=p値*N/iです。

そしてq値とFDRを見比べて、q値＜FDRであれば有意と判定します。

今回は、FDRは0.1であると想定しました。

FDRについてまとめ

いかがでしたか？

この記事では「False Discovery Rate（FDR）とは？意味や使い方を解説！」ということでお伝えしました

医療統計ではあまり出てくる印象はないですが、遺伝子解析などの場面で出てくる印象があるFDR。

• FDRってどんな場面で使われるの？
• FDRのアイデアは何でどんな意味がある？
• q値を計算し、FDRを使った判定方法の具体的な手順は？

ということが理解できたのなら幸いです！

こちらの記事は動画でもお伝えしていますので、合わせてご覧くださいませ。

テューキー検定（Tukey検定）という検定手法をご存知でしょうか？

テューキー検定（Tukey検定）分散分析とセットでよく登場する検定なのですが、

• 「テューキー検定って何？」
• 「T検定と何が違うの？」
• 「テューキー検定をエクセルでできる？」

といった疑問を抱かれる方もいるのではないかと思います。

そんな方のために本記事ではテューキー検定（Tukey検定）を解説していきます。

計算式を極力使わずに、なるべく分かりやすく説明していきますね！

テューキー検定（Tukey検定）とは？

テューキー検定は多重比較法の一つです。

Tukey法やTukey-Kramer法とよく呼ばれます。

多重比較法の中でもよく使われる方法ですので、分散分析とセットになって頻繁に登場します。

でも多重比較法という言葉を初めて聞いた、または聞いたことはあるけどよく分からない方も多いのではないでしょうか。

まずは多重比較法について説明していきますね。

多重比較法とは

多重比較法とは3群以上のある集団に対して、各群ごとに”多重”に”比較”していく検定方法です。

例えばある学校で1〜3組までクラスがあるとしましょう。

このクラスごとにテストの点数に違いがあるか比較していくとします。

この場合、3群を比較するためまずは分散分析で3クラスのどれかに点数が異常に低いまたは高いクラスがあるか検定することを考えがちです。

ただ分散分析だと、有意差が出てもどのクラス間に差があるのかまでは分かりません。

何故なら、分散分析の帰無仮説は「全ての群で平均値が同じ」であり、対立仮説は「どこかの群で平均値が異なる」なので、有意差が出たとしても、対立仮説である「どこかの群で平均値が異なる」までしか分からないからです。。

せっかくならどのクラスの点数が他クラスと違うのか、そこまで知りたいですよね。

そこで登場するのが多重比較法です。

多重比較法は「1組と2組」「2組と3組」「3組と1組」それぞれ点数に差があるか検定にかけることができます。

3群以上の比較では、まず分散分析で有意差があるか確認してから多重比較法で詳細を確認していく方法が一般的です。

多重比較法にはいろいろな手法があり、テューキー検定はその中でもよく使われる多重比較法です。

テューキー検定と他の多重比較法との違い

テューキー検定は基本的に以下の条件が揃っている場合に使うことがお勧めされています。

1. 各群の分散が等しい
2. 各群の分布が正規分布している

イメージ的にはパラメトリック検定であるT検定に似ていますね。

Tukey検定のノンパラメトリックバージョンはSteel-Dwass検定です。

検定を実施したいデータが上記に当てはまらない場合は、残念ながら違う手法を使わなければなりません。

有名な多重比較法は、他に以下の手法があります。

• ボンフェローニ法→いろいろなケースに対応できるが、5群以上あると検出力が落ちる
• ダネット検定→ある群と他の群の比較をする時のみ有効

この他にも様々な手法がありますが、正直どれを使えばいいのか迷うことがよくあります。

なので、それぞれの多重比較法のメリットデメリットをしっかり把握していきましょうね！

テューキー検定とT検定の違いって？

テューキー検定のp値とT検定のp値は違いがある

T検定とテューキー検定をした時では、同じ群の比較でもp値が変わってきます。

なぜかというと、テューキー検定は複数回の比較を前提にしているためp値の設定が厳しくなっているからです。

なぜ複数回の比較だとp値が厳しくなるのでしょうか？

詳しく説明していきますね。

T検定は繰り返し行ってはいけない

T検定は原則として2群を比較する時に使用します。

ここまではすでに知ってらっしゃる方も多いかと思います。

ですが、T検定を繰り返し何度も使うと、多重性の問題が発生します。

たとえば、A校と他20の高校で平均身長に差があるか調べたいとしましょう。

この時にA校と他の学校を一つずつ計20回T検定にかけてしまいますが、ここに決定的な落とし穴があります。

p値の水準（有意水準）を5%としていた場合、20回検定をかけると高確率で1回くらいはたまたま有意な差が出てしまうからです。

まさに検定の多重性の問題ですね。

そのためついついやってしまいがちですが、繰り返し検定を実施する時は注意が必要ですし、もし繰り返しの検定を実施するには多重性を回避する方法（調整方法）を考えなければなりません。

テューキー検定は繰り返しの比較を前提にp値が調整される

では繰り返し検定を実施したい時は、具体的にどうすればいいのでしょうか？

例えば、有意水準を厳しくすれば、繰り返し検定を実施することも可能です。

有名な方法としてボンフェローニ法がありますが、ボンフェローニ法では有意水準を1%にすれば、検定を5回繰り返しても問題ないことになります。

ただ毎回繰り返す回数に応じて、いちいち有意水準を計算するのは面倒ですよね。

それをすでに調整して、厳しくp値を出すようにしてくれているのがテューキー検定というわけです。

テューキー検定は繰り返し検定を行う数に合わせて、自動で最適なp値を算出できます。

以上の理由から、同じ群の比較でもテューキー検定はT検定よりp値が厳しく出るようになっています。

テューキー検定をエクセルで実施できる？

エクセルでテューキー検定を実施することは可能です。

ただ少々計算は面倒ですので、今後もテューキー検定を繰り返しされる予定がある方は統計ソフトの使用をおすすめします。

統計ソフトはフリーソフトのEZRがおすすめです。

EZRについてはこちらの記事で詳しく解説していますので、興味があればご覧ください。

「どうしてもエクセルでテューキー検定をかけたい！」

という方に向けて、エクセルでテューキー検定を実施する方法をご紹介します。

エクセルでテューキー検定を行う方法

テューキー検定を実施するにあたって、まずは各群の平均値(AVERAGE関数)と全体の分散(VAR.S関数)をそれぞれ算出しておきましょう。

また各群のn数も把握しておきましょう。

ここでは各群のn数が揃っていることを前提とします。（各群でn数が違うと計算量がかなり増えエクセルで行うのは非現実的になります）

まずはこれらの”平均値“、”分散“、”n数“を使って各群を比較したときの”統計量“を算出していきます。

A群とB群を比較する場合、統計量の計算方法は以下の通りです。

=ABS(“A群の平均値”-“B群の平均値”)/SQRT(“分散”/”n数”)

これを比較する全ての組み合わせで実施します。(1~3組の比較であれば1組×2組、2組×3組、3組×1組）

ABSは値を絶対値にする関数で、SQRTは値に平方根をつける関数です。

これでそれぞれの組み合わせ全ての統計量が算出できました。

ではいよいよこれらの統計量が有意な差といえるかどうか、確認していきましょう。

有意水準の表をこちらからご確認ください。

行（縦軸）が自由度、列（横軸）が群の数です。

有意水準が1%か5%か選び、自分のデータに当てはまる数値を確認してみてください。

先ほど算出した統計量がこの数値を超えていれば、”有意差あり”と判定できます。

これでエクセルでテューキー検定をかけることができましたね。

お疲れさまでした。

まとめ

最後におさらいをしましょう。

テューキー検定は多重比較法の中で最も有名な手法の一つで、論文でもよく使われています。

統計初心者の方は、まずはテューキー法の知識をしっかりつけておきましょう。

最後までお読みいただきありがとうございました。

＞＞EZRでTukey検定を実施する方法

＞＞JMPでTukey検定を実施する方法

ダネット検定という検定手法をご存知でしょうか？

すごく有名な手法ではないので、あまり検定手法に馴染みがない方だと

• 「ダネット検定って何？」
• 「T検定と何が違うの？」
• 「ダネット検定をエクセルでできる？」

といった疑問を抱かれるのではないかと思います。

そんな方のために本記事ではダネット検定を解説していきます。

計算式を使わずに、なるべく分かりやすく説明していきますね！

ダネット検定とは？

ダネット検定は多重比較法の一つです。

たいていは分散分析とセットになって登場します。

でも「多重比較法って何？」となる方も多いのではないでしょうか。

まずは、ダネット検定を理解する上で重要な多重比較法について説明していきますね。

そもそも多重比較法とはなに？

多重比較法とは3群以上のある集団に対して、各群ごとに”多重”に”比較”していく検定方法です。

例えばある学校で1〜3組までクラスがあるとしましょう。

このクラスごとにテストの点数に違いがあるか比較していくとします。

この場合、3群を比較するためまずは分散分析で3クラスのどれかに点数が異常に低いまたは高いクラスがあるか検定することを考えがちです。

ただ分散分析だと、有意差が出てもどのクラス間に差があるのかまでは分かりません。

何故なら、分散分析の帰無仮説は「全ての群で平均値が同じ」であり、対立仮説は「どこかの群で平均値が異なる」なので、有意差が出たとしても、対立仮説である「どこかの群で平均値が異なる」までしか分からないからです。。

せっかくならどのクラスの点数が他クラスと違うのか、そこまで知りたいですよね。

そこで登場するのが多重比較法です。

多重比較法は「1組と2組」「2組と3組」「3組と1組」それぞれ点数に差があるか検定にかけることができます。

3群以上の比較では、まず分散分析で有意差があるか確認してから多重比較法で詳細を確認していく方法が一般的です。

多重比較法についてイメージができましたか？

多重比較法にはいろいろな手法があり、ダネット検定はその中の1つ、というわけです。

ダネット検定と他の多重比較法との違い

多重比較について理解できると、今度は

「ダネット検定は他の多重比較法と何が違うの？」

といった疑問が出てきますよね。

ダネット検定は他の多重比較法と決定的に違うことがあります。

先ほどの例を使って説明していきましょう。

通常の多重比較なら、「1組と2組」「2組と3組」「3組と1組」の3通りの組み合わせを比較します。

しかしダネット検定の場合は違います。

例えば1組をコントロール群としてダネット検定を行うと、1組×2組と1組×3組の2通りしか比較しません。

この比較は「1組が他のクラスより点数が違うかどうかだけ知りたい」という場合に役立ちます。

もちろんコントロール群は1組以外のどの組でも構いません。

このように、ある一つの群（コントロール群）と他の群を比較するのがダネット検定の最大の特徴です。

ちなみに全ての組み合わせを比較したい場合には、テューキー検定という手法が有名です。

テューキー検定についてはをご覧ください。

ダネット検定とT検定の違いって？

ダネット検定に関して、なんとなく分かったかと思います。

ではダネット検定をさらに深く考える上で、最もメジャーな検定の一つであるT検定と比較してみましょう。

ダネット検定のp値とT検定のp値は違いがある

T検定とダネット検定をした時では、同じ群の比較でもp値が変わってきます。

なぜかというと、ダネット検定は複数回の比較を前提にしているためp値の設定が厳しくなっているからです。

なぜ複数回の比較だとp値が厳しくなるのでしょうか？

詳しく説明していきますね。

T検定は繰り返し行ってはいけない

T検定は原則として2群を比較する時に使用します。

ここまではすでに知ってらっしゃる方も多いかと思います。

ですが、同じ集団に対してT検定を繰り返し何度も使うのも原則NGなのはご存知でしょうか？

たとえば、A校と他20の高校で平均身長に差があるか調べたいとしましょう。

この時にA校と他の学校を一つずつ計20回T検定にかけてしまいますが、ここに決定的な落とし穴があります。

p値の水準（有意水準）を5%としていた場合、20回検定をかけると高確率で1回くらいはたまたま有意な差が出てしまうからです。

まさに検定の多重性の問題ですね。

そのためついついやってしまいがちですが、繰り返し検定を実施する時は注意が必要ですし、もし繰り返しの検定を実施するには多重性を回避する方法（調整方法）を考えなければなりません。

ダネット検定は繰り返しの比較を前提にp値が調整される

では繰り返し検定を実施したい時は、具体的にどうすればいいのでしょうか？

例えば、有意水準を厳しくすれば、繰り返し検定を実施することも可能です。

有名な方法としてボンフェローニ法がありますが、ボンフェローニ法では有意水準を1%にすれば、検定を5回繰り返しても問題ないことになります。

ただ毎回繰り返す回数に応じて、いちいち有意水準を計算するのは面倒ですよね。

そのため、検定をする際に多重性を調整し、厳しくp値を出すようにしてくれているのがダネット検定というわけです。

ダネット検定は繰り返し検定を行う数に合わせて、自動で最適なp値を算出できます。

以上の理由から、同じ群の比較でもダネット検定はT検定よりp値が厳しく出るようになっています。

ダネット検定をエクセルで実施できる？

ダネット検定はエクセルで実施できるのか、気になりますよね。

結論から言うと、頑張ればエクセルでも実施できます。

ただし有意水準を下回ってるかどうかの大体の判断はできますが、p値は出せません。

それに、かなり作業が面倒です。

もしエクセルを絶対に使う必要がないのであれば、ぜひEZRというフリー統計ソフトを試してみてください！

こちらの記事にEZRを使って分散分析の方法を紹介しています。（分散分析の際にダネット検定という項目を選択すれば、ダネット検定も出来ます）

エクセルに比べて圧倒的に楽な上に、p値も出ますのでオススメです！

エクセルでダネット検定を行う方法

どうしてもエクセルを使う必要がある方に向けて、エクセルでダネット検定を行う方法を紹介します。

まず事前に計算して出しておく必要があるのは、以下の項目です。

それぞれの群で算出しておきましょう。

ここまでは大丈夫ですか？

ここからが本番です。

次に”誤差自由度“と”誤差分散“を算出しなければなりません。

用語の意味を必ず覚える必要はないので、ひとまずそういうものを算出しなきゃいけないんだと思っておいて下さいね。

誤差自由度は”(全てのN数)-(全ての群の数)”で算出して下さい。

誤差分散 は各群で”(N数-1)×(その群の分散)”を行い、それら全てを足し合わせたものです。

どちらも計算式自体はそこまで複雑じゃないですよね。

では最後、”統計量“を算出しましょう。

ここではコントロール群と比較する群の2つの群を使っていきます。

統計量はエクセルの数式で示すとこのようになります。

=((コントロール群の平均)-(比較群の平均))/SQRT((誤差分散)*(1/(コントロール群のN数)+1/(比較群のN数)))

ざっくり言うと、コントロール群と比較群の平均値差を、いろいろ調整した誤差分散で割っています。

これでようやく統計量が出ましたので、次が最後です。

統計量の絶対値がダネットの表の値より大きければ、有意差ありと判定できます。

ダネットの表はこちらで確認できます。

片側検定と両側検定がありますが、よく分からない方はひとまず両側検定を使用したほうがいいですよ！

後はn数と群数で数値がみれますので、それを統計量と比べてみてください。

以上がエクセルでダネット検定を行う方法です。

お疲れさまでした。

※ただしこの方法はあくまで近似的にダネット検定をかけられるだけで、正確ではありませんのでご注意下さい。

まとめ

最後におさらいをしましょう。

いかがでしょうか？

ダネット検定についての疑問が解消できていれば幸いです。

ある群と他の複数群を比較する時にはしばしば使用することになる検定ですので、是非覚えておきましょう！

最後までお読み頂きありがとうございました。

統計学的検定の多重性は、医薬研究でかなり問題となります。

多重性の問題が、試験の計画段階で統計の専門家が一番頭を悩ませる点といっても過言ではありません。

そんな検定の多重性の問題ですが、調整する方法はあるのでしょうか？

この記事では、まずは医薬研究で多重性が発生する状況をまとめます。

そして、統計学的検定の多重性を補正する方法を3つ紹介します！

多重性を調整する必要がある状況：検定を2回以上実施すれば多重性の問題は起こる

多重性は、複数回の検定（2回以上の検定）を実施する際に起こる問題です。

なぜ２回以上検定をすると問題なのか。

それは、試験全体としてαエラーが大きくなってしまうからです。

統計的検定が有意水準を５％として設定していることは、誰もが知っていますよね。

そのαエラーが５％を超えてしまうということは、とても重大な問題であると認識できるかと思います。

それでは、臨床試験ではどのような状況で多重性の問題が出てくるでしょうか？

具体的には以下の３つの状況が考えられます。

どういう状況か、もう少し考えてみましょう。

多重性の調整が必要な状況1：主要エンドポイントが複数ある場合

これは一番イメージしやすい状況かもしれません。

主要エンドポイントを複数設定し、そのうち「どれか一つでも達成」すれば試験の目的を達成する。

そんな状況であれば、多重性の問題が発生します。

例えば、アトピー性皮膚炎という疾患があります。

この疾患は、皮膚炎とかゆみの2つの特徴を持つ疾患です。

その時、主要エンドポイントを「皮膚炎の改善」と「かゆみの改善」の2つにしたとします。

皮膚炎だけが改善すればアトピー性皮膚炎の薬として申請し、かゆみだけが改善すればアトピー性皮膚炎に伴うかゆみの改善薬として申請する。

上記のような戦略を取るのであれば、どっちかのエンドポイントで達成できなくても、申請ができる。

これではいいとこ取りになりますよね。

つまり、多重性の問題があるということになります。

多重性の調整が必要な状況2：比較する群が複数ある場合

この状況も、多重性の問題が出てきます。

例えば、Phase II試験までに用量を決めきれずに、実薬群は低用量と高用量の2用量でPhase III試験を実施したとします。

すると、

1. プラセボ群
2. 低用量実薬群
3. 高用量実薬群

の3群で試験を実施することになります。

この時Phase IIIの比較は「プラセボ群vs低用量群」「プラセボ群vs高用量群」の2つの比較をすることになります。

その際に、どちらか一方でも有意になればその用量で申請するという戦略にしている場合、この時にも多重性の問題が出てきます。

多重性の調整が必要な状況3：解析する時点が複数ある場合

2つ目の状況は、解析する時点が複数ある場合です。

具体的にいうと、中間解析を実施する場合です。

例えば、1年間の試験の場合に、半年時点で一回解析を計画するような場合。

この時に、

1. 試験開始から半年後に1度検定する
2. 試験開始から1年後に2回目の検定をする

というように、2回の検定をすることになりますね。

そして、半年時点もしくは1年時点のいずれかの結果が有意であれば試験の目的を達成するという状況であれば、これも多重性の問題が出て来ます。

また、中間解析ではなくとも、経時的にデータを取得し、いずれかの時点で有意かどうかを判定する際にも、多重性の問題が発生します。

複数検定する場合でも、多重性の調整が必要ない状況

複数の検定を実施する場合でも、多重性の問題が出てこない状況があります。

それは「複数の検定全てで有意になる場合に目的を達成する」場合です。

例えば2つの主要エンドポイントがあった時に、どちらか一方が有意になれば試験の目的を達成する場合には多重性の問題が出てきますが、どちらも有意にならない限り試験の目的を達成しない、というような場合には多重性の問題が出てきません。

さいころの例だと、2回投げた時に、どちらか1回でも6が出る確率というのが多重性の問題が発生する状況ですが、2回とも6が出る確率というのは1回よりも厳しくなります。

そのため、αエラーという観点では、「どちらか一方をいいとこ取りする」という状況でなければ多重性の問題が発生しないのです。

AもしくはBの状況では多重性の問題が発生しますが、AかつBの状況では多重性の問題が発生しません。

少しだけ、αエラーを図式化してみます。

1回だけ検定をした場合、αエラーは全体（100%）の中で5%を占めますね。

では、２回検定をした場合。

その場合には、以下のような図になります。

１回目のαエラーと２回目のαエラーがあり、その一部が重なっているような図です。

この時、「もしくは」の状況（１回でもαエラーが生じる確率）は二つの円の総面積になります。

つまり、0.05+0.05-0.05*0.05=0.0975となります。この0.0975が0.05より大きいため、問題となります。

ですが、「かつ」の状況（２回ともαエラーが生じる確率）は二つの円が重なっている面積になります。

つまり、0.05*0.05=0.0025となります。この0.0025は0.05よりも大きいので、多重性という点では問題ないことになります。

閉手順など多重性を回避する３つの方法は？

複数回検定してそのうちどれかが有意になる場合、多重性の問題が生じます。

では、どうすれば多重性の問題を回避することが出来るでしょうか？

よく行われる回避方法としては、3つ挙げられます。

では、この３つに関して詳細にみていきましょう。

多重性の回避方法1：検定をどうにか一つにする

これは、多重性を回避するのに一番シンプルな方法です。

複数回の検定に問題があるのであれば、一つにすればよいということです。

主要エンドポイントが複数あれば、一つに選ぶか、複数のエンドポイントを合成して一つにしてしまう（合成変数の作成）がアイデアとして挙げられます。

合成変数を作成する場合には、その変数がちゃんと使えるかどうかという評価をしなければならない、という新たな問題が出てくるため、一つに選ぶという方法が一番シンプルになります。

多重性の回避方法2：閉手順（検定に順番を付ける）

これは、閉手順という用語として知られる手法です。

複数回検定をする場合であっても、そこに順番を付けることで多重性を回避することが出来ます。

具体的には、このような手順です。

この方法によってなぜ多重性の問題が回避できるのか。

それは、「いずれかが有意である」という状況を避けることができるからです。

多重性の問題とは、複数回検定をする、ということ自体に問題があるわけではありません。

複数回検定をして、どれか一つが有意になればOKという状況にある、ということが問題です。

そのため、「いずれかが有意である」という状況を避けることができるこの「検定に順番をつける」というのは多重性の問題の回避につながるのです。

そして、ここも重要なのですが、この検定の順番というのも、事前に決める必要があることに注意しなければなりません。

多重性の回避方法3：有意水準を調整する

これは最終的な手段になります。

どうしても複数回の検定を実施し、いずれかの結果によって試験の目的を達成することを言いたい場合、有意水準を調整する必要があります。

例えばボンフェローニ法の場合、2回の検定を実施するのであれば、通常は5%にしている有意水準を2.5%にして2回検定を実施します。

その場合には、P値は0.025を下回らなければ有意という結論は出せなくなります。

多重性の調整方法まとめ

医薬研究で多重性の問題が発生する状況として3つ例をあげました。

1. 主要エンドポイントが2つ以上ある場合
2. 比較する群が複数ある場合
3. 解析する時点が複数ある場合

よく行われる多重性の回避方法も3つあります。

1. 検定をどうにかして一つにする
2. 検定に順番を付ける
3. 有意水準を調整する

ただし、複数回の検定が発生したら必ず多重性の調整をしなければならないかといえば、実はそうではない状況もあります。

研究自体が探索的であれば多重性の問題はあると認識しつつ、多重性の調整は実施しない、という選択肢もあります。

その場合のP値は、名目上のP値になりますので、取り扱いには注意しましょう。

この記事では、ボンフェローニ法（Bonferroni法）による統計学的検定の多重比較でどのような計算をしたらいいのか、そしてメリットやデメリットをお伝えします。

統計学的検定では、様々な場面で多重性の問題が発生します。

臨床試験の場合にも例に漏れず、多重性の問題は統計担当者が一番頭を悩ませる問題。

多重比較をすると問題なのが、全体的なαエラーが増大するということ。

αエラーの増大を防ぐために、対処する方法は3つあります。

このページでは、その対処法の中で３つ目の「有意水準を補正する」方法を紹介します。

最も有名なのがボンフェローニ法（Bonferroni法）と呼ばれる補正方法です。

ボンフェローニ法とは？統計検定で多重比較の際に有意水準を補正する方法

検定の多重性を回避する方法として、有意水準を補正する方法がありました。

どんな場面で有意水準を補正するか。

そんな場面であれば、有意水準を調整する方法にします。

つまり、最終手段の方法ですね。

ではなぜ、検定を1つに絞ったり、優先順位をつけたりする方法を優先して使ったほうがいいのか。

その理由は、明確なメリットがあるからです。

検定を1つに絞ったり、優先順位をつけたりする方法のメリット。

だから、最初は検定を1つに絞ったり、優先順位をつけたりする方法を検討したほうがいいのです。

では、どうしようもなく検定を複数回実施しなければならない場合。

有意水準を補正します。

そして有意水準を調整する方法がいくつか開発されています。

具体的にはボンフェローニ（Bonferroni）法、ホルム（Holm）法、そして多重比較検定であるダネット（Dunnett）検定やテューキー（Tukey）検定などです。

今回の記事では、直感的かつ数学的にもイメージしやすいボンフェローニ法を紹介します。

ボンフェローニ法で有意水準を補正する場合、どんな計算式なのか

ボンフェローニ法の有意水準の補正方法は簡単です。

通常の有意水準をα（普通は0.05）、実施する検定の数をNとする場合に、一つ一つの検定の有意水準をα/Nにするという方法です。

例えば、有意水準が0.05で、検定を２回実施したい時。

それぞれの検定の有意水準を0.05/2=0.025に調整するのです。

そして検定の結果、P値が0.025を下回れば、有意になります。

決して、0.05を下回ったからといって、有意にはならないので注意してください！

重要なのでもう一度書きます。

では、検定が５つの場合は。

一つ一つの検定の有意水準を0.05/5=0.01にして、P値が0.01を下回る場合に有意という結論を得ます。

つまり、このようになりますね。

この方法はとても直観的であり、かつ簡単に実施しやすい方法ではあります。

ですが、他の有意水準の調整方法よりも一番厳しい、つまり一番有意になりにくい方法であるといえます。

ボンフェローニ法などを使って有意水準を補正するとなぜαエラーが増大しないのか？

ボンフェローニ法で有意水準を補正する計算式はわかりました。

αエラーを検定の回数で割るだけなので、特に難しくありませんでしたね。

では、なぜそのような有意水準の補正をするだけで、αエラーの増大が防げるのか？ということです。

以下の図のように、1回だけ検定をした場合、αエラーは全体（100%）の中で5%を占めます。

では、2回検定をした場合にはどうなるでしょうか。

その場合にαエラーは以下のようになります。

1回目のαエラーと2回目のαエラーがあり、その一部が重なっているような図です。

このとき、2回検定をして1回でもαエラーが生じる確率は、2つの円の総面積になります。

つまり、このときのαエラー「0.05+0.05-0.05*0.05=0.0975」となってしまうのです。

0.0975は有意水準で設定した0.05より大きいため、問題となります。

しかし、ボンフェローニ法で有意水準を補正してあげると、1つ1つのアルファエラーが0.025になるため、以下のような図になります。

そのため、2回検定をして1回でもαエラーが生じる確率は、2つの円の総面積の0.049375となります。

そうすると、有意水準である0.05よりも小さいαエラーで2回の検定をすることができることになります。

ボンフェローニ法で有意水準を補正するデメリット

計算が簡単で、直感的に理解しやすいボンフェローニ法。

しかし、この方法には問題点があります。

それは検出力が低くなってしまうこと。

検出力が低いということは、本来であれば有意差が出るはずのデータなのに有意差が付きにくい、ということです。

統計的な用語を使うと「保守的な」検定方法です。

なぜならば、本当は有意水準を0.05として設定していいですが、前述の通り2回検定した場合に0.049375のαエラーになります。

0.05-0.04375=0.00625だけ、有意差が付きにくくなっている、ということ。

ほんのちょっとの違いのように思いますが、この数字の差はかなり大きいのです。

この保守的な側面を解決するために、ホルム（Holm）法や多重比較検定であるダネット（Dunnett）検定やテューキー（Tukey）検定などが開発されました。

ボンフェローニ法に関するまとめ

多重性の対処法の中で、有意水準を調整する方法は、最後に選択する最終手段。

Bonferroni法は直感的で、簡単に実施しやすい調整方法。

しかし、他の調整法と比べて有意になりにくい、保守的な方法とも言える。

Bonferroni法は分散分析の後の事後検定としても使われることがあります。

動画でも多重性の問題とボンフェローニ法の解説をしていますので、記事内容と合わせてご確認いただけると理解が進むかと思います。

統計学的検定を学ぶと、必ず避けて通れない問題があります。

それが、検定の多重性。

臨床研究でも検定の多重性は重要な問題となります。

この記事では、統計学的検定で問題となる検定の多重性のについて解説します。

多重性の意味や、p値の解釈で注意しなければならないことがあるので、それを理解していきましょう。

検定の多重性とは？統計学的検定を複数回実施することで起こる問題

まずは、多重性とは何か、ということを理解しましょう。

多重性の問題を一言で表すと、こんな問題です。

多重性の問題とは？：
→検定を複数回実施すると、少なくとも一つ以上の検定結果が有意になる確率が増大する問題

あまりピンとこないかもしれませんので、さいころを例に多重性を紐解いてみます。

検定の多重性の意味を例でわかりやすく：サイコロで1回でも6が出る確率

みなさんご存知の通り、サイコロは1〜6の目がそれぞれ1/6の確率で出るようになっています。

では、６が出る確率を考えてみましょう。

1回さいころを投げて6が出る確率は、当然1/6≒17%ですね。

次からが多重性の問題。

では、2回さいころ投げて「少なくとも1回6が出る確率」はどうなるでしょうか？

あなたは答えられますか？

計算方法としては、1-（１回も6が出ない確率）を求めればよいです。

すると、１回も６が出ない確率は６以外の目が出る確率なので、5/6です。

となると、2回さいころ投げて「少なくとも1回6が出る確率」は、以下のように計算できます。

1-5/6*5/6 = 11/36 ≒ 31%

3回さいころを投げて「少なくとも1回6が出る確率」も、同様に計算してみます。

1-5/6*5/6*5/6 ≒ 42%

今までの計算を、表にまとめます。

さいころを投げて6の目が出る確率は1/6でした。

しかし、複数回さいころを投げることで「一回でも6の目が出る確率」は1/6よりも大きくなってしまいました。

この概念が、統計学的検定の多重性の問題と同じなのです。

統計学的検定の多重性を考える時には、検定の回数に注意

検定の多重性とは、さいころを複数回投げることと一緒です。

さいころの例のように、複数回の検定を実施することで「1回でもその結果が出る確率（検定であれば有意になる確率）」が増大してしまうという現象が起きます。

さいころの例を統計的検定に置き換えると、αエラーが1回の検定だと5%であったものが、複数回繰り返すと全体のαエラーが5%よりも大きくなってしまうということになります。

例えば、検定を２回実施した場合。

「少なくとも1つが有意になる確率」はどうなるでしょうか。

サイコロの例と同じように数式に表してみましょう。

計算方法としては、1-（１回も有意にならない確率）を求めればよいですね。

ということは、1-0.95*0.95＝0.0975。

つまり、αエラーが9.75%になってしまうのです！

これは重大な問題ですね。

αエラーが増大するということは、患者さんの不利益につながります。

そのため、統計的検定は、1回だけ実施することが原則になります。

検定の多重性が発生する時には、p値の解釈にも注意する

検定の多重性が発生しているということは、αエラーが増大しているということです。

そのため、p値の解釈にも注意が必要です。

通常は有意水準を0.05に設定している場合、多重性の問題がなければp値が0.05を下回っている場合に「有意である」と結論づけることになります。

しかし、多重性の問題が発生している場合には、有意になりやすくなっている状況なので、意図的に有意になりにくいように解釈をする必要があるのです。

そのため、例えばボンフェローニ法のように検定を2回実施するのであれば、p値も0.025を下回らない限り有意とは言えない、というように、厳しくp値を解釈する必要があるのです。

αエラーとβエラーをコントロールしていないp値は、名目上のp値として位置付けられます。

名目上のp値は「それ単独で解釈できないp値（つまり、0.05を下回ったかどうかで判断できないp値）」のため、特に解釈に注意が必要です。

＞＞名目上のp値とは？

検定の多重性を補正するには、αエラーに着目する

上記の通り多重性の本質は、複数回検定を実施することでαエラーが増大してしまう、ということ。

ということは、実際には「複数回検定を実施する」こと自体が問題ではなく、「αエラーが増大してしまう」ということが問題です。

ということなので、たとえ複数回検定を実施することになっても、αエラーさえ増大しなければ、それはそれで複数回検定を実施してもOKということです。

多重性を回避しながら複数の検定を実施したいときにはどうすればよい？

多重性によって検定結果が信頼のおけない結果になることは分かりました。

ただそれでも、複数の項目・複数の時点で検定を実施したい場合、どうすればよいでしょうか？

1. どうにかして検定を1回にする
2. 検定に順番を付ける（閉手順）
3. 有意水準を分ける（有名なのがボンフェローニ法）

といった方法が考えられます。

そして、多重性を考慮した検定なんかもあります。

有名なところで言うと、Tukey（テューキー）の検定、Dunnett（ダネット）の検定などです。

＞＞Tukey（テューキー）の検定とは？

＞＞Dunnett（ダネット）の検定とは？

医薬研究で多重性が発生する場面、そして多重性を回避する方法に関しては別ページで解説しておりますので、ご参照ください。

検定の多重性の意味：数撃ちゃ当たる理論

多重性の問題は、つまるところ「数撃ちゃ当たる」ということです。

αエラーを5%にするということは、20回に1回は間違いを許容するということです。

そのため、データに対して100回ぐらい検定を実施して、P値が0.05を下回る結果があったぞー！！と言っても、それは多重性によりたまたま0.05を下回ったにすぎない可能性が高いです。

かの有名なノストラダムスも、この「多重性」を巧みに使って有名になった一人です。

ノストラダムスは、予言を何千も何万も用意していました。

たまたま、そのうちの何個かが的中したため、有名になったのです。

検定の多重性とは？まとめ

• 多重性によるαエラーの増大が、医薬品開発にとって問題となる。
• どうしても複数回の検定を実施したい場合には、全体のαエラーが5%未満になるように制御する必要がある。