AICとBICの違いは何か?統計解析での特徴比較

統計モデルの当てはまりの指標である、AICとBIC。

違いは何か?

>>もう統計で悩むのは終わりにしませんか? 

↑1万人以上の医療従事者が購読中

目次

AICやBICとは何か?

AICは、Akaike’s Information Criterion 赤池情報量規準の頭文字語、BICは、Bayesian Information Criterion ベイズ情報量規準の頭文字語である。

AICもBICも予測性能に着目したモデルの当てはまりの指標である。

複数の多変量モデルを比較して、最小値のモデルが相対的にもっともすぐれたモデルと判断する。

AICとBICの違いは何か?

AICもBICも二つの項の和から成り立っている式で計算されている。

$$ \mathrm{AIC} = -2 \log L + 2k $$

$$ \mathrm{BIC} = -2 \log L + k \log n $$

一つ目の項は同一で、モデルの対数尤度である。

$ -2 \log L $ の項である。

Lは、尤度(ゆうど)である。

尤度とは、得られたデータをある分布(例えば正規分布)に照らしたときに、その分布から発生したとしたらどのくらいもっともらしいかの度合いである。

そのもっともらしさを最大にするパラメータを探すという方法で、パラメータを推定する方法が最尤推定法と呼ばれていて、実際の計算では対数をとった対数尤度を最大化するパラメータを推定するという形で用いられている。

その対数尤度がなるべく大きいほうがよいモデルと判断される。

計算式では、対数尤度に-2が掛かっているため、最終的な値は小さいほうがより良いモデルとなる。

尤度についてはこちらも参照。

二つ目の項が、AICとBICでは異なっている。

この点が、どのような場合に適するかが異なることになる。

AICでは、パラメータ数(つまり、多変量モデルの独立変数の数)のみであり、パラメータが多すぎると、AICが大きくなり、良いモデルとは言えないことになる。

AICの二項目は、2k で、kはパラメータの数である。

一方で、BICでは、パラメータ数にサンプルサイズが掛かっている。

BICの二項目は、$ k \log n $ で、kはパラメータの数、nはサンプルサイズである。

それゆえ、サンプルサイズがモデルの良しあしに影響してくる。

サンプルサイズが大きくなると、BICの値のなかでサンプルサイズの影響が支配的になってくる。

多変量解析の場合は、ある程度のサンプルサイズをもって解析するのが一般的なので、BICがサンプルサイズに支配されるとなると、細かな変数選択が苦手かもしれない。

AICの発明者、赤池先生は「AICは、有意性がようやく認められる程度のパラメータの取り扱いに注目し、誤差の影響に埋没しそうになるところまでモデル化の可能性を追求している」と述べている。

>>もう統計で悩むのは終わりにしませんか? 

↑1万人以上の医療従事者が購読中

まとめ

統計モデルの当てはまりの良さの規準として、AICとBICを紹介し、その異同について説明した。

特別な理由がない限りAICを使うのが良いと思う。

参考文献

赤池 1996 AICとMDLとBIC

http://www.orsj.or.jp/~archive/pdf/bul/Vol.41_07_375.pdf

よかったらシェアしてね!
  • URLをコピーしました!
  • URLをコピーしました!

>>もう統計で悩むのは終わりにしませんか?

医療統計の教本を無料で差し上げます

↑1万人以上の医療従事者が購読中

この記事を書いた人

医師、医学博士(専門は疫学および統計学)。10年以上の研究歴を有し、筆頭著者として10本の英文原著論文を執筆した実績を持つ。現在、外資系製薬企業にて15年以上にわたり、臨床開発やデータ解析、承認審査、薬価交渉戦略といった実務の最前線に従事。

「統計に悩むあなたを救いたい」をコンセプトに、ブログやYouTube、SNSを通じて、医療従事者や研究者向けに「実務直結の統計ノウハウ」を配信。

学術的な厳密さと、製薬業界での高度な実務経験を融合させた独自の視点から、ブラックボックス化しない統計解析の普及を目指す。個人サイト(https://toukeier.net)では、統計解析の個別相談(主にRを使用)や、統計解析を助けるWebアプリを提供している。

運営:株式会社データシード

コメント

コメントする

目次