多変量モデルの変数選択について、悩まない人はいない。
どの変数を採用してどの変数を採用しないのか。
明確な基準はあるのか?
想定している多変量モデルは?
多変量モデルは、多変量解析のモデル(もしくは型)を指している。
独立変数に多数の変数を使った回帰分析とその派生形のこと。
つまりはこんな分析方法に使うモデルだ。
- 重回帰分析
- 共分散分析
- ロジスティック回帰分析
- Coxの比例ハザードモデル
- パス解析
- 構造方程式モデリング(共分散構造分析)
保健・医療・福祉・心理分野のランダム化試験主要分析以外の観察型研究・分析における多変量解析をイメージしている。
最初に、この記事が扱う目的をはっきりさせておく。この記事は、ある要因(曝露)とアウトカムの関連を、ほかの要因の影響を取り除いて調べたい場合の話である。「喫煙は、年齢や性別に関係なく、病気の発症と関連するか」を知りたい、というタイプの研究だ。
一方、「この患者が1年以内に再入院する確率を当てたい」という予測モデルを作る場合は、変数選択の考え方が変わる。リッジ回帰、ラッソ回帰、エラスティックネットなどの方法もそちらで使われる。予測目的の場合は、記事の最後で簡単に触れる。
変数選択はどのように考えていけばよいか?
変数選択の悩み問題について、以下の五つの点について考えていきたい。
- 先行研究はどのようなモデルにしているか?
- 理屈で考えてどんな変数は考慮が必須か?
- 組み入れておくべき変数の計算上の基準はあるのか?
- 自動変数選択の結果にはどのくらい強制力があるか?
- 結局どんな結論にしたいかに尽きる
先行研究はどのようなモデルにしているか?
もっとも大事なことは先行研究、つまり「過去問」を参照することだ。
カンニングと言ってもいい。
学生の時は決して許されないカンニングだが、学生が終わるとカンニングありきにかわる。
盗用はいけないが、カンニングは必須だ。
穏やかな言い方をすれば「まねる」ということだ。
先行研究がどんな変数で調整しているか、どんなモデルを検討しているかを研究することがもっとも重要なことなのだ。
同分野の先行研究を勉強することで、どんな多変量モデルが求められているかの傾向がつかめる。
基本の基本は、先行研究をまねた多変量モデルを作るということに尽きる。
理屈で考えてどんな変数は考慮が必須か?
不幸にも先行研究がない場合がある。
または先進的ゆえに幸運にも先行研究がない場合があると言ったほうがいいかもしれない。
先行研究がない場合はどうしたらよいのか?
当然、先行研究がある場合でも考えてもよい事柄がある。
理屈で考えて考慮しておくべき変数は何か?という視点である。
例えば、ある病気になった・ならなかったを目的変数(エンドポイント)として、何らかの生活習慣を説明変数として分析したいとする。
病気がエンドポイントの場合、 男女は絶対に考慮すべき項目だ。
一般的に男性は早死にであることは自明だ。
病気のリスクも一般的に男性のほうが高い。
注目している生活習慣が性別と強い関係があってもなくても考慮したほうが良い変数になる。
また、年齢も絶対的に考慮が必須の変数だ。
高齢のほうが病気になりやすい。
これは普遍的な法則だ。年齢が違えば生活習慣は異なる可能性が高い。
病気をエンドポイントとするのに、年齢を考慮しないのはナンセンスだ。
そのほか病気に強く影響を与える変数はこれまでの研究で自明であるものはいくつもある。
分子生物学的な理屈もかなり確立してきている。
タバコはその最たるものだ。
タバコは非常に強力に病気と関連する要因だ。
飲酒もある程度以上の量になると、病気と関連していると知られている。
体重コントロールができていないことも、重要な要因として有名だ。
身体活動が活発でないことも、病気と関連している報告は多い。
食事の要因でも病気に関連している事項は多い。
このようにして、これまでのエビデンスを踏まえて、理屈で考えて、どんな要因を考慮すべきか検討する方法がある。
反対に、理屈で考えて入れてはいけない変数もある。代表は、曝露の結果として変化し、アウトカムにつながる「中間因子(媒介因子)」だ。たとえば、喫煙と心筋梗塞の関連を調べるときに、喫煙によって上がる血圧で調整すると、喫煙の影響の一部を自分で消してしまう。曝露とアウトカムの両方から影響を受ける変数(合流点)で調整した場合も、ないはずの関連が生まれることがある。
「関係がありそうな変数は全部入れておけば安心」ではない。それぞれの変数が、曝露とアウトカムに対してどの位置にあるか(曝露より前か後か)を考えて選ぶ。詳しくは説明変数の選び方:統制すべき共変量に関するまとめと媒介因子とは?を参照してほしい。
組み入れておくべき変数の計算上の基準はあるのか?
一つ有名な基準は10% Change in Estimateである。
つまり予測値(回帰係数)の 変化を10%以上起こす変数は残しておこうという基準だ。
たとえば、着目している生活習慣の単回帰係数が1(つまり1単位上がると目的変数が1上昇する)の場合、1.1 や 0.9 に変動させる変数だけ残すということになる。
この考え方は、Mickey と Greenland(1989)のシミュレーション研究などで広まったものだ。ただし、ロジスティック回帰(オッズ比)やCox回帰(ハザード比)では注意がいる。これらのモデルでは、交絡因子でなくても、アウトカムに強く効く変数を入れるだけでオッズ比が動くという性質がある(非collapsibility、つぶれない性質と呼ばれる)。
Rで確かめると、曝露とまったく相関しない変数(交絡因子ではない)でも、その変数のオッズ比が10ほどの強い危険因子なら、曝露のオッズ比は1.72から2.01へと約17%動いた。同じことを線形回帰で行うと、係数はまったく変わらない。つまり「10%動いた=交絡因子」とは限らない。10%基準は、理屈で選んだ変数を確かめる補助として使うのがよい。
10% Change in Estimateを採用すると意外な変数が残ることがある。
もしかすると新たな関連性の発見かもしれないのでむげにはできない。
しかしながら、なぜこの変数をモデルに組み込むのかの説明に苦労することがある。
純粋に計算上組み入れているという説明は意義を訴求しにくい。
理解も得られにくい。
したがって、結論としては、10% Change in Estimateという基準で変数を選ぶという方法論を知っていて、事前に確認したうえで、結果に縛られることなく、どの変数を選ぶかは研究者次第、という方針を貫いたほうがいい。
自動変数選択の結果にはどのくらい強制力があるか?
統計ソフトには自動変数選択の機能がついている。
変数増加法、変数減少法、変数増減法などである。
またAICやBICなどの情報量規準でモデルの変数を決定する方法もある。
変数増加法・減少法・増減法は、変数の有意水準で変数を組み入れる(又は残す)かどうかを決めていく。
純粋に計算上の基準で決めている。
情報量規準で決める場合も、変数が多すぎないモデルで かつ もっとも当てはまりがよいモデルが計算上選ばれる。
10% Change in Estimate で選ばれる変数と同様に、どうしてその変数を選んだのかの説明が、計算上選ばれた以外に理由がつかず、説明に窮するときが多い。
理屈に合わない変数が選ばれることのほかに、もう一つ問題がある。P値で交絡因子を残すか外すかを決めると、曝露の効果の推定がゆがむことだ。交絡因子は、アウトカムとの関連が統計学的に有意でなくても、曝露の効果をゆがめる。人数が少ないと、本当は必要な交絡因子が「有意でない」として外れやすい。
Rで確かめた例では(真のオッズ比1.5、1回200人、2000回のシミュレーション)、交絡因子を常に調整すると推定オッズ比の平均は1.51、95%信頼区間が真の値を含む割合は94%だった。P値が0.05未満のときだけ調整するルールにすると、交絡因子が外れた回が約45%あり、平均は1.62、含む割合は91%に下がった。単変量解析でP値の小さい変数だけを多変量モデルに入れる「ふるい分け」も、同じ理由ですすめられない(Sun ら 1996)。
結局、変数の計算上の自動選択は、強制力はなく、最終モデルのための参考程度にとどめるのがよい。
結局どんな結論にしたいかに尽きる
最終的に「~~のような要因とは独立に、今回着目した要因は、当該疾病と統計学的に有意な関連が示唆された」と言いたいわけである。
「~~」という要因は、多分に質問される要因なのである。
たとえば、「『~~』はその病気に関連あると言われていますが、今回の生活習慣とは関係ない要因ですか?」と質問が想定されるならば、その「~~」という要因は絶対に考慮に入れねばならないわけである。
想定問答が明らかならば、その想定問答を乗り切れるためのエビデンスが必要になる。
結局は、導きたい結論から逆算して、想定問答を念頭に、多変量モデルを組み上げることになるわけだ。
ただし、ここでいう「逆算」は、研究の問いから逆算するという意味である。いろいろなモデルを試して、望む結果(有意なP値)が出たモデルを選ぶ、という意味ではない。それをすると、偶然の結果をつかみやすくなり、結果の信頼性が失われる。どの変数で調整するかは、データを解析する前に、研究計画書や統計解析計画書に書いて決めておく。
この方法がもっとも実りがあり、科学的にも適切な可能性は高い。
知られている事実、いわゆる「過去問」にはすべて答えられているからだ。
予測モデルを作る場合の変数選択
ここまでは、関連を調べる解析の話だった。予測モデルでは、一つひとつの係数の意味よりも「新しい患者で当たるかどうか」が目的になる。その場合でも、ステップワイズ法はおすすめしないというのが現在の考え方である(Heinze ら 2018、Steyerberg 2019)。
理由は、ステップワイズで選ばれた変数の係数が大きめに出やすいからだ。たまたまデータの中で強く見えた変数ほど選ばれやすいので、選ばれた時点で「下駄をはいた」値になっている。オーディションで、その日たまたま調子がよかった人ほど合格し、本番では実力どおりに戻るのと似ている。
Rで確かめた例では(候補10個のうち本当に効くのは4個、1回150人・イベント約35例、別の大きなデータで評価)、真の係数0.4の変数は、P値0.05基準の変数減少法で残ったのは42%の回だけで、残ったときの係数の平均は0.64と大きめだった。予測が極端すぎるかを示す較正の傾き(理想は1)は、全変数モデルで0.62、ステップワイズでも0.67〜0.69で、過学習は解消しなかった。ノイズの変数が1つ以上残った回も約3分の1あった。
予測モデルでは、次の進め方が基本になる。
- 臨床知識と先行研究で候補を絞る:この点は関連を調べる解析と同じである。
- 人数に見合った候補の数にする:途中で外した候補も含めて数える。詳しくはロジスティック回帰分析に投入する説明変数の数はいくつまでなら問題ないかを参照。
- それでも候補が多いときは罰則付き回帰を使う:ラッソ回帰などは、係数を小さめに縮めながら変数を選ぶので、上の「下駄」を抑えられる。詳しくはR でリッジ回帰・ラッソ回帰・エラスティックネットを実行する方法を参照。
- 変数選択も含めて検証する:ブートストラップで内的検証するときは、各回で変数選択からやり直す。
まとめ
多変量解析の変数選択について、解説した。
「多変量解析の変数選択は統計的にどうやるのですか?」という疑問を持つ人は多い。
結局は、研究者が証明したい仮説が一番大事で、それを証明するために多変量モデルが存在する。
証明したい仮説を構築するための一番の師匠は「先行研究」なのである。
完全なる先行研究でなくても、周辺の研究もとても役に立つ。
それらの研究からエッセンスを「カンニング」する または「まねる」わけである。
そのうえで、理屈で必須の変数は入れ、中間因子のように入れてはいけない変数は入れない。10% Change in Estimateや自動選択は補助や参考にとどめ、調整する変数はデータを見る前に決めておく。
予測モデルを作る場合も、臨床知識で候補を絞るところは同じだ。ステップワイズ法は避け、候補が多ければラッソ回帰などの罰則付き回帰を使う。
少しでも参考になれば幸いである。
参考文献
- Mickey RM, Greenland S. The impact of confounder selection criteria on effect estimation. Am J Epidemiol. 1989;129(1):125-137.
- Greenland S, Robins JM, Pearl J. Confounding and collapsibility in causal inference. Stat Sci. 1999;14(1):29-46.
- Sun GW, Shook TL, Kay GL. Inappropriate use of bivariable analysis to screen risk factors for use in multivariable analysis. J Clin Epidemiol. 1996;49(8):907-916.
- VanderWeele TJ. Principles of confounder selection. Eur J Epidemiol. 2019;34(3):211-219.
- Heinze G, Wallisch C, Dunkler D. Variable selection – A review and recommendations for the practicing statistician. Biom J. 2018;60(3):431-449.
- Steyerberg EW. Clinical Prediction Models: A Practical Approach to Development, Validation, and Updating. 2nd ed. Springer; 2019.


コメント