分散分析のサンプルサイズ計算を統計ソフトRで行う方法を解説。 分散分析は三群以上の平均値を比較する分析方法。 少なくともどれか一つの群がほかの群とは異なることを証明するための分析方法だ。 分散分析のサンプルサイズ計算を行うために必要なデータ ...

ウェルチの t 検定は、2 群が等分散でも等分散でなくても使える t 検定 R と SPSS での実行方法 ウェルチの t 検定とは？ ウェルチ (Welch) の t 検定は、二つのサンプルの母分散が等分散とは仮定できないときにも適切に比較できる平均値の差の検定だ。 等...

統計ER的おすすめ統計本のリストアップ 何らか参考になれば 医学統計学 医学への統計学 基本的なことがきちんと書いてある本。しっかり勉強するのにおすすめ。サンプルサイズ計算についてもかなり充実している。 医学への統計学 (統計ライブラリー) 医学デ...

サポートベクターマシンを R で実装する方法について。 サポートベクターマシンとは？ サポートベクターマシンについては、過去記事参照。 サポートベクターマシンを R で実装するのに必要なパッケージ e1071パッケージを使う。 まず最初一回インストール...

割合の差の検定のサンプルサイズ計算を R で行う方法、エクセルで行う方法 割合の差の検定のサンプルサイズ計算 R の関数を使って 統計ソフトRには、power.prop.test()という関数が用意されていて、簡単に計算できる。 第1群が50%(0.5)、第2群が75%(0.75)...

正規分布近似を用いた信頼区間とClopper-Pearson 信頼区間を計算する方法。 割合の区間推定（正規分布近似を用いた簡易的な方法） 割合の分散は、割合をp、サンプルサイズをnとすると、 $$ \frac{p (1 - p)}{n} $$ で計算できる。 標準誤差はその平方根で...

R はパッケージを追加すると新しい機能が追加できる。 その方法もとても簡単だ。 R のパッケージの追加方法として source からインストールする方法があるので、その解説。 R のパッケージを source からインストールする方法 R のパッケージは、Windows用...

R で時系列データを分析するための基礎的な方法の解説。 時系列データとは何か？ 時系列データとは、日時のデータと値のデータのペアのこと。 例としては、 四半期ごとの売上高。 毎月の経費。 週当たりの納入量。 毎日の株価・ドル円レート。 など。 こう...

多重比較のサンプルサイズ計算を R で行う方法 ボンフェローニ型 多重比較のサンプルサイズ計算 Bonferroni（ボンフェローニ）型多重比較とは、比較する数で有意水準を割って、割った有意水準より小さい有意確率の場合、統計学的有意と考える方法。 三群あ...

がん患者さんの生存期間中央値を5年生存率から逆算で求めるにはどうしたらよいか？ R で計算する方法。 5 年生存率から逆算で生存期間中央値を求める計算式 生存確率は、一般論として指数関数で近似できる。 実際には、がんの治療後すぐになくなったり、数...

R に組み込みのタイタニック号の生存・死亡データで、生存・死亡に関するロジスティック回帰分析と、独立変数の多重比較を実行してみる。 解析するタイタニック号の生存・死亡データの確認 解析するデータは、carData パッケージの TitanicSurvival という...

タイタニック号は、1912年4月14日の夜、氷山に激突し、北大西洋の底に1,500名以上の命と一緒に沈んだ。 乗客乗員の生存・死亡のデータを用いて、ロジスティック回帰分析を実行してみる。 タイタニック号の生存・死亡データはどこにあるのか？ R はインスト...

偏相関係数について。 順位相関係数は偏相関係数が計算できるか。 偏相関係数が計算したい場面 新規の検査値Aと既存の検査値Bの関連性を検討したい。 nは40例程度。 解析するに当たり、患者背景が問題になると思っている。 既存の検査値 Bと身長が関連する...

相関係数は、相関関係の強さを示す指標。 一方が大きいときにもう一方が大きければ、正の相関関係で、相関係数は1に近い。 一方が大きいときにもう一方が小さい場合は、負の相関関係で相関係数は－1に近い。 では、偏相関係数とは何か？ 違いは何か？ 偏相...

回帰分析をする際に、説明変数や目的変数が正規分布をしていないことで悩んでいる人は多い。 悩むところはそこじゃない。 重回帰分析では、残差が正規分布している必要がある。 重回帰分析の前提は何か？ 重回帰分析の前提は4つある。 独立性（データそれ...

分散分析と回帰分析とｔ検定は同じものである。 これがわかれば、重回帰分析（共分散分析）が交絡因子調整した群間比較に使われる理由がわかるだろう。 ｔ検定は回帰分析でもできるし、分散分析は二群でもできる ここで、ｔ検定は、いわゆる t 検定のこと...

多重共線性（たじゅうきょうせんせい）があるかどうかを確認する必要があるとはよく聞くが、確認して多重共線性があった場合はどうすればよいのか？ 多重共線性とは？多重共線性はなぜ問題なのか？そして多重共線性を回避するにはどうすればよいか？につい...

SPSS で Cox 回帰をする際の変数選択の方法とカテゴリ変数の設定の方法の解説 SPSS で Cox 回帰を行う例 SPSSでのCox回帰を行う例は以下の通り。 心臓カテーテル治療（PCI）を何度も経てから冠動脈バイパス術 (CABG) を行う患者の長期成績は不良かというテ...

多変量モデルの変数選択について、悩まない人はいない。 どの変数を採用してどの変数を採用しないのか。 明確な基準はあるのか？ 想定している多変量モデルは？ 多変量モデルは、多変量解析のモデル（もしくは型）を指している。 独立変数に多数の変数を使...

コレスポンデンス分析（対応分析とも言う） は、大きな分割表に集計されたデータを見やすくする分析方法。 二次元 つまり X軸とY軸に変換して、散布図にして傾向を見る。 コレスポンデンス分析とは？ コレスポンデンス分析とは、対応分析とも呼ばれ、分割...

階層的クラスター分析のクラスター化の方法のウォード法とはどういう方法なのか？ クラスター化とは？ 階層的クラスター分析はクラスター化をしていく。 クラスター化とは何か？ 階層的クラスター分析では、最初にJaccard係数等の指標で、単語同士の「距離...

競合リスク回帰とは、共変量調整をした競合リスク分析の方法。 競合リスク回帰の前に競合リスクとは？ 競合リスクについては、以下を参照。 競合リスク回帰の種類 競合リスク回帰モデルには四つ考えられる。 絶対リスク回帰 Absolute Risk Regression ロジ...

競合リスクとは何か？ Gray 検定の実行方法 競合リスクとは？ 再発がエンドポイントであったが、再発する前に死亡してしまったので、観察できなかった。 脳梗塞の発現がエンドポイントだったが、先に肺炎でお亡くなりになり、観察できなかった。 このよう...

Coxの比例ハザードモデル（コックスの比例ハザードモデル、Cox回帰、コックス回帰など表示・呼び名はたくさんあるが皆同じものを指している）は、生存時間とイベントデータを多変量解析できる統計モデルだ。 注目したい要因が、他の要因と相関があり、また...

ログランク検定とは、生存時間解析で、二群以上のグループがある場合に、グループ間で統計学的に差があるかを検討する方法。 R での方法を解説。 R でログランク検定をする場合の関数は？ R でログランク検定をする場合、survival パッケージのsurvdiff()...

Rでカプランマイヤー曲線を書く方法の紹介。 survfit を使ったグループごとの曲線の書き方。 Rでカプランマイヤー曲線を書くためのサンプルデータ カプランマイヤー曲線を書くためのサンプルデータは、survival パッケージの lung を使う。 これは、North ...

Jaccard 係数は集合の類似度を表す指標で、テキストマイニングでは、文章と文章の類似度＝距離を表す指標になる。 Jaccard係数を少し詳しく解説。 Jaccard係数とは？ Jaccard 係数とは、植物学者 Paul Jaccard が考案した集合の類似度を測る指標のこと。 ...

R で階層的クラスタリングを行う方法。 階層的クラスタリングとは さまざまな特徴を持った集団、たとえば米国50州を、特徴が似ている似ていないで近い・遠いを表現して部分集団（クラスター）に分けることを言う。 以下も参照のこと。 階層的クラスタリン...

二次元でユークリッド距離を図示してみた。 二次元のユークリッド距離を示すサンプルデータ 二次元でユークリッド距離を例示してみるためのサンプルデータは、R に組み込まれているUSArrestsというデータを使う。 USArrestsの1列目 Murderと2列目 Assault...

ユークリッドは紀元前325年に生まれたギリシャの数学者。 著した著書は数学のなかでも特に幾何学の教科書として有名であった。 ユークリッドが考え出した「距離」とは？ ユークリッド距離とは？ ユークリッド距離は、幾何学で扱う事項である。 幾何学とは...

クラスター分析とは何か？ そもそも、クラスターって何？ クラスターとは？ クラスターとは、グループとか塊（かたまり）の意味。 データをいくつかの塊に分けたものをクラスタと言う。 クラスター分析とは？ 集めたデータをいくつかの塊に分けて、その特...

フライス（Fleiss）のカッパ係数（kappa）は、3人以上の評価者の評価が一致している度合いを測定する係数。 カッパ係数には 2 人の場合と 3 人以上の場合の 2 種類がある Cohen's kappa が二人の評価者の一致度を判断するのに対して、Fleiss' kappa は三人...

二人の評価者のカテゴリ評価の一致度を見るのがいわゆるカッパ係数だ。 カッパはギリシャ文字のkのカッパ（κ）のこと。 Jacob Cohen先生が発明したので、Cohen's Kappaと呼ばれる。 これを R で計算してみようと思う。 irr パッケージを使う方法 簡単な方...

ブランド アルトマン 分析は、二つの測定系の結果が一致しているかどうかを確認する方法。 ブランド アルトマン プロットに、回帰直線を合わせると不一致に傾向がないかどうか確認できる。 ブランドアルトマン分析の準備 ブランドアルトマンプロットは、2...

点推定値が100%に近いとき、より適切に割合の信頼区間を計算する方法 Wilson's score method（ウィルソンのスコア法）の解説。 割合の信頼区間は近似を使っている 割合の信頼区間は以下の式で計算できる。 これは正規分布を近似的に使っている。 $$ \hat{p...

グラフを描いた後、一部を塗りつぶしたいときがある。 そんなときにどうしたらいいか？ 標準正規分布の場合 確率分布の一部を塗りつぶしたい場合、以下のようにすれば可能。 # 前半 curve(dnorm(x), -4, 4, las=1, xlab="Z") arrows(0,0,0,dnorm(0),length...

重回帰分析は行列計算をしているわけだが、実際どのような計算をしているのか、R を使って計算してみる。 サンプルデータの準備 使用するデータは ISLR パッケージの Carseats データ。 これはチャイルドシートの売り上げデータ。 パッケージのインストー...

Rで、一元配置分散分析を step by step で計算してみた。 lm() と Anova() を使えばあっという間だが、具体的な一つ一つの計算を自分で組み立ててみるとどうか？ 教科書の例題に沿って確認した。 R で一元配置分散分析を実行するための例題データ サンプル...

二つのデータセットがあって、二つの回帰直線が描けたとき、そのあとどうすればいいか？ そのあとは、傾きが同じと言えるか？さらには切片が同じと言えるか？と進んでいく。 二つの回帰直線の差を検定してみる。 回帰直線の差の検定のためのサンプルデータ...

相関係数を統合したい場合はどうやるか？ R での方法。 個々の研究の相関係数と95%信頼区間の準備 使うデータは以下の通り。 r が相関係数。 n がサンプルサイズ。 r <- c(0.307,-0.01,0.300,0.119,0.194,0.248) n <- c(107,1524,154,6165,4138,1559...

R で相関係数の検定と推定は cor.test() でできるが、個々のデータが必要だ。 個々のデータを使わなくても、検定や推定はできないだろうか？ 相関係数の検定 母相関係数 ρ（ロー） がゼロかどうかの検定。 スクリプトは以下の通り。 r がサンプルの相関係...

平均値の差のメタ解析のやり方を解説。 メタ解析のやり方解説のためのサンプルデータ メタ解析のやり方を解説するためのデータは以下の通り。 mが平均、sが標準偏差、nがサンプルサイズ。 n1 <- c(155,31,75,18,8,57,34,110,60) m1 <- c(55.0,27.0,6...

Rでテキストマイニングするやり方。 MeCab と RMeCab を使う方法。 例として、ワードクラウドを描く方法を紹介。 テキストマイニングとは？ テキストデータを名詞、動詞、形容詞など、濃い意味合いを持つ言葉と、助詞、助動詞、感嘆詞、疑問詞など意味合い...

主成分回帰と部分的最小二乗回帰を R で実行する方法の解説 部分的最小二乗回帰とは 部分的最小二乗回帰の前に、主成分回帰を説明する。 主成分回帰（Principal Component Regression, PCR）は、主成分分析と回帰分析の融合。 主成分分析で情報の集約をし...

主成分分析は、たくさんの変数を、合成変数に集約する分析。 主役級の主成分から第一主成分、第二主成分、・・・と呼ばれる。 たくさんの変数を、いくつかの主成分でまとめると、情報がまとまって考えやすくなる。 Rで主成分分析を行う方法 princomp()を使...

エラスティックネットを簡単に解説 R で実行する方法も解説 リッジ・ラッソ・エラスティックネットとは？ 線形回帰モデルは、係数 β（パラメータ）を推定するときに最小二乗法を用いる。 通常の最小二乗法は、従属変数の実測値とモデルから計算された値と...

SVM（サポートベクターマシン）のコストパラメータ C について。 SVM の C とは？ SVM（サポートベクターマシン）のコストパラメータ C とは何か？ コストパラメータ C は誤分類を許容する指標。 C が小さいと誤分類を許容する。 大きいと誤分類を許容しな...

機械学習の分類手法の一つ、サポートベクターマシンとは何か？ サポートベクターマシンの前に最大マージン分類器について サポートベクターマシンを説明する前に最大マージン分類器から話を始めねばならない。 最大マージン分類器、サポートベクター分類器...

ランダムフォレストはチューニングして最適化する。 チューニングは決定木を最適化する方法。 ランダムフォレストの場合は、決定木の数と特徴量（説明変数）の数を最適化する。 ランダムフォレストのパッケージのインストールと準備 最初に一回だけパッケ...

R でランダムフォレストを実行する方法。 ランダムフォレストとバギングの違い ランダムフォレストとバギングの違いは、こちらの記事を参照。 R でランダムフォレストを実行するパッケージの準備 パッケージはrandomForestというそのままの名前のパッケー...

バギングというアンサンブル学習を R でやってみる。 ランダムフォレストとバギングの違い ランダムフォレストとバギングの違いは、以下の記事を参照。 バギングのための R パッケージの準備 adabagパッケージをインストールする。 install.packages("adab...

ランダムフォレストとバギングは、決定木をより汎用化するために考えられた手法。 違いは何か？ 概念的な簡単な説明。 ランダムフォレストとバギングの総称 アンサンブル学習とは何か？ ランダムフォレストとバギングはともにアンサンブル学習と呼ばれてい...

決定木分析をRで行う方法を紹介。 難しいプログラムが組めなくてもすぐに使える。 決定木分析のRパッケージの準備 決定木分析のパッケージrpartときれいな決定木の描画パッケージpartykitをインストールする。 インストールは初めの一回だけでOK。 install...

決定木には剪定（せんてい）という過程がある。 剪定とは何か？ 簡単に紹介。 決定木の弱点　過学習 あるデータセットから、決定木を作ったとする。 決定木は、大きく茂らせれば茂らせるほど、きれいに分岐して、分類してくれる。 しかしながら、機械学習...

決定木の分岐（ノード）を作るときどのような計算をしているのか？ Gini不純度を計算しているのだが、Gini不純度とは何か？ 機械学習の決定木における Gini 不純度とは？ Gini不純度とは、ある特徴でデータを2分割するときに、特徴の要素Aである確率とAで...

機械学習をする方法はさまざまある。 代表的な方法は決定木分析である。 そもそも決定木とは何か？ 基本的なことをごく簡単に解説。 決定木とは何か？ 決定木とは意思決定に使う、いくつもの枝分かれをする図のこと。 膨大なデータを使って、決定木のモデ...

標本の大きさの求め方。エクセルを使う方法。 サンプルサイズ計算をエクセルで行う方法。 なかなか探しても見つからないサンプルサイズ計算がここでは見つかる！！ アンケート調査 アンケートは何人に取れば最適なのか？ エクセルファイルで簡単に計算でき...

機械学習で、よりよく推測できるモデルを選ぶ。 統計ソフトRのISLRパッケージのWeeklyデータで基礎的な機械学習を行ってみた。 Rで機械学習を行うためデータの準備 ISLRパッケージのWeeklyデータは、S&P500指数の週当たりのリターンのデータ。 9つの変...

R の ISLR パッケージの Auto データセットを使った分析例。 データの準備 最初の一回だけ、ISLRパッケージをインストール。 install.packages("ISLR") ISLRパッケージを呼び出して、解析開始。 library(ISLR) ISLRパッケージのAutoデータセットを用いて解...

有害必要数（Number Needed to Harm, NNH）は、1人の有害事象が起こる人が出現するのに、何かの影響を受けた人が何人必要かという数。 NNHを計算するにはどうやるか？ 使えるシチュエーションは、 曝露Aを受ける人受けない人 処置Bを受ける人受けない人 介...