Jaccard 係数は集合の類似度を表す指標で、テキストマイニングでは、文章と文章の類似度=距離を表す指標になる。
Jaccard係数を少し詳しく解説。
Jaccard係数とは?
Jaccard 係数とは、植物学者 Paul Jaccard が考案した集合の類似度を測る指標のこと。
式で表現すると以下のようになる。
書き下すと、AまたはB 分の AかつB ということになる。
AかつB(類似しているところ)が大きくなると、値も大きくなり、類似度が高いと判断される。
詳しくはこちらを参照。
Jaccard 係数はどのように考えればいいか?
KH Coderにおいて、Jaccard 係数は、ある語Aとある語Bのどちらかもしくは両方を含む「文書」のうち、AとB両方を含む「文書」の数、つまり割合のことだ。
KH Coderにおける「文書」とは、Excelデータであれば1セルの文章のこと。
KH Coderでテキストマイニングにかけるときに、列の方向に、1セルずつ、一区切りの文章を入れておく。例えば、一人一人のコメントを1セルずつに入れる。コメントはいくつかの文でも大丈夫。
KH Coder 公式説明スライドはこちら。
Jaccard 係数の計算例
例えば、「知る(A)」が80の文書に登場し、「人(B)」が110の文書に出現したとする。
「知る」と「人」が一緒に、20の文書において登場したとする。
この場合 Jaccard 係数は以下のように計算される。
Jaccard 係数が大きいほど、共通に登場した文書が多く、その二つの語は「近い」と判断する。
ちなみに、どちらの語も登場しなかった文書は計算に考慮されない。
Jaccard 係数はどの方法に使われているか?
KH Coderでは、Jaccard 係数を3つの分析方法の標準にしている。その3つとは、
- 多次元尺度構成法
- 階層的クラスター分析
- 共起ネットワーク
である。
以下は、参考記事。
まとめ
Jaccard 係数は集合の類似度を表す指標で、テキストマイニングでは、文章と文章の類似度=距離を表す指標になる。
具体的には、2つの語少なくともどちらかが含まれる文章を数えて、2つの語両方が含まれる文章の割合を計算する。
割合が大きければ、2つの語は今回のテキストデータセットの中において「近い」と判断される。
Jaccard 係数の大小=「遠い」「近い」を図示したのが、多次元尺度構成法、階層的クラスター分析、共起ネットワークである。
コメント