Jaccard係数とは？― クラスタリングや共起ネットワークの類似度の指標

Jaccard 係数は集合の類似度を表す指標で、テキストマイニングでは、文章と文章の類似度＝距離を表す指標になる。

Jaccard係数を少し詳しく解説。

Jaccard係数とは？

Jaccard 係数とは、植物学者 Paul Jaccard が考案した集合の類似度を測る指標のこと。

式で表現すると以下のようになる。

$$ \frac{A \cap B}{A \cup B} $$

書き下すと、AまたはB 分の AかつB ということになる。

いずれかに含まれるもの（A または B）のうち、両方ともに含まれるもの（A かつ B）の割合ととらえられる。

AかつB（類似しているところ）が大きくなると、値も大きくなり、類似度が高いと判断される。

詳しくはこちらを参照。

https://en.wikipedia.org/wiki/Jaccard_index

Jaccard 係数はどのように考えればいいか？

テキストマイニングの文脈であれば、Jaccard 係数は、ある語Aとある語Bのどちらかもしくは両方を含む「文書」のうち、AとB両方を含む「文書」の数、つまり割合のことだ。

Jaccard 係数の計算例

例えば、「知る（A）」が80の文書に登場し、「人（B）」が110の文書に出現したとする。

「知る」と「人」が一緒に、20の文書において登場したとする。

この場合 Jaccard 係数は以下のように計算される。

$$ \frac{A \cap B}{A \cup B} = \frac{A \cap B}{A + B – A \cap B} = \frac{20}{80 + 100 – 20} = 0.125 $$

Jaccard 係数が大きいほど、共通に登場した文書が多く、その二つの語は「近い」と判断する。

ちなみに、どちらの語も登場しなかった文書は計算に考慮されない。

まとめ

Jaccard 係数は集合の類似度を表す指標で、テキストマイニングでは、文章と文章の類似度＝距離を表す指標になる。

具体的には、2つの語少なくともどちらかが含まれる文章を数えて、2つの語両方が含まれる文章の割合を計算する。

割合が大きければ、2つの語は今回のテキストデータセットの中において「近い」と判断される。

Jaccard 係数の大小＝「遠い」「近い」を図示したのが、多次元尺度構成法、階層的クラスター分析、共起ネットワークである。

おすすめ書籍