TF-IDF

TF-IDF とは、ある文書における単語の重要度を、その文書での出現頻度と、全文書における希少性の 2 つから測る指標です。

「の」「する」のようにどの文書にも出る語は重要度が下がり、特定の文書にだけ多く出る語が高く評価されます。その文書らしさを表す語を選び出せます。

情報検索や文書分類で長く使われてきた、基本かつ実用的な指標です。