データの扱い方

データの扱い方とは、そのままでは計算できない文章を、機械が処理できる形に整えるまでの前処理全般を指します。

文を単語に分ける、大文字と小文字をそろえる、「は」「が」のようなよく出るだけの語を除く、単語を数値のベクトルに直す、といった一連の作業が含まれます。

自然言語は数値データと違って構造が不揃いなため、ここでどれだけ整えられるかが後の精度を大きく左右します。