fastText

fastText とは、単語を丸ごと 1 単位とせず、部分文字列に分解したうえで分散表現を学習する手法です。

「走る」「走った」「走れば」といった活用形が部分を共有するため、まとめて意味を捉えられます。学習時に見なかった未知語でも、部分から表現を組み立てられます。

活用の多い言語や、表記ゆれの多いデータに強いという利点があります。