N-gram

ディープラーニングの応用例自然言語処理

N-gram とは、連続する N 個の単語や文字をひとかたまりとして扱う考え方です。

「今日は晴れ」を単語 2 個ずつ区切れば「今日／は」「は／晴れ」となります。1 語ずつ数える Bag-of-Words では失われる、隣り合う語のつながりをある程度残せます。

N を大きくすると文脈を長く捉えられますが、組み合わせが急増してデータが足りなくなるという難しさがあります。