ホーム / AIの社会実装に向けて / データの収集・加工・分析・学習 / コーパス
466
コーパス
AIの社会実装に向けてデータの収集・加工・分析・学習
コーパスとは、自然言語処理に使うために大量のテキストを集めて整理したデータのことです。
新聞記事、書籍、Web 上の文章などが対象で、品詞や係り受けの情報を人手で付与したものもあります。言語モデルの学習や言語研究の材料になります。
日本語のように利用しやすいコーパスが限られる言語では、その整備自体が研究の基盤づくりとして重要になります。
ホーム / AIの社会実装に向けて / データの収集・加工・分析・学習 / コーパス
コーパスとは、自然言語処理に使うために大量のテキストを集めて整理したデータのことです。
新聞記事、書籍、Web 上の文章などが対象で、品詞や係り受けの情報を人手で付与したものもあります。言語モデルの学習や言語研究の材料になります。
日本語のように利用しやすいコーパスが限られる言語では、その整備自体が研究の基盤づくりとして重要になります。