トランスフォーマー

トランスフォーマーとは、アテンションだけで構成されたモデルの構造で、現在の生成 AI の基盤となっているものです。

系列を順番に処理する必要がないため、GPU で一気に並列計算できます。この性質があったからこそ、モデルとデータを大規模化する道が開けました。

言語だけでなく画像や音声にも応用が広がっており、分野を越えた共通の土台になりつつあります。