CLIP（Text-To-Image 関連）

CLIP とは、画像とそれを説明するテキストを、同じベクトル空間の近い位置へ対応づけるように学習したモデルです。

インターネット上の大量の画像と説明文の組から、対応するものは近く、しないものは遠くなるよう学習します。犬の写真と「犬の写真」という文が近くに配置されます。

学習していないカテゴリでも言葉で指定するだけで分類でき、画像生成モデルの案内役としても使われます。