アテンションて何？

最近アテンションがちょっと分かった気がしてきたので解説します。

説明するのは、transformerのセルフアテンションになります。

簡単に言うと、どこに注目するかというアルゴリズムです、

イメージとしては、単語帳とかに使う、カラーテープで、回答を消したりするのが、イメージとしてあっていると思います。

情報にカラーテープを付けて、必要なものだけ表示して、ここに注目してくださいよーというのがアテンションの役割ですね。

例えば、単語帳ですと、カラーテープだけ付けると、問題文だけになって、これを答えることに集中すればいいということになります。

細かいことを言いますと、カラーテープを作るときに、文章内の単語と単語の関係性を調べて、関係あるところだけを見えるようにします。

こういうアテンション技術を用いることで、AIがどんどん賢くなっているのが現状です。