トランスフォーマーの自己アテンションの理解⑦エンコーダ・ブロックの詳細

本シリーズの記事リスト

---

• 第一弾 トークン数値化の歴史

• 第二弾 再帰による文脈伝搬

• 第三弾 レコメンダーと内積

• 第四弾 位置エンコーディング

• 第五弾 エンコーダ・デコーダ

• 第六弾 クエリとキーとバリュー

• 第七弾 エンコーダ・ブロックの詳細

• 第八弾 デコーダ・ブロックの詳細

---

この記事では、エンコーダ・ブロックの詳細を解説します。論文の図１の左側になります。

論文「Attention Is All You Need」の図１

エンコーダ・ブロックの内部にある、マルチヘッド・アテンション（Multi-head Attention）、位置ごとのフィード・フォワード（Position-wise Feed-Forward）、残差接続（Residual Connection）、レイヤー正規化（Layer Normalization）などを解説します。

では、さっそく始めましょう。

エンコーダ・ブロック

オリジナルのトランスフォーマーのエンコーダは６つのエンコーダ・ブロックが階層をなしています。上図では、Nxと書かれていますが、これは「N階の層になっている」の意味です。６つの層を展開するなら以下のようになります。

エンコーダではエンコーダ・ブロックが６階建になっている

上手では、「エンコーダ・ブロック」を単に「エンコーダ」としています。これは図を複雑にしないためでもありますが、同じ仕組みを積み上げただけなので「エンコーダ」と省略して呼んでも間違いではないからです。

以下は、エンコーダの図を日本語にしたものです。