【一問一答】これだけは押さえたい！TransformerモデルとAttentionの基本

はじめに

この記事では、生成AIパスポート試験のための1問1答をランダムに出題形式でまとめています。
私自身も受験を予定しており、試験勉強の一環として作成しています。
同じように勉強されている方の参考になれば嬉しいです！

では、さっそく始めましょう！

問題

Q1.TransformerモデルとRNN、LSTMとの違いは？🤔
　a. データの順番に依存せずに、すべての要素を一度に考慮して処理できる。
　b. データを順番に処理する必要があるが、長期的な依存関係を学習できる。
　c. データの順番に依存しつつ、前後の文脈を同時に理解する。
A1.a. データの順番に依存せずに、すべての要素を一度に考慮して処理できる。

Q2.次は、Attention Mechanismの説明として正しい？🤔
　入力された単語の重要度を特典付け、各単語がテキスト全体にどのように影響を与えているかをモデルが理解することが可能。
A2.◯

Q3.Self-Attentionと普通のAttentionの違いは？🤔
　a. Self-Attentionは単語同士の関係を自動的に計算する一方、普通のAttentionは外部のデータを使用する。
　b. Self-Attentionは入力内の要素間で計算されるが、普通のAttentionは入力と外部データ間で計算される。
　c. Self-Attentionは単語の順番に依存せず、普通のAttentionは順番に依存する。
A2.b. Self-Attentionは入力内の要素間で計算されるが、普通のAttentionは入力と外部データ間で計算される。

Q4.次は、位置エンコーディングの説明として正しい？🤔
　位置情報を埋め込むことで、シーケンス内の単語の順番を完全に無視し、単語の関係性だけをモデルが学習できる仕組み。
A4.✗（位置エンコーディングは単語の順序を完全に無視するのではなく、順序情報を保持してモデルが関係性を学習できるようにする）

Q5.次は、Transformerモデルとして正しい？🤔
　BERTやGPTのようなモデルはTransformerモデルを基盤にして設計されている
A5.◯

おわりに

試験範囲が広いため、まだまだ改善の余地があると思いますが、この記事が少しでも役立てば嬉しいです！「ここがわかりづらい」「こんな問題も解きたい」といったご意見があれば、ぜひコメント欄で教えてください。
一緒に学びながら、試験合格を目指しましょう！

それでは、次回の記事もお楽しみに！✨

---

🌟 生成AIパスポート試験に向けて学びを深めよう！ 🌟
この記事が参考になった方は、ぜひマガジン【一緒に目指そう！生成AIパスポート】もチェックしてみてください！他のジャンルの記事や新しい問題も随時追加中です。

📚 マガジンはこちらから👇

一緒に目指そう！生成AIパスポート｜学びの探求者（Nao）｜note