Generative AI Test合格への道！② 〜シラバスの用語一覧〜
はじめに
Generative AI Test2024 #1を受験するために作成した用語集をシェアします。
これからGenerative AI Testを受験する方や、生成AIに興味がある方の参考になれば幸いです。
この記事を読んでほしい人
Generative AI Testでどんな内容が問われているのか知りたい
これからGenerative AI Testを受験する
生成AIに興味がある
なお、前回のnoteでは試験対策やオリジナル用語集(この投稿)の作成過程、そして試験を通して得た学びをシェアしました。今回は、その続きとなります。
シラバスの用語一覧
生成AIの技術
特徴
▼テキスト、画像、音声等の生成モデルに共通する技術的な特徴を俯瞰して理解している。
-確率モデル
次の単語やトークンを予測するための統計的手法です。具体的には、与えられたコンテキスト（前の単語や文脈）に基づいて、次に来る単語やトークンの確率分布を計算し、最も高い確率を持つ単語を選択することで、自然な文章生成を行います。
-ハルシネーション (Hallucination)
モデルが生成した内容が事実に基づいていない、またはコンテキストと合致しない情報を含む現象のことを指します。
▼大規模言語モデルの基本構造を理解している。
-基盤モデル
特定のタスクに特化させずに、大量のテキストデータを用いて事前学習された大規模言語モデルのことです。この基盤モデルは、その上で様々なタスクに対応できるよう、追加学習やファインチューニングを行うための「土台」として機能します。
-言語モデル
LLMにおける言語モデルは、自然言語の構造と意味を数学的に表現し学習するための基盤技術です。これらのモデルは、単語の並び（シーケンス）の確率分布を学習し、次の単語を予測したりテキストを生成したりする能力を持ちます。LLMの "LM" は Language Model を指し、その中核をなします。
-大規模言語モデル (LLM)
LLM（Large Language Model）は、自然言語を理解し、生成するための大規模な機械学習モデルです。
-トランスフォーマー (Transformer)
Transformerは2017年に発表された論文 "Attention is All You Need" で紹介されたNLPモデルです。
Transformerの最大の特徴は、"アテンション機構"（特に"Self-Attention"）を使用して、入力シーケンス内の各要素（例えば、文中の各単語）が互いにどのように関連しているかをモデル化することです。これにより、文の各部分が他の部分とどのように関連しているかを効率的に捉えることができます。
-アテンション (Attention)
入力されたシーケンスの中で重要な部分に焦点を当てるメカニズムのことです。
-GPT-3
OpenAIによって開発された大規模な言語モデルで、自然言語処理（NLP）タスクにおいて非常に高い性能を発揮します。また、GPT-3は特定のタスクに対する事前の例示や説明なしに、そのタスクを理解し実行できる「Zero-Shot Learning」の能力を持っています。さらに、数例の例示を与えることで、未知のタスクをより効果的に理解し実行する「Few-Shot Learning」にも長けています。これらの特性により、GPT-3はほとんどのタスクにおいてファインチューニングを必要とせず、幅広い応用が可能です。
▼大規模言語モデルにおけるモデルの学習方法を理解している。
-教師あり学習
教師あり学習（Supervised Learning）は、機械学習の手法の一つで、既知の「問題」に対する「解答」を「教師」が提供することで学習を行う方法です。
-自己教師あり学習
自己教師あり学習（Self-Supervised Learning）は、ラベル付けされたデータを用いずに、モデルがデータ内のパターンや規則を学習する手法です。
-事前学習
事前学習とは、特定のタスクを学習させる前に、大量のテキストデータを使ってLLMに一般的な言語理解能力を習得させるプロセスのことです。この段階では、特定のタスクを解くことは目的とせず、あくまでも大量のテキストデータから、言葉の出現パターンや関係性、文法、常識などを学習させます。事前学習により、LLMは言葉の意味や文脈を理解する基礎能力を身につけるため、その後のファインチューニングといった、特定タスクに合わせた学習を効率的に行うことが可能になります。
-ファインチューニング
LLMにおけるファインチューニングとは、事前学習済みのLLMを、特定のタスクに適応させるための追加学習のことです。
事前学習によって一般的な言語理解能力を身に着けたLLMですが、そのままでは特定のタスクに最適化されているわけではありません。
そこで、ファインチューニングの出番です。翻訳、質疑応答、文章要約など、目的のタスクに特化したデータセットを使って追加学習を行うことで、LLMのパラメータを調整し、そのタスクに最適化していきます。
▼大規模言語モデルのアラインメントを理解している。
-アラインメント (Alignment)
アラインメントとは、人間の価値観や意図に沿うように、LLMの出力の安全性や倫理性を高めるための調整プロセスのことです。
-人間のフィードバックによる学習 （RLHF）
人間のフィードバックを報酬としてLLMに学習させることで、人間の好みにより近い出力を行うように改善する手法です。
-インストラクション・チューニング (Instruction Tuning)
インストラクション・チューニングとは、大規模言語モデル（LLM）を特定の指示（プロンプト）とそれに対応する出力データセットを使ってさらに訓練する技術です。このプロセスにより、モデルは与えられた指示に従ってより正確かつ一貫した応答を生成する能力が向上します。
具体的には、以下のような手順で行われます：
1. **データセットの準備**: 指示（インストラクション）とその出力（期待される応答）からなるペアのデータセットを収集します。
2. **モデルの訓練**: このデータセットを使って、既存の大規模言語モデルをさらに訓練します。
3. **評価と調整**: 訓練後のモデルを評価し、必要に応じてさらに調整を行います。
インストラクション・チューニングにより、モデルは特定のタスクに対してより効果的に応答することができるようになります。この技術は、生成AIを様々な業務やアプリケーションでより実用的に活用するための重要なステップとされています。
▼大規模言語モデルにおける生成の仕組みを理解している。
-コンテキスト内学習 (In-Context Learning)
LLMに対して、明示的な訓練データを与えずに、タスクの指示や少数の入力と出力の例だけを与え、新しいタスクを解けるようにする能力のことです。
-Zero-Shot
定義：新しいタスクに関する具体的な例を一切見ずに、そのタスクを実行する能力。
方法：モデルは一般的な知識とタスクの説明のみを使用。
例：「次の文を日本語から英語に翻訳してください：『今日は晴れです。』」モデルは翻訳の例を見ずに翻訳。
利点：新たなデータ収集や学習なしで様々なタスクに対応可能。
課題：タスクの複雑さによっては精度が落ちる場合も。
-Few-Shot
定義：少数の例（通常1〜5程度）を見た後、同様のタスクを実行する能力。
方法：タスクの説明と少数の入出力例をプロンプトに含める。
例：
入力：「犬」→ 出力：「Dog」
入力：「猫」→ 出力：「Cat」
入力：「鳥」→ 出力：？ （モデルが「Bird」と答える）
利点：少量のデータでタスクの理解度と精度が向上。
応用：データの収集や注釈付けが困難な分野で有用。
-Chain-of-Thought
Chain-of-Thought（CoT）とは、大規模言語モデル（LLM）に複雑な推論タスクを解決させるための技術です。これは、モデルに対して「思考の連鎖」を促すことで、問題を段階的に分解して解答を生成させるアプローチです。
-サンプリング手法
LLM（大規模言語モデル）におけるサンプリング手法とは、モデルがテキストを生成する際に、次に来る単語やトークンをどのように選択するかを決定するアルゴリズムのことです。LLMは、次に来る単語の確率分布を計算し、その分布に基づいて単語をサンプリングします。
例、Greedy Search (貪欲探索)、Temperature Sampling、Top-k Sampling
▼大規模言語モデルの性能評価について知っている。
-リーダーボード
LLMにおけるリーダーボードは、異なるモデルやシステムのパフォーマンスを比較・評価するための重要なツールです。AI研究と開発の世界で、進歩の指標として広く使用されています。
-ベンチマーク
LLMにおけるベンチマークは、モデルの性能を評価し、比較するための標準化されたタスク、データセット、評価指標の集合です。リーダーボードとは密接に関連していますが、ベンチマークはより広い概念で、評価の基準そのものを指します。
ベンチマークの役割：
客観的評価：異なるモデルを公平に比較。
進歩の測定：時間とともにモデルの改良を定量化。
課題の明確化：モデルの強みと弱点を特定。
研究の指針：改善が必要な領域を示唆。
動向
▼テキスト、画像、音声等の生成モデルの技術動向を俯瞰して理解している。
-条件付き生成
LLMにおける条件付き生成とは、特定の条件や制約を満たすテキストを生成するタスクを指します。これは、単にテキストを生成するだけでなく、そのテキストが特定の属性、形式、または内容を持つように制御することを意味します。
条件付き生成の例:
感情分析: テキストの感情（ポジティブ、ネガティブ、中立）を指定して、その感情に沿った文章を生成する。
スタイル変換: 文体のスタイル（カジュアル、フォーマル、詩的など）を指定して、そのスタイルで文章を書き換える。
-拡散モデル (Diffusion Model)
LLM（大規模言語モデル）における拡散モデルとは、テキストや画像などのデータをノイズから復元する生成モデルの一種です。拡散モデルは、データに徐々にノイズを加えていく過程（拡散過程）と、ノイズを除去して元のデータを復元する過程（逆拡散過程）を学習します。
▼大規模言語モデルのオープン化の動向と原因について理解している。
-オープンコミュニティ
-オープン大規模言語モデル
-オープンデータセット
-オープンソース
-量子化や蒸留による推論の効率化
LLMにおける量子化や蒸留による推論の効率化は、モデルサイズを減らすことで推論速度を向上させる技術です。量子化は浮動小数点数を固定小数点数に変換する技術で、蒸留はモデルを小さなモデルに変換する技術です。両方の技術を適用することで、推論速度が向上し、モデルサイズが減少します。
これらの技術を活用することで、より多くのデバイスでLLMを利用できるようになり、LLMの応用範囲が広がることが期待されます。
▼大規模言語モデルの性能を決める要素の動向と原因について理解している。
-スケーリング則 (Scaling Laws)
モデルの性能や挙動がモデルのサイズ（パラメータ数）、トレーニングデータ量、計算リソースの増加に応じてどのように変化するかを示す経験則です。スケーリング則は、モデルを大規模にすることによって、性能がどのように改善するかを予測するための重要な指標となります。
-データセットのサイズ
LLMにおけるデータセットのサイズは、モデルの性能と能力を大きく左右する重要な要素です。「データは新しい石油」と言われるように、大規模言語モデルの時代では、データの量と質が知識と能力の源泉となります。
-データセットの質
LLMにおけるデータセットの質は、単なる量を超えた、モデルの性能、信頼性、そして社会的影響を決定する重要な要素です。「サイズ」が知識の広さを決めるなら、「質」は知識の深さと健全性を決めます。
-モデルのパラメーター数
LLM（大規模言語モデル）におけるモデルのパラメーター数とは、モデルが学習する際に調整される変数の数を指します。これらのパラメーターは、モデルがテキストデータから学習したパターンや関係性を表現しており、モデルの性能に直接影響を与えます。
-計算資源の効率化
LLMにおける計算資源の効率化は、モデルが学習や推論を行うために必要な計算リソースを最小限に抑える技術です。
-LoRA
LLM（大規模言語モデル）におけるLoRA（Low-Rank Adaptation）とは、LLMを特定のタスクやデータセットに適応させるための効率的なファインチューニング手法です。
LoRAの仕組み:
従来のファインチューニングでは、LLMの全てのパラメータを更新する必要がありましたが、LoRAではモデルに低ランク行列を追加することで、更新するパラメータ数を大幅に削減します。これにより、計算コストやメモリ使用量を抑えながら、効率的にモデルを適応させることができます。
-GPU
LLM（大規模言語モデル）におけるGPU（Graphics Processing Unit）とは、グラフィックス処理に特化した演算装置であり、LLMの学習や推論を高速化するために利用されます。
▼大規模言語モデルのマルチモーダル化の動向と原因について理解している。
-マルチモーダル
LM（大規模言語モデル）におけるマルチモーダルとは、テキストだけでなく、画像、音声、動画など複数のモダリティ（情報の種類）を組み合わせて処理する能力を指します。従来のLLMはテキストデータのみを扱っていましたが、マルチモーダルLLMは、異なるモダリティの情報を統合的に理解し、生成することができます。
▼大規模言語モデルの外部ツール・リソースの利用の動向と原因について理解している。
-学習データの時間的カットオフ
LLM（大規模言語モデル）における学習データの時間的カットオフとは、モデルの学習に使用するデータの収集を特定の時点（カットオフ日）で打ち切ることを指します。
-大規模言語モデルの知識
大規模言語モデル（LLM）における知識とは、モデルがトレーニングデータから学習した情報の総体を指します。これには、事実的な知識（例えば、歴史的な出来事や科学的な事実）、言語の構造（文法や語彙）、コンテキストに応じた適切な応答の生成能力などが含まれます。
生成AIの利活用
特徴
▼生成AIには何ができるのかを理解している。
-ケイパビリティ
生成AIの利活用におけるケイパビリティとは、生成AIを効果的に活用するために必要な能力やスキル、組織体制などを指します。
▼生成AIをどのように使うのかを理解している。
-活用事例
▼生成AIの性能を拡張する使い方を理解している。
-プロンプトエンジニアリング
生成AIの利活用におけるプロンプトエンジニアリングとは、生成AIモデルに対して与える指示文（プロンプト）を工夫し、モデルからより望ましい出力を得るための技術や手法を指します。
動向
▼生成AIの新たな活用方法を生み出すためのアプローチを理解している。
-ハッカソン
-自主的なユースケース開発
-インターネット・書籍
-活用の探索
▼生成AIの活用を制限する要因を理解している。
-生成AIの学習データ
生成AIの学習データは、生成AIの活用を制限する要因になることがあります。以下にその具体的な要因と影響を説明します。
1. データのバイアス
影響:
学習データに含まれるバイアスは、生成AIの出力に反映されます。これにより、偏った視点や差別的な内容が生成される可能性があります。例えば、人種、性別、年齢に関するバイアスがあるデータを使用すると、そのバイアスがモデルの出力に現れます 。
バイアスのある出力は、信頼性や公平性を損ない、特定のユーザーグループに対する偏見を助長するリスクがあります。
2. データの質と正確性
影響:
不正確な情報やノイズが含まれるデータでトレーニングされたモデルは、誤った回答や無関係な情報を生成する可能性があります。これにより、生成AIの出力の信頼性と実用性が低下します 。
高品質なデータセットがない場合、モデルは実際の用途において期待された性能を発揮できません。
3. データの範囲と多様性
影響:
学習データが特定の分野やトピックに偏っている場合、モデルはその範囲外の情報について正確に応答できないことがあります。これにより、生成AIの汎用性と適応力が制限されます 。
多様なデータソースを使用することが重要ですが、それには追加のコストとリソースが必要です。
4. 時間的なギャップとデータの新鮮さ
影響:
古いデータを使用してトレーニングされたモデルは、最新の情報を反映できないため、迅速に変化する分野（例: ニュースや技術情報）での応答が不正確になる可能性があります 。
定期的なデータ更新が必要ですが、それには持続的なリソースと管理が必要です。
-生成AIの性能評価
生成AIの性能評価は、生成AIの活用を制限する要因となり得ます。以下に、その理由と具体的な影響を説明します。
1. 評価基準の限界
影響:
現在の性能評価基準（BLEUスコア、ROUGEスコア、METEORスコアなど）は、生成されたテキストの一部の側面しか評価できません。これらの基準は主に定量的な評価に依存しており、生成テキストの文脈や創造性、ユーザー体験などの質的側面を十分に評価できない場合があります 。
評価基準の限界により、実際の使用状況において十分な性能を発揮する生成AIの開発が難しくなることがあります。
2. 人間の評価者の一貫性
影響:
性能評価にはしばしば人間の評価者が関与しますが、評価者間の一貫性がない場合、評価結果がばらつきやすくなります。これは、生成AIの実際の性能を正確に評価することを困難にし、その結果として生成AIの改善や適切な活用が制限される可能性があります 。
3. 評価コスト
影響:
高品質な性能評価を行うためには、専門家による詳細なレビューや多くの評価データが必要となり、これには時間とコストがかかります。評価コストが高いために、頻繁な評価が困難となり、生成AIの迅速な改良や適用が遅れることがあります 。
4. 実運用での性能ギャップ
影響:
性能評価は理想的な条件下で行われることが多く、実際の運用環境では同様の性能が発揮されないことがあります。このギャップにより、生成AIの実用化や商用利用が制限されることがあります 。
-生成AIの言語能力
生成AIの言語能力は、生成AIの活用を制限する要因となり得ます。
多言語対応: 世界には数千の言語があり、多くの言語には複雑な文法構造や文化的ニュアンスがあります。現在の生成AIモデルは主に英語や他の主要言語に焦点を当てて訓練されていますが、少数言語や方言への対応は限られています。これにより、グローバルな活用が制限される可能性があります。
言語の曖昧さと文脈理解: 人間の言語は曖昧で、同じ表現が文脈によって異なる意味を持つことがあります。生成AIが文脈や意図を正確に理解できない場合、誤解や不適切な応答が生じ、特に専門的な分野や繊細な状況で問題になる可能性があります。
▼業界に特化した生成AIの活用方法を理解している。
-LLMを利用したサービス (ChatGPT, Bard, Claude など)
カスタマーサポート:
顧客の質問や問い合わせに対して、自動応答を提供することで、カスタマーサポートの効率を向上させます。
例: 金融商品の詳細や口座管理に関する問い合わせに対するチャットボット。
-RAG (Retrieval-Augmented Generation)の利用
RAG（Retrieval-Augmented Generation）を利用したサービスは、生成AIの性能を大幅に向上させることができます。RAGは、生成AIモデルに外部知識ベースからの情報を取り入れることで、より正確かつコンテキストに合った回答を生成する技術です。
金融業界
リスク管理と市場分析:
活用方法: RAGを使用して、リアルタイムの市場データや金融レポートから最新情報を取得し、リスク評価や投資戦略の策定に役立てます。
例: 投資家が特定の銘柄について知りたい場合、RAGが最新の市場動向や分析レポートを検索し、投資のリスクとメリットを評価します。
-エージェント・コード生成
エージェント・コード生成とは、特定のタスクを実行するためのプログラムコードを自動生成する技術です。大規模言語モデル（LLM）を活用することで、自然言語による指示からコードを生成できるため、開発効率の向上や属人化の解消に貢献できます。
金融業界
アルゴリズム取引: 市場データや取引戦略を記述した自然言語の指示から、自動売買を行うためのコードを生成します。これにより、取引戦略の開発期間を短縮し、市場の変化に迅速に対応できます。
-外部ツール呼出し
外部ツール呼び出しとは、生成AIが外部のツールやAPIと連携し、モデル単体では得られない情報や機能を活用して、より高度なタスクを遂行する能力を指します。
リスク管理システムとの統合:
活用方法: 生成AIが外部のリスク評価ツール（例：Bloomberg Terminal）を呼び出して最新の市場データを取得し、投資リスクを評価します。
-広告クリエイティブへの応用
生成AIは、広告キャンペーンの効果を最大化するために、個別にカスタマイズされたコンテンツを自動生成し、ターゲットオーディエンスに適したメッセージを届けることができます。
旅行プランの提案:
活用方法: 生成AIを使用して、顧客の興味や過去の旅行履歴に基づいてパーソナライズされた旅行プランを提案する広告を作成します。
例: 特定の目的地に興味を持つ顧客に対して、その地域の観光スポットやアクティビティを紹介する広告を生成する。
-ドメイン固有
ドメイン固有の生成AIとは、特定の業界や分野に特化した知識や情報を学習し、そのドメインに特化したタスクを遂行するAIモデルのことです。
新薬開発: 化合物データベースや医学論文などのドメイン固有のデータを学習した生成AIが、新薬候補物質の探索や薬効予測を支援します。
生成AIのリスク
特徴
▼生成AIが、技術面・倫理面・法令面・社会面などで多様なリスクを孕むことを理解している。
-正確性、ハルシネーション (Hallucination)、セキュリティ、公平性、プライバシー、透明性、悪用、誤情報の拡散、プロンプトインジェクションなどの敵対的プロンプト、特定の生成AIサービスへの依存、環境問題
▼生成AIの入力（データ）と出力（生成物）について注意すべき事項を理解している。
-著作権
-個人情報
-機密情報
-商用利用
-利用規約
動向
▼生成AIについて、現時点では認識されていない新たなリスクの出現とそれに伴う規制化の可能性を理解している。
-新たなリスク、規制化、情報収集
生成AIについて、現時点では認識されていない新たなリスクが出現する可能性は十分にあります。また、それに伴う規制化の可能性も高いです。以下に、いくつかの潜在的なリスクとそれに伴う規制の可能性について説明します。
新たなリスク
ディープフェイクの高度化: 生成AIの技術が進化することで、よりリアルで信憑性のあるディープフェイクが作成される可能性があります。これにより、偽情報の拡散やプライバシー侵害、信頼性の崩壊などが懸念されます。
AI生成コンテンツの責任問題: 生成AIが作成したコンテンツに関する責任の所在が不明確になる可能性があります。特に、誤情報や不適切なコンテンツが生成された場合、その責任を誰が負うべきかという問題が浮上するかもしれません。
▼生成AIの活用に伴うリスクを自主的に低減するための方法を把握している。
-自主対策
生成AIの活用に伴うリスクを自主的に低減する方法は多岐にわたります。技術開発者、企業、そして個人ユーザーがそれぞれできることがあります。以下、主要な方法を説明します：
責任あるAI開発：
倫理ガイドラインの策定：開発者は、公平性、透明性、プライバシー、安全性を重視したAI倫理ガイドラインを策定し、それに従うべきです。
多様性のあるチーム：開発チームに多様な背景（性別、人種、専門分野など）を持つメンバーを含めることで、偏見のリスクを減らせます。
継続的なモニタリング：AIモデルの出力を常時監視し、有害な内容や予期せぬ動作を早期に検出する仕組みを導入します。
データ管理とプライバシー：
データの品質管理：訓練データのバイアスや不正確さを減らすため、データの収集と選別のプロセスを厳格化します。
データの最小化：必要最小限のデータだけを使用し、個人を特定できる情報は匿名化します。
ユーザーの同意：データ使用に関する明確な同意メカニズムを実装し、ユーザーにデータコントロールの権利を与えます。
まとめ
Generative AI Test2024 #1を受験するために作成したシラバスの用語一覧が、これから受験する方や、生成AIに興味がある方の参考になれば幸いです。
今後もAIやITの話題を投稿していきますので、フォローいただけると嬉しいです。