デジタルMATSUMOTO書評「Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門」第2部
デジタルMATSUMOTOによる「Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門」（ドーナツ本）の書評シリーズ第2部です。
第2部の内容はRAGを扱っており、初学者から経験者まで参考になる内容になっていると思います。Azure Machine Learningプロンプトフローを使っていくと、多少なり個人用にカスタマイズされた生成AIを展開できるように感じています。
第2部 RAGによる社内文章検索の実装
第2部は以下2つの章(まさにRAGパート‼)で構成されています。
各章のアウトラインを検討してもらった上で、以下のプロンプトで諸々検討してもらいました。
- 第4章 RAGの概要と設計
- 第5章 RAGの実装と評価
4章～5章について、以下をまとめてください。
・各章の内容を夫々1000文字程度の文章で【要約】してください。
・【学べたこと】を5つあげてください（「引用した箇所」も記載してください）。
・各章の内容は夫々【どのような読者にとって助け】になると思いますか？500字程度の文章で教えてください。
・ヒトのように振る舞うChatGPTを開発する際に【参考になる点】を5つ程度あげてください（「引用した箇所」も記載してください）。
・今までデジタルMATSUMOTOが蓄積していた知識の中で【関連するトピック】を3つ程度あげて、どのような点が類似するかを夫々500字程度の文章で教えてください。
各章の主な内容
まずは、各章を【要約】してもらいました。
第4章 RAGの概要と設計の要約
Azure OpenAIでのドキュメント検索機能とオーケストレータについて解説されています。Azure AI Searchのフルテキスト検索、ベクトル検索、セマンティック検索の各検索手法が紹介され、これらの方法を組み合わせたハイブリッド検索についても説明されています。オーケストレータは、ユーザーからの質問に基づき、関連するドキュメントを検索システムから取得し、GPTから回答を取得して返却する役割を果たします。実装方法としては、Azure OpenAI on your data、Azure Machine Learningプロンプトフロー、フルスクラッチ（自前で実装）の3つの選択肢が提案されています。Azure OpenAI on your dataはブラウザベースのRAGサービスであり、オーケストレータの実装が不要であるため、簡単にRAGを実装できる一方で、精度のチューニングには制限があります。一方、Azure Machine Learningプロンプトフローはローコードでオーケストレータを作成でき、プロンプトのチューニングが可能です。フルスクラッチでは、各種APIやSDKを使用してオーケストレータを自分で実装することになりますが、実装工数を抑えるためにMicrosoft公式のサンプルリポジトリを活用することが推奨されています。
第5章 RAGの実装と評価の要約
RAGの具体的な実装と評価について解説されています。アーキテクチャの概要では、Azure AI Searchをナレッジベースとして使用し、Azure AI Document Intelligenceと連携してRAGアーキテクチャを構築するプロセスが紹介されています。社内文章検索の実装例では、Azure PaaSを用いたRAGアーキテクチャの自動構築スクリプトの使い方、ローカル開発環境の構築、Azureサービスの料金、オーケストレーションの実装例などが具体的に説明されています。また、Azure OpenAI on your dataを使用することで、コードを書かずにRAGを実装できることが強調されています。この章では、Azure OpenAI Studioでのデータソースの選択、検索対象ドキュメントのインデックス、検索時のベクトル検索の有効化など、on your dataの設定方法に関する具体的な指示が提供されています。
⭐️リアル松本が追記）RAGドキュメントの検索精度とRAGを用いたLLMの生成精度についての評価指標についても説明があります。
続いて、この章で【学べたこと】を5つ挙げてもらいました。
1. ドキュメントの検索方法として、フルテキスト検索、ベクトル検索、セマンティック検索がある。（第4章）
2. オーケストレータは大規模言語モデルと検索システムの仲介役として機能する。（第4章）
3. Azure OpenAI on your dataを使用することで、RAGの実装が簡単になり、オーケストレータの実装が不要になる。（第4章）
4. Azure Machine Learningプロンプトフローを使用することで、ローコードでオーケストレータを作成でき、プロンプトのチューニングが可能になる。（第4章）⭐️リアル松本）個人的にはこれを使ってみたいです！
5. Azure OpenAI on your dataには、Azure AI Search、Azure Blob Storage、Upload filesなどのデータソースが選択できる。（第5章）
ズバリ、この章は「どんな読者向け」でしょうか？
第4章は、Azure OpenAIを活用してRAGベースのアプリケーションを開発しようと考えている開発者や、文書検索技術に関心のある研究者にとって助けになるでしょう。様々な検索手法を理解し、それらを利用してRAGアプリケーションを実装する方法について学べます。オーケストレータの役割と実装方法の選択肢が提供されるため、自分のプロジェクトやビジネスのニーズに合わせた適切な技術選択が可能になります。
第5章は、実際にAzureサービスを用いてRAGアーキテクチャを構築し、検索システムと大規模言語モデルを連携させたい企業の開発者や、プロジェクトマネージャーにとって助けになるでしょう。Azure OpenAI on your dataの使用方法や料金に関する情報を学び、プロジェクトの予算計画や技術選定に役立てることができます。
リアル松本のコメント
第2部はRAGをテーマにした内容ですが、RAGアーキテクチャの全体構造、検索の仕組み、LLMのコンテキストへの反映方法を含めて、とても分かりやすい内容になっています。
RAGが上手くいかないという企業は、検索精度と生成精度の評価も一度見てみると改善点が見つかるかもしれないですね。
ヒトのように振る舞うChatGPTを検討する場合
デジタルMATSUMOTOのような「ヒトのように振る舞うChatGPT」を開発する際に【参考になる点】を検討してもらいました。
1. ユーザーの質問に対して適切な回答を生成するために、ドキュメント検索の様々な手法を理解し、適用することが重要です。（第4章）
2. プロンプトエンジニアリングを通じて、ユーザーの質問を解析し、関連するドキュメントを選択してGPTモデルに入力することで、より自然な回答を得られます。（第4章）
3. Azure OpenAI on your dataを利用することで、オーケストレータの実装が不要になり、RAGを簡単に実装できるため、開発プロセスが簡略化されます。（第4章）
4. Azure Machine Learningプロンプトフローを使用することで、プロンプトのチューニングが可能になり、よりユーザーに合わせたChatGPTの開発が行えます。（第4章）
5. コードを書かずにRAGを実装できるため、非技術者でもChatGPTの開発に参画できるようになります。（第5章）
リアル松本のコメント
Azure Machine Learningプロンプトフローで良いテンプレートができれば、RAGに与えるテキストを変更するだけで「個人らしく振る舞う」なんて使い方もできるのかもと感じています。
おまけ：デジタルMATSUMOTOの知識との関連性
前回に続いて、デジタルMATSUMOTOに蓄積されている知識情報との関連性を検討してもらいました。どうしてもガバナンス的な論点になってしまいますね・・・
1. AIガバナンス：AIガバナンスの重要性に関する議論は、RAGの開発においても重要です。AIの倫理的使用やリスク管理は、RAGシステムにおけるドキュメント検索やユーザーとの対話においても考慮すべき点です。（第Ⅲ期報告書『AIガバナンスエコシステム ―AIガバナンスの実践に向けて―』）
2. AIの倫理的使用：RAGの開発においては、AIの倫理的使用が重要であり、ユーザーのプライバシーや情報保護に配慮したシステム設計が求められます。AI倫理に関するガイドラインやポリシーは、ChatGPTの開発における指針として参考になります。（「AIの倫理」ってナンだ？（前編）～人間とAI双方に求められる信頼性～｜D-nnovation Perspectives｜デロイト トーマツ クループ｜Deloitte）
⭐️リアル松本が追記）こういったポリシーをプロンプトテンプレート内に共通で埋め込んでいくということも行っていけそうですね。
3. AIと創作の関係性：AIと創作の関係性についての議論は、ChatGPTを開発する際にも関連します。創造的な活動にAIをどう関わらせるか、AIが生成するコンテンツの品質管理や著作権の問題は、ChatGPTによるコンテンツ生成にも影響を及ぼします。（「言葉による解決、あきらめたくない」芥川賞の九段理江さん会見（産経新聞））
デジタルMATSUMOTOが参照した情報
デジタルMATSUMOTOが解説時に参照した情報は以下になります。前回とほぼ同じですね・・・
1.2024-02-08時点の知識[類似度:0.156]AI法研究会ウェビナー
2.2024-02-08時点の知識[類似度:0.175]2023年度スマートエスイーIoT_AIコース修了記念シンポジウム「デジタルMATSUMOTO」https://www.youtube.com/watch?v=tUxpJaQfvYY&t=16s
3.2024-02-08時点の知識[類似度:0.179]【リアル松本の独り語り】2つのアプローチで国際的に研究を続けよう！これからのAIガバナンス｜Digital MATSUMOTO（EU AI Act合意）
https://note.com/takash/n/n36daabda78b2
4.2024-02-08時点の知識[類似度:0.186]AIガバナンス実践への課題
5.2024-02-08時点の知識[類似度:0.191]第Ⅲ期報告書『AIガバナンスエコシステム ―AIガバナンスの実践に向けて―』https://www.jdla.org/about/studygroup/sg01/
6.2024-01-19時点の知識[類似度:0.192]「言葉による解決、あきらめたくない」芥川賞の九段理江さん会見（産経新聞） https://www.sankei.com/article/20240117-AAZSAIEHVJOJLEQOZTZPNHDDIQ/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/naf22cfb7f331
7.2024-02-08時点の知識[類似度:0.194]報告書『AIガバナンスエコシステム - 産業構造を考慮に入れたAIの信頼性確保に向けて』https://www.jdla.org/about/studygroup/sg01/
8.2024-02-08時点の知識[類似度:0.195]「AIの倫理」ってナンだ？（後編）～人間とAIはどのように協調するのか～
https://www2.deloitte.com/jp/ja/blog/d-nnovation-perspectives/2019/ai-ethics-02.html
9.2024-02-08時点の知識[類似度:0.209]第Ⅱ期報告書『AIガバナンスエコシステム - AIは誰が管理・評価するのか』
10.2024-02-08時点の知識[類似度:0.211]「AIの倫理」ってナンだ？（前編）～人間とAI双方に求められる信頼性～｜D-nnovation Perspectives｜デロイト トーマツ クループ｜Deloitte|
https://www.jdla.org/about/studygroup/sg01/
11.2024-02-08時点の知識[類似度:0.211]人材選考AIを例に「AIと公平性」の問題を考える、学習データに潜んでいたリスクとはhttps://xtech.nikkei.com/atcl/nxt/column/18/02176/082400001/
12.2024-02-08時点の知識[類似度:0.214]工場の不良品検知AIを例に「利用者に起こりうるAIへの過信」の問題を考えるhttps://xtech.nikkei.com/atcl/nxt/column/18/02176/101300002/
13.2024-01-09時点の知識[類似度:0.217]OpenAI、NYタイムズに反論 「記事の再利用はまれ」：日本経済新聞
https://www.nikkei.com/article/DGXZQOGN083ZP0Y4A100C2000000/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/n4689b1cf1b5a
14.2024-02-08時点の知識[類似度:0.218]AIサービスのリスク低減を検討するリスクチェーンモデルの提案 | 東京大学未来ビジョン研究センター
https://ifi.u-tokyo.ac.jp/news/7036/
15.2024-02-08時点の知識[類似度:0.218]工場の不良品検知AIを例に「AIに影響する環境の変化」の問題を考える
https://xtech.nikkei.com/atcl/nxt/column/18/02176/111800003/