デジタルMATSUMOTO書評「Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門」第3部
デジタルMATSUMOTOによる「Azure OpenAI ServiceではじめるChatGPT/LLMシステム構築入門」（ドーナツ本）の書評シリーズ第3部です。
第3部の内容は主にツール拡張の話がメインになっています。ChatGPTのプラグイン開発をやってみたいという企業にはとても参考になる内容です！
第3部 Copilot stackによるLLMアプリケーションの実装
第3部は以下の内容で構成されています。AIオーケストレーションのところはかなり分かりやすくまとまっていました。
各章のアウトラインを検討してもらった上で、以下のプロンプトで諸々検討してもらいました。
- 第6章 AIオーケストレーション
- 第7章 基盤モデルとAIインフラストラクチャ
- 第8章 Copilotフロントエンド
各章の主な内容
まずは、各章を【要約】してもらいました。
第6章 AIオーケストレーション
AIオーケストレーションとは何か、そしてそれを活用して独自のCopilotを開発するためのアーキテクチャと実装について詳細に説明されています。AIオーケストレーションは、ユーザーからの入力を理解し、適切な外部ツールを使用してタスクを実行するプロセスです。この章では、Reasoning & Acting（ReAct）やPlanning & Executionなどのオーケストレーション手法、ChatGPTプラグインの活用、ストリーム出力の実装など、実践的な開発手法が紹介されています。これらの手法を通じて、ユーザーの複雑な要求に応える独自のAIアプリケーションを構築する方法が提供されています。
⭐️リアル松本が追記）ツール拡張(ChatGPTのプラグイン)を実装する時のコンテキストイメージについても良く理解できる内容です。
第7章 基盤モデルとAIインフラストラクチャ
基盤モデルとAIインフラストラクチャに焦点を当てたCopilot stackの概念が紹介されています。基盤モデルは、オーケストレーションを行うためのOpenAIモデルやファインチューニングされたLLMなどを指し、AIインフラストラクチャはこれらのモデルをホスティングするための計算リソースとして機能します。また、ホスティングされたモデルと公開モデルがどのようにAIアプリケーションに統合されるか、その選択肢や実装上の課題について説明されています。
⭐️リアル松本が追記）Copilot Stackのアーキテクチャがコンテキストを設計していく上で良く整理されています。
第8章 Copilotフロントエンド
Copilotフロントエンドの設計について詳しく解説されており、ユーザーエクスペリエンスの重要性とそのデザインについて議論されています。ユーザビリティ、アクセシビリティ、キャッシュの利用、LLMの不確実な応答への対処方法、UX向上のための参考資料などが紹介されています。また、LangChainやSemantic Kernelなどのオープンソースライブラリの実装例や、チャットストリーム処理の実装が説明されており、フロントエンド開発におけるベストプラクティスが提供されています。
続いて、この章で【学べたこと】を5つ挙げてもらいました。
1. AIオーケストレーションの基本的な概念と実装方法。（第6章）
2. Copilot stackの重要な3層構造：Copilotフロントエンド、AIオーケストレーション、基盤モデル。（第7章）
3. ChatGPTプラグインのような外部サービスとの連携。（第6章）
⭐️リアル松本が追記）デジタルMATSUMOTOでもReACTやってみたいです。川柳モデルやエシカルチェックをツールとして設定する等
4. ユーザーエクスペリエンスの向上に寄与するフロントエンド設計の要素。（第8章）
⭐️リアル松本が追記）チャットUIはサクッと作れそうですね。
5. LLMの不確かな応答への対処とストリーム出力の実装。（第8章）
ズバリ、この章は「どんな読者向け」でしょうか？
第6章は、AIオーケストレーションに興味を持つ開発者や、独自のAIアプリケーションを構築する企業の技術者にとって有用です。手法やプロセスの実践例を通じて、複雑なユーザー入力に応じたAIアプリケーションの開発を学べます。
第7章は、基盤モデルやAIインフラストラクチャの概念について学びたい方や、具体的なAIサービスの統合を考えている開発者に役立ちます。モデルの選択肢とその実装上の考慮事項を理解することができます。
⭐️リアル松本が追記）社内のITシステム管理者も理解しておくと良い内容かと思います。
第8章は、ユーザーエクスペリエンスを重視するフロントエンド開発者やデザイナーにとって助けになります。ユーザビリティ、アクセシビリティ、キャッシュの利用法など、ユーザー中心の設計に関する知識が深まります。
リアル松本のコメント
第3部は、AIオーケストレーションが主な内容といった形ですが、独自APIを開発している企業にとっては、LLMから呼び出させるという活用を考えているならば、非常に参考になる内容だと思います。
※デジタルMATSUMOTOも「川柳モデル」「エシカルチェック」の呼び出しから始めてみようかなと
ヒトのように振る舞うChatGPTを検討する場合
デジタルMATSUMOTOのような「ヒトのように振る舞うChatGPT」を開発する際に【参考になる点】を検討してもらいました。
1. 外部ツールとの連携を考慮したオーケストレーション設計（第6章）
2. ユーザーのタスクを理解し、適切なアクションを取るAIの開発（第6章）
3. Copilotフロントエンドのユーザーエクスペリエンス設計（第8章）
4. LLMを活用したアプリケーションの運用（第6章、第7章）
5. AIアプリケーションの開発におけるベストプラクティスの適用（第8章）
リアル松本のコメント
この点も「ヒトのように振る舞うAI」だから大きく変わるという内容ではないかもですね・・・
おまけ：デジタルMATSUMOTOの知識との関連性
デジタルMATSUMOTOに蓄積されている知識情報との関連性を検討してもらいました。LLMを経由して外部ツールにデータを渡すこともできるので、確かにガバナンスやプライバシーは重要な論点かもしれないですね。
1. AIガバナンス：AIオーケストレーションとCopilotの開発は、AIガバナンスの原則に従う必要があります。AI倫理や安全性の確保は、ユーザーの信頼を得るために重要な要素です。（第6章、第7章）
2. AIリテラシー：AIオーケストレーションを実装するには、AIに関する知識が必要です。AIリテラシーを高めることで、より効果的なシステム開発が可能になります。（第6章、第7章）
3. プライバシー保護：ユーザーからの指示を処理する過程で、プライバシーに配慮した設計が求められます。利用者データの保護は、AIサービスの信頼性を高めるために不可欠です。（第8章）
デジタルMATSUMOTOが参照した情報
デジタルMATSUMOTOが解説時に参照した情報は以下になります。
各部で差が出ないものですね・・・
1.2024-02-08時点の知識[類似度:0.16]AI法研究会ウェビナーイベント
2.2024-02-08時点の知識[類似度:0.177]2023年度スマートエスイーIoT_AIコース修了記念シンポジウム「デジタルMATSUMOTO」https://www.youtube.com/watch?v=tUxpJaQfvYY&t=16s
3.2024-02-08時点の知識[類似度:0.18]【リアル松本の独り語り】2つのアプローチで国際的に研究を続けよう！これからのAIガバナンス｜Digital MATSUMOTO（EU AI Act合意）
https://note.com/takash/n/n36daabda78b2
4.2024-02-08時点の知識[類似度:0.189]AIガバナンス実践への課題
5.2024-01-19時点の知識[類似度:0.189]「言葉による解決、あきらめたくない」芥川賞の九段理江さん会見（産経新聞） https://www.sankei.com/article/20240117-AAZSAIEHVJOJLEQOZTZPNHDDIQ/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/naf22cfb7f331
6.2024-02-08時点の知識[類似度:0.191]第Ⅲ期報告書『AIガバナンスエコシステム ―AIガバナンスの実践に向けて―』https://www.jdla.org/about/studygroup/sg01/
7.2024-02-08時点の知識[類似度:0.194]報告書『AIガバナンスエコシステム - 産業構造を考慮に入れたAIの信頼性確保に向けて』https://www.jdla.org/about/studygroup/sg01/
8.2024-02-08時点の知識[類似度:0.199]「AIの倫理」ってナンだ？（後編）～人間とAIはどのように協調するのか～
https://www2.deloitte.com/jp/ja/blog/d-nnovation-perspectives/2019/ai-ethics-02.html
9.2024-02-08時点の知識[類似度:0.207]第Ⅱ期報告書『AIガバナンスエコシステム - AIは誰が管理・評価するのか』https://www.jdla.org/about/studygroup/sg01/
10.2024-02-08時点の知識[類似度:0.214]人材選考AIを例に「AIと公平性」の問題を考える、学習データに潜んでいたリスクとはhttps://xtech.nikkei.com/atcl/nxt/column/18/02176/082400001/
11.2024-02-08時点の知識[類似度:0.215]「AIの倫理」ってナンだ？（前編）～人間とAI双方に求められる信頼性～｜D-nnovation Perspectives｜デロイト トーマツ クループ｜Deloitte|
https://www2.deloitte.com/jp/ja/blog/d-nnovation-perspectives/2019/ai-ethics-01.html
12.2024-02-08時点の知識[類似度:0.218]AIサービスのリスク低減を検討するリスクチェーンモデルの提案 | 東京大学未来ビジョン研究センター
https://ifi.u-tokyo.ac.jp/news/7036/
13.2024-01-08時点の知識[類似度:0.218]神戸市 ＡＩ使用のルール明確化で条例制定へ｜NHK 関西のニュース
https://www3.nhk.or.jp/kansai-news/20240108/2000081042.html
[デジタルMATSUMOTOのnote]https://note.com/takash/n/nb704abf3f4e1
14.2024-01-09時点の知識[類似度:0.221]OpenAI、NYタイムズに反論 「記事の再利用はまれ」：日本経済新聞https://www.nikkei.com/article/DGXZQOGN083ZP0Y4A100C2000000/
[デジタルMATSUMOTOのnote]https://note.com/takash/n/n4689b1cf1b5a
15.2024-02-08時点の知識[類似度:0.221]工場の不良品検知AIを例に「利用者に起こりうるAIへの過信」の問題を考えるhttps://xtech.nikkei.com/atcl/nxt/column/18/02176/101300002/