生成AI（ChatGPT等）の拡張機能による建築・土木領域の応用例（2023年6月）
ChatGPTのAPIが公開されたことによって、ライブラリやプラグインなど様々な拡張機能が公開されています。ここでは、生成AI（特にChatGPT）の拡張機能（ライブラリ・オープンソースソフトウェア・プラグイン）に着目して、それぞれの簡単な紹介と、不動産・建設など建築・土木領域の応用例を記載したいと思います。
ライブラリ
PythonなどでChatGPT APIを組み込んだソリューションを開発することが多いですが、その際に活用できるライブラリとして、代表的なものにLangChainとLlamaIndexがあります。ここでは、それらのライブラリの概要と建築・土木領域の応用例を記載します。
LangChain
https://blog.langchain.dev/langchain-chat/
LangChainは、ChatGPTなどの言語モデルによって動作するアプリケーションを開発するためのフレームワークです。言語モデルを呼び出して、他のデータソースに接続したり、様々な状況に合わせて相互作用的に振る舞うことができます。
仕組みとして、以下のモジュールによって主に構成されています。
モデル： ChatGPTなどの言語モデル
プロンプト： プロンプトの管理や最適化
メモリ： 以前のやり取りの記憶
インデックス： 外部データのロード、クエリ、アップデートのためのインターフェース
チェイン： LLMなどの呼び出しの一連の流れ
エージェント： 命令に対して言語モデルが、完了するまでのアクションの実行、結果の観察を繰り返すチェイン
コールバック： チェーンの中間ステップをログに記録し、アプリケーションを観察、デバッグ、評価
活用例としては、公式ドキュメントに一般的なユースケースが列挙されているため、その中から建築・土木領域に応用できそうな例を記載します。
パーソナルアシスタント： 命令の実行と、その経緯を記憶し、ユーザーのやり取りの知識を得ます。
自社の担当者とクライアントや提携企業とのメールのやり取りを記憶し、徐々にLangChainがクライアントとのやり取りを自動で実施できるようにします。
質疑応答： 特定の文書に関する質問に答え、その文書に含まれる情報のみを利用して回答します。
ある競争入札のプロジェクトに関しての質問にChatGPTがその競争入札の募集要項を基に回答する。
チャットボット： ChatGPTだけでなく他の言語モデルでも対話できる。
建築・土木領域の用語を学習させた言語モデルと対話ができる。
コード理解： 言語モデルを使ってコードを解析できる。
構造計算で用いているプログラムを入力し、その解説やエラーを参照することができる。
抽出： テキストから構造化された情報を抽出します。
建築物の設計資料を入力すると、自動でエクセルに情報が整理される。
要約：長い文書を圧縮する
競争入札の募集要項を入力し、要約したり、必要な情報を抽出する。
公式ドキュメント
LlamaIndex
https://gpt-index.readthedocs.io/en/latest/guides/primer/index_guide.html
ChatGPTなどの大規模自然言語モデル（LLM）は、大量の公開データで事前に訓練されています。したがって、事前に訓練されていない社内のデータや最新のデータは参照されません。LlamaIndexはそうしたデータと連携することで、言語モデルが参照するデータを補完します。
機能としては以下のものがあります。
既存のデータ（API、PDF、docs、SQLなど）を取り込む機能
データを構造化し、言語モデルで簡単に使用できるようにする機能
データに対する高度な検索
様々なアプリケーションフレームワーク（LangChain、Flask、Docker、ChatGPT、その他）との連携
活用例としては、公式ドキュメントに一般的なユースケースが列挙されているため、その中から建築・土木領域に応用できそうな例を記載します。
データの参照：外部データを参照しながら、言語モデルが回答をする
施工方法に関する社内のマニュアルを参照しながら、現場作業の質問に対してChatGPTが回答をする。
エージェント： 推論・判断を自動化し、ユーザーの入力を受け取り、正しい結果を返すためにシステムの内部で検討をします。
社内の複数の資料を用意し、ChatGPTに対する質問に対して、LlamaIndexが適切に参照する資料を選択し、回答をする。
チャットボット： ChatGPTなどの知識を補うチャットボットをつくることができます。
地区ごとの最新のゾーニング規制について質問や情報収集ができる。
公式ドキュメント
オープンソースソフトウェア
一般に公開されている高度なソフトウェアの代表的なものとして、AutoGPTとGoalGPTを取り上げます。ここでは、それらのオープンソースソフトウェアの概要と建築・土木領域の応用例を記載します。
AutoGPT
https://news.agpt.co/
Auto-GPTは、GPT-4によって、言語モデルの「思考」を連鎖させ、設定された目標を自律的に達成します。
特徴としては以下のものがあります。
検索や情報収集のためのインターネットアクセス
長期記憶と短期記憶の管理
テキスト生成のためのGPT-4インスタンス
人気ウェブサイトとプラットフォームへのアクセス
GPT-3.5によるファイル保存と要約処理
プラグインによる拡張性
AutoGPTを使えば、ほとんどすべての作業を行うことができます。リサーチの自動化、文章の執筆、アプリの構築などAuto-GPTの活用方法はさまざまです。以下にいくつかの例をあげます。
自動でプロジェクトの現場に近い施工会社を探し、見積書を発注
アプリケーションの開発
各材料の需要予測を予測するアルゴリズムを構築
プロジェクト対象地の規制や周辺環境をインターネットから収集し、資料に整理する
顧客とのコミュニケーションを自動化
市場のリサーチと詳細なレポート作成
競争入札関連の情報を自動で収集し、配信する。
他にも同じようなものとして、BabyAGI、GoalGPTなどがあります。
公式ドキュメント
プラグイン
2023年5月からChatGPTのプラグインが有料プランでのみ活用できるようになりました。ここでは、様々あるプラグインの中でも、建築・土木領域に関連するプラグインの紹介と応用例を記載します。
Scraper
ウェブ上の情報を抽出することができます。例えば、あるメーカーの材料の価格の一覧を作成することができます。
Lexishopper
Amazonの商品の検索ができます。例えば、特定のカテゴリーの建材商品を一覧でまとめることができます。
Wolfram
計算や図の作成ができます。例えば、不動産売買の際に参考になるような各地の地価の推移や比較をするような図を作成することができます。
Show Me
ダイヤグラムを作成することができます。例えば、各工事における工程のフローチャートなどを作成することができます。
VoxScript
YouTubeの動画を検索することができます。例えば、特定の工事に関して施工方法の参考になりそうな動画を収集することができます。
Manorlead
米国の不動産について検索できます。例えば、ある地区の一定の売買価格以下の物件を抽出することができます。
World News
世界のニュースについて質問できます。例えば、世界の株価の変動状況について質問ができます。
公式ドキュメント
まとめ
ここでは、生成AI（特にChatGPT）の拡張機能（ライブラリ・オープンソースソフトウェア・プラグイン）に着目して、それぞれの簡単な紹介と、不動産・建設など建築・土木領域の応用例について記載しました。今後とも急速に関連サービスが増え続けると思いますので、随時、更新していきたいと思います。少しでも参考になりましたら幸いです。
よろしければ他の記事もご参照ください。
最後にmignでは先端技術を活用し、建築・土木領域の世界初のソリューションを常につくり続け、豊かな社会の実現を目指しています。現在は生成AI（ChatGPT・画像生成）にフォーカスし、開発を進めており、上記に関連するソリューションの開発を対応は可能ですので、ご関心のある方はお気軽にご連絡ください。
お問い合わせフォーム（ウェブサイト）
https://www.mign.io/contacts/new
メールアドレス
contact@mign.io
建築・土木領域特化ChatGPT関連ソリューションのプレスリリース
https://prtimes.jp/main/html/rd/p/000000020.000100410.html
https://prtimes.jp/main/html/rd/p/000000023.000100410.html
建築・土木領域特化画像生成AIソリューションのプレスリリース
https://prtimes.jp/main/html/rd/p/000000013.000100410.html
https://prtimes.jp/main/html/rd/p/000000022.000100410.html
その他のプレスリリース
https://prtimes.jp/main/html/searchrlp/company_id/100410