ChatGPT導入で月100時間削減：その効果を自動計算するコードも提供
生成AIを取り扱うベンダー・製品が増えたことにより、多くの自治体が業務効率化を目指して生成AIを導入しています。しかし、実際の導入効果はどうなのでしょうか？
自治体に対する、生成AIに関する国の調査もありましたが、利用自治体においては、その調査項目に即した、正確な報告資料の作成に苦慮した方も多かったではないでしょうか。
今回は、ChatGPTを導入した自治体で、その業務削減の効果を算出した事例です。
簡単に言うと、ChatGPTから出力したPythonのコードで費用対効果をやってみた、という記事になります。
導入の手順や費用対効果の測定方法、さらにその選択理由についても解説しますので、導入を検討中の方や、経営層への説明に悩んでいる方の参考になれば幸いです。
結論
ChatGPTの導入効果を測定したところ、毎月の業務時間を100時間程度削減していることが分かりました。
削減時間は、業務上利用したChatGPTの利用ログを解析して算出しました。利用者アンケートはしていません。
効果測定の実施手順
1.目的の整理
まず、導入の目的を再確認しました。効果測定は、単に業績を数値化するだけではなく、目的を達成したかどうかを確認するために行います。
本来であれば、導入時にKGI、KPIが定めるべきですが、今回の場合は「明らかに効果がありそうなので導入した」という経緯でした。このため、改めてて整理しました。
業務改善の効果を数値化し、導入費用＜＝導入効果を対照する。
国の調査項目に対応した分類で、ChatGPTへの指示を分類する。
庁内周知のため、効果的な利用方法を把握する。
これらを達成するため、効果測定の自動集計ツールを作成することを目指しました。
2.利用者アンケートの検討
アンケートの実施は、回答者と集計者の負担が大きいため、今回は採用しませんでした。代わりに、ツールから得られるデータを定量的に集計し、分析する方法を優先しました。
3.ツールと取得できるデータの把握
導入したChatGPTの接続ツールは、LGWAN上で展開されるASPサービスを利用しています。
このツールは職員間のチャットサービスのオプションとしてChatGPT接続用の機能を提供しており、チャットメッセージログをXML形式で出力およびダウンロード可能です。
これにより、ログからChatGPTへの指示と回答を抽出し、集計する仕組みを考案しました。
4.データ構造の把握(ChatGPT)
ダウンロードしたログをChatGPTに解析させ、データ構造を確認しました。ファイルは階層構造で保存されており、手動での解析は困難ですが、ChatGPTを利用することで、効率的に処理が可能だと判断しました。
5.データ解析の準備(ChatGPT)
これまでの検討内容をChatGPTに指示し、サンプルXMLファイルをアップロードして解析を依頼しました。ChatGPTは、XMLファイルの内容を解析し、結果を出力するコードを提案しました。
6.データ自動処理の完成(ChatGPT)
提案されたコードを修正し、以下の2つの自動処理を完成させました。
月次費用対効果の算出：
ダウンロードしたディレクトリを再帰的に探索し、XMLファイルを処理。
ChatGPTへの指示と回答を抽出し、匿名化処理後にCSVとして出力。
統計データ（ユーザー数、指示文字数合計、回答文字数合計など）を出力。
総務省調査対応の自動処理：
ChatGPTのAPIで指示を分類し、分類結果を出力。
7.自動処理結果の加工・整形
自動処理した結果を加工し、費用対効果の算出に利用しました。削減効果は指示文字数と回答文字数の差で測定し、それを勤務時間に換算して算出しています。この方法は独自に設定したものですが、今後より良い方法があれば変更していく予定です。
取り組んでみての感想
今回の取り組みで、ChatGPTの活用で月100時間の削減ができていること、導入費用を削減効果が上回っていることの2点を確認できました。
今後はさらに費用対効果を高めるため、生成AIの変更や他の業務への応用を進めていく予定です。
今回のコード生成機能を利用した自動処理は、ほとんど費用がかかっていない点が特徴です。企画から完成まで約3日間という短期間で実現できました。
一般的に、自動処理でよく利用されるローコードツールの場合、導入に費用がかかり、さらに操作方法の習得にも学習時間が必要です。一方、コード生成による処理では、開発・実行環境が無料で提供されており、生成されたコードをコピーしてすぐに実行できるため、導入・学習コストがローコードツールよりも低いことが今回の経験で明らかになりました。
生成AIによるコード生成は、自治体職員の手作業の削減、自治体システム経費の削減に大きく寄与することが期待されます。
今回生成したコード
今回作成したコードは、GitHubで公開しています。
本市と同様の手順で効果測定を行いたい場合、生成されたコードに興味がある場合は、こちらを参考にしてください。
LoGoAIアシスタントのログを集計し、国報告後処理用データにログを加工するコード
国報告後処理用データを、OpenAI APIで分類するコード
コード生成以外の利活用
本市を含む自治体で、ChatGPTは広く業務で活用されています。先進事例は、総務省「自治体におけるAI活用・導入ガイドブック<別冊付録>先行団体における生成AI導入事例集」にまとめられています。本市の事例は、6ページに掲載されています。
上記ガイドブックの事例をより詳しく紹介したのが、総務省｜地方自治体のデジタルトランスフォーメーション推進に係る検討会（第28回）資料です。説明で使用した資料を掲載しますので、自治体での具体的な生成AIの活用に興味がある場合は、こちらもぜひご覧ください。
