AI初心者がAmazon Bedrockを使って運用業務の効率化へチャレンジしてみた
※本記事は、各担当記事を広報チームが代行して公開しています。
この記事はSkillnote Advent Calendar 2024の11日目の記事です。
こんにちは！2024年7月より株式会社Skillnoteでバックエンドエンジニアをしている伊礼です。
簡単な自己紹介
沖縄県出身。大学卒業後、就職をきっかけに上京。2020年に新卒で大手Sierに入社。そこで約4年間、システムエンジニアとして要件定義、開発、テスト、運用保守に携わりました。SaaS開発に関わりたいと思い立ち2024年7月から株式会社Skillnoteにバックエンドエンジニアとして入社。
ここ最近、社内でAI活用ギルドなるものが結成され、AI初心者である私がギルドメンバーとして、運用業務の効率化にチャレンジしてみたことについて、お話していきたいと思います。
※AI活用ギルドとは、まずは社内でAIを活用していき、ゆくゆくはお客様へAIを通じてなにか価値提供できないか、という目的で結成されたギルドです。
以下に当てはまる人にぜひ読んでいただきたい記事です。
AI初心者：AI技術に興味があるが、まだ経験が浅い人
運用業務担当者：日々の業務を効率化したいと考えている方
技術者・エンジニア：新しい技術やツールを学びたいと考えている方
スタートアップ社員：リソースが限られている中で効率化を図りたいと考えている方
管理職：チームの生産性を向上させるための新しい方法を探している方
1．運用業務の課題
運用業務の一つに、セキュリティチェックシートへの入力業務があります。
セキュリティチェックとはお客様が弊社のサービスを導入する際に、セキュリティ要件を満たしているかチェックするためのものです。
それを、社内で管理されているセキュリティ関連のドキュメント見ながら、埋めていくという作業があります。 この作業がどれだけ大変なのかは下記記事をご参照ください。
セキュリティチェックとの闘い
私自身、入社してから1か月目で、初めてこちらの作業をした際に、2時間程度かかった記憶があります。
まず、どこにどういった情報があるかを探すのに時間がかかります。また、質問の内容や意図を理解しながら進める必要があり、セキュリティに関する知識が少ないと、別途インターネットで用語などを調べる必要があり、そこでも時間がかかってしまいます。
この作業を誰でもスムーズに行えるようにすることが、改善したい大きなポイントでした。
2．運用業務の効率化のアイデア
AI活用ギルドで検討した結果、セキュリティチェックシートの入力作業を効率化するために、Amazon Bedrockを有効活用できないかというアイデアが挙がりました。
数あるAIエージェントの中から、Amazon Bedrockを利用することになった背景としては、元々、弊社サービスがAWS上に構築されていたこと、そしてBedrockがAWSのセキュリティ基準に準拠しており、安心して利用できると判断したためです。
具体的には、Amazon Bedrockを使い、社内のセキュリティに関連するドキュメント情報を学習させ、チャットボットのように質問に答える仕組みを構築するというアイデアです。
Amazon Bedrockとは
Amazon Web Services (AWS)が提供するマネージドAIサービスです。開発者が大規模な機械学習モデルを簡単に構築、トレーニング、デプロイできるように設計されています。Bedrockは、AIモデルのライフサイクル全体をサポートし、インフラストラクチャの管理を簡素化します。
主な機能
モデル構築：事前にトレーニングされたモデルを使用して、新しいモデルを迅速に構築可能
トレーニング：大規模なデータセットを使用してモデルをトレーニングし、パフォーマンスを最適化
デプロイ：トレーニング済みモデルをスケーラブルな環境にデプロイし、リアルタイム推論を提供
モニタリング：モデルのパフォーマンスをリアルタイムで監視し、必要に応じて調整を実施
セキュリティ：データのプライバシーとセキュリティを確保するための機能が含まれている
利用するメリット
スケーラビリティ：AWSのインフラストラクチャを活用して、必要に応じてリソースをスケールアップまたはスケールダウンできます。
コスト効率：使用した分だけ支払う料金体系により、コストを最適化できます。
迅速な開発：事前にトレーニングされたモデルと統合ツールを使用することで、開発時間を短縮できます。
高い可用性：AWSの信頼性の高いインフラストラクチャにより、サービスの高い可用性が保証されます。
セキュリティとコンプライアンス：AWSのセキュリティ基準に準拠しており、データの安全性が確保されます。
3．Amazon Bedrockを使った具体的なステップ・得られた結果
下記のような流れで、取り組みました。
ステップ1：ナレッジベースを作成する
ステップ2：ナレッジベースに情報を読み込ませる
ステップ3：エージェントを作成する
■ステップ1：ナレッジベースを作成する
まずナレッジベースとは、ざっくりいうと、質問の回答に必要な情報を、蓄積する箱のようなものです。
ナレッジベース作成していく中で、IAMの設定、データソースに関する設定、埋め込みモデル設定、ベクトルストアの設定等をします。
■ステップ2：ナレッジベースに情報を読み込ませる
ステップ1で作成したナレッジベースに対して、実際に社内で管理しているセキュリティ関連情報を読み込ませました。
具体的には、下記のような情報を読み込ませました。
Skillnoteサービスのライブラリファイル
Skillnotサービスサイト
弊社が公開しているセキュリティチェックシート
利用者向けに公開している操作マニュアル
■ステップ3：エージェントの作成
まずエージェントとは、生成AIモデルを活用するためのインターフェースを提供するコンポーネントのことを指します。
エージェントを作成していく中で、どのナレッジベースを参照するかの設定、エージェント向けのプロンプト(エージェントに対しての指示文)、詳細プロンプトの設定(回答精度を向上させるための細かなチューニングができる設定) 等をします。
上記手順を実施した後、実際にセキュリティチェックシートにある質問をエージェントに投げたところ、下記のように読み込ませた情報をもとに回答を得ることができました。
4．今後の目標
社内のセキュリティ関連ドキュメントをAmazon Bedrockに学習させることで、セキュリティに関する質問に対して一定の回答を得られるようになりました。 しかし、まだ下記のような課題があります。
手動でドキュメントを読み込ませる必要がある
機能に関する質問なのか、ポリシーに関する質問なのか判別できないことがある
ガードレールの設定ができていない
※ガードレールとは、個人情報を含む回答はしない等、エージェントの回答を制御するための機能
このように、実業務での運用にはまだ至っていないのが現状です。年内に上記課題を解決し、来期から運用を開始できることを目標として、引き続きブラッシュアップしていくつもりです。
この取り組みを皮切りに、他の社内の定型作業もAIを活用して効率化していきたいと考えております。
引き続きSkillnote Advent Calendar2024をお楽しみください！