Boxに蓄えられた膨大な自社コンテンツを使ってLLMをファインチューニングする(ために文字情報を取り出す) その１

2023年12月8日 15:22

はじめに

突然ですが、Boxに保存した膨大な自社コンテンツを利用してLLMをファインチューニングしたいと思ったことはないですか？自社・自組織の業務用語や業務ナレッジが満載のドキュメントを使ってLLMをファインチューニングすれば、更に生成AIの業務活用が進むのに…と妄想したことはありませんか？

そんな妄想を叶えるべく、今回から数回に分けて、「Box内のコンテンツのテキスト情報をスクリプトで取得する」方法をご説明していきたいと思います。スクリプト言語はPythonでご説明しますが、BoxはPython以外の環境のSDKもあります。また、Box CLIというコマンドラインインターフェースが準備されていますので、PowerShellやシェルスクリプトで作成することも可能です。

まず第一回の今回は、「スクリプトからBoxにアクセスするための下準備」です。

前提
- Box有償アカウントが使えること

Boxの開発者アカウントを準備し、「BoxDEV」Box developerドキュメントサイトにアクセスする
「Box開発者コンソール」画面で、JWT認証の「Boxカスタムアプリ」を作成・構成する
作成した「Boxカスタムアプリ」をテナント管理者が承認する
ダウンロードしたJSONファイルの保存を確認する

それではさっそく始めましょう！

1. Boxの開発者アカウントを準備し、「BoxDEV」Box developerドキュメントサイトにアクセスする

自分のBoxアカウントでBoxにログインしている状態で、下記「BoxDEV」サイトにアクセスしてください。

画面右上の「マイアプリ」をクリックしてください。

「開発者コンソール」が表示されます。

2.「Box開発者コンソール」画面で、JWT認証の「Boxカスタムアプリ」を作成・構成する

「Box開発者コンソール」画面の「アプリの新規作成」をクリックします。

「アプリの新規作成」画面で「カスタムアプリ」をクリックします。

「カスタムアプリの作成」で、「アプリ名」と「目的」を入力して「次へ」をクリックします。アプリ名は任意の文字列でOKです。目的は何を選んでもカスタムアプリの挙動に関係ありません。

３つのアプリの違いについては下記Box Developerドキュメントをご参照ください。

続く画面で「サーバー認証(JWT使用)」を選択して「アプリの作成」をクリックします。

カスタムアプリが作成されます。　

作成したカスタムアプリの画面の「構成」タブ→「アプリアクセスレベル」を「アプリ＋Enterpriseアクセス」に設定します。
「Enterpriseアクセス」があることで、この「カスタムアプリ」を使って作成されたのではないコンテンツにもアクセスできるようになります。

「アプリアクセスレベル」のすぐ次のセクション「アプリケーションスコープ」で、「コンテンツ操作」の「Boxに格納されているすべてのファイルとフォルダの読み取り」が有効かつグレーアウトしていることを確認します。

更にスクロールダウンすると「公開キーの追加と管理」セクションがあります。サーバー認証カスタムアプリはBoxへの認証に、秘密キーが記載されたJSONファイルを用いますが、そのJSONファイルをここで作成します。「公開/秘密キーペアを生成」をクリックし、ポップアップの「OK」をクリックするとJSONファイルがダウンロードされます。