以下の記事をもとに、「RedPajama-INCITE」のInstructモデルの活用事例をまとめました。
1. RedPajama-INCITE のInstructモデル
「RedPajama-INCITE-3B / 7B」では、「Base」「Instruct」「Chat」の3種類のモデルがリリースされました。
「Base」は、Instructチューニング前のベースモデル、「Instruct」はFew-Shotアプリケーション用にInstructチューニングしたモデル、「Chat」はチャットアプリケーション用にInstructチューニングしたモデルになります。
「HELM」の評価で、「RedPajama-INCITE-Instruct-3B-v1」は「Llama-7B」(Instructチューニングなし) に僅差で下回り、「RedPajama-INCITE-Instruct-7B-v0.1」は「Llama-7B」を上回っています。
2. RedPajama-INCITE のInstructモデルの活用事例
実世界でのLLMの活用事例の多くは、「Few-Shotプロンプト」が使われています。リーガルAIのスタートアップ「Standd」は、弁護士が非構造化データから、法律業務や事業展開に関するインサイトの生成を支援します。彼らは、「RedPajama 7B」を使って、さまざまなタスクに「Few-Shotプロンプト」を使用しています。
以下はその一例になります。
2-1. 重要な文章のハイライト
通常文字がプロンプト、太字がLLMが生成したレスポンスになります。
【翻訳】
2-2. 地理の質問応答
【翻訳】
2-3. 感情分析
【翻訳】