Vicuna-13B: ChatGPT(GPT-4)の90％の品質を謳うオープンソースチャットボット

概要

Vicuna-13Bは、UCバークレー、CMU、スタンフォード、UCサンディエゴのメンバーからなるチームによって開発されたオープンソースチャットボットです。

ShareGPT.comで収集されたユーザーが共有した会話を用いてLLaMAをファインチューニングして訓練されており、GPT-4を使っておこなった評価では、Vicuna-13BはOpenAI ChatGPTとGoogle Bardの品質の90％以上を達成し、LLaMAやStanford Alpacaなどの他のモデルを上回る性能を示しているとのことです。

引用元：https://vicuna.lmsys.org/

引用元：https://vicuna.lmsys.org/

この評価ではBardよりもVicunaの方が良い性能という結果になっていますね。ChatGPTにも部分的に勝つ面がある…と。

これだけの性能を発揮していながら、Vicuna-13Bの訓練コストはたったの約$300とのことです。訓練および提供コード、オンラインデモは、非営利目的で一般に公開されています。

Vicunaの特徴

Vicunaは、以下のような特徴を持っています。

• オープンソースであるため、誰でも自由に使用することができます。

• BardやChatGPTに対しても90％程度の高い品質があります。

• 自然言語処理技術を使用して、人間のように自然な対話を行うことができます。

• トレーニングにかかるコストが低い。

Vicunaの利用方法

Vicunaのデモは、以下の方法で利用することができます。(※ただし、私が2023年4月1日にアクセスした際には高負荷のためか、利用できませんでした。)

1. https://chat.lmsys.org/ にアクセスします。

2. 「Try Vicuna」ボタンをクリックします。

3. Vicunaとの対話を開始します。

すでに「大規模言語モデルベースのチャットボットのトレーニング、サービス、評価のためのオープンプラットフォーム」は下記のGitHubレポジトリで公開されています。

しかし、モデル自体の公開は方法を検討中。また、トレーニングに用いたデータセットの公開は予定していないという事です。

情報源

• Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality | by the Team with members from UC Berkeley, CMU,
  Stanford, and UC San Diego

胡田の視点