小さくても高性能、しかも無料でダウンロード可能と三拍子揃った生成AI Gemma2-2Bを試してみた！

本日はGoogle DeepMindから先日発表のあった小型の生成AIモデル"Gemma2-2B"(1)のご紹介と簡単なデモを実施したいと思います。Gemmaはオープンソースライブラリで、パラメータ数70Bと9Bの中型モデルは市場に既に出てますが、今回はさらに小型の2Bモデルがリリースされました。2Bとは思えないほどの性能とのことで、大変期待されています。早速見てみましょう。

１、素晴らしい基本性能
Gemmaモデルは小型なのに、以下の様に素晴らしい性能を誇ります。GPT3.5を超えているとは、１年前では想像もできなかったと思います。最近のオープンソース・モデルの躍進にはいつも驚かされます。

Googleのweb-siteでは次のように説明されています(1)。

この軽量モデルは、蒸留によって大型モデルから学習することで、サイズに見合わない結果を生み出します。実際、Gemma 2 2B は Chatbot Arena であらゆる GPT-3.5 モデルを上回っており、会話 AI としての優れた能力を実証しています。

ここにある「蒸留」という技術が小型モデルの性能向上の鍵を握っています。Gemmaに限らずLlama3を始め、いろんな小型モデルで採用されており、覚えておいて損はないと思います。パラメータ数2Bの小型モデルの性能がここまで凄くなるといろいろ試したくなってきます。早速デモに移りましょう。

２．ニュース記事の判別タスクで性能チェック
今回は公開されているLivedoor-newsの日本語記事(2)を５つのジャンルに判別するタスクをやってみようと思います。Gemma2-2Bモデルを実際にfine-tuningし、その判別精度を確認します。また、日本語記事なので、多言語対応能力も測ることができます。それでは始めましょう！
下記の記事が検証データの一例です。この記事がスポーツの記事であることをモデルが判別することになります。

検証データの例

具体的には各記事は以下のカテゴリーのいずれかに分類されます。その分類の精度を向上させることが今日のデモの目的です。

• kaden-channel',

• 'topic-news',

• 'sports-watch',

• 'it-life-hack',

• 'movie-enter',

今回は訓練データ100sampleと検証データ1000sampleを用意しました。fine-tuningを施しますが、Unslothという素晴らしい量子化ツールを使い、データはAlpaca方式を採用してます。詳しくはこちらを御覧ください（3)。

特に時間を掛けたチューニングを行ってませんが、実際の精度は以下のように、81.5%となりました。100サンプルの少数の訓練データであることを考慮すると、素晴らしいレベルだとおもいます。工夫次第でもっと精度は上がりそうで、ちょっと2Bのパラーメータとは思えないですね。日本語の対応力も充分です。Demoで使ったnotebookはこちらにあります。

３．応用範囲は無限に拡がりそう
これだけ小型モデルの性能が良ければ、今まで使えなかったスマホなど端末に実装できる道が拓けますね。また、コストや計算速度の問題で実務に使えなかったケースにも適用可能になります。リアルタイムの応答が必要な顧客対応向けアプリケーションに最適ではないでしょうか。また、コストがかかるので、GPT4等のフロンティア・モデルが使えなかった発展途上国向けサービスなどでも使えます。本当に今後の展開が楽しみです。

いかがでしたでしょうか。Gemma2-2BモデルはGoogle Colabの無料で使えるT4で動くので、私たちスタートアップにとって大変心強い味方です。素晴らしいですね。小さくても高性能なGemma2-2Bモデルは今後どんどん活躍しそうです。ToshiStatsでもチューニング手法を開発して、オープンソースライブラリの利点を最大限に活用していこうと思ってます。また、あらためてこのブログでお話できるかと思います。それでは今日はこのへんで。Stay tuned!

(1) Smaller, Safer, More Transparent: Advancing Responsible AI with Gemma
(2) Livedoor-newsの日本語記事
(3) Alpaca +  Gemma2-2B full example.ipynb

Notice: ToshiStats Co., Ltd. and I do not accept any responsibility or liability for loss or damage occasioned to any person or property through using materials, instructions, methods, algorithms or ideas contained herein, or acting or refraining from acting as a result of such use. ToshiStats Co., Ltd. and I expressly disclaim all implied warranties, including merchantability or fitness for any particular purpose. There will be no duty on ToshiStats Co., Ltd. and me to correct any errors or defects in the codes and the software.