【SLM】Gemma2-2B-JPN-ITを使ってみた話【軽量モデル】
はじめに
GoogleのLLM Gemma2の日本語版（2Bモデル）を使ってみました。
Gemma2の日本語チューニングモデルで、非常に軽量な2Bモデルです。4GB程度のGPUメモリ（VRAM）でも十分動作します。
※ GemmaはGoogle Geminiと同じ技術のオープンモデルとされているものです。
Google公式huggingfaceページはこちら
実際に筆者が試した（alfredplpl氏によって量子化GGUFされた）モデルはこちら、
一般にLLM（Large Language Model）は、8Bや70B（Bはbillion/十億）などのパラメータ規模によって、およその動作する機器が決まります。
〜3B
モバイルデバイスやエントリーGPUで動作
SLM（Small Language Model）と呼ばれる事もある
〜12B
家庭用ゲーミングPCで動作
〜80B
企業ローカルで運用するサーバーで動作
複数のGPUを搭載したつよつよゲーミングPCで動作させる人もそれなりにいる
実用性はないが、CPU動作なら64GBシステムメモリでも動作可能
80B〜
大規模データセンターで動作
ChatGPT-4は500B〜と考えられている
つまりGemma2 2Bは、Geforce GTX1650（4GB）でも十分実用的に動作するモデルです。
導入方法
筆者は、上記のalfredpIpl/gemma-2-2b-jpn-it-gguf（Q4_K_M）を利用していますが、Ollamaライブラリにも、有志の方がGGUFに変換したモデルがいくつか登録されています。少し大きめの量子化（Q8_0）ですが、4GBのGPUメモリでも動作するはずです。
Ollama本体は下記レポジトリからダウンロードできます。
Ollamaはコマンドラインでもチャット利用できます。lucas2024氏のモデルを利用する場合は、
ollama run lucas2024/gemma-2-2b-jpn-it:q8_0モデルが自動でダウンロードされ、チャットを開始できます。
動作テスト
単純なチャット
東京の観光名所を教えてください。
東京にはたくさんの観光名所がありますね！ どんなものが好きですか？😊
例えば、
歴史・文化:皇居: 日本の象徴、皇室の住まいです。
東京国立博物館: 日本美術や歴史を学ぶことができます。
浅草寺: 有名な寺で、雷門や仲見世通りなど、多くの観光スポットがあります。
明治神宮: 明治時代を記念して建てられた神社で、美しい庭園があります。
ショッピング・グルメ:** Ginza:** 高級ブランド店が集まる街です。
Shibuya: 最新のトレンドやファッションが楽しめます。
Harajuku: 個性的なファッションや文化が楽しめるエリアです。
Tsukiji Outer Market: 新鮮な魚介類や海鮮料理が食べられます。
自然・緑:上野公園: 動物園、美術館、公園などがあります。
皇居West Garden: 広大な庭園で、季節の植物や花々を鑑賞できます。
もう少し具体的に教えていただければ、あなたにぴったりの観光スポットを見つけられると思います！
英語と漢字が混ざってしまっていますが、十分実用的な情報になっていると思います。
ただし小さなモデルに「What」を要求すると、ハルシネーションが酷くなりがちなので、実用性を考えた場合は、RAGを利用したり、次のような要約用途が適切でしょう。
要約用途の性能確認
Wikipediaの日本の歴史の項の要約
日本の歴史は、日本列島の歴史と密接に関連するものの、明確な「日本」の成立時期は7世紀後期であるという説があります。古代から中世まで、様々な時代の特徴が現れます。
先史から古代: 日本列島への人類到達時期は不明ですが、後期旧石器時代から始まったと考えられています。ヤマト王権の時代には中国や朝鮮との交流、世襲の大王と氏姓制度を中心とした国家形成が見られます。
中世から近世: 武士が国家的に重要な地位を占め、地方政治は国司に一任されるようになります。1333年、建武の新政が起こり、その後、室町時代へと移り変わります。
近現代: 明治維新によって幕藩体制が終わり、天皇を中心とした新政府が開かれる。近代化政策を進め、日清戦争や日露戦争を経て、1945年に敗戦、国民主権を原則とする日本国憲法が制定されます。その後、高度経済成長期を経て、現代へと続きます。
翻訳&要約用途の性能確認
1765年から1800年までのアメリカ合衆国、すなわち「アメリカ独立戦争」と初期の共和政の時代です。
イギリスはフランスとインディアンの戦争の勝利後、地方統治を強化しました。これにより、イギリス政府への代表権と税金の権利に対する Colonial の不満が激化しました。Colonial は、1774年に第一の連邦議会を開催し、イギリスの製品に対する boycot を開始しました。イギリスによる、殖民地の武装解除の試みは、1775年のlexingtonとconcordの戦闘で革命戦争が始まりました。
2番目の連邦議会では、アメリカの独立を宣言する役割を果たすために、George Washingtonを軍の指揮官として任命し、Thomas Jeffersonが独立宣言を作成するよう命じました。 7月4日に独立宣言が採択されました。この革命は、自由、個人の権利、国民の主権といった政治的な価値観を主張しました。
アメリカ独立戦争後、1781年にアメリカ合衆国の権限が分散した体制となる「アメリカ合衆国諸条約」が制定されました。イギリスの降伏とパリ条約（1783）によって、アメリカ合衆国はミシシッピ川まで西へ、現在のカナダまで北へ、スペイン領フロリダまで南へと広大な領土を獲得しました。 1787年には、新たな州の導入のための枠組みを定めた「北西の条項」が制定されました。1789年にアメリカの憲法が制定され、連邦共和制を確立しました。
まずまずの性能だと思います。
まとめ
他の人気の高いSLMとしては、Metaのllama3.2（1B/3B）、マイクロソフトのPhi-3.5（3.8B）があります。一応は日本語対応とされていますが、やはり日本語チューニングされたモデルと比べると日本語性能で大きく劣ります。
画像生成の英語プロンプトなどの用途にはllama3.2は非常に有用ですが、日本語を扱う場合はGemma2 2B jpnが圧勝でしょう。
ローカルで高速に翻訳や要約を行う場合の用途やWebページのコパイロット用途には最適だと思います。
以下、関連記事の【PR】です。