シニアがローカルPCでELYZAをドメイン適応させるまで①

どうも、駆け出しシニアのHot3DegC(ホットサンド)です。

noteの記事作成にも少し慣れてきたので、そろそろ本腰を入れてシニアエンジニアらしい記事を書いていこうかと思います。

はじめに

AIのオープンソースモデルが一般的になってきている気がするのですが、個人的にはもっと非エンジニアの方でもセキュリティーや個人情報に気兼ねなく、気軽で簡単に独自性のもったAI学習が実現出来て、プライベートでもビジネスでもAIが個人によりそってくれる世界観を夢見ています。

であれば、そんなツールを自分で作れば良いんじゃないかと思われるのですが、正直なところ私の技術力ではそんなツールは作れそうにありません。

只、いろいろなツールの本質を理解して、インテグレーションすることには人より多くの経験をしてきているはずなので、いつもどおり世の中の賢人の力を借りて、非エンジニアでも簡単に好きなAIモデル（日本語に強いモデル）をつかって、独自情報（ドメイン情報）を学習出来るような方法を探って行きたいと思います。

土台となる環境、モデル、ツール
非エンジニアでも実現出来るように出来るだけ、環境まわりは利用するものが複雑にならないようにしていこうと思っておりますので、現時点での土台となる情報を取り纏めておきます。

環境
　PC：一般的に販売されているゲーミングPCを利用
　GPU：GeForce RTX40シリーズ
　VRAM：8GB

モデル
　Model：ELYZA-japanese-Llama-2-7b

ツール
　NVIDIA Chat with RTX

なぜこの環境、モデル、ツールを利用するかというと、前提として日本人なので日本語に強いモデルが使いたいのと独自情報（ドメイン情報）を学習してもらうのに、小難しいデータセットの準備はしたくないので、PC内の指定フォルダから自動学習してほしいからです。

特にNVIDIAのChat with RTXは、前回の記事でも紹介させて頂いたように、テキストファイルやWordファイルを指定のフォルダに配置するだけで、内容を参照して質問に回答してくれるので、非エンジニアに対しては現時点で最高のツールなのではと考えています。

あと、ELYZAはMeta社のLlama2というAIモデルをベースに日本語に特化したモデルであり、Chat with RTXがサポートしているモデルの一つでもあるので、親和性が高いのではとの思いです。

基本情報のおさらい
今回登場する技術情報は、それほど多くないので簡単におさらいの意味を含めて、確認していきたいと思います。

オープンソースモデルとは
オープンソースモデルとは、ソースコードが公開されており、誰でも自由に利用、改変、頒布できるAIモデルのことです。

オープンソースモデルのAIモデルを利用するメリットのひとつに商用モデルと異なり、ライセンス料などの利用コストが発生しないことによる利用コストの削減が挙げられます。

事前学習以外の学習方法
追加学習、転移学習、継続学習、ファインチューニング、タスク特化学習、ドメイン適応と多岐に渡る学習方法が存在して、状況に応じて呼び方も様々な呼び方がありますので、今回は独自の情報≒ドメイン情報と捉えて私はドメイン適応と考えております。理解が間違っていたらすみません。

ELYZAとは
東京大学 松尾研究室発のAIカンパニー株式会社が開発した、Meta社のLlama2をベースに日本語に特化した大規模言語モデル（LLM）です。

日本語でのAI活用を重視する企業、個人に適したAIモデルの一つかと思います。

NVIDIA CHat with RTXとは
「Chat with RTX」はNVIDIA社が開発したRTX GPU搭載のPC上で動作するデベロッパー向けのAI対話ツールです。

このツールは、高度なテキスト生成モデルを活用して、リアルタイムでのチャットボットのような対話を可能にします。

現在はMistral 7BとLlama2 13Bのモデルが利用可能ですが、特にRAG（Retrieval-Augmented Generation）が簡単に実施出来ることが秀逸だと思います。

RAG（Retrieval-Augmented Generation）とは
大規模言語モデル（LLM）と情報検索システムを組み合わせたものです。

この技術は、質問応答や文章生成などのタスクにおいて、関連情報を外部から検索して、その情報を基にモデルが回答や文章を生成するのを助けることを目的としています。

モデルが事前に学習した知識だけでなく、外部情報を活用して質問応答や文章生成を実施してくれるため特定の情報に対する正確性が向上したりします。

実現の可能性いついてのご理解
まず、実際の実現性について最初にお話しておかなければならないと思っております。

実は、まだ手探りの模索中のためこの連載を最後まで読んでいただいても実現していないこともあるかもしれません。

只、Chat with RTXは開発者向けの体験デモとして発表されており、インストール先のフォルダには、試験的に他モデルの利用を検証したであろうフォルダやリソースが存在おり、中には他モデルを利用するためのサンプルコードも確認できているため、実現可能性は十分にあるとは考えております。

出来るだけ、実現に向けて頑張っていこうと思いますが、なんせシニアに残された時間には限りがありますので、気長に応援して頂けると幸いです。

第一回：Chat With RTXのリソース一覧と起動時ログの解析