Loraで追加学習させたモデルで画像を生成させてみた〜目指せ可愛いお姉さん〜

初めまして、みずぺーといいます。
このnoteを機に初めて私を知った方のために、箇条書きで自己紹介を記述します。

• 年齢：28歳

• 出身：長崎

• 大学：中堅国立大学

• 専門：河川、河川計画、河道計画、河川環境

• 転職回数：1回（建設（2年9か月）→IT系年収100万up（現職3か月））

• IT系の資格：R5.4基本情報技術者試験合格💮

本日はstable diffusionの技術をGoogle clobを用いて利用し、かつloraによる追加学習を施して画像を生成してみようと思います！

今回はGoogle Colobは一通り扱える前提として記載してきます。

生成AIの歴史と今後

生成AIの歴史を箇条書きで

• 10年ほど前、画像とラベル付けされた文章の教師データが膨大に集まる

• ラベル付けを訓練したアルゴリズムが文章から画像を特定（ジェネレーティブモデル）が作成できることが発見

• ジェネレーティブモデルは数十年前からあったが、革新的だったのは14年に発明されたGANによる敵対的生成ネットワーク

• OpenAIが文章による指示によって画像を生成することができるモデルの一つである「DALL・E」を2021年1月に公表

• OpenAIによる膨大な教師データにより精度が飛躍的に向上

• 22年6月OpenAIは物理学で有名な拡散モデルを使用した「DALL・E2」を公表

• OpenAIのサービス(2022年9月)に触発されて、Midjourneyやstubble diffusionも同様に画像生成AIサービスを開始

• googleがstuble diffusionの1/3の時間で画像を生成できるサービスである「Muse」を公表。この技術では文章の編集で画像を編集することが可能

• 今後は文章から動画を生成するAIツールも開発されると予想

と言いながら3月にはText2Video-Zeroが公開されています。

ちなみにText2Videoで動画を生成したら、人？がテニスしてる動画が生成されました。。。

まだまだ文章から動画を生成する技術は発展途上ですね。

Text2Videoでテニスする人を作成したら人？が生成された

stuble diffusionのその先に技術はいってるようです。

Sttuble diffusionをインストール

stuble diffusionとは

前の生成AIの歴史で紹介したように、文章による指示によって画像を生成してくれる画像生成AIの一種です。

実際に使用する方法は

github上でアップロードされているstuble diffusionを用いて立ち上げます。

こちらのURLの中で

下にスクロールしていく

どんどん下にいくとstable diffsionv2.1_webui_colabとあるので、今回はそのモデルを使用してcolobratory上でstable_diffusionを起動してみよう。