Sakusakumura

Sakusakumura

第2回アイネスフウジン記念の振り返り

アイネスフウジンのファンコミュニティ『お姉ちゃんにお任せあれ！』において、アイネスフウジンのみが出走可能なレース企画を主催しました。 この記事では、そのイベントについてまとめます。 第1回は記事にしていないので、第１回の振り返りも含めて書きます。 『お姉ちゃんにお任せあれ！』アイネスフウジン好きが集まる場が欲しかったので、Discordサーバー『お姉ちゃんにお任せあれ！』を設立しました。 アイネスフウジンが好きなら誰でも参加できます。 是非お気軽にご参加ください！ 前

Sakusakumura

    • AIアイネスのモデレーションアルゴリズムについて

      概要『ウマ娘』に登場するキャラクター、アイネスフウジンを模した対話型AI『AIアイネスフウジン』によって生成された会話データは、ウマ娘の二次創作に該当します。 そのため、AIアイネスフウジンやそれに関するサービスをご利用になる際は、ウマ娘の二次創作ガイドラインを遵守していただく必要があります。 しかしながら、すべてのユーザがガイドラインをきちんと守るとは限りません。 それらの本来の意図に反した利用からキャラクターを保護するため、本記事ではAIアイネスで使用している会話のモデ

      Sakusakumura

      • AIアイネス開発記録 #5

        私が開発しているAIキャラクターである、AIアイネスフウジン（AIアイネス）の進捗です。 日々の開発の様子はTwitterにて「#AIアイネス」のハッシュタグで発信してます！ 前回のあらすじ前回の内容・これまでの活動内容については、 『AIアイネス開発記録 #4』を参照してください。 進捗一覧前回記事を書いたのが9月30日なので、10月から1月までの4か月間の活動記録となります。 LLM アイネスフウジンっぽい口調に変換するモデルの作成 学習データ ・Instru

        Sakusakumura

        • キャリブレーションデータにもっと気を配ろうの話

          量子化とキャリブレーションモデルを試したいとき、GPTQやAWQで量子化されたモデルを使う人が多いです。 量子化されたモデルは、モデルの推論に必要なリソースを削減できるほか、（量子化ライブラリによりますが）量子化されていないモデルに比べ推論速度を向上させることができます。 この量子化で重要な役割を担っているのが、キャリブレーションデータセットです。 GPTQやAWQのような量子化手法は、モデルの重みをより小さいビット数に変換します。つまり、変換された重みは初期の重みとは異な

          Sakusakumura

        第2回アイネスフウジン記念の振り返り

        Sakusakumura

          Webページを保存するときのデータ形式で１敗した話

          現在開発中のAIアイネスでは、ゲーム『ウマ娘』の攻略知識に対応するため、ウマ娘関連の攻略記事のスクレイピング、並びに攻略動画の文字起こしを行っています。 今回は、「Webページの本文を取得・保存する際のデータ構造を適当に設計したら、途中でデータ構造を変更せざるを得なくなった話」をします。 データ構造 新旧比較まず、更新前と更新後のデータ構造を見比べてみましょう。 旧バージョン 適当に決めたのでWebページが複数のセクションを持ち、セクションは「見出し」と任意の数の「本文

          Sakusakumura

          Webページを保存するときのデータ形式で１敗した話

          Sakusakumura

          CALM2-7BをAWQで4bit量子化＆高速推論

          CALM2-7Bをベースに開発中のAIアイネスを4bit量子化して高速化してみました。 1. AWQActivation-aware Weight Quantization for LLM Compression and Acceleration という量子化手法で、活性化の大きさに基づいてパラメータの刈り込みと量子化を行います。 ニューラルネットワークの重みのうち、重要な部分を量子化から除外することで、量子化による性能劣化を大幅に削減できるとされています。 なお、ぱぷり

          Sakusakumura

          CALM2-7BをAWQで4bit量子化＆高速推論

          Sakusakumura

          論文紹介: LLaVA-1.5 (Improved Baselines with Visual Instruction Tuning)

          昨日、LLaVA-1.5が発表されましたね。 LLaVA-1.5は、今まで公開されているV&Lモデルの中で、初めて以下のスクリーンショットからそれぞれのキャラの順位を正しく答えることができました。 また、このイベントは5回戦で1セットなのですが、5回中何回勝利したか、またレース中のスクリーンショットから、自分のキャラが今何番手かを回答することもできました。 驚くべき性能を発揮するLLaVA-1.5が、どのような工夫をしたのかが気になったので、今回はLLaVA-1.5の論

          Sakusakumura

          論文紹介: LLaVA-1.5 (Improved Baselines with Visual Instruction Tuning)

          Sakusakumura

          AIアイネス開発記録 #4

          私が開発しているAIキャラクターである、AIアイネスフウジン（略AIネス, AIアイネス）の進捗です。 日々の開発の様子はTwitterにて「#AIアイネス」のハッシュタグで発信してます！ 前回のあらすじ前回の内容・これまでの活動内容については、 『AIアイネス開発記録 #3』を参照してください。 進捗1. AIアイネスフウジン（LLM）のトレーニング アイネスフウジンの会話コーパスが完成したので、モデルをファインチューニングして新しいバージョンを作成しました。 前

          Sakusakumura

          AIアイネス開発記録 #4

          Sakusakumura

          AIアイネス開発記録 #3

          私が開発しているAIである、AIアイネスフウジン（略AIネス, AIアイネス）の進捗です。 日々の開発の様子はTwitterにて「#AIアイネス」のハッシュタグで発信してます！ 前回のあらすじ前回の内容・これまでの活動内容については、 『AIアイネス開発記録 #2』を参照してください。 進捗1. アイネスの会話コーパス ゲームウマ娘の、アイネスフウジンが登場するすべてのイベントをマルチターン会話データとして収録したデータセットがついに完成しました！ 会話データセット

          Sakusakumura

          AIアイネス開発記録 #3

          Sakusakumura

          AIアイネス開発記録 #2

          私が開発しているAIである、AIアイネスフウジン（略AIネス, AIアイネス）の進捗です。 日々の開発の様子はTwitterにて「#AIアイネス」のハッシュタグで発信してます！ 前回のあらすじ前回の内容・これまでの活動内容については、 『AIアイネス開発記録 #1』を参照してください。 進捗今月はAIキャラクターオフ会に展示するためのモデルの学習と冬コミ応募でお金を使い切ってしまったのでモデルのトレーニングや新しいモデル/技術のお試しを一切することができませんでした・・

          Sakusakumura

          AIアイネス開発記録 #2

          Sakusakumura

          AIアイネス開発記録 #1

          私が開発しているAIである、AIアイネスフウジン（略AIネス, AIアイネス）の進捗を整理していきます。 日々の開発の様子はTwitterにて「#AIアイネス」のハッシュタグで発信してます！ AIアイネスって？AIアイネスは、『ウマ娘　プリティーダービー』に登場するキャラクターである「アイネスフウジン」を模倣した応答を出力するAIです。 ここでの模倣とは、口調のような表面的な特徴だけでなく、彼女の性格や周囲の人間関係、彼女の置かれた状況から導き出される内面的な特徴（簡単に

          Sakusakumura

          AIアイネス開発記録 #1

          Sakusakumura

          LLM Lounge by Masuidrive #3 in Shibuya 参加レポ

          7/20に開催された、Masuidriveさんが主催するLLM Lounge by Masuidrive #3に参加してきました。 今回話した内容をまとめていきます。 AITuberの展望エンタメという視点からAITuberを見ると、現在のライブ配信では限界があり、ショートやゲーム実況など、もっと幅広く展開しなければいけないという話がありました。 また、これらを実現するにはLLMでは工数がかかりすぎる（もっと早く実現したい）という問題があり、行く行くはキャラクターIPを展

          Sakusakumura

          LLM Lounge by Masuidrive #3 in Shibuya 参加レポ

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #14 Transformer

          今回は、CVMLエキスパートガイドより『Transformer: アテンションが主要部品の系列変換モデル [深層学習]』を勉強していきます。 1. TransformerとはTransformerとは、アテンションを主要部品として用いた、深層学習むけの系列変換モデルです。 当初、Transformerは従来の系列変換モデルの定番だった「seq2seq with attention」の改善策として、機械翻訳むけに提案されました。 マルチヘッドアテンションを採用したことによる

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #14 Transformer

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #13 レイヤー正規化

          今回は、CVMLエキスパートガイドより、『レイヤー正規化 』を勉強します。 1. 概要レイヤー正規化とは レイヤー正規化（Layer Normalization）とは、可変長の系列データが入力の系列モデルや系列変換モデルでも扱いやすいように、元となるバッチ正規化をバッチ内で、レイヤー方向の正規化を行うようにアレンジしたものです。 当初のレイヤー正規化は、バッチ正規化層が使いづらいRNN向けに提案されました。 図１を見るとわかる通り、レイヤー正規化はバッチ正規化と違い、

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #13 レイヤー正規化

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #12 バッチ正規化（２）

          今回は、前回記事の続きです。 前回はCVMLエキスパートガイドより、『バッチ正規化(Batch Normalization) とその発展型』の、実際の計算手順まで勉強しました。 本記事では、前回記事で学んだアルゴリズムの中身を理解するための、バッチ正規化の各性質や長所と短所、そしてバッチ正規化の発展形について学んでいきます。 1. バッチ正規化の性質中間層における特徴分布のコントロールによる最適化の容易化 バッチ正規化で最も大きな働きを担っているのは、SGD(Stoch

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #12 バッチ正規化（２）

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #11 バッチ正規化（１）

          今回はレイヤー正規化・・・と思ったんですが、レイヤー正規化がバッチ正規化から派生したことを考えると、バッチ正規化を先に知っておいた方が良いのかなと思ったので、今回はCVMLエキスパートガイドより、『バッチ正規化(Batch Normalization) とその発展型』を勉強していきます。 ちょっと自分にはカロリー高かったので、前半部分と後半部分に分けて読み進めていきます。 具体的には、バッチ正規化の計算手順までです。 1. バッチ正規化とはバッチ正規化（Batch Nor

          Sakusakumura

          LLMファインチューニングのためのNLPと深層学習入門 #11 バッチ正規化（１）

          Sakusakumura