VTuber好き女子がAITuberを作ったりした話
ラボインターンの田中Mです。インターンレポートとのことで、約5ヶ月のインターン活動を振り返りたいと思います。
自分の好きなことや興味のあることに対して飛び込んでみたらどうなるんだろう？という一例として、長期インターン探しの参考になれば幸いです。
あらすじ紹介（趣味含む）
理系の大学院でコンピュータビジョン分野の研究室に所属する傍ら、2023年の3月から8月までラボでインターンとして活動していました。
インターンに参加した経緯の前に、自己紹介として趣味や好きなことでも書いてみようと思います。
私の趣味は創作活動です。もともと絵を描くことが好きで、高校生までは油絵をやっていました。大学1年生からは3DCGモデリングを始めたり、趣味で動画編集を学んで作ってみたりもしていました。またデザインや文字(フォントが好き)の本を眺めたり、イラストレーターさんの個展や美術館にも行っていました。
コロナ禍の影響でオンライン授業が増えた際には、空きコマで絵を描いたりピアノを弾いたりして、自由な時間を楽しんでいました。
大学に入って自分のパソコンを手にしたことをきっかけに、画面の中の3Dの世界で視覚的に美しいものや魅力的なものを表現する技術に興味を持つようになりました。
所属していたプログラミングサークル（専門はXRではありませんでした）で、少ないながらもチームでARアプリケーションやVRゲームの開発に取り組む機会もありました。また、とあるVtuberが好きで配信を沢山見ていました。しかし、メタバースやXR、VTuberといった分野に興味持ちながらも、その分野での知り合いがほとんどいない状況が続いていました。
GREE VR Studio Laboratoryとの出会い
そんな中、ラボのインターンを見つけたきっかけはCGWorldさんのこちらの記事でした。
数年前に「Blenderの講義資料が公開されているらしい」ということを知り、著者の床井先生をTwitterでフォローしていたところ、床井先生の研究室の学生の方がラボのインターンの卒業生で、床井先生のSNSからインタビュー記事が流れてきたという偶然の出会いでした。
※私は床井先生の学生ではなく、お会いしたこともありません
記事を見つけたその日のうちに勢いで(連絡していいのか一瞬迷いましたが)DMを送り、気が付いたら六本木のオフィスにいました。そしてその数週間後にはラボのインターンとしての活動が始まっていました。
関わったプロジェクト
VRSionUp!12配信(3月)
ラボでインターンを開始してからは研修や社内ツールの登録を進めながら、OBSの使い方を学びました。OBSを触るのは実はこれが初めてでした。
そして初出勤から4日目でVRSionUp!12の放送を行いました(?!)
GREE VR Studio Laboratoryがお送りする VRイノベーション発見イベント[Recap] #VRSionUp !12 「Laval Virtual 2023直前特集」
序盤で躓いたり音声トラブルを起こしたりと大変でしたが、胃を痛めながらも無事放送を終えることができました。Youtube上でのイベントは視聴者としてよく見ていましたが、実際に自分が裏方をやってみると、ボタン一つで放送事故が起こりうるという緊張感もありつつ、番組を完成させる楽しみや達成感も得ることができたかなと思います。
この日にラボの他のインターン生との顔合わせも行いました。また、REALITY社内での交流会であるMeetup!にも参加しました。大学時代には出会えなかったような方々が沢山いて、とても刺激を受けました。
VTCもくもく会(3~4月)
「VTech Challenge 2023」では出場者としての企画も進めつつ、初心者向け学生応援企画「メタバース開発もくもく会」の準備と裏方サポートを行いました。準備では他のラボメンの方々と資料を作ったり、Connpassの編集権限をいただいて募集ページの作成も一緒に行っていました。準備段階では当日の進行状況が読めなかったのでタイムスケジュールを考えるのが難しかったですが、勉強会の本番では参加者の方々がサポートを受けながら時間内に作品を完成させる姿を見て、大勢で勉強会を行うことの良さを感じました。
ここまでの活動は全て、インターンを開始してから１か月の間の出来事でした。また、ここに書いた以外にも、Adobeソフト各種、Illustrator, Photoshop, Premiere Pro の研修も白井Dから直接行っていただきました。ラボの活動や雰囲気に慣れつつ、色々なことに関わらせていただいた１か月でした。
AITuber開発(4月~8月)
4月末ごろからは、AITuberの開発プロジェクトに参加しました。
AITuberとは、まだ明確な定義はありませんが、AI技術を用いて作られたキャラクターにバーチャルYouTuber（VTuber）としての活動を行わせる技術です（内部のコードネームやミッションは違いますがその辺は詳細を書けないのでお察しください）。
このプロジェクトに登場するAITuberのキャラクターは、以前ラボのプロジェクトで登場したことのある「REALITY」のアバターから生まれた「MetaDreamers」という軽音部のメンバーです。
参加してから最初に行ったことは、キャラクターの声の選定です。キャラクターの声はVOICEVOXという無料のテキスト読み上げソフトウェアを使用しており、ChatGPTで生成したセリフをテキストファイルにして渡すことで、音声を生成することができます。VOICEVOXでは沢山の種類の声が使用可能となっており、あらかじめ誰にどの種類の声をあてるか決めておく必要があります。
声を選ぶ際には、ディレクターの白井さんと話しながら決めていきました。はじめは解釈が合わないこともありましたが、キャラクターに喋らせながら決めていくことで、最終的には解釈にあった声を選ぶことができました。
次に行ったことは、UnityとVRMアバターを用いてキャラクターにリップシンクさせる部分の開発です。凹みさん(hecomi)がオープンソースで開発しているuLipSyncというプラグインを用いました。
他のラボメンの方々のサポートのおかげで、VOICEVOXで生成した音声に合わせたリップシンクができるようになりました。
これらの設定や技術を用いて、MetaChatNewsというショートフィルムシリーズの制作を行いました。MetaDreamersのキャラクターたちがPRTimesから取ってきたニュースについてゆるく語り合う番組です。
ニュースを元にChatGPTで生成したシナリオ(セリフ)をVOICEVOXで音声データにし、Unity上でリップシンクとカメラ制御等を行います。
また、細切れのセリフ音声から、音声全体の秒数・会話人数・シーケンス秒数・長いセリフはどこか、などの情報を出すツールも作成しました。
こちらは最初は手探りでしたが、最終的にはほぼ人力を少なく自動化できました。私と白井Dの二人だけで1日以内にショート動画を製作することができます。製作したショートフィルムは、AITuber試験放送でも放映されています。
神奈川県ともいきワークショップ（開発）
神奈川県の職員の方々と REALITY XR cloud株式会社 （XRC社）と一緒に「ともいきメタバース講習会」の準備を行いました。この講習会では障がい者の社会参加の機会を増やすことを目的としていて、アバター作成やデジタルイラストの作り方を学ぶという内容です。
公式ページ：ともいきメタバース講習会 - 神奈川県ホームページ
プレスリリース：令和5年度 神奈川県「ともいきメタバース推進事業」における公募に弊社企画が採択されました｜REALITY XR cloud 株式会社
ブログ紹介：「ともに生きる社会かながわ憲章」をメタバースワークショップでお手伝いする｜しらいはかせ(Hacker作家)
私はアバターカードのデザイン作成、機材確認、ペイントソフトを用いたワークの手順書作成を担当しました。
最初は緊張しましたが、業務に対して着実に取り組む社員と職員の方々と準備を行い、とても勉強になりました。障がいのある方を対象としたワークショップなので、ワークに求めるスキルや技能を高めすぎず、同時に満足できる作品と体験を持ち帰って頂くというバランスの調整に細心の注意を払いました。
神奈川県民だったので「ともいき憲章」自体は高校での活動などから視界に入ってたのですが、共生社会の実現には現実世界ではまだまだ課題も多いです。アバターという新しい姿でメタバース空間に参加することで変えられる部分もあると思います。もくもく会とも共通する話ですが、フォントやレイアウト、VTuber好き、AIによるアシスト技術など、自分の力で何かを作ることができた、という成功体験を積むことはその後に繋がると感じており、そうした気持ちで、チャレンジングな方々との挑戦ある活動の一歩のお手伝いをすることができたのは貴重な機会でした。
（ワークショップ当日の様子は別の機会に紹介されると思います！）
まとめ
今回の記事では、5ヶ月のインターン活動の振り返りをお伝えしました。
インターンに参加する前は「業務＝机に向かって作業する」だけだと思っていましたが、実際にはそれだけでなく様々な活動や業務をさせていただきました。
研究開発の分野では、技術の発展が社会にどのような影響を与えるかを考えたうえでより良い結果（精度）を出せるような取り組みをすると思いますが、机に向かっているだけでは実際に人間に与える体験や影響については想像するのが難しいと思います。
その点ラボのインターンではAITuberの視聴者との交流や神奈川県の講習会を通して、社会と非常に近い距離で素早いフィードバックループを回しながら手を動かすことができました。
また、社内の定例会議に参加させていただいたり、社内イベントにも参加させていただく中で、沢山の人が集まってサービスを作り出す現場のスピード感や姿勢を感じ取ることができました。
今後はラボの活動で学んだことや体験したことを活かして、「なりたい自分」になれるように自分の活動を続けていきたいと思います。
さいごに
いきなり飛び込んできたにも関わらず成長する機会を与えてくださった白井さん、技術面でも業務面でも支えてくださったラボのインターンの皆さん、ありがとうございました！