AIはVCI制作の夢をみるのか？第1回

2024年7月10日 12:13

みなさんこんばんは！AI活用してますか！？

このシリーズはVirtualCast内で使用できるVCIを、ChatGPTをはじめとするAIサービスを活用しながら作成をしてみよう！という趣旨の企画です。
正直AIにはそこまで詳しくないため、どのくらいまでAIに任せられるかは現時点では全然わかっていません。

今回の試み

とりあえず今回は全てをAI主導での作成を試みようと思います。どんなことをするのか、どんなものを作るかも含め、ほぼAIに任せてみます。
ここからは実際に試して見た内容を説明していきますが、結論を先に言うと、今回はVirtualCastに取り込むところまでは行きませんでした

今回のチャレンジはこちらにアーカイブが残っています。
https://www.youtube.com/watch?v=5c4e84T3vBA

実際に試してみた内容

作成には基本的にChatGPT-4oを使用します。ここからは実際のChatGPTとのやり取りを記載していきます。
※長くなります

STEP1:作成するVCIを決める

VCI作成に当たりまずは何を作るかを決める必要があります。
今回はどんなものを作るかもある程度条件を与えた上でChatGPTに聞いてみました。

これだと簡単そうなため、少し追加でお願いをしました

見た感じは手順もちゃんと示されていて、もうスクリプトまで考えてくれているようでした。
機能としては十分そうだったので、一旦これで先に進むことにします。

まずは全体の手順と使用できそうなAIサービスに付いて聞いてみました。
全体の流れの部分は省略しますが、その後にAIサービスに付いても提案をしてくれました

STEP2：モデリング

次のステップとしてモデリングをして行こうと思います。
まずはデザイン案を決める必要があるためデザイン案を考えてもらいました
（実際には提案されたデザイン案が煩雑だったため3回くらいリテイクしてます）

デザイン案が完成したので次のモデリングに進んで行きたいと思います。
とりあえずGhatGPTで3Dモデルが作成できるか試してみます

だめでした…
ただ、ChatGPT以外のAIサービスでなら作成できかもしれません。
なのでそれもChatGPTに聞いてみました。

こちらなら行けそうなため、AIサービスを使って進めて行きたいと思います
※詳細は省略しますが、Smoothie-3Dを使用しようとしましたが、サービス登録に制約があったので、代わりにTripoというサービスを使用しました。基本的な使用方法はChatGPTが説明したSmoothie-3Dの使用手順と同じです

Tripoを使用して作成したモデルがこちらになります

正直この時点でだいぶ雲行きは怪しいですが進めていきます。

モデルを確認したところポリゴン数が多かったのでポリゴン数を削減しようと思います。（ここは私の知見による自己判断です）

ポリゴン削減の方法も一応把握はしていますが、一応これもChatGPTに聞いてみようと思います。

Blenderを日本語化していたため微妙に手順が違いましたが、聞き直したら正しい手順を教えてくれました。（はじめの手順は私の知らない手順で勉強になりました）
この手順に則り無事ポリゴン削減も成功しました。次の手順に進みたいと思います

3.Unity設定

次に何をしたらよいのか、一度ChatGPTに再確認してみようと思います

概ね正しそうに見えますが、少なくとも以下の部分が間違っていそうです
・VCIObjectやVCISubItemのアタッチがない
・コライダーを設定する手順がない
・スクリプトがluaじゃなくC#になっている
・謎のUIの設定の手順がある
総合するとVCIがどういうもので何をする必要があるかを正確には把握できていなそうです。

詳細は省略しますが、このあとも色々試そうとしましたが、ほぼ自分が知ってる手順をChatGPTに説明する形になってしまいました。
そもそもこのままでは文字がテクスチャに書かれてしまっていたり、モデルが少なすぎて機能が満たせなかったりと、ちゃんとしたものが作れそうになかったので今回の試みはここで終了することにしました。

振り返り

今回は途中で断念することとなりましたが、以下の通り色々わかったことがありました。

文字を含んでいるとそれがテクスチャに取り込まれてしまう
- 生成したデザイン案に文字が含まれていると、モデル作成のAIサービス使用時にその部分がそのままテクスチャとして適用されてしまいました。
複数のパーツが必要な場合も、1つのモデルに統合されてしまっている
- モデルをUnityにインポートした際、複数のパーツが一つのオブジェクトとして扱われ、個別の調整が困難でした。
Unity上でのVCI作成の手順をChatGPTが完全には理解していない
- ChatGPTの指示に従って進めたものの、VCIの特有の設定や手順（サブアイテムの追加やコライダーの追加など）に関しては不十分な部分がありました。
スクリプトが期待通りに作成されない
- ChatGPTに依頼したスクリプトがC#で作成されており、Unity上で動く前提のコードとなってました。これは具体的な指示を与えれば改善できる可能性があります。VScodeのCopilotの補完機能もまだ使っていないのでまだまだAI活用の余地はありそうです
自分の知らないやり方も教えてくれ、勉強になる
- 今回試してみて一番の収穫はこれでした。BlenderやUnityで既にできる内容の作業でも、違うやり方を教えてくれて良い収穫になりました。

あとは今回の反省点をして以下を感じました
・AIともっとキャッチボールをするかたちで進めたほうが良かったかも
・デザイン案作成前に機能をしっかり詰めて置くべきだった

次回の計画

今回の試みを踏まえ、次回は以下の方針で進めることにします：

「全体をAI使用」から「必要なところをAI使用」に変更
- 全部をAIに任せることは困難であることはわかったため、自分自身の知識やスキルも活用して進めることにします。
まずはAIで作成しやすいものを選ぶ
- 単純で構造が明確なものを選び、AIの力を効果的に活用します。
スクリプトを含まないものにする
- 初めはスクリプトのないシンプルなVCIを作成し、後から機能を追加する方針にします。
モデルも単体で完結するものにする
- 一つのオブジェクトで完結するモデルを作成し、複雑さを減らします。

まとめ

AIを活用してVCIを作成する試みは、期待通りにいかない部分も多々ありましたが、多くの学びがありました。次回は、今回の教訓を活かして、より実用的なアプローチで進めたいと思います。新しい挑戦に向けて、さらに頑張りますので、今後ともよろしくお願いします！

この記事が同じような挑戦を考えている方々の参考になれば幸いです。次回の挑戦も楽しみにしていてください！
こんな風にしたらもっとAI活用できそうという意見も待ってます！

٩( 'ω' )و

AIはVCI制作の夢をみるのか？ 第1回