山梨大ADP　マルチメディア系生成AI入門-大規模言語モデルLLMの実践-生産性向上に向けて知っておきたい活用術　2024年11月30日

お昼ごはんは南流山のマクドナルドで、
すませる(900円)

つくばエクスプレスの車内で、
変な男に絡まれる、
マジくそ

国際ビル到着は13:10

今日はいつもの安藤先生や郷先生と違い、
AIの専門家の方を招聘してました。

■第一部　マルチメディア系生成AI入門

・データブリックス・ジャパン
　大内山浩さん

　学術的な難しい話はしない方向で。
　ハンズオン多し

・databricks
　設立10年
　業界リーダーとして高い評価を得ている
　規模の大きい会社
　DBRX
　シャッターストックとコラボ
　
■マルチメディア系生成AI入門
　・しまむらのAIモデル
　・松江市 ゆるキャラ制作のAI活用を断念

■本日お話しすること

1.生成AIとは
2012年にディープラーニングがブーム
　2024年第４次AIブーム

・生成AIと経済
　クリエーターエコノミー
　経済規模：世界15兆円、日本1.4兆円

2.画像生成AIの歴史と動作仕組み

1973には画像生成の基礎があった。
2014～2018 GAN時代
2021～2024 Diffusiion時代
　
Midjourney
Strable Diffusion(OSS)

DALL-E3

Imagen 3
Flux.1
Recraft V3

・画像生成AIの仕組み
　プロンプトを入力

・画像生成AIの仕組み〜Diffusiionとは
　ノイズ除去処理

・画像生成AIモデルの"学習"に必要なもの
　大量の画像と説明文のペア
　大量の計算資源

・好みの画風に調整する技術「ファインチューニング」

3.MM系 生成AIの代表的なサービス
　クラウドか？ローカルか？

・画像生成AI～定番3選～
　Midjournty
　Stable Diffusion
　ChatGPT
　
・画像生成AI~2024年注目株３選〜
　ImageFX
　Recraft
　Grok

・動画生成AI
Runway
Sora
HeyGen(アバター生成)

　他にも、Pika、Kling ai、Heygen、capcut、Luma Dream Machine、Google Veo(VideoFX)、
Amazon Video Generatorなど、他にもたくさんあります

・音声・音楽生成AI
　音読さん（テキスト読み上げ）
　CoeFont（ボイスクローン）
　Suno(楽曲生成)

　ハンズオン①

4.MM系 生成AIの活用事例

　活用事例①：資料作成
　スライドを作ってくれるAI(Gamma AI)(Napkin AI)

　活用事例②：アニメや広告作成

　活用事例③：アート作成

　活用事例④：CM制作
　　伊藤園
　　https://www.youtube.com/watch?v=XhJQhXI4tXc

　　マクドナルド（酷評）
　　https://www.youtube.com/watch?v=8C4jYulL8N0

　　トイザらス（微妙）
　　https://www.youtube.com/watch?v=ah4kzfuc3wo

　活用事例⑤：動画コンテンツの音声ナレーション

　映画の吹き替えなども作れるようになってきている
　https://www.youtube.com/watch?v=HsZu8M60cF4

　活用事例⑥Deep Fakeの活用例
　　亡き妻の歌声もう一度
　　https://www.youtube.com/watch?v=qyj0grI7sWc

　ハンズオン②
　Gamma AIを使ってプレゼン資料を作成する

5.生成AIと著作権
　超おすすめ動画（文化庁）
　https://www.youtube.com/watch?v=eYkwTKfxyGY
　https://www.youtube.com/watch?v=bD0Kp5PiP8o

■生成AIと著作権に関する論点

《AI生成物の著作権侵害》
AIを利用して生成した場合でも、その利用が著作権侵害となるかは、 人がAIを利用せず絵を描いた等の場合と同様に判断されます。 侵害となる場合は、損害賠償請求や差止請求、刑事罰の対象となります。 既存の著作物と類似性がある生成物を利用する際は、著作権者の許諾を得て 利用するか、全く異なる著作物となるよう、大幅に手を加えた上で利用することが考えられます。

《AI生成物が著作物となるか》
 AIが自律的に生成したものは、著作物に該当しないと考えられますが、「創作意図」と「創作的寄与」があり、人が表現の道具としてAIを使用したと 認められる場合は、著作物に該当すると考えられます。

著作権侵害の要件
①類似性(他人著作物と同一・類似)
②依拠性（他人の著作物に依拠）

著作権フリーな画像のみで学習されたモデル
　・Adobe Firefly
　・シャッターストック ImageAI
　・commonArt β

6.より良い画像生成のためのプロンプト術

①自身で習得
②他者に模倣
③生成AI

参考：大内山式SDプロンプト生成術

1. 好みの画像生成AIを選択（MidjourneyとかStable Diffusionとか）

2. その画像生成AIに特化したプロンプトエンジニアリングガイドをChatGPTに理解させる

3. 自分が描きたい絵や画像に関連したプロンプトのサンプルを集めてChatGPTに学習させる

4. ChatGPTに独自のキーワードからオリジナルのプロンプト（通常＋ネガティブ）を生成してもらう

5. 生成されたプロンプトで画像生成を試し、必要に応じて適宜プロンプトを微調整する

ハンズオン③
Dream Studio(Stable Diffusion)で画像生成してみる

7.MM系 生成AIの今後の展望

隈研吾
AIにイメージの生成をさせても、最終的なデザインを「選択」し、そこから使いやすい空間に磨き上げるのは人間の仕事です。

■第二部　大規模言語モデル(LLM)の実践

Large Language Model

言語モデルとは
言語モデルとは、コンピュータが人間の言葉を理解し、適切に処理・生成するための仕組み

どのくらい大規模か？
GPT-4 (1兆以上)

大きくなればなるほど知識が溜まっていく。

生成AIブーム
サム・アルトマン

ChatGPTにまつわる3つの数字
　
10兆トークン
GPT-4のに⽤いたデータ量（日本語の小説30億冊分）

2ヶ⽉間
ユーザー数1億人に到達するまでにかかった時間（歴代2位）

25,000枚のGPU
ChatGPT（GPT-4）の学習に⽤いたNVIDIA GPU A100の。ちなみに推論は128枚。

選択肢の増加
　
ChatGPT
Claude3
Gemini

なお、ChatGPTはサービス名であって、モデル名ではありません。

★ハルシネーション（嘘をつく）

ハルシネーション、どう防ぐ？
回答品質を、どう上げる？

■より良い回答を引き出すためには

　ポイント①
　　LLMの基本的な仕組みを理解する

　　LLMは正しく回答するために動いているわけではない

　参考：横須賀市7 ChatGPT活用実証結果報告より
　https://www.city.yokosuka.kanagawa.jp/0835/nagekomi/20230605_chatgpt2.html

　ポイント②
　　LLMへの適切な指示を理解する（プロンプトエンジニアリング）

　皆さんはこんなプロンプトを書いていませんか？

　→Zero-Shotプロンプティング

　ポイント③
　　LLMが向いているタスクを理解する
　　
　より求めている回答を引き出すために。
　→コンテキストを追加する！

■OpenAI プロンプトエンジニアリングガイド

　1.明確な指示を書く
　　　-1-1.明確で詳細な質問を書く
　　　-1-2.モデルに役割を与える
　　　-1.3.区切り文字を使って入力テキストを構造化する
　　　-1.4 タスク完了までの必要なステップを指定する
　　　-1.5 例を提供する
　　　-1.6 出力の長さや形式を指定する

　2.参考文献を提供する
　3.複雑なタスクを単純なサブタスクに分割する
　4.モデルに「考える」時間を与える
　5.外部ツールを使用する
　6.変更を体系的にテストする

→山崎志津式プロンプトのテンプレート
【質問文】
【役割】
【目的】
【背景】
【ターゲット】
【条件】
【キーワード】
【追加情報】
【ポイント】
【特徴】
【文体】
【出力フォーマット・出力形式】

■Few-Shotプロンプティング

■Chain of Thought

■LLMが自主的にCoTを実施してくれることで回答品質向上

■Emotionプロンプト

■私は普段LLMをこのように使ってます。

テキスト要約/情報抽出/ 質問応答/ 言語翻訳

■マルチモーダル（画像認識）

■よく実施するタスクは「GPTs」を使用してツール化

★これまでの常識が変わりつつありますが大丈夫になってきた。
Zero Shotでも良くなってきている

■【ハンズオン】
LLMを使ってクリエイティブコーディングをやってみよう

手順
1.ChatGPTまたはClaudeを開く
2.プロンプトとして以下のような文章を入力
“流体のクリエイティブコーディングをP5.jsを用いて記述して
ください。“
3.「https://openprocessing.org/sketch/create」へアクセス
4.出力されたプログラムソースコードでキャンパスを上書きする
5.画面上部の ▶ を押す
6.エラーが発生する場合は、エラー内容をLLMに入力して、エラーの修正を促す。

■広がり続けるLLMエコシステム
カオスマップ

■ハンズオン
Mapify（マインドマップ自動作成）
https://mapify.so/ja

■Felo.ai（日本語AI）

■今後の展開と心構え

“オリジナリティと人間らしさを大切にする”
AIが生成するコンテンツが増える中で、人間らしさやリアルな体験に基づく情報が求められます。自分の経験や独自の視点を持ち、他者とは異なる具体的かつ実用的な価値を提供することが、情報の信頼性を高める鍵に！