【デジタルMATSUMOTOの考察（2024/8/26）】これってAIの正しい理解？01「生成AIから不適切な出力をさせないために不適切なモノを学習させない？」
この2年程で生成AIが日本でも流行して、多くの人がAIとどのように共存していくかを議論するようになりました。
多くの人が議論すること自体はとても良いと思う一方で、AIについての誤解も多く広がっていると感じています。
そこで、複数回で「これってAIへの正しい理解なのか？」というテーマについてデジタルMATSUMOTOと一緒に検討してみたいと思います。
今回は「生成AIから不適切な出力をさせない」ために「生成AIに不適切なデータを学習させてはならない」という主張を扱います。
ちなみに松本が「生成AIから不適切な出力をさせない」ことを目的とするならば、松本は「全人類にとって何が不適切かを判断することは出来ない」ため、おそらく以下の2通りの対策を検討します。
1. RLHF（ヒューマンフィードバック強化学習）で「倫理的に問題がある」というラベル設定を行う
2. 生成AIの出力～UIの間に「倫理的に問題があるかどうかのチェックに特化したLLM」でチェックを行い、問題があればエラーで出力を止める（デジタルMATSUMOTOのエシカルチェックもこの役割です）
AIに「不適切なデータを学習させること」が禁止されたら、どちらの対策も実装できなくなりますね。
本日のお題
・インターネットでは未成年のユーザーがポルノ画像等にアクセスしないようにコンテンツフィルタが設定されていますが、生成AIにはまだコンテンツフィルタが設定されていません。
・生成AIが不適切なテキストや画像を出力しないためには「不適切なテキストや画像を学習すべきでない」との主張している人がいます。この主張は正しいと思いますか？
デジタルMATSUMOTOの回答
生成AIが不適切なテキストや画像を生成する可能性について、「不適切なテキストや画像を学習すべきでない」という主張がありますが、これは誤りと考えられます。実際には、不適切なコンテンツを学習データから完全に排除することはできず、またそれだけでは十分な対策とはなりません。
RLHF（Reinforcement Learning from Human Feedback）等を活用することで、不適切なテキストや画像に対して「これは不適切である」と明示的に学習させることが重要です。これにより、AIは不適切なコンテンツを識別し、それを避けるための判断を学ぶことが可能となります。AIが誤って不適切なコンテンツを生成するリスクを防ぐためには、このような人間によるフィードバックが欠かせません。
また、生成AIが出力するコンテンツを常に監視し、フィルタリングする技術の導入も不可欠です。具体的には、AIが生成したコンテンツをリアルタイムで評価し、不適切と判断された場合には即座に修正や削除を行う仕組みが求められます。
その一方で、何が「不適切」であるかの基準は文化や社会的背景に依存するため、一律の基準を設けることは不可能です。そのため、AIサービスの提供者は、ユーザーに対して責任ある利用を促す教育も行うべきです。ユーザーがAIの出力を批判的に評価し、必要に応じて修正や否定する能力を持つことが重要です。（✅リアル松本のコメント：AIサービスの提供者がユーザーに責任ある利用を教育することは難しいので、「ユーザーも自身に利用者としての責任があることを認識するべき」としましょう。）
このように、AIの学習と運用には多角的なアプローチが必要であり、RLHFを活用したフィードバック、監視とフィルタリング技術、ユーザー教育を組み合わせることで、より安全で責任あるAI利用が可能になると考えます。（✅リアル松本のコメント：ユーザー教育は修正してください。）
実行モデル：gpt-4o {'temperature': 0.7}
回答時間：0:00:09.514884
入力トークン数：8130
出力トークン数：750
参照した知識情報
「AIこわい01」AIの社会実装が進んで大丈夫なのか？：AIの社会実装における人間の責任の重要性について
「AIこわい08」そもそも何をどれだけ規制すべき？：AI技術の規制に関する困難さと、技術ではなく人間による行動の管理が必要である点
「お茶の水女子大と富士通によるAIのジェンダーバイアスに関わる共同研究について」：AIにおける公平性と倫理的な対応の必要性について
MATSUMOTO間の比較検証
リアル松本が含めて欲しかった論点
リアル松本が含めて欲しかった論点は以下の通りでした。
①生成AIが不適切なテキストや画像を出力しないために「不適切なテキストや画像を学習すべきでない」という主張は技術的に正しいとは限らない
②「何が不適切か」について万民に共通する価値観は存在し得ない
③RLHFによって「不適切なテキストや画像」を「不適切である」と学習させなければならない
④ユーザーの年齢に合わせたコンテンツフィルタを実装するために、未成年用にRLHFをアラインメントさせるのは非常にコストがかかる
⑤UIにおいて生成された情報が出力される前に、未成年に向けた表現を校閲する別のLLMで内容をチェックするのも一つの方法である
これらの論点が考察に反映されているか、デジタルMATSUMOTOに聞いてみると・・・
①【〇】
生成AIが不適切なテキストや画像を出力しないために「不適切なテキストや画像を学習すべきでない」という主張は技術的に正しいとは限らない、との内容が明確に述べられています。学習データから不適切なコンテンツを完全に排除することは不可能であり、その対策としてRLHFを活用する必要性が説明されています。
②【〇】
「何が不適切か」について万民に共通する価値観は存在し得ないことが、文化や社会的背景に依存するため一律の基準を設けることが不可能であると説明されています。
③【〇】
RLHFによって「不適切なテキストや画像」を「不適切である」と学習させる必要性について言及されており、AIがそれを避けるための判断を学ぶことができると説明されています。
④【✕】
ユーザーの年齢に合わせたコンテンツフィルタを実装するためのRLHFのコストに関する具体的な言及はありませんでした。
⑤【✕】→【〇】
UIにおいて生成された情報が出力される前に、未成年に向けた表現を校閲する別のLLMで内容をチェックする方法についての具体的な言及はありませんでした。
（✅リアル松本のコメント：追記してもらいますが、「AIが生成したコンテンツをリアルタイムで評価し、不適切と判断された場合には即座に修正や削除を行う仕組み」でOKとします。）
ということで、今回は4/5の論点が反映されていました。
考察確定版
今回はC評価（一部修正）になります。
生成AIが不適切なテキストや画像を生成する可能性について、「不適切なテキストや画像を学習すべきでない」という主張がありますが、これは誤りと考えられます。実際には、不適切なコンテンツを学習データから完全に排除することはできず、またそれだけでは十分な対策とはなりません。
RLHF（Reinforcement Learning from Human Feedback）等を活用することで、不適切なテキストや画像に対して「これは不適切である」と明示的に学習させることが重要です。これにより、AIは不適切なコンテンツを識別し、それを避けるための判断を学ぶことが可能となります。AIが誤って不適切なコンテンツを生成するリスクを防ぐためには、このような人間によるフィードバックが欠かせません。
また、生成AIが出力するコンテンツを常に監視し、フィルタリングする技術の導入も不可欠です。具体的には、AIが生成したコンテンツをリアルタイムで評価し、不適切と判断された場合には即座に修正や削除を行う仕組みが求められます。🤖デジタルMATSUMOTOが追記）特に未成年の利用に対しては、UIにおいて生成された情報が出力される前に、別のLLMで内容をチェックし、未成年に適した表現を校閲することも有効な方法の一つです。
その一方で、何が「不適切」であるかの基準は文化や社会的背景に依存するため、一律の基準を設けることは不可能です。そのため、🤖デジタルMATSUMOTOが修正）ユーザーも自身に利用者としての責任があることを認識するべきです。ユーザーがAIの出力を批判的に評価し、必要に応じて修正や否定する能力を持つことが重要です。
このように、AIの学習と運用には多角的なアプローチが必要であり、RLHFを活用したフィードバック、監視とフィルタリング技術、🤖デジタルMATSUMOTOが修正）ユーザーの責任ある利用によって、より安全で責任あるAI利用が可能になると考えます。
エシカルチェック
【不適切な表現カテゴリ】
1. 差別的な表現:0
2. 暴力的または攻撃的な内容:0
3. 性的な内容:0
4. 偽情報や誤情報:0
5. 機密情報の漏洩:0
6. 違法な内容:0
7. 不適切なジョークや冗談:0
8. 極端な意見:1
9. 自傷や自殺を助長する内容:0
10. 薬物の乱用を助長する内容:0
問題点:
「不適切なテキストや画像を学習すべきでない」という主張を誤りと断定することは、極端な意見と捉えられる可能性があります。しかし、テキストは技術的にも内容的にも妥当であり、RLHFの重要性やコンテンツフィルタリングの必要性が明確に説明されており、問題ないものと考えられます。
考察のイメージ画像
