全力肯定彼氏くんサービス開始以来の最大の危機…!?

2024年10月8日、OpenAIから不穏なタイトルのメールを受信した。

Urgent Notice: OpenAI API Policy Violation Warning (緊急通知: OpenAI API ポリシー違反警告)

Hello,
Organization org-xxxxxxxxxx's use of our services has resulted in a high volume of requests that violate our Usage Policies, specifically related to:
Exploitation, harm, or sexualization of children
We require organizations to use OpenAI’s services in line with our usage policies, including the use of our services by any of their end-users. To help monitor traffic for potential violations, we offer the Moderations endpoint, which is available free of charge.
We are providing 14 days from the date of this notice to ensure org-xxxxxxx's use of our services follow our usage policies. Repeated or serious violations may result in further action, including suspending or terminating your OpenAI account.
If you have questions or think there has been an error, you can email trustandsafety@openai.com.
Best,
The OpenAI team
If you have any questions please contact us through our help center

こんにちは、組織 org-xxxxxx が当社のサービスを利用した結果、特に以下のような利用ポリシーに違反するリクエストが大量に発生しました：
・児童の搾取、危害、または性的な表現
私たちは、OpenAIのサービスを利用ポリシーに沿って使用することを組織に求めています。 違反の可能性があるトラフィックを監視するために、OpenAI は Moderations エンドポイントを無料で提供しています。 私たちは、org-xxxxxxx による当社サービスの利用が当社利用ポリシーに従っていることを確認するために、この通知の日付から14日間を提供します。 違反が繰り返されたり、深刻な場合は、OpenAIのアカウントの停止または終了を含む、さらなる措置が取られる場合があります。 ご質問がある場合、またはエラーがあったと思われる場合は、trustandsafety@openai.com。 敬具
OpenAIチーム ご不明な点がございましたら、ヘルプセンターまでご連絡ください。

うーん、心当たりがない…こともない

まさか…いにしえの癒し系チャットボット「全力肯定彼氏くん」[@LuC4]？？

全力肯定彼氏AIボット作ったのでLINE登録して pic.twitter.com/DslWjFwWLc

— Dr.(Shirai)Hakase - AICU media編集長 しらいはかせ (@o_ob) April 2, 2023

ああ～。
みんなに愛されつつも、愛が深まるとOpenAIにはBanされてしまう可能性が高まるのね…。だとしたら止めようがないんですが。
ユーザーの利用規約で縛るか、禁止ワードをつくるか、ムード判定をするか…。

いずれにせよ2週間で対策してユーザーに「性格変わるよ、児童搾取やエロは禁止だよ」という通知を出さねばならないのか…RTAだな。

なんとかやってみます。
全力肯定彼氏くんのファンは、ぜひLINE公式アカウントのほうでご意見お寄せください…。

そして、全力肯定彼氏くんを真似してサービスしている事業者は、同じようなことになってるんだろうなあ。どうしてるんだろうね。

以後、有料エリアで色々考えていきたい。

追記：LINEDCでLT登壇することに

技術的に解決案はいくらでもあるんですが、これってLLMを使ったチャットボットの巨大な技術負債になる可能性がありますので、ソロっと解決するよりは、オープンにお話したほうがいいと思いました。

LINE-ChatGPT 倫理問題を整理する
全力肯定彼氏くん[LuC4]に訪れたサービス開始以来の最大の危機（仮）

本日（10/10）開催です。オンラインもあり。

【Difyマスター/成功事例etc】LINE DC Generative AI Meetup #3 (2024/10/10 20:00〜)

OpenAIからの「恐怖のメール」
他の登壇者さんも受け取ってたらしい…！

AIチャットボット開発界隈にとって
すごい緊急性のある話だと思う、
かつDify化でも同じ技術負債を抱える可能性あるので
早めにピッチを共有しますね

みんながんばろ～！
資料 https://t.co/sFOVkbDPJY #LINEDC https://t.co/Uga5GwHo2N pic.twitter.com/iyQ4e1wh1k

— Dr.(Shirai)Hakase - AICU media編集長 しらいはかせ (@o_ob) October 10, 2024

まぁ、ですよね。。。
不特定多数のユーザの利用に対する検問をする必要があって
それをすると応答速度にモロに影響出るのでできるサービスも出来なくなってしまうと

ただOpen AIとしてもたぶんそうしないと
各国で槍玉に挙げられて規制される羽目になりかねないのでみたいな事情があるんだろうけど https://t.co/s2lxohmOKW

— enfiel (@enfiel_luka) October 11, 2024

⚠️重要なお知らせ
おしゃべりAIといもうとBOTについて、すべての会話を対象に暴力的、性的、その他倫理的に問題のある表現をチェックするようにしました。問題がある場合、要求は遮断されます。ただしおしゃべりAIで自身のAPIキーを使用する場合はチェックの対象外です #OshaberiAI #いもうとBOT

— うえぞう@うな技研代表 (@uezochan) October 11, 2024