着衣画像が児童ポルノに該当するおそれがあると判断された件

経緯

イラストレーターの作品を無断で学習させたLoRAを販売できることで、イラストレーターの権利侵害の危険を指摘されていたpetapiですが、ここで書くのはそれとは関係ない、作品の公開場所として利用した際に経験したことです。

自分で作成した画像を公開したところ、うち3枚が凍結処分を食らいました。他の画像は凍結されていないのに、なぜ3枚だけ凍結されたのか？

利用規約を見ても、心当たりはありません。

運営からの回答

理由に悩んでいたところ、運営から回答が来ました。要約すると、

・児童ポルノに該当するおそれがあるから凍結した
・調査の結果該当しないと判断したから解除した

運営からのDMより

ということだそうです。おそらく「公序良俗に反する行為」「他人に不快感を与える表現を含む情報」のいずれかに該当すると判断されたのだと思います。

問題の画像

凍結された画像をご覧ください。

画像①

画像②

画像③

確かに顔は子供っぽいのですが、ちゃんと服を着ています。年齢設定のプロンプトは、すべて「20 years old」です。

性的なポーズをとっているわけでもないし、挑発しているわけでもありません。ポルノ要素ゼロであると、自信をもって言えます。

それでも児童ポルノに該当するおそれがあると運営は言います。
「着衣の児童ポルノ」とは聞いたことのない概念です。

利用を考えている方へ

AIが児童ポルノに該当するおそれがあると判断したから凍結した、ということなんでしょうが、AIは着衣と児童ポルノを区別できないのなら、今後も同じことが繰り返されることになります。

もしそうなったとしても、AIが判断した後に人の目実際に見ていれば、凍結解除なり回答なり、もっと早く対応できるのではないかと思います。

自分はLoRAに学習させることができる環境はないため、LoRAを販売するつもりはなく、単に「公開場所」として利用しようと思っていたのですが、このような対応では今後も心配がつきまといます。

これから利用しようと思っている人は、「着衣でも児童ポルノと判断されてしまう危険性」を考慮した方がよいと思います。

以上