Nightshadeの使用リスクについての私見
今回も完全な私見です。
これまで何度か「ウォーターマーク騒動」について取り上げてきました。
その中で、AI学習阻害ノイズについて少し触れていましたが、特に「Nightshade」を使用することについてのリスクを解説したいと思います。
まずは「Nightshade」以外の有名なAI学習阻害ツールについて簡単に説明します。
「Glaze」
「Nightshade」と同じシカゴ大学の研究チームによって開発されたAI学習阻害ツールです。
画像に特殊なノイズパターンを付与することで、AIに画像が学習されることを防ぐことができるとされています。
「Mist」
上海交通大学の研究チームが開発したAI学習阻害ツールです。
こちらも画像に特殊なノイズパターンを付与することで、AIに画像が学習されることを防ぐことができるとされています。
どちらもですが、基本的には著作権保護を目的とし、著作物の特徴が学習されないよう阻害するのが目的となっています。
では、「Nightshade」とはどんなツールでしょうか？
公式サイトの「What Is Nightshade?」をChatGPTに要約してもらいました。
https://nightshade.cs.uchicago.edu/whatis.html
Nightshadeは、オンライン上で無断で収集された画像がAIモデルのトレーニングデータとして使用されないようにするためのツールです。具体的には、画像に「毒」を与えるような方法で、AIがその画像を学習した際に予測できない動作や予測外の結果を生じさせます。たとえば、AIが「牛が宇宙で飛んでいる画像」を求めたとき、実際には「バッグが宇宙で浮いている画像」が返されるようになります。
このツールの目的は、無断でデータを使用してAIモデルを訓練することに対してコストをかけることです。Nightshadeを使うことで、AIが画像を学習する際に予測不可能な挙動を学ぶようになり、無断使用の代償が増すため、コンテンツの所有者が許可なくAIモデルにデータを提供されることを防ぐ手段となります。
Nightshadeは、従来のツールであるGlazeとの違いもあります。Glazeはアート作品が模倣されることを防ぐための守りのツールですが、NightshadeはAIモデルのトレーニングを妨害する攻撃的なツールです。コンテンツ所有者が意図的にこのツールを使用することで、自分のコンテンツが無断でAIに学習されるリスクを減らすことができます。
また、Nightshadeは画像を視覚的にほとんど変更せずにAIにとって異常なデータに変換します。これにより、AIが学習する際にそのデータを予測不可能なものとして扱うようになります。
このツールは、無断でデータを使っているAIトレーニングに対して、データの所有者が実行可能な新たな防御策を提供することを目的としています。
と、言う事のようです。
いくつかポイントがあるのですが、問題なのは「毒」であると言い切っていることと、「攻撃的なツール」であると言い切っていることです。
原文:
Nightshade transforms images into "poison" samples, so that models training on them without consent will see their models learn unpredictable behaviors that deviate from expected norms.
日本語訳:
Nightshadeは、画像を「毒」のサンプルに変換します。これにより、無断でそれらの画像を学習するモデルは、予測できない挙動を学習し、期待される標準から逸脱した結果を示すようになります。
原文:
A common question is, what is the difference between Nightshade and Glaze. The answer is that Glaze is a defensive tool that individual artists can use to protect themselves against style mimicry attacks, while Nightshade is an offensive tool that artists can use as a group to disrupt models that scrape their images without consent (thus protecting all artists against these models).
日本語訳:
よくある質問として、NightshadeとGlazeの違いは何かというものがあります。答えとして、Glazeは個々のアーティストが自分の作品を模倣攻撃から守るための防御ツールであるのに対し、Nightshadeはアーティストたちがグループとして無断で画像を収集するモデルを妨害するために使用できる攻撃的なツールです（その結果、これらのモデルに対してすべてのアーティストが守られることになります）。
一般的に「毒」を使って「攻撃」をすることに悪意がない、とするのは少し厳しいのじゃないかなぁ、と思います。
そのような悪意を持って毒となる画像をアップロードする行為は、刑法234条の2(電子計算機損壊等業務妨害罪)では？
という議論をX上で私含めて行っていました。
私の観測範囲では実際に損害が出るか怪しいし、電子計算機損壊等業務妨害罪になるのは実際むずかしいのではないか？という意見が結構ありました。
しかし、このような情報を頂き、その考えは危険ではないかな、と思うようになりました。
Nightshadeはシカゴ大学のGlazeの一環で開発されたものですね。
— ジャック・ランラン (@Jack_Almania) November 9, 2024
ちなみにNightshadeに関する会話を少し拝見しました。そこで話題に上がっていた刑法234条の2(電子計算機損壊等業務妨害罪)の構成要件について補足します。… pic.twitter.com/9bpEhDRvYh
ジャック・ランラン氏の投稿から引用させていただきます。
Nightshadeはシカゴ大学のGlazeの一環で開発されたものですね。
ちなみにNightshadeに関する会話を少し拝見しました。そこで話題に上がっていた刑法234条の2(電子計算機損壊等業務妨害罪)の構成要件について補足します。
1枚目の添付画像の文献である大塚仁ら編『大コンメンタール刑法(第3版)』(青林書院,2014)251頁[鶴田六郎=河村博]によると、偽計・威力業務妨害罪と同じく現に電子計算機の動作阻害により業務妨害が生じていなくとも、業務妨害のおそれがあることで足りるとあります。
なお本罪は故意犯のみを処罰するもので、さらに未遂罪処罰規定(刑法234条の2第2項)があるところから考えると、人の業務を妨害する意図をもって特定の電子計算機に対する加害行為に着手すれば、たとえ実際に損壊が起きなくても電子計算機損壊等業務妨害未遂罪の成立可能性はあります。添付画像2-3枚目(大塚仁ら･前掲252-253頁)を参照ください。
詳細はリンクから確認していただければと思いますが、要は実際の損害が出るかどうかは関係なく、電子計算機損壊等業務妨害未遂罪の成立する可能性はある、ということでした。
なんなら「未必の故意」も有り得そうな気がします。
ということで、AI学習阻害ツールとして「Nightshade」だけは使わないようにしたほうがいいと私は考えます。
これは実際に訴えられるかどうかの問題だけではなく、悪意を持って攻撃を行っていると捉えられかねないからです。
そのようなリスクは侵すべきではないと思いますので、もしAI学習阻害ツールを使用したい、ということであれば「Glaze」や「Mist」にしておいたほうがいいでしょう。
「Glaze」に関しては、Webブラウザ上から使用できる、「WebGlaze」があります。
「Mist」に関しては、emamoriというサービスが「Mist」ベースでの保護を行っていたと思います。
どちらも、私は実際に試してはいませんので、あくまで参考程度と思ってください。