【翻訳】AIのためのデータ・フェミニズム(Klein and D'Ignazio 2024)
本記事はKlein and D'lgnazio (2024) "Data Feminism for AI"の本文の全訳である。書誌情報は以下の通り。
Klein, L., & D'Ignazio, C. (2024). Data Feminism for AI. In The 2024 ACM Conference on Fairness, Accountability, and Transparency (pp. 100-112).
この論文はFAccTというAI倫理の国際会議でアクセプトされた論文で、AIにおけるデータ・フェミニズム実践を概説している。データ・フェミニズムとは、この論文の著者らの著作『データ・フェミニズム』（未翻訳）で示された、データサイエンスにおけるフェミニスト思考、実践、原理のことである。
著作はオープンアクセス（CC-BY 4.0）で公開されており、英語に加えて一部の言語に翻訳されていることを確認できる。CC-BY 4.0での公開なので誰でも自由に翻訳できるのだが、日本語はまだない（誰か翻訳してほしい）。日本語では以下の海外文献紹介（小林 2022）で概要を把握できる。
『データ・フェミニズム』の出版時（2020年）にはまだ生成AIは流行っておらず、データサイエンスにおけるフェミニスト実践とその原理に焦点が当てられている。出版から5年が経過するが、今読んでも色あせないと思う。
他方、本記事で紹介する論文では、AI研究・開発におけるフェミニズム実践とその原理を議論している。『データ・フェミニズム』の要点をつかむ上でも役に立つと思うので、翻訳することにした。
データサイエンスもAIも、その問題点は（フェミニストからのものも含めて）数多く指摘されているが、上記著作や本論文では、そうした問題を乗り越え、データサイエンスやAI開発を、権力に挑戦し社会構造を変革するためにどう活用できるかを実例とともに示そうとしている。
なお、元論文はCC-BY-NC-SA 4.0で公開されているので、本翻訳もCC-BY-NC-SA 4.0で公開する。
以下から本論文の翻訳である。〔〕内は訳者による補足である。
要旨
本論文では、公平で倫理的かつ持続可能なAI研究を行うための一連のインターセクショナル・フェミニスト原則を提示する。『データ・フェミニズム』（2020年）では、データサイエンスにおける不平等な権力を検討し挑戦するための7つの原則を提案した。ここでは、フェミニズムがAI研究において依然として深く関連している理由を論じ、AIに関して、データ・フェミニズムの元の原則を再構築し、環境への影響と同意に関連する2つの新しい可能性のある原則を紹介する。これらの原則は、1) AI研究、開発、展開における不平等で非民主的、搾取的、排他的な力を考慮し、2) 危険で差別的、またはその他の抑圧的なシステムが世界にリリースされる前に予測可能な害を特定・軽減し、3) 私たち全員が繁栄できるより公平で持続可能な世界に向けて、創造的で喜びに満ちた協同的な方法を促すのに役立つ。
1 はじめに
『データ・フェミニズム』[51]は、世界を変えるパンデミックの最初の週となる2020年3月に出版された。本書は、データが収集、分析、展開される際に働く権力に対する認識が高まっていた10年以上の流れに続くものであった。私たちがこの本を書いた動機は、データの権力の証拠、またその権力が不平等に行使されているという証拠が数多くあるということであった。より具体的には、企業、政府、その他の資源に恵まれた機関が、自らの権力と利益を高めるためにその権力を行使し、その結果、他のすべての人々に対して個人的、政治的、経済的な大きなコストが生じていた。既存の構造的不平等を増幅するためにデータがどのように使用されているかについては、すでに豊富な学術的議論が存在していた[13, 18, 22, 55, 117, 152]。『データ・フェミニズム』の貢献は、フェミニズムが構造的不平等の根本原因に焦点を当てた分析を通じて、その権力に挑戦し、再均衡を図るのに役立つことを示すことであった。データ・フェミニズムの7つの原則（権力を検証する、権力に挑戦する、二元論とヒエラルキーを再考する、情動と身体性を重視する、文脈を考慮する、多元主義を受け入れる、労働を可視化する）は、データサイエンスにおいて最も関連するフェミニスト思考の信条を運用可能なものにするためのものであった。私たちの目標は、データを扱う人々、データを扱いたい人々、または政治的・個人的な理由でデータを扱うことを拒否したい人々に対して、明確なガイドラインと事例を提供することであった。私たちは、フェミニズムがデータサイエンスに関連するだけでなく不可欠であることを示し、データサイエンティスト、コンピュータ科学者、デジタル人文学者、政策立案者、都市計画者、ジャーナリスト、教育者、学生、その他の人々がどのようにして自分たちの仕事でフェミニズムを実践できるかをモデル化したかった。
本の出版以来、データ・フェミニズムの原則は学術界[23, 39, 73, 94, 96, 148, 156]や公共部門[7, 50, 64, 82, 89, 110]で取り入れられてきた。しかし、議論がデータサイエンスからAIに移行する中で、これらの原則を再考する必要があると感じている。この論文は、フェミニズムがAI研究において依然として深く関連している理由を論じ、AIに関してデータ・フェミニズムの元の原則を再構築し、2つの考えられる追加原則、すなわち環境への影響と同意に関連する原則を紹介する。これにより、1) AI研究、開発、展開における不平等で非民主的、搾取的、排他的な力を考慮し、2) 危険で差別的、またはその他の抑圧的なシステムが世界にリリースされる前に予測可能な害を特定・軽減し、3) 私たち全員が繁栄できるより公平で持続可能な世界に向けて、創造的で喜びに満ちた協同的な方法を促すのに役立つ。
2 背景
2.1 フェミニズムとは何か？
フェミニズムには、長く、多様で、しばしば論争の的となる歴史がある。この歴史全体を要約することは本論文の範囲を超えるが、ここで用いるフェミニズムの定義を明確にしておくことは重要である。最も基本的なレベルでは、フェミニズムはすべてのジェンダーの平等を信じることを意味する。これには、女性と男性だけでなく、Two Spirit、ジェンダークィア、トラヴェスティ、ノンバイナリーの人々なども含まれる。しかし、ジェンダー平等が世界で実現されるまで、私たちのフェミニズムはこの平等の目標を現実にするための組織的な活動をも必要とする。私たちのフェミニズムの第三の側面は、その知的遺産に由来していることであり、この遺産の重要な部分はインターセクショナル・フェミニズムにある。インターセクショナル・フェミニズムは特に米国の有色人種のフェミニストやブラック・フェミニストの活動からもたらされている。インターセクショナル・フェミニズムの貢献は二つある。第一に、ジェンダー不平等に関する議論に、（人種的不平等や経済的不平等を含むがそれに限らない）社会的差異の別の側面をもたらすこと、第二に、構造的権力に関心を持つべきだと主張することである。これはすなわち、人々が特権を享受している理由や、抑圧を受けている理由に関心を持つべきだということである。インターセクショナル・フェミニズムは、複雑な権力システムの因果メカニズムを説明し、それを正義に向けて変革するための行動を導くモデル（概念的な意味でのモデルであり、機械学習的な意味ではない）を提供する。これには、Combahee River Collectiveの「抑圧の相互連結システム」に関する観察[33]、Patricia Hill Collinsの「支配のマトリックス」の定式化[76]、Kimberlé Crenshawの「インターセクショナリティ」という用語[36]が含まれる。これらのインターセクショナル・フェミニストの権力モデルは、いまある唯一の構造的権力のモデルではないことに注意しよう。他にも、資本主義や植民地主義の視点から構造的不平等の働きを理論化している者がいる。私たちがインターセクショナル・フェミニストの権力理論に惹かれるのは、それが個人的経験と構造的枠組みを橋渡しし、インターセクショナル・フェミニスト自身の目標を明確にしているからである。すなわち、世界における現在の権力の不均衡を理解し、権力が挑戦され、再調整され、変革されうるようにするためである。
2.2 今日のフェミニズム
『データ・フェミニズム』が出版されて以来、米国および世界の社会的・政治的構造にいくつかの重要な変化があり、その多くはフェミニズムの考慮事項を前面に押し出すものとなっている。最も直接的には、本論文の筆者らが所在する米国では、憲法上の中絶の権利が覆され、妊娠可能な身体の自律性とプライバシーへの侵害をますます増加させる一連の動きを引き起こした。これらの長年のフェミニストの懸念はデジタル（必ずしもAI駆動ではない）空間で展開されている、というのも、個人的データが中絶を求める人々に対して行使される主要な法的武器となったためである[135]。このような事例は、生殖に関する正義とトランスの正義の密接な関係をも強調しており、ある人々の身体の自律性への攻撃は、すべての人々の自律性への攻撃であることを示している。中絶アクセスの制限が、ジェンダー・アファーメーション的ケアの制限やトランスの人々の身体を監視する他の法的努力と共に行われているのは偶然ではない。一世紀以上にわたる排除の歴史から生まれた、この点における重要なフェミニズム的教訓は、これらは相互に関連する闘争であり、「女性（women）」という本質主義的な定義で身体の自律性を守ることはできないということである[137]。関連する教訓は、ラテンアメリカから米国に伝わってきた。そこでは、数十年にわたる「marea verde」（緑の波）のフェミニズム的活動が、その広範性と経済的ポピュリズムだけでなく、労働問題をジェンダー問題に結びつけることを主張してきたことによって、大きな成功を収めてきた[126]。例えば、米国が中絶の権利を撤回する一方で、アルゼンチンでは中絶が合法化され、コロンビアとメキシコでは非犯罪化された。これらの成功は、数十年にわたる抗議と活動の結果であった。
女性とトランスの人々への攻撃は真空の中で起こっているわけではない。コミュニケーション学者のW. Lance BennettとMarianne Kneuerは最近、世界中で「非リベラル的公共圏」の激化に直面していると主張した[15]。これらは、マイノリティの人々を貶め排除すること、報道機関や政治機関への標的攻撃、および市民的な談話の規範を逸脱することを含む一連の反民主的なコミュニケーション戦術によって特徴づけられる。このような戦術は、ビッグテックが所有するソーシャルメディアプラットフォームによって可能にされ、増幅されており、そのビジネスモデルは、注目度を他のすべての指標の上に置き、過激主義、脅威、スペクタクル、嘘から多大な利益を得ている。企業と右翼過激主義のこのような連携の成功は、書籍禁止の増加[103]、DEIと批判的人種理論の悪魔化[37]、誤情報を研究する人々、人種やジェンダーの暴力に反対する人々、反乱者に対して判決を下す人々を黙らせるための晒し行為、脅迫、誤表象、その他の暴徒戦術に見られる。同時に、ラテンアメリカ、先住民、米国および世界中のアボリショニスト・フェミニストを含むフェミニストの継続的な活動が、代わりとなる世界を想像するための作業を行っていることを目にしてきた[38, 43, 127, 139]。本論文は、AI研究におけるより公平で持続可能なフェミニストの世界を想像するための私たち自身の最初の試みを表すものである。
3 関連研究
3.1 フェミニズムとFAccT
FAccT〔訳注：この論文が受理された国際会議〕コミュニティ内では、フェミニズムがAI/ML研究を導く上で実質的な役割を果たす例がすでに見られている。早くも2021年に、Leila Marie Hampton [68]はブラック・フェミニズムを、アルゴリズムによる抑圧を理解し批判するためのレンズとして紹介した。同年、Hancox-Li と Kumar [70]はフェミニスト認識論の概念をFAccTコミュニティに導入し、AI/ML研究を、フェミニストの考え方、特に位置づけられた知識[72]の価値や、より広範な知識の複数の方法にどのように一致させるかについての提案を行った。以降の年では、FAccTでの研究は、ブラック・フェミニズム、フェミニストSTS、フェミニスト新物質主義から引き出された一連のフェミニスト概念がML研究にどのように適用できるか[90]、およびAIの公平性研究においてインターセクショナリティがこれまでどのように（弱く）運用されてきたかを示している[91]。
フェミニズムはまた、オンライン広告システムの害[134]や職場監視[28]に関する研究、ML設計のための参加型プロセス[145]など、さまざまな応用研究にも影響を与えている。FAccTの他の論文では、ジェンダーに関する問題をより具体的に探求しており、公共向けツール（例：オートコンプリート[97]）や研究方法（例：NLP[48]）におけるジェンダーバイアスの問題、さらにはコンピュータサイエンス自体の分野における問題[27]を含んでいる。しかし、これらの研究は依然として少数派である。Birhaneらは、FAccTで行われたAI倫理研究の2022年のメタ分析において、「この分野は、具体的な使用事例、人々の経験、アプリケーションに基づいた倫理的分析により焦点を当てること、そして構造的および歴史的な権力の非対称性に敏感なアプローチから利益を得るだろう」と結論付けた[17]。本論文で提供される原則は、この必要な作業を構造化するためのフェミニストの枠組みを提供することで、その呼びかけに応えるものである。
3.2 フェミニズムとAI
より広く見ると、フェミニズムとAIに関する学術研究は、少なくともAlison Adamの1998年の著書『Artificial Knowing』[3]にまで遡ることができる。Keyes と Creel [85]が指摘するように、この著書は当時のAI研究の普遍性を疑問視するためにフェミニスト認識論を用いた。今日、AI倫理において最も広く引用されている学術論文の一つであるJoy BuolamwiniとTimnit Gebruによる論文は、企業のコンピュータビジョンシステムを分析するためにインターセクショナル・フェミニストの視点を採用した[22]。AIをめぐる誇大宣伝が増加する中で、フェミニズムとAIを明確に結びつける追加の研究が現れている。コミュニケーション学者のSophie Toupin [147]は、この文献を批判的に調査し、フェミニズムとAIが結びつけられてきた6つの方法の類型を作成した。これには、フェミニストMLモデル、デザインベースのアプローチ、AI政策、文化、ディスコース、科学へのフェミニストの影響が含まれる。最近の編著『Feminist AI』[20]は、AI研究における女性の不足[151]からアフロフェミニストのデジタル未来[110]、AIと人種資本主義の交差点[69]に至るまで、21の章を集めたものである。また、Feminist Internet Research Network[112]や<A+> Alliance [59]のようなグローバルなフェミニストネットワークが、アルゴリズムバイアス、労働と経済、AIによるジェンダー暴力などの問題に対する行動を支援するために登場している。市民社会組織もまた、フェミニスト、脱植民地的、解放的アプローチに関する議論に貢献している。これらはあまりにも多く、包括的なリストを作ることはできないが、いくつかの例として、ブラジルのCoding Rights[130]、インドのIT For Change[131]、アルゼンチンのData Género[64]、ウガンダのPollicy[121]がある。これらを総合すると、フェミニズムがAI研究にとって広範な関連性と有用性を持つことが示されている。
4 AIのためのデータ・フェミニズム
以下のセクションでは、データ・フェミニズムの7つの原則をレビューし、それらがAI研究にどのように適用できるかを説明する。また、AIの適用範囲の拡大と、人々や地球への影響により生じた新たな考慮事項に対応する2つの追加原則の可能性についても議論する。
4.1 原則1: 権力を検証する
データ・フェミニズムは、世界における権力の働きを分析することから始まる。
データ・フェミニズムの最初の原則は、権力を検証することである。「現在の構造的特権と構造的抑圧の構成では、一部のグループは不当な優位性を得ている、なぜなら、そのシステムは自分たちと同じような人々によって設計され、自分たちのために機能しているからである。また他のグループは体系的な不利益を経験している、なぜなら、同じシステムが自分たちによって、あるいは自分たちのような人々を念頭に置いて設計されていないからである」[51]。権力に対するこのような理解をデータサイエンスに結びつける際、私たちは、マイノリティグループ、特に女性やその他のマイノリティグループが十分に代表されてないことがもたらす不平等な権力の問題に焦点を当てた。具体的には、1) データサイエンス分野における、2) 研究課題を形成する上での、3) データサイエンス研究の対象となる上で十分に代表されてないことについて焦点を当てた。シスジェンダーの男性の優位性と、女性（シスおよびトランス）やノンバイナリーの人々、ブラック、先住民、その他の有色人種の排除、特に（Timnit Gebru や Margaret Mitchellのように）AIの害について声を上げるときにその人々が追放されることは、AI研究とシステム開発においてさらに顕著である[149]。『データ・フェミニズム』では、データ作成の取り組みと研究課題の焦点を決定する企業利益の役割に触れたが、その後、企業によるAI研究と展開のほぼ完全な「掌握」に対処する必要はまだなかった[155]。このことを踏まえると、AIにおける権力の検証では、経済的権力と、金融資源の抽出、集約、統合を促進する資本主義システムの検証が中心的でなければならないことは明らかである。
企業によるAI研究の現在の中心地である米国で機能している資本主義は、監視資本主義[160]、寡頭資本主義[60]、さらには新封建主義[44]など、さまざまな名称で呼ばれている。振り返ってみると、Cedric Robinsonらが記述した人種資本主義にその権力が現れていることもわかる。これは、人種化された搾取が資本主義的蓄積と手を携えて進んできたという考えであり、市場は社会的階層の生産に依存しており、あるグループが所有し、蓄積し、繁栄することができる一方で、他のグループは排除され、搾取され、早死にが運命づけられている。人種資本主義は常にジェンダー化された資本主義でもあり、Angela Davis [42]、Silvia Federici [57]、Verónica Gago [61]、その他のマルクス主義フェミニストの研究が示しているように、賃金格差、財産法、ジェンダー規範、債務構造、再生産権の欠如が、女性やジェンダークィアの人々を世界的な経済的下層階級として維持するために共謀しており、さらに黒人や有色人種の人々にも悪影響を及ぼしている。要するに、資本主義は不平等な権力の維持に基づいており、多くの人々から労働、したがって価値を抽出し、少数の人々の利益のために社会的、ジェンダー的、その他の階層を強制することを可能にしている[35]。こうした力学は、研究課題が同様に少数によって決められている現在のAIの状況においてはっきりと見て取れる。したがって、かれらの目標が企業利益の最大化であり、それを可能にする社会的・政治的権力を維持（あるいは増大）することであるのは驚くことではない。
最近の研究では、AI研究における植民地主義的な力学にも注目が集まっている[34, 127, 146]。これは、低賃金で心的外傷を伴うデータラベル付けの仕事を、グローバル・サウスにおける経済的に脆弱な人々へアウトソーシングしていることにもはっきりと表れている。この点については労働に関する原則7でさらに詳しく論じる。ここでは、こうした資本主義的・植民地主義的な力学が、いわゆる「外部性」を残すことを強調したい。外部性とは、企業の利益モデルでは説明されない影響のことである。これには、環境への深刻な影響、仕事の質の低下、労働者に対する監視の強化、市民権に対するさまざまな有害な侵害、露骨な差別、さらには死が含まれ、これはガザ地区で目撃されていること（および原則6の文脈で議論されていること）などが含まれる。マクロな視点から見ると、金銭的利益が研究の主な推進力である限り、戦争、植民地主義、人種差別、性差別といった問題が未解決のままの世の中にとどまることになる。なぜなら、これらの「外部性」は企業の利益には貢献しないからだ。
アーティストのMimi Ọnụọhaの「欠落したデータセットのライブラリ（Library of Missing Datasets）」[116]は、この点を強調している。Ọnụọhaにとって、欠落したデータセットは「何が重要とみなされるか、されないかについての文化的、口語的なヒント」として機能する。企業が規制や制約なしに活動する場合、どの問題（または人々）についてデータを収集する価値があり、どの問題（または人々）は無視できるかを企業が決定することになる。株主の利益と公共の利益はほとんど一致しない。企業がどのような選択を行うかによって、どのような研究課題が提起され、どのような分析が行われ、どのようなモデルが学習され、最終的にそれらのモデルによってどのようなユーザーが対象とされるかが決まる。LLMに関しては、このことが非常に明白に現れている。Emily Bender、Timnit Gebru、Angelina McMillan-Major、Margaret Mitchellといった研究者は、モデルの学習データの規模が大きくても、代表的なものとは程遠いことをいち早く指摘した[12]。その後の研究では、女性[92]、イスラム教徒[2]、人種的・民族的マイノリティ[115, 132]、特定の社会的役割[101] などに対するより具体的なバイアスが記録されている。
さらに問題を悪化させているのは、これらのモデルが「基盤」モデルとして構築され、使用され続けており、このことは、そのモデルが信頼できる研究の安定した基盤として機能することを意味している。この誤解が修正されるまでは、おそらく永久に、私たちは、基本的な出発点として、権力のインターセクショナルな分析を伴う予防的評価を主張し続けなければならない。これは、米国科学技術政策局の「AIの権利章典」草案[114]や、より最近のホワイトハウスのAIに関する大統領令に沿ったものであり、後者は「AIシステム、政策、制度、および必要に応じて、それらのシステムが使用される前に、それらのシステムから生じるリスクをテスト、理解、軽減するためのその他のメカニズムについて、堅牢で信頼性が高く、再現可能で標準化された評価を行うこと」を求めている（強調は筆者らによる）[77]。
こうした評価は、生成型AIと予測型AIの両方に必要である。予測型AIの例として、例えば住宅分野では、家賃の支払い能力を予測して入居者を格付けするために、自動化された入居者審査「サービス」がどのように退去記録、逮捕記録、クレジットスコアに依存していることが分かっている。これらの記録は、公開や収集の方法が標準化されていないこと、および米国の住宅部門が人種的偏見に大きく影響されていること[47, 111, 128, 141] により、質が低い。 これらの記録に依拠することは、有色人種の人々に不均衡な影響を与え、構造的抑圧を緩和するどころか、むしろ体系的に助長することになる。
ここで、フェミニスト的権力批判と反資本主義的権力批判が収束する。それは、なぜ特定のデータソースが特定の集団に対してバイアスを持つ可能性があるのか、また抑圧的で搾取的なシステムがなぜそもそも存在するのかについての経済的原因を指摘する点においてである。言い換えれば、AIにおける権力を検証するフェミニスト的アプローチは、批判的人種理論家であるMari Matsudaが説明するように、「他の問いをする」こと、「支配の明白な関係と明白でない関係の両方を追求する」こと、および「いかなる従属の形態も決して単独では存在しないことを理解」できるようにするものでなければならない[106]。住宅部門の場合、大家側にはデータやAIが大量にあるため、入居者に関するほぼすべてを知ることができるが、入居者側には大家についてごくわずかしか知ることができないという情報的非対称性が生まれる。入居者は、大家が不当に立ち退きを行ったり、物件のメンテナンスを怠ったりした履歴を調べるためのデータやツールを持っていない。つまり、かれらは権力を構築することを助けてくれるツールを持っていないのである。AIに対するフェミニスト的、反資本主義的なアプローチは、入居者たちの権力を高めるためのシステム設計に焦点を当てるだろう。また、金持ちがさらに金持ちになるという、企業によるAIの研究開発の現在のスキームによって排除されたすべての人々のためのシステム設計にも焦点を当てるだろう。
4.2 原則2：権力に挑戦する
データ・フェミニズムは、権力に挑戦し、正義を追求することにコミットしている。
データ・フェミニズムの第二の原則は、私たちが世界で直面する権力の不平等な分配に挑戦することである。『データ・フェミニズム』では、データセットやデータプロジェクトにおける権力に挑戦するための、またデータサイエンスを駆使して企業や政府と直接対峙するための、いくつかの方法を提案した。それには、対抗データの収集、あらゆる種類のデータを正義志向のレンズから分析すること、データサイエンスの代替的な方法を想像すること、教育（データや統計リテラシーの取り組みによるこの活動を継続するための基盤作り）などが含まれる。AIの文脈においては、これらのアプローチの多くが有効である。私たちは、政治的な要求に応えて、これまで十分に代表されてこなかった人々や十分に研究されてこなかった問題に関する欠落したデータを収集する必要が依然としてある。また、正義の実現に向けて、モデルを考案し、そのアウトプットを解釈するためのさらなる方法も必要である。社会的・倫理的な懸念を歴史と統合した包括的なAI教育を提供する必要があり（重要なのは、歴史家やその他の人文科学の学者が教えることだ）、そうすれば、現実世界の準備不足で自信過剰なCS〔訳注：コンピュータサイエンス（Computer Science）を略してCS〕学生を卒業させることを止めることができる。企業権力を抑制する健全な法律や政策も必要である。最後に、AIの代替的な利用法を想像するための、より創造的で参加型の民主的な方法と、必要に応じてAIの利用を拒否できる余地も必要だ。
AIの権力を問うこれらの各側面における取り組みの例は、すでに進行中である。例えば、ニュージーランドでは、先住民主導の研究グループが、マオリ族が話すマオリ語（Te Reo Maori）の復興を支援するために、MLを活用した音声文字起こしシステムを学習中である[125]。一方、LLM研究者は、明示的な多言語データセット[81]や、リソースの少ない言語のためのモデル[98]の作成に取り組んでいる。もちろん、データ収集の増加が不平等問題の「解決策」となるとは限らない。多くの場合、追加のデータ収集は明白な危害につながる可能性がある。これは『データ・フェミニズム』で「露出のパラドックス」と名付けたものであり、「数えられることで大きな利益を得る可能性がある人々が、その同じ計数（または分類）行為から最も危険にさらされる二重の束縛」である（p. 105）。したがって、こうした具体的な事例を称賛する一方で、新しいプロジェクトを始める前に、技術的な介入が適切かどうか、また、支援する最前線のコミュニティとともに、考えられるさまざまな危害の範囲について検討したかどうかを自問する必要がある[30, 159]。
また、正義のためにAIを活用するプロジェクトを構想し続ける必要もある。例えば、視覚的なアクセシビリティが欠如している場合に、それを向上させるために画像の代替テキストを生成するといったことなどがある[104]。しかし、現時点では正義志向のAIの活用例はあまりにも少ない。これまで指摘されてきたように、LLMやその他の生成型AIモデルに必要なデータ量が膨大であるため、小規模データのアプローチでは対応できないことが原因となっている可能性がある[88]。また、これらのモデルは過去のデータに基づいて訓練されなければならないが、その過去にはモデルが学習する構造的不平等が蔓延しているという事実によるものかもしれない[29]。さらに、これらのモデルは、低確率の可能性を増幅するのではなく、意図的に、あらゆる確率分布の中心から出力を生成する。これに対してフェミニストは、言語においても生活においても、中心にあるデータポイントより外れ値の方がはるかに多くを教えてくれると主張する[49][154]。この「特徴」の組み合わせは、予測型AIも生成型AIも現状維持の機械であることを意味する。つまり、人種差別的、性差別的、障害者差別的（ableist）、トランスフォビックな過去のイメージ通りに、既存の状況を再生産し未来を形作ることに非常に長けているのだ。
しかし、別の見方をすれば、これらのモデルの確率論的基礎は、権力に挑戦し、再調整するために活用できる。Wendy Kui Hyong Chunが気候変動モデルの例を挙げてわかりやすく説明しているように、これらのモデルは「過去の行為と現在の行為を前提として、最も可能性の高い未来を提示するものであり、その予測を不可避のものとして受け入れるためではなく、むしろ未来を変えるためにそれを利用する」ものである（強調は筆者らによる）（26）。Chunにならって、LLMのバイアスのある出力を、真実としてではなく、介入の動機づけとして扱うことで、そうしたバイアスが世界で経験されなくなる可能性があるのではないだろうか？
生成型AIと予測型AIの両方を使用して、アフロフューチャリスト的（Afrofuturist）な意味で推測を行うことも可能である。つまり、異世界的な未来[26, 32]や代替的な未来を構想する手助けとなる。例えば、Wonyoung Soが主導した研究[141]では、修復的アルゴリズムを使用して、米国における黒人と白人の家庭間の富の格差を埋めるために、どのような介入が最も効果的かを評価している。これは、AIが不正な現状を是正するためにどのように機能できるかを示す一例である。
同時に、企業によるAIの掌握の範囲と規模は、集団的なビジョン構築と行動へのコミットメントも必要としている。標準的なデータリポジトリの代替手段としてのデータトラストに関する貴重な取り組みが行われている。例えば、ライドシェアの労働者からデータをプールし、雇用主に関する質問ができるようにする「Worker Info Exchange」がある[56]。LLMの分野では、オープンで協同的な方法で完全に文書化された大規模言語モデルを学習する試みであるBLOOMモデルに注目すべきかもしれない[158]。研究者たちは、研究を行うために必要なビッグテックのデータへのアクセスを求めてロビー活動を行うために、独立した研究連合をどのように形成できるかについても検討している[105]。また、AIによって生活が脅かされている労働者たちは、労働者が繁栄するために必要な条件を主張するために、労働組合や組織化に目を向けている[8, 153]。
市民社会レベルでのこうした介入は、政府による規制や政策と併せて行われる必要がある。EUのAI規制法が、強制力を持って実施されれば、ビッグテックによる個人生活への侵入を制限する強力なツールとなることを約束しており、AIに関する米国大統領令も同様である（ただし、それが有効である限り）。カナダ[25]やデンマーク[129]などの国々はさらに踏み込み、政府にフェミニスト的かつ反抑圧的な政策を明示的に組み込んでいる。もちろん、私たちは常にケア、コミュニティ、連帯、相互扶助といった形での抵抗を必要とし続けるだろう。それらは、資本主義が私たちに忘れさせようとしている、共有された人間性の認識に他ならない。もし私たちがAIの資本主義勢力による完全な掌握に抵抗しようとするのであれば、私たちはこれらの強調された人間的かつ反資本主義的なモデルを指針として取り戻さなければならない。
4.3 原則3：二元論とヒエラルキーを見直す
データフェミニズムは、ジェンダーの二元論に挑戦することを私たちに求めている。また、抑圧を永続させるその他の分類や計数のシステムにも挑戦することを求めている。
データ・フェミニズムの第三の原則は、西洋文化が「男性」と「女性」のカテゴリーの間に作り上げた誤った二元論に由来する。もちろん、ジェンダーは2つ以上存在し、またフェミニスト思想の根本的なコミットメントはすべてのジェンダーの平等である。さらに、二元論はしばしばヒエラルキーを隠しており、ジェンダー二元論はその重要な例である。ジェンダー二元論は、企業役員から政府指導的地位に至るまで社会制度を支配するシスジェンダーの男性が最上位にいるという階層的かつ家父長的構造を隠している。女性、トランス、ジェンダークィアの人々は意図的に最下層に置かれ、その間には誰も入る余地がない。AIにおける包摂の問題が明らかであることを理解するためには、「AI pause」の署名者や米国議会でAIについて証言するよう招待された人々のジェンダーバランスが歪んでいること、あるいは（女性と科学に対する侮辱的なコメントで悪名高い[74]）Larry SummersがOpenAIの再編成された取締役会のトップに据えられたことなどを見るだけでいい。しかし、ジェンダー二元論とそれが維持するヒエラルキーの問題は、AI研究という分野の形成にまで深く関わっている。
『データ・フェミニズム』の焦点であるデータサイエンスの分野は、これまで模範的な包摂で知られてきたわけではない。しかし、データの権力と危険性に関する会話の範囲と規模は、この分野における包摂性の目に見える変化をもたらした（完全な再調整ではないにしても）。Maria Klawe学長のリーダーシップの下、ハーヴィー・マッド大学では10年足らずでCS専攻の女子学生の割合を50%以上に増加させ、「パイプライン」について不平を言うCSの教授や管理職には何の根拠もないことを示した[87, 157]。しかし、データサイエンスやコンピュータ科学といったより幅広い分野がより包摂的になるにつれ、それらの分野内の一部の研究者がAIの分野を再構築するために離れ始めたのは偶然ではない。このグループは、WEIRD（西洋的で、教育を受けており、産業化されており、裕福で、（議論の余地はあるが）民主的[138]）であり、また白人シス男性が圧倒的に多いという特徴がある。これは、技術分野における共通の傾向が繰り返されている証拠であるように思われる。すなわち、最上位にいる人々がその分野におけるエリートとしての地位を維持できるようにするための、新たなゲートキーピングメカニズムの出現である。
また、この権力の動きは概念レベルでも生じており、AI技術の消費者に対して、その能力は魔法的で神秘的なものであり、普通の人間には理解できないと信じるように奨励されている。これにもまた、ソフトウェア開発者が「魔法使い」や「魔術師」として描かれることで、正式な訓練メカニズムを利用できない人々にとって技術的専門知識の習得が困難に思えるようになった、という歴史的な先例がある[54, 75]。しかし、これには戦略的な目的もある。つまりその目的とは、エンドユーザーに対して、そのようなツールに質問したり要求したりしないように思わせ、外部の研究者に対して文書化や内部を覗く能力を要求しないように思わせ、政府の規制者に対してAIを統治するための政策や法律を起草する知識がないように思わせることである。AIの「創発的性質」という言葉や、AI分野の創始者とされる人物の伝記を受け入れてしまうと、2023年のニューヨーク・タイムズの記事で繰り返されたように、男性ばかり、しかもほとんどが超富裕層で白人という人々を特別視してしまうという、同じパターンを繰り返すリスクがある。だからこそ、アルゴリズム正義連盟（Algorithmic Justice League）のスローガンが暗示する「もし顔があれば、会話に参加できる場所がある」[93]という包摂こそが、この現在において非常に重要なのである。
また、ジェンダー二元論がAI研究においていかに運用され、さらには武器化されてきたのかという、まさにその現実の方法を認識することも重要である。LLMに根付いている、シスジェンダーの女性、トランス、ノンバイナリーの人々に対するジェンダーバイアスの十分な証拠があるにもかかわらず、AI研究者はジェンダーそのものに対する時代遅れの理解を持っているように見える[48, 84, 136, 142]。このジェンダーに対する理解の欠如は、（良くて）不正確で（最悪の場合）有害な研究デザインや応用につながる。また性（sex）についても同様である[5]。性もジェンダーも、本質的でも「自然」でも固定的な性質でもなく、「検出」できるものではない、ということは、ほぼ普遍的に理解されてない。
このジェンダー問題（gender trouble）は、社会的および物理的な差異の複雑な側面を特定、測定、または数値化しようとする他のプロジェクトにも当てはまるだろう。画像やリアルタイム動画における情動を測定しようとする「Emotion AI」を軸に構築された業界全体から、雇用適性を測定すると称する雇用スクリーニングサービス、さらには、アルゴリズムを使用して知性や犯罪性などの測定不能な性質を測定しようとする試み（新骨相学と呼ばれるそれ）まである[143]。こうした事例や新たに提案された使用例において、私たちは、それらが二元論（ジェンダーの二元論、家父長制のヒエラルキー、パターナリスティックなステレオタイプ）を強化するものなのかどうかを自問しなければならない。もし強化するのであれば、ジェンダーをどのようにモデル化するか、ジェンダーの安全を確保するためのツールをどのように構築するか、また、テクノロジーがトランスやノンバイナリーの人々を消し去りったり危害を加えたりしないような世界をどのように創り出すかについて、別の仕方で考えなければならない。
4.4 原則4：情動と身体性の重視
データ・フェミニズムは、世界の中で生き、感じている身体としての人間から得られる知識を含む、複数の知識形態を重視することを教える。
データに関する情動（emotion）と身体性（embodiement）を重視することは、前の原則と関連している。なぜなら、情動はしばしば理性と二項対立的に見られ、「女性化」された要素として科学研究から排除されるべきとされるからである。情動は主観的であるため客観的ではなく、「硬い」（男性的ステレオタイプ）ではなく「柔らかい」（女性的ステレオタイプ）とされる。隠されたヒエラルキーへの批判を念頭に置きながら、理性と情動の二元論に戻って、次のことを認識することができる、すなわち、1）それが誤った二元論であり、純粋に理性的な科学など存在しないこと[83]、2）この二元論がヒエラルキーを隠しており、情動、身体性、生きた経験（lived experience）、および知識に関する他の女性化された方法が、より地位の低い知識の形態に追いやられていることである。
この誤った二元論に挑戦するためのツールはフェミニズムから来ている。フェミニスト哲学者のDonna Harawayの状況に置かれた知識（situated knowledges）という概念（知識は特定の時間、特定の場所、特定の社会的・政治的文脈の中で生み出されるという考え方）は、科学的な知識を含め、あらゆる知識がそれを生み出す人々の視点によって形作られることを認識するのに役立つ[72]。さらに最近では、ブラックフェミニスト理論家のKatherine McKittrickが、知識の創造には複数のシステムが存在し、それら自体が「協同的実践」の場であり、互いに関連し合っていると理解されなければならないと指摘している[107]。重要なのは、複数の知識システムに対する洗練された気づきは、私たちの集合的知識を損なうのではなく、むしろ高めるということだ。
このフェミニスト的客観性は、AI研究と無数の点で関連性があり、特に、AIに関連するリスクや害に関する議論が、この1年ほどでどのように展開されてきたかにおいて重要である。一方では、権力のある立場にいる人々（偶然ではなく、かれら自身が支配的な社会集団を代表している）が、AIロボットが核兵器を開発するといった仮説上の将来的な被害や、その他の道徳的な「アライメント」の問題について警鐘を鳴らしている。他方で、女性（シスおよびトランス）、クィア、有色人種としての「生きた経験の経験主義」によって強化された同等の技術的専門知識を持つAI研究者たちが、今まさにAIシステムによってもたらされている害に注意を促している[66]。有名なのは、黒人女性コンピューター科学者のJoy Buolamwini博士が「印象的監査（evocative audit）」を実施し、自身の顔を例に顔認識ソフトウェアの精度の低さを示したことである。彼女は、その証拠を、構造的人種差別とすでに切り離せない関係にある警察署でこれらの不正確なソフトウェアシステムが配備されていた（今も配備されている）ことによって引き起こされているより大きな害と結びつけた[21]。また、LAION〔訳注：画像-テキストの大規模データセット、またはそれを作成した組織〕のようなマルチモーダルデータセットにおける女性嫌悪や人種差別、レイプやポルノの事例を記録した研究も見られ、その結果、LAIONはデータセットの流通を取りやめた[65]。非常に重要なのは、この研究はまず、黒人女性が主導する研究チームによって行われ、彼女たちはこれらのデータセットに自身の個人的経験を研究に持ち込んだということだ。しかし、この研究がスタンフォード大学の白人研究者によって再現されてようやく、LAIONの背後にいるチームが注目した。これは残念ながら、AI研究におけるすでにパターン化されたものである。すなわち、身体化された経験を研究に持ち込む黒人女性たちの懸念は却下されるが、支配的なグループに属する人々によってその懸念が数年後に正当化されるというものである [12, 149]。
AIの害を評価する際には人間の経験のあらゆる側面を組み込むべきである、というだけではない。 挑戦されなければならないもう一つの二元論は、データやAIに関する作業は効率性、自動化、管理の強化にしか役立たないという私たちの認識と関連している。 フェミニサイド・データ活動家のデータ実践について述べた最近の研究は、データの作成が親密さ、関係性、ケア、記憶作業のツールとなりうることを示している[63]。学者であり活動家でもあるHelena Súarez Valは、これらの活動を「感情増幅器」と表現し、フェミニストの悲しみや怒りを公共の行動に翻訳している[150]。この集団的、地域社会関与的で、意図的に情動負荷的な作業の形態は、障害学の主要な考え方である相互依存性、すなわち「私たちは互いに依存しており、私たちの行動は他者に影響をもたらす可能性がある」ことを思い出させるものでもある[9]。私たちが前進するにつれ、「同盟を実践すること」に焦点を当て、「ケアウェブとポッド」を創出し、「不適合」のために設計されたAIシステムをどのように構築するかを引き続き検討する必要がある[46, 62, 120]。そのようなシステムに向けた新たな取り組みは、トラウマに配慮したコンピューティング、癒しのデータベース、修復的／変革的データサイエンスに関する会話を通じて、人間とコンピューターの相互作用の中で起こっており、これらはAI研究に拡大されるべきである。
4.5 原則5：多元主義を受け入れる
データ・フェミニズムは、最も完全な知識は、地域的で、先住民、経験に基づく知識の方法を優先し、複数の視点を統合することによって得られると主張する。
多元主義を受け入れるという原則は、知識の代替形態を強調する前の原則から構築されている。ここでは、私たちの仕事において複数の視点をどのように代表するかに重点が置かれている。重要なのは、「複数の視点」が単に複数の意見を意味するのではないということだ。Sandra Hardingや、より最近ではDesign Justice Networkの研究を基に、「複数の視点」は、人々が知識を生み出す世界における幅広い経験、社会的立場、場所の指標となっている。多元主義の受け入れを認めるという考え方の中心的な前提は、もしこれらの視点をまとめ、特にその問題に最も直接的に影響を受ける人々の視点に特に注意を払うならば、より良く、より詳細で、より正確な、究極的にはより真実のある知識を得ることができるというものである。
多元主義を受け入れることはAI研究の文脈において極めて重要である。その理由は、AI研究者の人口統計学的構成が偏っていること（原則3の二元論とヒエラルキーを参照）と、現在AIシステムを設計している者とその決定の影響を受ける者との間の権力の不均衡（権力に関する原則1と2を参照）の両方によるものである。簡単に言えば、AI分野は、影響を受けるコミュニティと対話するための、より参加型で、より責任ある、より謙虚な方法を開発する必要がある。〔本論文の著者の一人である〕Catherineは、アメリカ大陸全域の草の根フェミニスト・データ活動家たちと協力してAIツールを共同設計するプロジェクトで、これを直接学ぶ機会を得た。かれらは共に、女性や少女に対するジェンダー関連の殺人を含む、組織的な人権侵害であるフェミニサイドに関するニュース記事を検出するためのML分類器を開発することを決めた。このツールは、活動家の作業を効率化することを目的としていた。しかし、活動家たちは次の2つの理由からプロセスの完全自動化に反対した。(1)フェミニサイドの定義を一般化することが不可能であること、(2) 彼女らは自分たちの活動を記憶の正義の一形態、つまり殺害された女性たちの命を称え、その存在を忘れないための手段と捉えていたためである。その結果、世界中の人権監視団体から大きな反響を得たツールが誕生した。これは、ユーザーも利用もなしに、協議を経ずに作成された多数のML/AIツールとは対照的である。
多元主義を受け入れるという見通しは、より大きなモデルに拡張する際に、アーキテクチャとアクセスの両面で難しくなる。LLMは、データとコンピューティングの両方にアクセスできる人々によって事前にトレーニングされなければならないため、以前には存在しなかった初期段階での参加の障壁が生じる。オープンソースモデル（BLOOM、OLMoなど）や透明性の高いモデル（スタンフォード透明性指数など）の推進は確かに歓迎すべきことだが、そのようなモデルの学習には技術的な要件があるため、影響を受ける個人や小規模グループがその作成に関与することは非常に困難である。今後の進むべき道を示唆する最近の例としては、Maria Antoniakが主導するプロジェクトがある[10]。このプロジェクトでは、妊娠中の人々と医療従事者の両方に、妊娠中の体験をナビゲートする手助けとなる可能性があるAI支援型チャットボットに関するアイデアや懸念について調査した。フェミニサイド分類と同様に、Antoniakらは、極めて重要な点として、まずチャットボットを構築しその後にフィードバックを求める、というやり方はとらなかった。代わりに、さまざまな専門知識を持つ人々を研究に含め、その知識を共有できるようにした。このプロジェクトの成果は、参加者自身から抽出された一連の価値観の集合であり、今後の研究の指針となる可能性がある。
多元主義を考える上では、政府や公益を目的として設立された民主的機関の規模という、もう1つのレベルがある。 多元主義を受け入れるこのアプローチは、公共の利益のためのAI[19] やデジタル公共インフラ[161] の考え方に見られる。物理的なインフラ（道路、公園、学校など）と同様に、これらのシステムは公共の利益を目的とした公開プロセスを通じて構想・設計され、透明性とガバナンスの要件を備えることになるだろう。企業やその開発技術を対象とした重要な訴訟やその他の規制プロセスも見られるが、市民主導の設計プロセスも想定できる。そのプロセスでは、アイデアはコミュニティから集められ、プロジェクトは税金から資金提供（および維持）される。
これらの参加型設計の例にもかかわらず、Mona Sloaneらが説明しているように「参加は機械学習の設計上の解決策ではない」ことを認識することが重要である[140]。参加は形だけになり、搾取され、研究者が必要な投資に不慣れであるためにリソースが不足し、結果に影響を与えるには設計プロセスに組み込むのが遅すぎる可能性がある。私たちは、Lorraine Dastonがおそらくそう呼ぶであろう、AI/ML研究における「認識上の美徳」と呼ぶべきものに対抗し続けなければならない。その「美徳」とは、コンピュータサイエンスというより大きな分野の主張と共鳴したものである。すなわち、新規性、一般化可能性、効率性の重視であり、これらの特徴は、研究の種類を過度に決定づけるだけでなく、暗黙のうちにそれが最善であると信じられている[40]。企業による技術研究の掌握には多くの注目が集まっているが、学術研究がコンピュータサイエンスの分野によって掌握されていることも事実である。学術界に身を置く私たちは、大学の専攻分野の構成やの傾向、それに伴う教員の採用を観察しており、その結果、コンピュータサイエンスや、それをサポートする研究形態に過剰なほどの資源が投資され、他のすべての分野に不利益をもたらしている。
コンピュータサイエンスは、他の科学では見られないほど、女性や有色人種を排除し続けている。文脈を考慮し、文化的に適切な技術開発の価値を体系的に教えることを怠り、基盤モデル（「すべてを統べる一つのモデル」）の男性中心主義的幻想に陥っている。この分野に特有の思い上がりは、害の証拠が何度も表面化しているにもかかわらず、際限を知らないところである。また、HCIやソーシャルコンピューティングなどの分野が、例えば人類学、社会学、文学研究などの専門知識を活用している一方で、CS学科では学生の指導にあたるためにそれらの分野で博士号を取得した学者を雇うことを拒否している。もし私たちが、最良で、最も正確で、最も真実的な知識は複数の視点の統合から得られると真摯に信じているのであれば、この事実を説明するために、私たちは自身の研究プロセスと資金調達モデルを再構築しなければならない。
4.6 原則6：文脈を考慮する
データ・フェミニズムは、データは中立でも客観的でもないと主張する。データは不平等な社会関係の産物であり、正確で倫理的な分析を行うためには、この文脈が不可欠である。
第六の原則である「文脈を考慮する」ことは、AI研究に普遍的に適用できると同時に、（ほぼ）普遍的に無視されている。この原則は、学習データの課題に最も直接的に適用される。私たちはこの課題について、権力に関する原則で言語モデルに関して議論し始めた。関連研究では、学習やフィルタリングのプロセス中に追加で（人間が）下す決定が、これらのデータセットに追加のバイアスをどのようにもたらすかについて、社会経済的地位の高い人々によって書かれたテキスト[67]や、特定の社会的・職業的役割を担う人々[101]のテキストを例に示している。関連研究では、テキストから画像を生成するモデルを調査しており、性差別的、人種差別的、植民地主義的なバイアスの再生産に関する知見が得られている[113, 124]。私たちがフェミニズムから学ぶことは、これらのデータセットが作成された文脈を理解すること、さらに広く言えば、あらゆるデータが不平等な社会関係によって形作られることを認識することが、下流〔※〕のバイアスや潜在的な危害を特定するために不可欠であるということだ。また、研究課題が適切に設定され、証拠が適切に分析され、その分析に基づいて行われる主張が適切に範囲設定されるようにすることも必要である。
〔※モデルの事前学習を上流として捉えたときに、そのモデルの適用・応用が下流（downstream）となるので、このように呼ばれている〕
MLモデルに文脈をより広く復元する方法については、いくつかの貴重な提言が存在する。例えば、Eun Seo JoとTimnit Gebruは、データセットの管理と文書化を行うアーカイブ担当者が採用している手法に類似した慣行の採用を提案している[80]。また、Mitchellらは、モデルを一般公開する際の「モデル報告用モデルカード」を提案している[108]。これらが現在のAI/MLの状況にどのように適応できるかを考えることは非常に有益である。特に、生成型AIモデルのニューラルネットワークベースのアーキテクチャでは、エンドユーザー（または誰でも）が、特定のモデル出力を、それに寄与したソースにまで遡って追跡することが困難であることを踏まえると、適用を考えることは有益である。しかしこの作業を行うには、データサイエンスのパイプラインにおける現在の労働の階層化、すなわち、データの管理、ラベル付け、文書化は何らかの形で非熟練労働であり、パイプラインの分析およびモデリング部分こそが「科学」であるという誤った考え方に挑戦しなければならない[58]。 アーカイブ担当者や人文学者であればよく知っているように、研究課題を正確に表すデータセットを作成する作業は、長期間にわたる骨の折れるものであり、深い専門知識を前提としている。しかし、ビッグテックの支配的な信念は依然として「素早く動いて、物事を壊す」というものである。この価値観の根本的なミスマッチは、本論文の冒頭で述べた資本主義批判へとつながる。データの生産や管理に価値を見出さない限り、このタイプの人間の専門知識を十分に支援することはできない。さらに、素朴で考慮されていないデータで作成されたAIシステムは、単に物事を間違えるだけだろう。これらは、Sambivasanらが下流で重大な品質問題に増幅すると指摘している「データ・カスケード」である[133]。
文脈に関する最後の考察は、歴史的文脈、特にAI研究自体の歴史的文脈に関係している。この歴史は、コンピュータサイエンス分野が米国の軍事研究と長年にわたって共犯関係にあったことを示すもので、不快なものであり、これは、DARPAの資金提供を受けて開発されたインターネットの前身であるARPANET作成にまで遡る[4]。 また、同じく多くの一般的なNLPライブラリの基礎となっている手作業でラベル付けされた言語モデルであり、DARPAの資金提供を受けた別のプロジェクトであるOntoNotesの構築にもつながっている[123]。さらにこのことは、トピックモデリングなどの言語モデリングへの特定のアプローチにもつながっており、これは政府が世界中のニュース配信メッセージを大規模に監視したいという欲求から生まれたものである[16]。さらに最近では、ニュース報道により、米国移民・関税執行局（ICE）のクラウドストレージにおいてAmazonが果たした役割[71]、およびGoogleがドローン攻撃の精度を高める技術を開発しそれを米国政府に売却した経緯[118]が注目されている。 これらの進展はもはや理論上の話ではなく、イスラエルがパレスチナに対してそれらを利用しているという証拠が出ており、恐ろしい人的被害を伴っている[41]。#NoTechForApartheid [11] のようなアドボカシー活動や Logic(s) Magazine [1] のような出版物は、非人道的な、破壊的な（またパレスチナの文脈ではジェノサイド的な）文脈において、あまりにも多くの技術革新が利用されていることを私たちに強く思い起こさせる。AI研究者の私たちは、もはや、私たちの仕事の用途の一つとしてこれらの文脈について無知であると主張することはできない。
4.7 原則7：労働を可視化する
データサイエンスの仕事は、この世界のあらゆる仕事と同様に、多くの人々の手による仕事である。データ・フェミニズムは、この労働を可視化し、それが認識され評価されるようにする。
この最後の原則は、データ関連の業務を可能にする多くの人々の労働に焦点を当てている。『データ・フェミニズム』では、データサイエンスの業務が専門職のヒエラルキーを再現し、資格を有するデータサイエンティストが頂点、より技術的でない役割（データ注釈やコンテンツの適正化など）を担うと認識される人々が最下層に位置する、という様子を見てきた。また、この専門職のヒエラルキーが、ジェンダーや人種、そして究極的には植民地的なヒエラルキーにマッピングされる可能性があることを見てきた。すなわち、グローバル・ノースに位置する人々が地位も報酬も高く、グローバル・サウスに位置する人々は最下層の役割を占めるという構造があるということである。
AI研究の現在の構成は、（技術的、経済的、および人という）重要なリソースの統合を前提としているため、この植民地構造は、AIが依存する基本的な枠組みとして固まってしまっている。ChatGPTの最初のリリース後に発表された調査報道を見れば、この「人工」知能が、ケニアの、まさに人の労働者たちが、リアルタイムで不快な可能性のある回答をスクリーニングすることに依存していることが示されていた[119]。これらの労働者の所在地は偶然ではない。Julian Posadaなどの学者は、グローバル・ノースの企業が政治的不安定を利用し、大惨事から利益を得て、自分たちを豊かにしていると主張しており、これは長年にわたるおなじみの歴史的なパターンである[122]。これは、資本主義が基本的に資源の抽出に依存しており、利益を最大化するためにこれらの資源、特に人間の労働に対してできるだけ少ない支払いをすることに依存していることを文書化する研究（および世界の証拠）の長い列に加わるものである[35, 127]。
もちろん、グローバル・ノースの労働力もAIの侵食から免れているわけではない。米国では、生成AI技術を販売する企業を相手取った、Getty PhotographyやThe New York Timesによる訴訟が起こされている。さらに2023年の夏から秋にかけて、全米脚本家組合[8]と全米映画俳優組合[153]による大規模なストライキが発生した。 これらのストライキは最終的に、AIによる脚本の修正や俳優の肖像の作成に対する必要な保護をもたらした。また私たちは、資本主義が推し進める容赦ない個人主義に対する対抗勢力として、テクノロジー業界やより広義のホワイトカラーの職種における集団行動への大きな流れを歓迎する。〔例えば〕米国のエリート工科大学の大学院生たちは、労働組合を結成し始めており、カリフォルニア大学、カリフォルニア州立大学、ニューヨーク市立大学など、公立機関の伝統ある労働組合に加入している。 私たちは、こうした連帯を築く努力が、専門知識によって引かれる線を超えて広がっていくようにし続けなければならない。結局のところ、植民地主義の歴史は、労働階層の最下層にいる人々が、利益や職場効率の向上を目指す動きによって最も大きな影響を受けることを私たちに教えてくれる。階級、人種、ジェンダー、労働セクターを超えた連帯がなければ、資本主義の力は増大し続けるだけである。
5 考察：フェミニストAIの将来の原則
ここまで、『データ・フェミニズム』で定義された7つの原則をAI研究にどのように適用できるかについての現在の考えを示してきたが、さらに2つのトピックが追加の注意を必要としている。すなわち、AI研究と展開の環境への影響、および同意に関する問題である。ここではそれぞれのテーマについて現在の考えを要約する。
5.1 データ・フェミニズムと環境
多くの点で、AIの環境への影響に関する疑問は、その開発と展開が資本主義と植民地主義の歴史的パターンを強化する方法から生じる。結局のところ、資源の抽出は天然資源と労働力の両方に関わるものである。この資源抽出の環境への影響は、南北で不平等に経験されている。グローバルサウスの人々は、グローバルノースの人々よりもはるかに少ない割合でしか地球温暖化ガス排出量に寄与していないにもかかわらず、気候変動の有害な影響をはるかに大きく経験していることが長い間観察されてきた。例えば、Googleは2023年に56億ガロンの水を使用しており、前年から20%増加した[78]。Metaの平均的なデータセンターは15万の平均的家庭と同等の電力を消費している[109]。LLMのエネルギーおよび水の必要量に関する現在の研究が示しているように[99]、AIはこれらの影響をさらに悪化させる可能性がある。繰り返しになるが、こうしたシステムは、グローバル・サウスにそのコストを強いる一方で、グローバル・ノースのエリートユーザーに便益をもたらすように設計されているように見える。これは環境問題であるが、同時にフェミニストの問題でもある。なぜなら、こうした影響は地理的な観点だけでなく、ジェンダーの観点からも不平等に経験されているからだ。AIに関する環境問題のフェミニストの原則は、環境被害とその他の構造的抑圧の形との関連性を確立するために取り組んできたエコフェミニズムの数十年にわたる研究から導かれるかもしれない。また、ラテンアメリカの先住民フェミニストによる「cuerpo-territorio」（身体と土地）を相互に結びついたシステムと捉える研究や、同様に身体と土地の主権を結びつけ、両者に対する構造的暴力の終結を目指している北米の先住民フェミニストの研究も参考になるだろう[24, 45, 100, 139]。
5.2 データ・フェミニズムと同意
同意は、シスヘテロ家父長制のもとで暮らす世界中の女性、トランス、ノンバイナリーの人々がレイプや性的暴力に遭う率が高いことから、長年にわたってフェミニストが懸念してきた問題でもある。レイプや性的暴力を扱うほとんどの西洋の法律は、何らかの同意を前提としている。そして、その意味するところについて、さまざまなフェミニストによる解釈がある。例えば、2016年に有名なモデルとして発表された家族計画連盟（Planned Parenthood）によるFRIESモデルでは、同意とは、自由に与えられ、可逆的で、情報に基づき、積極的で（Enthusiastic）、具体的なものである。 とはいえ、同意に関しての数多くのフェミニスト的批判もある。例えば、同意は個人に焦点を当てすぎている、単純化しすぎている、二元論的すぎる（例えば、攻撃的な男性とゲートキーピング的女性という異性愛規範的でジェンダー化されたステレオタイプを強化し、クィアな関係を完全に無視している）などである[6, 52, 102]。AIシステムによってすでに広範囲に暴力や被害が蔓延しており、これらの被害が今後も増加し続ける可能性が高いことを踏まえると、私たちは、拡大された形での同意、すなわち、クィアな同意、集合的な同意、相互依存的な同意など、AIに関するフェミニストの原則を定式化することが依然として有益であると考えている。
AIは現在、ディープフェイクという形で、女性のポルノ画像を大量かつ同意を取らずに搾取することを容易にしている。Danielle Citronが教えるように、これは、ネットワーク化された自動車、携帯電話アプリなど、パートナーを支配し服従させるために悪用されてきた多くの「インテリジェント」テクノロジーと一致している[31]。 さらに、原則6で議論したように、LLMや生成AIシステムを学習させるために使用されるデータソースに関連する同意に関するより広範な問題がある。ソーシャルメディアへの投稿、家族の写真、オリジナルの芸術作品、ジャーナリスティックな報道、個人のブログなど、オンライン上のデータは、その制作者の知らぬ間に、膨大なデータセットに組み込むための格好の材料として利用されてよいのだろうか？ フェアユースに関する適切なガイドラインの策定を待つ間にも、ビッグテック企業が人々の作品を盗み、それを悪用し、利益を上げ、その過程で構造的暴力を助長するという現状のシステム以外の何かが必要であることは確かである。すでに、Allied Media Projectsによる同意的技術プロジェクト（Consentful Tech Project）や、人間とコンピュータの相互作用における同意の意味に関する研究など、同意とテクノロジーに関する重要な取り組みが行われている[79, 95, 144]。これらの研究結果は、より関係的で、包摂的で、開放的なシステムを構築するために活用できる。また、それがそうでない場合には拒否することもできる。
6 結論
現在、AI研究を形作っている人種的、ジェンダー的資本主義の力は強力であるが、予測可能でもある。 それらは、私たちが何世紀にもわたって観察し、経験してきた方法で機能している。 私たちは、AI研究におけるフェミニスト原則について、希望とともにこれらの考えを提示する。なぜなら、私たちが方向転換しなければ何が起こるかを知っているからだ。後期資本主義の予測可能性は、ある意味では私たちに容易な目標を与えてくれる。現状が望むものでないならば、Ruha Benjaminの呼びかけに従って「生きていくために欠かせない世界を構築し、同時に生きていけない世界を解体」しなければならない[14]。