グーグルはAIにあなたのジョークを説明するよう教えている≒AIはあなたのジョークが面白くないと認識している。〜すべてがNになる〜
研究者たちは、グーグルのような大規模な言語モデルは本質的にリスクが高く、疎外された集団に害を及ぼす可能性があると警告しています。
ジャナス・ローズ著
アメリカ・ニューヨーク
April 12, 2022, 12:52am
「人工知能」は、あらゆる種類の技術的な偽油を売るための怪しげなラベルであることが多いです。しかし、少なくとも機械の感覚という考え方が衝撃的に現実的だと感じられる分野の1つが、自然言語処理、つまり人間の言葉を解析してそれに応答するよう学習する機械学習システムです。
GPT-3のような大規模言語モデル（LLM）により、チャットボットは、何が機械で生成され、何が人間によって書かれたものかを見分けるのが難しいほど、不気味で不穏なほど正確な人間のコミュニケーションを生み出すことができるようになりました。最近発表された論文の中で、グーグルの研究チームは、リアルなテキストを生成できるだけでなく、人間が話すジョークを解釈して説明する能力を持つPaLMと呼ばれる言語モデルを訓練したと主張しています。
例えば、Chain-of-Thought promptingと呼ばれる技術を使用することで、人間の思考プロセスをシミュレートし、複数ステップの論理問題を解析するシステムの能力を大幅に向上させることができます。
しかし、最も驚くべきは、このモデルが、たとえ聞き手を混乱させるようなジョークであっても認識し、解釈することができることを示していることでしょう。
入力する シマウマと傘はどう違うの？一つは馬に関係する縞模様の動物、もう一つは雨が降ってくるのを止めるために使う道具です。
モデル出力。このジョークはアンチジョークである。答えは明白であり、面白い答えを期待していたというジョークである。
PaLMがこれらのプロンプトを解析できる背景には、5,400億ものパラメータを持つ、史上最大級の言語モデルがあります。パラメータとは、学習プロセスにおいて、システムに例題データを与えるたびに学習されるモデルの要素です。(ちなみにPaLMの前身であるGPT-3のパラメータは1750億です）。
このパラメータ数の増加により、研究者は個々のシナリオに応じたモデルの学習に時間を割くことなく、さまざまな高品質な結果を得ることができるようになりました。つまり、言語モデルの性能はパラメータ数で測られることが多く、最大級のモデルは「少数点学習」と呼ばれる、比較的少ない学習例でさまざまな複雑なタスクを学習する能力を備えているのです。
多くの研究者や技術倫理家が、Googleや他の企業が大規模な言語モデルを使用していることを批判しており、このテーマに関する未承認の論文を共著して2020年にGoogleのAI倫理チームから追放されたティムニット・ゲブリュー博士もその一人です。Gebruの論文では、彼女と共著者たちは、こうした大規模なモデルは「本質的にリスクが高い」ものであり、設計プロセスに参加しないことが多い、疎外された人々にとって有害であると述べています。特にGPT-3は「最先端」であるにもかかわらず、人種差別的な中傷をさりげなく取り入れたり、イスラム教徒を暴力と関連づけたりと、偏見や人種差別的な反応を返してきた歴史があります。
ゲブルの論文には、「ほとんどの言語テクノロジーは、実際には、社会的にすでに最も特権を持っている人々のニーズに応えるために、何よりもまず構築されている」とあります。「しかし、文書化されていないトレーニングデータは、救済措置なしに害悪を永続させる。もしトレーニングデータが大きすぎて文書化できないと判断された場合、文書化された問題や未知の問題のいくつかを軽減するために、その特性を理解しようとすることができません」。
【追記】
どうやら、Googleには新興宗教も勃興していて目がはなせないに成長している模様です。
