AI系の研究・開発に関するヘッドライン｜素案
何にまとめればいいのかわからないぐらい情報が氾濫している。
生成AIの登場から一気に情報の流通量が増えていると感じている。
一方で人のほうの記憶する力や理解する力、得られた知見を実践する力はそこまで変化してないわけで・・・
有益か、無害か、はたまた有害なのか。
「うそはうそであると見抜ける人でないと生成AIを使うのは難しい」と呼ばれる日もそう遠くない。
であれば私ができることは知識を記録し、学んでいくしかない。
なのでnoteでは記録を残しておこうと思う。
ということで、最近話題の自然言語処理や生成AI系の論文でも見ていこうと思う。
なお要約のみの記載として正当性や真偽の判断は行わないので、ご覧になられるときは各自で判断いただけるありがたいです。
デジタル技術の検閲がもたらす意図せざる結果--イタリアのChatGPT禁止令の証拠から
デイヴィッド・H・クライトメア、ポール・A・ラシュキー
生成前訓練変換チャットボットChatGPTの使用禁止が個人の生産性に与える影響を分析する。まず、イタリアと他のヨーロッパ諸国の8,000人以上のプロのGitHubユーザーの1時間ごとのコーディング出力に関するデータをまとめ、禁止が個人の生産性に与える影響を分析します。高頻度データと突然の禁止令の発表を差分法の枠組みで組み合わせると、イタリアの開発者のアウトプットは禁止令後の最初の2営業日で約50％減少し、その後は回復することがわかりました。Google検索とTorの日次利用データに合成制御アプローチを適用したところ、禁止令によって検閲回避ツールの利用が大幅に増加したことがわかった。我々の調査結果は、ユーザーはインターネット規制を回避する戦略を迅速に実行するが、この適応活動は短期的な混乱を生じさせ、生産性を阻害することを示している。
生成型検索エンジンにおける検証可能性の評価
ネルソン・F・リュウ、ティエンイ・チャン、パーシー・リャン
https://arxiv.org/pdf/2304.09848.pdf
生成型検索エンジンは、ユーザーのクエリに対する応答を、インライン引用とともに直接生成する。信頼できる生成検索エンジンの前提条件は検証可能性である。すなわち、システムは包括的な引用（高い引用想起：すべての発言が引用によって完全にサポートされている）と正確な引用（高い引用精度：すべての引用が関連する発言をサポートしている）である。我々は、Bing Chat、NeevaAI、perplexity.ai、YouChatの4つの人気のある生成検索エンジンを、様々なソース（例えば、過去のGoogleユーザーのクエリー、Redditで動的に収集されたオープンエンド質問など）からのクエリーセットで監査する人間評価を行った。その結果、既存の生成型検索エンジンの回答は流暢で情報量が多いように見えるが、裏付けのない文章や不正確な引用が頻繁に含まれていることがわかった。平均して、生成された文章のうち引用によって完全にサポートされているのはわずか51.5%、引用によってその関連文章をサポートしているのはわずか74.5%にすぎない。この結果は、情報を求めるユーザーにとって主要なツールとなり得るシステムにとって、特にその信頼性の高さを示すものであり、懸念すべきものであると我々は考えている。私たちは、この結果が信頼できる生成検索エンジンの開発をさらに動機付け、研究者やユーザーが既存の商用システムの欠点をよりよく理解するのに役立つことを期待しています。
ロボットの脳としてのLLM： エゴセントリックな記憶と制御の統合
Jinjie Mai, Jun Chen, Bing Li, Guocheng Qian, Mohamed Elhoseiny, Bernard Ghanem
https://arxiv.org/pdf/2304.09349.pdf
エンボディドAIは、物理的または仮想的な身体（ロボットなど）を持ち、環境と動的に相互作用することができる知的システムの研究開発に焦点を当てています。記憶と制御は、具現化されたシステムの2つの重要な部分であり、通常、それぞれをモデル化するための個別のフレームワークが必要です。本論文では、LLM-Brainと呼ばれる新規かつ一般化可能なフレームワークを提案する：Large-scale Language Modelをロボットの脳として使用し、自己中心的な記憶と制御を統一する。LLM-Brainフレームワークは、ロボットタスクのための複数のマルチモーダル言語モデルを統合し、ゼロショット学習アプローチを利用する。LLM-Brainのすべてのコンポーネントは、知覚、計画、制御、記憶を包含する閉ループの多ラウンド対話で自然言語を使用して通信します。このシステムの中核をなすのは、自己中心的な記憶を維持し、ロボットを制御する体現型LLMである。LLM-Brainは、アクティブな探索と質問応答という2つのタスクによって実証されます。アクティブ探索タスクでは、ロボットが限られた動作回数で未知の環境を広範囲に探索することが要求されます。一方、質問応答タスクでは、ロボットが事前の探索で得た観察結果に基づき、質問に答えることが求められる。