[翻訳]大学IR/IEにおける生成AIの活用状況
The Use of Generative Artificial Intelligence in Institutional Research/Effectivenessの翻訳です。
2024年2月発表
2023年11月、アソシエーション・フォー・インスティテューショナル・リサーチ（AIR）は、大学IR（インスティテューショナル・リサーチ）および大学の効果測定の専門分野における生成AIの活用状況を調査するため、会員を対象としたアンケートを実施した。2,245名の会員のうち469名から回答が得られ、回答率は21%であった。
アンケートでは、回答者に所属する部署やユニットにおける生成AIの成熟度を、4段階の成熟度スケールを用いて評価してもらった。その結果、大多数の回答者（82%）が、所属部署の成熟度を「未導入」または「受動的」と評価し、一方で18%の回答者が「積極的」または「最適化済み」と評価した（図1）。
さらに、回答者に所属機関全体における生成AIの成熟度についても評価を求めたところ、「未導入」または「受動的」と評価した回答者の割合は部署レベルと同じ82%であったものの、分布はより高い方向にシフトしていた。すなわち、機関レベルでは生成AIの活用について「受動的」と評価した回答者の割合（45%）が、IR/IE部署レベル（25%）と比較して高かった。
1. 生成AIの成熟度に基づくIR/IE部署の比較
IR/IE部署における生成AIの成熟度評価に基づき、回答者を2つのグループに分類した。1つは生成AIの成熟度が高い（積極的または最適化済み）部署に所属する回答者、もう1つは成熟度が低い（未導入または受動的）部署に所属する回答者である。
次に、回答者に対し、生成AIがIR/IE専門職に与える影響に関する4つの質問を行った。そのうち2つの質問については、両グループで同様の回答が得られた。
生成AIの活用により、定型業務やデータ処理を簡素化できる。
生成AIの活用により、新しい手法やデータソースの探索など、部署の能力を拡張できる。
しかし、残りの2つの質問については、統計的に有意な差が見られた（p < .05）。生成AIの成熟度が高い（積極的または最適化済み）部署の回答者は、成熟度が低い（未導入または受動的）部署の回答者と比較して、「生成AIの活用により、部署の効率を改善できる」という記述に同意する傾向が強かった（図2）。
一方、成熟度が低い（未導入または受動的）部署の回答者は、成熟度が高い（積極的または最適化済み）部署の回答者と比較して、「生成AIの活用には、大幅な専門能力開発が必要になる」という記述に同意する傾向が強かった（図3）。
2. 生成AIの成熟度が低いIR/IE部署
生成AIの成熟度が低い（未導入または受動的）部署の回答者の最も多くの割合（74%）が、生成AIを活用していない理由として、明確なAI戦略や組織戦略の欠如を挙げた。AI活用が進んでいない2番目に多い理由は、専門能力開発やAIの専門知識が不十分であることであった（図4）。
生成AIの活用を妨げているその他の理由について尋ねたところ、複数の回答者が時間の不足、人員不足、およびAIが業務にどのように役立つのかについての理解不足を挙げた。
代表的なコメント
誰もが既に期待以上の仕事をしており、これは「さらなる負担」と感じられる。
スタッフの能力不足と競合する要求事項がある。ディレクター1名とアナリスト1名で、連邦、州、その他の規制当局への報告、機関の計画立案、データガバナンス、認証業務の責任を負っているため、新しい技術を適用する時間は非常に限られている。
人員不足のため、掘り下げる時間がほとんどない。当機関ではAIの影響と活用方法を理解するためのキャンパス全体の委員会が設置されたため、今後2年間で部署独自の計画を策定したいと考えている。
生成AIが業務の質や利害関係者に悪影響を及ぼさないようにするには、時間が必要である。また、生成されたものが正確で再現性があることを確認するために、AIのブラックボックスに踏み込むのは難しい場合がある。
IR/IE部署における生成AI活用の欠如を説明する理由として、新技術に対するスタッフの抵抗や適応の遅れ、上級幹部からのサポート不足が最も少なかった。
3. 生成AIの成熟度が高いIR/IE部署
生成AIの成熟度が高い（積極的または最適化済み）部署の回答者の最も多くの割合（71%）が、AIを活用している理由として、部署の業務の効率性と有効性の向上におけるAIの役割を挙げた。新しい手法の探索やデータソースの分析ができることが、活用の2番目に多い理由であった（図5）。
生成AIの成熟度が高い部署の回答者のうち、109名が部署で使用しているAIソフトウェアソリューションを133件特定した。そのうちの大半がChatGPTを挙げた（表1）。
さらに、回答者は生成AIを用いて実行されるタスクを140件特定し、そこから5つの共通のテーマが浮かび上がった（表2）。
同様の生成AIの導入に関心を持つ個人へのアドバイスを回答者に求めた。
代表的なコメント
試してみることをおすすめするが、気を取られすぎないように注意が必要。
部署名、機関名、スタッフや教員の名前など、特定可能な機関のデータをアップロードしないように注意すること。オンサイトでロックダウンされたエンタープライズ版LLMに投資し（ツールのトレーニングとデータの検証にかなりの時間とエネルギーを投資する意思がある場合）、そうでない限り、このテクノロジーが約束するものに注意すること。読んだり、探求したり、同僚とネットワークを築いたりする時間を取り、自分自身（および上層部）が使用の影響を十分に理解していることを確認すること。
今すぐ始めること。セキュリティ上の理由から、機関のデータの使用には注意が必要。
とにかく試してみることをおすすめする。テストして、役立つかどうかを確認すること。役立たない場合は、それほど時間を投資していないことになる。役立つ場合は、莫大な時間を節約できる可能性がある。
AIで生成された結果を自分の仕事であるかのように偽らないこと。
入力するデータの所有者を明確にすること。AIツールの使用を検討する際は、_ AIR倫理声明 _を念頭に置くこと。AIツールを「トレーニング」するためのプロンプトの作成方法を学ぶこと。結果を別のツールで検証すること。優れた研究手法を適用すること。
AIの分析能力を、IR部署ですでに分析済みのデータセット（定性的または定量的）でテストし、AIのパフォーマンスをIRアナリストのパフォーマンスと比較すること。
AIはなくならない。私たちが行っていることを改善するために使い方を学ぶべきツールである。
注意が必要。サイバーセキュリティの専門家や法務部門と相談し、誰もがオープンソースのツールに入力すべきことと入力すべきでないことを理解していることを確認すること。
慎重に楽観的であること。専門知識を活かすこと - 正しいものがどのようなものかを知っているはず。倫理基準に沿うこと。反復を厭わないこと。うまくいくプロンプトのライブラリを維持すること。
AIを効果的に使用するには、ユーザーが非常に高いレベルで主題を理解している必要がある。AIは不適切または誤解を招く情報を生成する可能性があるため。
とにかく使ってみること。現時点では、生成AIは新しいフロンティアであり、習熟するのに役立つドキュメントやクラスはほとんどない。まず、AIに物事を検索させること（Bing）から始め、次に電子メールやプレゼンテーションのタイトルなどの簡単なものを書くのを手伝ってもらい、その後、限界をテストし始めること。アーリーアダプターは、単純な経験を通じて専門家になれる。
4. 生成AIの使用に関する倫理的懸念
自分の部署の生成AIの成熟度に関係なく、すべての回答者に、生成AIの使用に関して倫理的な懸念があるかどうかを尋ねた。提供されたコメントはいくつかのテーマにまたがっている。
代表的なコメント
生成モデルにおけるバイアス
バイアスのあるデータで学習した生成AI/LLMを使用することには、極めて大きな倫理的懸念がある。適切な引用や反省なしに、そのバイアスが下流に注入されてしまうためである。生成AIはまた、確率的なオウム返しになる可能性がある。もっともらしく権威あるように聞こえる答えを吐き出すが、精査すると間違っていることが判明する。私は通常、最先端のテクノロジーを楽しんでいるが、NFTやICO/暗号通貨と同様に、企業や機関が置いていかれることを恐れてAIに突進しているのであって、それが正しいことだからではないと感じずにはいられない。
アルゴリズムはインターネット上の情報で学習しているため、ワールドワイドウェブ内に絡み合った社会的不正を考えると、倫理的な配慮が必要である。さらに、盗作や流用に関するガイドラインの作成は始まったばかりである。
予測モデルにおけるバイアスが大きな懸念である。
これらのツールを使用する際、バイアスは大きな懸念事項である。生成AIは社会全体の理想を伝播するため、誤情報や固有のバイアスを広めるという点で危険である。これらのツールのトレーニングは、部署の効率を高めるために使用するために必要な専門能力開発に加えて、さらなる作業となる。
データセキュリティと所有権
最大の懸念は、入力されたデータがどこに行くのかということである。私の理解では、これらのシステムに入力されたものは何でも、システムの一部になってしまう。それは容認できない。
ChatGPTのような「公開」バージョンは、実際のデータ分析には使用すべきではなく、ブレインストーミングにのみ使用すべきである。なぜなら、データはツールの全体的な学習の一部になってしまうからである。生成AIを埋め込んでいると言うシステムでさえ、少し疑わしい。ツールはまだ学習する必要があるからである。
ChatGPTを分析に使用するのは魅力的だが、それは潜在的に機密性の高いデータを世界に送ることを意味する。我々は、クラウドストレージと高いセキュリティ基準を備えた製品を追求している。
Bard、Chat GPT、ATLAS.tiを使用する場合、キャンパスのデータが機関外の研究者にアクセス可能になり、データプライバシーや倫理的なデータ使用の問題が発生する可能性がある。
ブラックボックスアルゴリズム（すなわち、知ることができない、またはたどることができない予測アルゴリズム）
ブラックボックスでは、ソースと方法論を理解する能力が制限される。そのため、出力/結果を完全に理解し、行動を推奨する能力が制限される。
自由回答式の調査回答やその他の非構造化データの分析に使用するのは魅力的だが、品質をテストするのに非常に時間がかかる。
ブラックボックスモデルと、学生やインターベンションにモデルの結果をどのように使用するかの感度が少し心配である。
意志決定を推進するための基礎となるメカニズムが全くわからないブラックボックスのシナリオに陥った時だけ心配になる。
企業の動機に対する懐疑心
私のデータを使用したり保存したりしていないと言っている...彼らはそう言っている。
AIは人々を失業させる一方で、さらに多くのお金を、これ以上お金を必要としない人々の手に渡らせることになる。
AIツールの作成者による著作権侵害の横行、クリエイティブな専門家の失業、粗悪な製品、AIに入力された専有材料の著作権/セキュリティを保持できないこと
AIを使用して生成された最終製品の所有権。個人の仕事の功績をAIが得ること。
この記事が気に入ったらサポートをしてみませんか？