【dbts2024 レポート】生成AIの最新技術と活用の可能性

こんにちは、開発部冨山です。
db tech showcase 2024 1日目のPA4セッションである「生成AIの最新技術と活用の可能性」のレポートをお届けします。

セッション概要

発展著しい生成AI技術の最新動向について、研究者視点で解説を行う。また、特に研究上の結果が得られている有望な活用事例についても紹介する。

スピーカー名：AI研究者
博士（工学）
元・東京大学松尾研究室
今井 翔太 様

はじめに

　当セッションではGPT-4o・Geminiに代表される大規模言語モデルが、ここまで隆盛を極めた理由や、各モデルの特長について、ご紹介いただきました。また、Gemini-1.5-proが、ウェブ上に存在しない、カルマン語の文法書データを入力に加えることで、カルマン語の翻訳に成功した事例をご紹介いただきました。

セッション内容まとめ

1. 大規模言語モデルがここまで隆盛を極めた理由

   1. スケーリング則
      モデルパラメータ数・データセットサイズ・計算量が増えるにつれて、誤差が減少するという法則

   2. 能力創発
      モデルパラメータ数、若しくは計算量が非常に大きくなると、ある箇所を境に、突然性能が大きく向上すること
      

2. 今後はどのようなモデルが人口に膾炙するか

   1. UI/UXの優位性がある

   2. web上にないデータを学習させたモデル

聴講した感想

　種々の大規模言語モデルが乱立する中、それぞれの特徴について説明いただきました。例えば、GPT-4oは高速な応答速度・マルチモーダリティ等の特長があります。しかし、ハルシネーションが以前のモデルよりも頻発しているという報告があることも、併せて説明いただきました。また、玉石混交の文章データを大量学習させる大規模言語モデルとは立場を異にする、高品質の文章データを少量学習させる小型LLMの例として、MicrosoftさんのPhiシリーズをご紹介いただきました。

　私はとりわけ、Chat-Vectorの話に興味を持ちました。これは、大規模なチャット未学習モデルに、チャット学習済みモデルのパラメータとチャット未学習モデルのパラメータの差分を適用させることで、大規模なチャット学習済みモデルを構築できるというものです。私は、低次元の潜在特徴量空間上で「女王」=「王」-「男」+「女」のような計算が可能という程度しか知りませんでした。チャットに関する多くのルールについて、モデルパラメータレベルでの計算が出来るとは露ほども思っておらず、とても勉強になりました。

アーカイブ動画配信のご案内

db tech showcase 2024は、期間限定でアーカイブ動画を配信中です。
本イベントのセッションをオンラインでご視聴いただけるほか、講演資料のダウンロードも可能です。継続公開が決まったdb tech showcase 2023のセッション動画も含め、約130本の動画を自由に見ていただけます。
※一部対象外セッションあり

db tech showcase 2024 / Tokyo | db tech showcase