ICAIF 2023 参加報告（後編）
本記事は、Japan Digital Design Advent Calendar 2023 の24日目の記事になります。
三菱UFJフィナンシャル・グループ（以下MUFG）の戦略子会社であるJapan Digital Design（以下JDD）にてMUFG AI Studio（以下M-AIS）に所属し、データサイエンティストをしている庄岩です。
11月27日から29日かけてニューヨークで開催された、金融領域での国際学会「ICAIF 2023」に参加しました。
本記事は、ICAIF 2023 参加報告として2回目の投稿となり、学会概要と興味深かった発表についてご紹介させていただきます。
前編については、以下の記事をご参照ください。
全体の印象
ICAIF(ACM International Conference on AI in Finance)は、ACMの金融分野の分科会で、かなり実務寄りの発表が多いです。
今年は第4回目となり、コロナ以降初めての大規模なリアル開催となります。会場はニューヨーク・ブルックリン区にある4 MetroTechCenterで、JPMCに提供していただきました。
2023年の論文投稿数は2022年より35%増加の200本で、148名PC/SPCメンバーによりレビュー実施しました。79本の論文が採用され、うち27本は本会議で口頭発表されました。
Best Paper Award(最優秀論文賞)はAcademic/Industry二種類で選出されました。Best Academic Paperは2本で、オックスフォード大学とユニヴァーシティ・カレッジ・ロンドン(UCL)のチームが受賞しました。Best Industry Paperは3本で、JPMC(2本)とインテーザ・サンパオロ(イタリアの銀行グループ)のチームが受賞しました。
また、本会議は23カ国の400名以上の方が参加し、ニュージャージー工科大学(NJIT)・オックスフォード大学などの教授が大会の委員長を務めていました。
全体的には、トレーディング・ポートフォリオ管理の分野の伝統的な金融手法の論文の割合が大幅減少し、LLM・GNN・生成AIなど最先端なAI技術の内容が増加し、AIの技術を金融業界での導入・応用が加速しているという印象です。
また、LLMの応用についての議論が盛り上がっているが、LLMの応用に伴うリーガル・コンプライアンスの対応もかなり重視されています。
興味深かった発表
From Pixels to Predictions: Spectrogram and Vision Transformer for Better Time Series Forecasting
まず紹介したい発表は、JPMCのAI研究センターのチームの研究についてです。
画像認識の手法を用い時系列予測問題を解決する事が注目されており、JPMCのAI研究センターも長年に渡り取り組んでいます。本論文では、時系列データのvisual representationとしてtime-frequencyスペクトログラムを使用する新しいアプローチを提唱します。
時系列予測は、伝統の統計手法である指数平滑・ARIMA、機械学習の手法であるRNN・LSTMなどの手法があり、transformers系の手法も注目されています。
また、visual time series forecastingという画像認識の手法を用い時系列予測問題を解決するアプローチも提出されました。数値データを画像に変換し、既に大きな進捗のあった画像認識系のアルゴリズムを活用し、より高精度な予測はできるようになります。このアプローチのきっかけは、金融時系列データの可視化によりトレーダーの意思決定を強化できるという時系列データの使用方法です。
本論文では、時系列のtime-frequency representationとしてウェーブレット変換を使用しました。フーリエ変換などほかのfrequency representations手法と比べ、ウェーブレット変換は局所的なスペクトルと時間の情報を両方抽出可能なため、より包括的なrepresentationを作れます。また、transformerの画像認識タスクでのポテンシャルを認識した上で、vision transformerを用い、timeとfrequency domainを同時に学習させます。
本手法は、ViT-num-spec(vision transformer for numerical time series with time-frequency spectrogram augmented)と命名されています。手法全体は大きく分けて2段階あり: 1. time-frequency spectrogram用い時系列データを画像に変換; 2. multi-layer perceptron(MLP)にvision transformer encoderを加え、将来を予測。
実験は、合成データ・気温データ・株価データ、3種類のデータで実施されました。合成データは調和関数からデータをサンプリングし、生成されています。気温データは2015年から2017年までオーストラリア気象局が収集したデータです。株価データはS&P500のデータです。
実験手法の候補は、1. ViT-num-spec: 本論文で提唱した手法、2. ViT-lineplot: vision transformerを生の時系列データに適用した手法、3. ViT-num: アブレーション研究として、spectrogramなしの手法、4. DeepAR: 最先端のLSTMベースの時系列予測手法、また統計手法のベースラインとするEMA、ARIMAも試されました。
上記の結果により、各種類のデータセットにもViT-num-specの手法は高精度な予測は実現できました。
一昨年も去年も、同チームは近いアプローチの発表がありました。2年前はシンプルなCNNのアプローチだけだったが、ますます進化されています。著者と会話して、frequency domainの利用により精度は大幅改善できました。また、解釈性について、attention scoreでヒートマップを描くというアプローチで頑張っています。
SimStock : Representation Model for Stock Similarities
次に紹介したい発表は、韓国の蔚山科学技術院(UNIST)の研究についてです。
株価データ系列間の類似性を表す時に、主に２つ課題がありました。1. 時間的分布シフト; 2. グローバル化とデジタル化によりセクター分類の変化。本論文では、自己教師あり学習(self-supervised learning, SSL)と時間ドメイン汎化(temporal domain generalization)技術を用いた手法を提案しました。
株価の変動パターンは時間によりかなり変わってきます。株価データ系列間のダイナミック・インタラクションも当然常に変わっています。また、株式の分類は、基本地域または業界により実施されていますが、グローバル化とデジタル化により、従来の分類方法は適用しづらくなってしまいます。例えば、サムスングループは韓国だけでなく、米国・中国・日本にも業務があります。また、Amazonは元々リテール業界になりますが、実はAWSなどウェブサービスのビジネスもあります。
Self-Supervised Learning(SSL)の手法は、コンピュータビジョンと自然言語処理の分野でよく使用されています。近年、SSLを時系列データに適用する研究がかなり増えています。TS2VECという手法はそのうち代表的な手法であり、株価データのロバストrepresentationを作成できます。
Domain Generalization(DG)とは、複数のドメインの間で不変な特徴を学ぶことで、よく言われる例は写真の馬もイラストの馬もhorseと分類できるような技術です。DRAINという手法は代表的なtemporal domain generalization (TDG) であり、複数のソースドメインの時間シフトを学習できます。
本論文で提案されたSimStockはDRAINをSSLに組み込むことにより、ラベルデータなしでも学習できる手法です。
実験は、米国のNYSEとNASDAQ、中国のSSEとSZSE、日本のTSE、合計3か国の５つの証券取引所のデータで実施されました。学習期間は2018年2月~2022年2月となり、テスト期間は2022年2月~2023年5月です。
ベースラインモデルは、過去1年間の相関データ(Corr1)、学習期間全体の相関データ(Corr2)、Google Financeに提供されている類似株の結果(Peer)、TS2VECというSOTAモデル、合計4つの手法です。
例のJ.P.MorganとNVIDIAの類似株の実験結果によると、SimStockの類似株の推薦結果は同じ業界の会社で、より自然な結果になります。
また、テーマ別ETFの検索も実施されました。各ETF(テーブルのARKK、SKYY、BOTZ、LIT)の類似度高い順のTOP Nの株を抽出し、ETFと類似株のリターンエラーを計算しました。SimStockは各ETFのトラッキングが可能です。
類似株のrepresentationは、株式市場分析と投資の意思決定に役に立ちますので、結構注目されている研究です。本手法はSSLとTDGを組み合わせて、時系列シフトと業界変化の課題を両方解決できるようになります。
LLM関連の研究成果
ほか、LLM関連の7つの研究成果を簡単にまとめたのでご紹介します。
1．FlowMind: Automatic Workflow Generation with LLMs
Robotic Process Automation(RPA)の運用において、自発的あるいは予測不可能なタスクが発生します。本研究では、LLMを用い、自動ワークフロー生成システムを作成しています。
2．LLMs for Financial Advisement: A Fairness and Efficacy Study in Personal Decision Making
パーソナルファイナンス業務における公平性と実効性の検証は行われました。比較対象はLLMに基づくチャットボットChatGPTとBard、ルールベースのチャットボットSafeFinanceとなります。BardとChatGPTはどちらも基本的なオンライン情報の取得する時にエラーを起こす可能性があり、生成された回答は異なるユーザーグループ間で一貫性がありません。一方で、ルールベースのチャットボットは生成機能強くないですが、元の情報ソースまで遡ることができる安全で信頼できる回答をユーザーに提供しています。
3．Enhancing Credit Risk Reports Generation using LLMs: An Integration of Bayesian Networks and Labeled Guide Prompting
LLMを用いた信用リスク分析プロセスの自動化における回答の信頼性を保証する対策として、prompt-engineeringの手法が提案されています。
4．Enhancing Financial Sentiment Analysis via Retrieval Augmented Large Language Models
LLMを金融センチメント分析に直接適用すると、LLMの事前学習目的とセンチメントラベルの予測との間の不一致は、LLMの予測性能を低下させる可能性があります。さらに、金融ニュースの簡潔な性質は、十分な文脈を欠くことが多く、LLMのセンチメント分析の信頼性を著しく低下させます。上記の課題を解決するために、検索補強(retrieval-augmented)LLMsフレームワークを提案されています。主にinstruction-tunedモジュールと信頼できる外部ソースから追加のコンテキストを取得するモジュールが含まれます。
5．FinBERT-FOMC: Fine-Tuned FinBERT Model with Sentiment Focus Method for Enhancing Sentiment Analysis of FOMC Minutes
金融センチメント分析を目的として、Sentiment Focus手法を用いて、FinBERTをfine-tuneしました。
6．Fine-Tuning Pretrained Language Models to Enhance Dialogue Summarization in Customer Service Centers
fine-tuneしたLLMをカスタマーサービスセンターの業務で適用し、カスタマーサービスの対話の時間短縮とスキルの標準化は実現可能になりました。
7．LLMs Analyzing the Analysts: Do BERT and GPT Extract More Value from Financial Analyst Reports?
LLMを用いて、韓国の金融アナリストのレポートのセンチメント分析に使用しました。従来の金融アナリストのレポートには「BUY」を推奨するバイアスがあります。本研究では韓国語の金融テキストを用いたfine-tuneのLLMを採用し、金融アナリストのレポートの本文にセンチメント分析を行い、より正確な投資戦略を構築することを検証しました。
最後に
今回はICAIF2023に参加した時に興味をもった発表を紹介させていただきました。
M-AISでは金融ビジネスの課題を解決するために、各種最先端のAI研究結果を積極的に活用しています。
もしAIの実務も研究も両立したくて、M-AISに興味を持っていただいた方はぜひ気軽に弊社まで連絡してください。
この記事に関するお問い合わせはこちらにお願いします。