AAAI 2024 金融とAIの最先端研究：参加報告②
三菱UFJフィナンシャル・グループ（以下MUFG）の戦略子会社であるJapan Digital Design（以下JDD）でMUFG AI Studio（以下M-AIS）に所属し、データサイエンティストをしている上野です。
2月20日から27日にかけてカナダのバンクーバーで開催されたAIの国際会議「AAAI 2024」に参加してきました。
前回は、AAAI Award for Artificial Intelligence for the Benefit of Humanityでの受賞講演と著名なAI研究者であるYann LeCun氏の講演について紹介しました。
今回は、AAAI 2024で発表されていた金融領域に関する研究の紹介になります。AAAI 2024では金融領域に関する発表が少なかったのですが、その中で発表された2本の論文についてご紹介いたします。
金融領域の発表
1. CI-STHPAN: Pre-trained Attention Network for Stock Selection with Channel-Independent Spatio-Temporal Hypergraph
この論文では、株式の銘柄選択のために、TransformerとHypergraph Attention Networkを用いて株式市場の時間的空間的特徴を捉える二段階のフレームワーク, Channel-Independent based Spatio-Temporal Hypergraph Pre-trained Attention Networks (CI-STHPAN),を提案しています。
具体的には、株銘柄間の時間的特徴の類似性とドメイン知識により得られた類似性を元にモデルの事前学習を行うフレームワークと、事前学習したモデルを用いて株価を予測しランキングづけする下流タスクでファインチューニングを行うフレームワークを提案しています。
これまでに株価予測を目的として、株式市場の不確実性とボラティリティを捉える伝統的な機械学習技術が適用されてきました。しかしながら、従来の機械学習手法では、高度な専門性を要する金融・経済に関する特徴量を手動で構築する必要がありました。
そのため、従来の機械学習手法を超えてLSTMやTransoformerといった深層学習の手法を用いてクオンツ投資家は投資リターンを高めようとしてきました。さらに多くの研究では、予測精度の向上を目的として株銘柄間の相関に着目した株の時間的特徴と銘柄間の関係性に着目した空間的特徴の融合のために様々なグラフニューラルネットワークを用いてきました。
しかし、これら先行研究のend-to-endのアプローチは深層学習の強力な表現力を十分に活用できていません。さらに株式市場が非常に不安定であるにも関わらず、グラフを用いたアプローチではあらかじめ定義された銘柄間の関係に基づいています。
この論文では、Transformerを用いた株の時間的特徴を抽出し、ハイパーグラフを用いることで事前に定義された銘柄間の関係性の構築にとどまらず、より潜在的な株の関係性を探索する手法(CI-STHPAN)を提案しています。
CI-STHPANでは株価データの時間的特徴と空間的特徴を捉えるためにTransformerとHypergraph Attention Network(HGAT)を用いた事前学習をまず行います。
株価データは標準化と銘柄の時系列全体にわたって時間窓をスライドさせて生成するPatchingを前処理として行います。ハイパーグラフの構築にはDTW(動的時間伸縮法)に基づいて類似した株価トレンドをもつ銘柄間のハイパーグラフ、ドメイン知識により事前に定義された動的に変化しない業界ハイパーグラフ、wikidata関連のハイパーグラフの3つの異なる関連性に基づいたハイパーグラフをランダムに組み合わせて、HGATを適用するハイパーグラフを生成しています。
上の図はCI-STHPANの概要図です。
事前学習のフレームワークでは、前処理が施された株価データは5日、10日、15日、20日の移動平均値と終値のデータをそれぞれ独立したチャンネルとして扱い、各チャンネル毎にデータを時間窓をスライドさせて分割したPatchを一定の割合でランダムにマスク化したあとで、Transformer Encoderへ入力され各銘柄の各チャンネル毎の時間的特徴量としてエンコードされます。
エンコードされた個別銘柄の時間的特徴量はHypergraph Attention Network(HGAT)によって大域的な時間特徴量として抽出されます。抽出された時間特徴量は、先述した類似した株価トレンドをもつ銘柄間のハイパーグラフ、業界ハイパーグラフ、wikidataに基づくハイパーグラフの3つのハイパーグラフに基づいて構築されたHGATの初期埋め込み表現として用いられます。
その際に各チャンネルごとの銘柄間の類似性に基づいたハイパーグラフを構築し、それぞれのチャンネルの特徴を捉えられるようにモデルの構造を変えずにチャンネル独立性を担保しています。
最終的な特徴量はHGATを用いてチャンネルごとに更新して得られた空間的特徴と各銘柄の時間的特徴を混ぜて得られます。得られた最終的な用いて、マスクされたPatchを復元するように自己教師あり学習で訓練されます。
Fine-tuneのフレームワークでは事前学習されたモデルを用いて株価ランキングを下流タスクで行います。事前学習での時間的および空間的な特徴を混ぜて得られた最終的な特徴量を用いて予測した各株価の次の取引日の終値をリターン割合に変換し、予測した株価に基づいて銘柄間のランキングを行います。
実験では、NASDAQとNYSEの二つの市場の2013年から2017年の過去データを用いて学習とバックテストを行っています。
実験の性能評価は収益性という観点で内部収益率(IRR)とシャープレシオ(SR)を評価指標とし、4つのタイプのベースラインと比較しています。
収益性の計算のために投資戦略としてバイアンドホールド戦略を採用します。時点tにおいて、t+1時点の各銘柄の株価を予測し、予測した株価に基づいて構築した銘柄のランキングのうち上位k個の銘柄をホールドして、t+1時点でそれらを売却した際の収益性を計算します。
まず、CI-STHPANは2つのデータセットでベースラインモデルよりも高いリスク調整後のリターンを達成しています。その他、TransformerベースのモデルがRNNベース（SFM、DARNN、SAE-LSTM）よりも優れていること、動的に関係性を考慮する提案手法が事前に定義された関係に基づく手法（Rank LSTM、HATS、STHAN-SR）よりも優れていること、価格データのみを考慮する手法（Adv-LSTM、DQN、HATR）に比べても優れていることが今回の実験では示されました。
この結果から、動的な時空間注意メカニズムを採用しているCI-STHPANの株式選択タスクにおける有用性が示唆されています。
2. Market-GAN: Adding Control to Financial Market Data Generation with Semantic Context
2つ目の論文は、金融時系列データの生成に関する論文です。
投資戦略の最適化や意思決定を促進する上で金融市場のシミュレーションは重要な役割を担っています。そのような金融市場の特徴を高い忠実度で生成するシミュレータが金融と機械学習に関する研究のトレンドとなっている一方で、既存のフレームワークでは市場に非定常なコンテキストの存在が示されており、それらコンテキストへの適応が難しいという問題があります。
適応が難しい理由として、現在の金融市場のデータセットにはコンテキストラベルが含まれていないこと、既存手法はコンテキストを含んだ金融データの生成のために設計されていないこと、金融データの性質(非定常性やノイズの多い性質)を考慮すると高い忠実度のデータを生成することは困難であることが挙げられています。
これらの解決を目的として著者らはコンテキストを含むデータセットであるContextual Market Datasetの提案とコンテキストを考慮した制御可能な生成モデルのMarket-GANを提案しています。
Contextual Market Datasetでは、数年単位の時間スケールでのファンダメンタル要因、2から6ヶ月の中期的な市場のダイナミクス、2ヶ月以内の短期間のボラティリティ履歴をsemantic contextと設定しています。
これらのsemantic contextを組み込んで資産価格モデルを用いて資産価格を推定し、推定した資産価格と上で述べたsemantic contextをそれぞれ、
ある時点tにおける株のティッカー
市場ダイナミクス
近傍の履歴
と合わせて実際の市場データとして表現しています。
Market-GANでは、Contextual Market Datasetを用いて生成時にcontextを条件として入力し、mode collapseを起こさずにコンテキストに沿う正確な生成を実現するために事前学習、敵対的学習の二つの学習スキームによるモデルの構築を提案しています。
上の画像は事前学習を示しています。
事前学習では以下の4つの学習を組み合わせています。まず事前学習には始値、高値、安値、終値を価格特徴量として用いますが、下流タスクで問題が起こらないようにデータを安値 <= (始値、終値) <=高値の制約をつけます。
エンコード層ではこれらの特徴量を先に述べた制約を守るように、安値、始値 - 安値、終値 - 安値、高値 - max(始値、終値)に変換することによって資産価格とContextの各特徴量の偏差が負にならないようにエンコードされます。
Context Supervisorsでは、TimesNet(Wu et al. 2023)を適用してエンコードされた資産価格を市場ダイナミクスと株のティッカー空間に変換するように学習させます。
Autoencoderフェーズではファクターモデルとみなしたautoencoderを用いてエンコードされた入力を再構成するように潜在表現を学習することを目的にしています。入力時と再構成時にembeddingされたcontextも入力することで、contextに沿った生成を可能にします。
また、再構成された資産価格に対してcontext supervisors同様の変換における損失を正則化項として目的関数に追加することで生成の質の向上を試みています。
Embedding Context Supervisorsの段階では、embedding networkによって生成された潜在表現を用いたdynamic supervisorとstock ticker supervisorの埋め込み表現を学習させます。これにより資産価格とcontextを合わせた埋め込み表現から市場ダイナミクスと株ティッカーそれぞれの埋め込み表現の質を向上させます。
最後にGeneratorフェーズでは二つのgeneratorを学習させます。埋め込みgeneratorでは、contextに沿うような潜在表現を生成するように訓練されます。自己回帰 generatorでは潜在空間が実際のXの分布に近くなるように訓練されます。
敵対的学習では、Discrimination LossとGeneration Lossの２つの損失関数を用いて学習させています。Discrimination Lossでは埋め込みネットワークから生成される潜在表現と埋め込みgenerator、自己回帰generatorから生成された潜在表現を見分けられるような損失関数を設計します。
Generation Lossでは埋め込みgeneratorと自己回帰generatorから生成された埋め込み表現を用いたdiscriminatorの識別に対する損失と事前学習で用いたContext Supervisorsの損失、Autoencoderの損失、Embedding Context Supervisorsの損失を組み合わせた損失関数となっています。最終的にこれらの損失関数を組み合わせて目的関数としています。
モデルの性能を評価するために2000年1月から2023年6月までのダウ平均株価から29銘柄の日次のOHLC(始値、高値、安値、終値)特徴量を活用しています。
このデータを活用していくつかの設定を変更したablation studyを実施し、いくつかのベンチマークとの比較で定量評価を行います。定量評価はcontextに対する整合性、忠実度、市場の事実に従っているか、データの有用性を評価という観点で評価しています。
contextの整合性とデータの有用性を評価するSymmetric Mean Absolute Percentage Error(SMAPE)という評価指標ではベンチマークを上回っており、市場の事実の違反も0となっています。
一方で生成データと実際のデータを用いたdiscriminatorによる識別結果を用いた忠実度の評価においては3番目の精度にとどまっていますが、他の指標による評価を考慮すると許容範囲内であるとしています。
定性評価では、CLIPやFIDの評価の限界に対して、t-SNEプロットを用いてデータの可視化を用いて評価を行っています。上段では、それぞれの市場ダイナミクスのクラスターを可視化しています。
提案手法であるMarket-GANは実際のデータと同様にそれぞれのクラスターが明確に分離しているように見え、これがモード崩壊を解消し多様な生成を導いたことを示していると主張しています。
下段では、生成と実際のデータのt-SNEプロットとなっており、実際のデータから大きく外れた生成結果がありません。Market-GANはcontextを用いて生成を制御する能力が高いため、極端な市場をシミュレーションでき金融領域への下流タスクにおいて有用となる可能性があるとしています。
まとめ
AI技術と金融領域の研究では予測タスクやポートフォリオ最適化タスクといったテーマだけではなく、金融時系列データがもつ特殊性から金融時系列データの生成というテーマが他のAIに関する国際会議においても注目されています。AI技術と金融という領域においては分析対象として扱えるデータ量の少なさから今後もデータ生成技術を含め、これらのテーマは発展していくと考えられます。
JDDのM-AISチームではこのような金融時系列データに関する研究開発のみならず、LLMなど最新技術に関する研究開発を目的として、以下のような国内外の学会参加および発表を積極的に実施しています。
Japan Digital Design株式会社では、一緒に働いてくださる仲間を募集中です。カジュアル面談も実施しておりますので下記リンク先からお気軽にお問合せください。
この記事に関するお問い合わせはこちら
M-AIS
Michihiko Ueno