Transformers are efficient hierarchical chemical graph learners
本研究の学術的背景は、グラフ表現学習のための新しい手法として、自然言語処理からのアブストラクトトランスフォーマが注目されていることです。グラフトランスフォーマは、ノードやエッジを別々のトークンとして扱うことが一般的であり、トークン数に応じて自己注意の計算量が二次的に増加します。これにより、中程度のサイズのグラフでも計算上の課題が発生します。そこで本研究では、メッセージパッシングメカニズムによって情報を集約するサブグラフに作用するグラフトランスフォーマであるSubFormerを提案しています。この手法により、トークン数が減少し、長距離の相互作用の学習が強化されます。
本研究の目的は、化学構造から分子の特性を予測するためのベンチマークである、競争力のあるグラフトランスフォーマを作成することです。また、消費者向けのグラフィックスカード上で数分間のトレーニング時間で実現することも目標としています。これにより、計算コストの面で優れた性能を発揮します。また、化学構造に関する知識を持つことにより、注意の重み付けを解釈することができます。
本研究の着想は、グラフ構造を直接的にモデル構造にすることができるグラフニューラルネットワーク（GNN）だけでなく、トランスフォーマ（Transformer）もグラフ構造を学習できる可能性があることから得られました。これにより、これらのアーキテクチャがどのようにグラフ構造データをエンコードし、どのように組み合わせることができるかについての理解が求められました。また、関連する研究動向としては、グラフトランスフォーマやジャンクションツリーヴァリアショナルオートエンコーダーなどのモデルが挙げられます。
本研究では、SubFormerという新しいグラフトランスフォーマを提案し、さまざまなベンチマークでその性能を評価しました。化学構造から分子の特性を予測するタスクにおいて、他の優れたグラフトランスフォーマと競争力があり、計算コストも減少しています。また、化学構造に関する知識を活用して、注意の重み付けを解釈することができます。
本研究では、複数のベンチマークデータセットを使用して、SubFormerの性能を評価しました。その結果、他の優れたグラフトランスフォーマと同等の性能を発揮し、計算コストも低減されていることが示されました。また、化学構造に関する知識を活用して注意の重み付けを解釈し、他のグラフニューラルネットワークと比較して過度な平滑化や圧縮を回避することも明らかにしました。
この記事が気に入ったらサポートをしてみませんか？