Insights Into the Inner Workings of Transformer Models for Protein Function Prediction
1. 本研究の学術的背景や核心となる問いは、タンパク質機能予測のためのニューラルネットワークの内部動作を明らかにするために、説明可能なAI（XAI）がどのように役立つのか、ということです。
2. 本研究の目的は、広く使われるXAIメソッドである統合勾配法を拡張し、フィンチューニングされたジーンオントロジー（Gene Ontology）の用語や酵素委員会番号予測へのトランスフォーマーモデルの中の潜在的な表現も調査できるようにすることです。
3. この研究の着想は、タンパク質機能予測のためのニューラルネットワークの動作を明らかにするための手法として、説明可能なAI（XAI）が役立つことを理解していることから来ています。関連する研究動向としては、AIと生物学の交差点、特にタンパク質の研究におけるAIの応用が進んでいることが挙げられます。
4. 本研究では、我々のアプローチが、トランスフォーマーが特に注意を払っているアミノ酸を特定することを可能にしたと明らかにしました。そして、これらの関連するシーケンス部分が、埋め込み層とモデルの内部の両方で、生物学と化学の期待を反映していることを示しました。
5. 本研究の有効性は、多くのタンパク質にわたる真実のシーケンス注釈（例えば、トランスメンブレン領域、活性部位など）との統計的に有意な対応関係を持つトランスフォーマーヘッドを特定することで検証しました。