BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition

BIOptimus: Pre-training an Optimal Biomedical Language Model with Curriculum Learning for Named Entity Recognition

1. **学術的背景、学術的「問い」**
大規模なデータに自己教師なしで事前学習した言語モデル（LM）を用いて、固有表現抽出（NER）などの監視学習タスクのラベルデータが不足する問題に対処する方法が広く用いられています。また、最近のバイオメディカル分野の言語処理研究では、多くの独自の事前学習方法や手法を活用したバイオメディカルLMの開発が進んでいますが、それらの方法を包括的に比較し、バイオメディカル分野で最も適した事前学習アプローチは何かという問いに答える研究はまだ少ないです。

2. **研究の目的・独自性・創造性**
本研究の目的は、異なる事前学習方法の評価と比較を通じて、バイオメディカルLMの性能向上方法を発見することです。特に、独自の重み初期化方法の提案や、マスキングレート、改ざん戦略、マスキング戦略がバイオメディカルLMの性能にどのように影響するかの調査を行いました。そしてこれらの実験結果から、新しいバイオメディカルLMである「BIOptimus」を提示しました。

3. **着想の経緯・研究位置付け**
本研究の着想は、バイオメディカル分野で使用されるLMに対する事前学習方法の違いが、タスクの結果にどのように影響するかについての既存研究の不足から来ています。本研究は、バイオメディカルLMに対する最適な事前学習方法を探求することで、この分野に新たな対話を提供しています。

4. **研究で何をどのように、どこまで明らかにした**
本研究では、新たな重み初期化方法を提案し、それが事前学習段階の加速とNERタスクに対する性能向上に寄与することを明らかにしました。また、マスキングレート、改ざん戦略、マスキング戦略がバイオメディカルLMの性能にどのように影響するかも実験を通じて明らかにしました。

5. **研究の有効性の検証**
本研究の有効性は、複数の固有表現抽出（NER）タスクにおいて新たに開発したモデル「BIOptimus」が最新の性能を達成したことを示すことで証明されました。