Surgicberta: a pre-trained language model for procedural surgical language
1. この研究の学術的背景、問いは、手術分野の高品質な文書が豊富に存在するにも関わらず、手術分野に特化した事前訓練済みの言語モデルがない点です。
2. 本研究の目的は、手術分野の英語、つまり手術分野で使用される言語に特化した事前学習済み言語モデル、SURGICBERTAを紹介し公開することです。ユニーク性と創造性は、このモデルが既存の手術知識ベースの強化や複雑な手術説明の要約に役立つという点にあります。
3. この研究のアイデアは、自然言語処理技術が手術分野に広く適用され、手術の知識ベース作成や手術説明の要約に役立つ可能性が高まりつつあることから生まれました。SURGICBERTAは、この分野に特化したモデルを提供し、新たな進歩をもたらすことを目指しています。
4. 本研究では、ROBERTAからさらに事前訓練を行ったSURGICBERTAを作成し、300kの英語の手術関連の書籍や論文から抽出した文章、合計700万語を使用して訓練しました。さらに、多くの評価を行い、SURGICBERTAが一般のドメインのROBERTAよりも手術分野の言語処理をより適切に行えることを明らかにしました。
5. 本研究の有効性は、SURGICBERTAと一般的なROBERTAを比較し、様々な手術分野におけるタスクに対して評価を行うことで検証しました。具体的には、手順の文章検出、手順の知識抽出、オントロジー情報の探索、手術用語の取得などのタスクについて詳細な評価を行いました。