LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models

LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models

1. 本研究の学術的背景、研究課題の核心をなす学術的「問い」
大規模言語モデル（LLM）の出現により、自然言語処理の分野が大きく進歩しました。その中で、LLMを使用して知識ベース（KB）を構築することへの関心が高まっています。「LLMはどのようにしてページ文脈を利用し、与えられた主語エンティティと関係に対する関連する目的エンティティを答えられる知識ベースをどのように構築することができるのか？」が本研究の核心的な疑問です。

2. 本研究の目的及び学術的独自性と創造性
本研究の目的は、大規模言語モデルを使用して知識ベースを構築するためのシステム、LLM2KBを提案することです。独自性と創造性は、低ランク適応（LoRA）技術を利用したパラメータ効率的な指示チューニングと、Dense Passage Retrieval（DPR）アルゴリズムを用いて主語エンティティのWikipediaページ文脈を利用するように設計されたプロンプトを用いて学習された注入モデルを活用しています。

3. 本研究の着想と研究動向
知識ベースは情報検索や推論タスクを容易にするための情報の構造化されたリポジトリとして役立ちます。これを大規模な言語モデルで構築できれば、その精度とパフォーマンスを大きく向上させることが可能になります。これが本研究の着想となりました。

4. 本研究で何をどのように、どこまで明らかにした？
本研究では、LLMを用いて知識ベースを構築するシステム、LLM2KBを提案しました。ここでは、Wikipediaのデータセットを利用して、主語エンティティと関係に対する関連する目的エンティティを回答するために、Wikipediaのページ文脈を利用するプロンプトを用いて学習されたモデルを作成しました。そして、最もパフォーマンスが良かったモデルは、ISWC 2023会議でのLM-KBCチャレンジでの21の関係に対する平均F1スコアが0.6185であることを示しました。

5. 本研究の有効性をどのように検証した？
結果的なパフォーマンスを確認するために、ISWC 2023会議にて行われたLM-KBCチャレンジに参加し、21の関係に対する平均F1スコアを計測しました。