①LlamaIndexのData Lodingについてやってみた(v0.10 対応)

LLamaIndexのデータのロードについてサクッとまとめました．

https://docs.llamaindex.ai/en/stable/understanding/loading/loading.html

私の使用している環境はこちら．

!pip install openai
!pip install pypdf==1.12.0
!pip install langchain==0.1.7
!pip install llama-index==0.10.5

SimpleDirectoryReader

通常は次のようにして，あるディレクトリに入れたすべてのファイルからドキュメントを作成します．

from llama_index.core import SimpleDirectoryReader

documents = SimpleDirectoryReader("./data").load_data()

この方法を用いたコードはこちら

Google Colaboratory

ドキュメントを直接作成

上記のようにローダーを用いて外部のデータをドキュメントにする代わりに，直接作成することができます．

使用する際は，リストの中に入れることで複数のドキュメントを読み込めるようになっています．

from llama_index.core import Document

doc = Document(text="text")

この方法を用いたコードはこちら

https://colab.research.google.com/drive/1eytR1VmNisxNmp0gBKSNalvr1C1DG7fn?usp=sharing

変換(Transformations)

データをロード出来たら，ストレージシステムに入れる前にデータを処理して変換する必要があります．

高レベルの変換API(.from_documents())

通常はインデックスが持っているメソッド`.from_documents()`を用いてDocumentオブジェクトの配列を解析してチャンクアップします．

from llama_index.core import VectorStoreIndex

vector_index = VectorStoreIndex.from_documents(documents)
vector_index.as_query_engine()

これにより，内部ではDocumentがNodeオブジェクトに分割されます．

Nodeはドキュメントに似ていますが，親のDocumentと関係を持つようになります．

テキストスプリッターなどの主要な構成物をカスタマイズしたい場合は，アブストラクト化を通じてカスタムリストを渡すtransformationsか，settingsでグローバルに適用ができます．

text_splitter = SentenceSplitter(chunk_size=512, chunk_overlap=10)

# global
from llama_index.core import Settings

Settings.text_splitter = text_splitter

# per-index
index = VectorStoreIndex.from_documents(
    documents, transformations=[text_splitter]
)

この方法を用いたコードはこちら

Google Colaboratory

SentenceSplitterについて

SentenceSplitter - LlamaIndex 🦙 v0.10.6

次のようなFieldsがあります．

• chunk_overlap (int)

• chunk_size (int)

• paragraph_separator (str)

• secondary_chunking_regex (str)

• separator (str)

使いやすいものはchunk_overlap＝２つのチャンクでダブらせる文字の数と，chunk_size＝チャンクの文字数だと思います．

下位レベルの変換API

より細かく設定することもできます．

ドキュメントをノードに分割する

ドキュメントの重要な処理として，チャンクまたはノードオブジェクトに分割することです．

具体的には，データを取得してLLMに供給できるサイズに処理することです．

LlamaIndexでは段落，文，トークンベースのスプリッターから，HTML，JSONなどのファイルベースのスプリッターまで幅広いスプリッターがあります．

SemanticSplitterNodeParserなど，ドキュメントによってはかなり効果が現われそうなユニークなスプリッターがあるので，活用したいデータが決まっている人はよく確認しておくとよさそうです．

試しにTokenTextSplitterを使用した例はこちらです．

Google Colaboratory

メタデータの追加

先ほどのdocを自分で作れるものについて，メタデータを追加することも可能です．

手動でも可能ですし，自動メタデータ抽出機能を使うこともできるようです．

document = Document(
    text="text",
    metadata={"filename": "<doc_file_name>", "category": "<category>"},
)

この機能を使いまして，文書がいつ作成されたものかを答えられるかやってみました．

Google Colaboratory