Aya*

コンピュータビジョンの研究をしています。 最近はマルチモーダルRAGに興味があり、Ll…

Aya*

コンピュータビジョンの研究をしています。 最近はマルチモーダルRAGに興味があり、LlamaIndexを使ったあれこれを投稿していく予定です。 たまに読書記録も書き込む予定です。

  • LlamaIndex v0.10 基礎

    LlamaIndexの公式ドキュメントをもとに、理解に必要な基本的な実装を行いながら一緒に理解を深めていきましょう。 単純な日本語訳としてもご利用できますし、コード実装のヒントとしてもご利用できます。

  • ハーバードの心理学講義

Graph RAGをはじめからテキトーに

2024/08/05 こんにちは。今日はGraph RAGを研究で扱うことになったため何も知らないところから学んでいきたい人向けの記事になります。 Graph RAGとはデータをベクトル形式ではなく、ナレッジグラフの形式で保管し、そこから検索拡張生成を行う手法です。 https://qiita.com/xxyc/items/921805c7608c634f952f 背景として、通常のRAGは情報断片の表面的な類似性を評価するものであり、深く複雑な関連性を捉えることが困難

Aya*

    • LlamaIndex v0.10の「上位レベルのモジュール内のプロンプトへのアクセス，カスタマイズ」をやってみる

      2024/03/22 こちらの公式ドキュメント(v0.10.20)を参考に評価についてまとめていきます． https://docs.llamaindex.ai/en/stable/examples/prompts/prompt_mixin.html はじめにLlamaIndexには，さまざまな高レベルのモジュール（クエリエンジン，応答合成器，検索器など）が含まれており，その多くはLLM呼び出しを行い，プロンプトテンプレートを使用します． Advanced Prompt

      Aya*

      • LlamaIndex v0.10のTerms とDefinitions の抽出をためす from 「Putting It All Together - Q&A」

        2024/02/27 こちらの公式ドキュメント(v0.10.13)を参考にQ&Aについてまとめていきます． https://docs.llamaindex.ai/en/stable/understanding/putting_it_all_together/q_and_a/terms_definitions_tutorial.html はじめにLlamaIndexには、十分に文書化された多くの使用例(セマンティック検索、要約など)があります。しかし、LlamaIndex

        Aya*

        • RAGの性能を向上したいサーベイ

          2024/05/16 こんにちは。 今回はRAGの性能を一つ上に高めるための最近の手法について一気にまとめていきます。論文レベルと解説記事レベルの両刀でまとめることを目標としています。 RAGASと、いきなりRAGの手法に入るのではなく、評価指標として提案されてそこそこ有名なこちらの論文から紹介します。 こちらの記事を参考にしています。 論文はこちら。 RAGASとは RAGシステムを評価する手法であり、2023年9月にイギリスのカーディフ大学の研究者らにより提

          Aya*

        Graph RAGをはじめからテキトーに

        Aya*

        • LlamaIndex v0.10の「上位レベルのモジュール内のプロンプトへのアクセス，カスタマイズ」をやってみる

          Aya*

        • LlamaIndex v0.10のTerms とDefinitions の抽出をためす from 「Putting It All Together - Q&A」

          Aya*

        • RAGの性能を向上したいサーベイ

          Aya*

        マガジン

        • LlamaIndex v0.10 基礎
          6本
        • ハーバードの心理学講義
          2本

        記事

          LlamaIndex v0.10のQueryEngineをカスタムしてみる

          2024/05/08 こんにちは。少し投稿期間が空きましたが、今回はQueryEngineを自作することにトライします。 モチベーションとしては、より良い検索のためにハイブリッド検索をしたいとなった場合にこの過程が必要になるためです。 今回はこちらのドキュメントをベースに紹介していきます。 クエリエンジンの作成（復習）クエリエンジンを作成するには、次の1コードで済みました。 query_engine = index.as_query_engine( respo

          Aya*

          LlamaIndex v0.10のQueryEngineをカスタムしてみる

          Aya*

          テキスト埋め込みモデルはローカルで動かせるのか？サーベイ

          こんにちは． 今回は，テキスト埋め込みモデルはローカルで動かせるもので十分な性能が出るのか調査してみました． このテキスト埋め込みモデルは，RAGやLLMの性能の根本を決めるコンポーネントの一つであります． Sentence Transformers前提知識として，テキストを埋め込みと呼ばれるベクトル表現に変換するためのライブラリとしてSentence Transformersがあります． この埋め込みに変換する利点は次の通り． テキストの類似度算出ができる 分類

          Aya*

          テキスト埋め込みモデルはローカルで動かせるのか？サーベイ

          Aya*

          LlamaIndex v0.10のLLMのカスタマイズをやってみる

          2024/03/06 こちらの公式ドキュメント(v0.10.16)を参考に評価についてまとめていきます． LlamaIndex アブストラクションにおけるLLMのカスタマイズLLMの抽象化をLlamaIndexの他のモジュール（インデックス、検索器、クエリエンジン、エージェント）にプラグインすると、データに対して高度なワークフローを構築することができます。 デフォルトでは、OpenAIの`gpt-3.5-turbo`モデルを使用します。ただし、使用されているベースLLM

          Aya*

          LlamaIndex v0.10のLLMのカスタマイズをやってみる

          Aya*

          LlamaIndex v0.10のEvaluatingをやってみる

          2024/02/29 こちらの公式ドキュメント(v0.10.14)を参考に評価についてまとめていきます． https://docs.llamaindex.ai/en/stable/understanding/evaluating/evaluating.html はじめに表かとベンチマークはLLM開発における重要な概念です．LLMアプリ(RAG, エージェント)のパフォーマンスを向上するにはそれを測定する方法が必要です． LlamaIndexでは，生成された結果の品質を

          Aya*

          LlamaIndex v0.10のEvaluatingをやってみる

          Aya*

          LlamaIndex v0.10のTracingとDebuggingをためす＋Callback

          2024/02/28 こちらの公式ドキュメント(v0.10.13)を参考にトレースとデバッグについてまとめていきます． 更にこちらのコールバックについてのドキュメントもまとめます はじめにアプリケーションのデバッグを行いトレースすることは，アプリケーションを理解して最適化する重要なカギです．LlamaIndexでこれを行うための方法を紹介します． 基本的なロギングアプリケーションの動作を調べるもっとも簡単な方法は，デバッグログを有効にすることです．これは，次のコードで

          Aya*

          LlamaIndex v0.10のTracingとDebuggingをためす＋Callback

          Aya*

          LlamaIndex v0.10の「Putting It All Together」のQ&Aをやってみる＋PandasQueryEngine

          2024/02/26 こちらの公式ドキュメント(v0.10.12)を参考にQ&Aについてまとめていきます． はじめにここまで，LlamaIndexを用いてデータをロードしインデックスを作成してクエリする一連の流れについて学んできました． ここからは，本番環境を見据えた具体的なフレームワークに落とし込むための方法についてみていきます． Putting It All TogetherLLMを用いたアプリケーションは大きく3つに分けられます． Q&A チャットボット

          Aya*

          LlamaIndex v0.10の「Putting It All Together」のQ&Aをやってみる＋PandasQueryEngine

          Aya*

          支援ノート

          支援をしていただける方はこちらからお願いいたします。

          ¥200
          Aya*

          支援ノート

          ¥200
          Aya*

          「大規模言語モデルを作る」についてまとめてみた

          LLMについて、いいスライドがあったので、まとめてみました。 作成者の小山田さんは、NECでLLM系の研究開発グループを主催しているそうです。 cotomiというNEC独自の高い日本語力を持つ言語モデルを開発しているみたいです。 LLMの構築方法について一般論が書かれているためそれにフォーカスしていきます。 結構濃密なスライドな上、図もわかりやすいのでしっかり読みたい方は元の資料をご覧いただくのがおすすめです。 それを踏まえて、要点だけ知りたい！という方向けにまとめ

          Aya*

          「大規模言語モデルを作る」についてまとめてみた

          Aya*

          ④LlamaIndex v0.10のQueryingでクエリをやってみる

          2024/02/23 ※すべての内容は無料で閲覧いただけます。 こちらの公式ドキュメント(v0.10.12)を参考にQueryingについてまとめていきます． クエリこれまでの記事で以下のことを行いました。 データのロード インデックスの構築 インデックスの保存 これで、LLMアプリケーションで最も大事であるクエリに取り組む準備が整いました。 最も単純なクエリは、LLMへのプロンプト呼び出しにすぎません。 クエリは、 質問して回答を取り出す 要約を出力し

          Aya*

          ④LlamaIndex v0.10のQueryingでクエリをやってみる

          Aya*

          ③LlamaIndex v0.10のStoringで保存機能をやってみる

          ※すべての内容は無料で閲覧いただけます。 こちらの公式ドキュメントを参考にStoringについてまとめていきます． 保存データをロードしてインデックスを作成したら，コスト低減のためにインデックスデータを保存するとよいです． デフォルトではインデックス付きデータはメモリにのみ保存されるため，明示的にストレージへの保存が必要です． ディスクインデックス付きのデータを保存するもっとも簡単な方法は，各インデックスに備わっているメソッド.persist()を使用することです．

          Aya*

          ③LlamaIndex v0.10のStoringで保存機能をやってみる

          Aya*

          ②LlamaIndex v0.10のIndexingをやってみた

          2024/02/20 こちらの公式ドキュメントを参考にインデックス作成についてあれこれ試してみました． 私が試した時のLlamaIndexの最新バージョンはv0.10.7です． なお，私の実行環境はこちらです． !pip install -q openai==1.12.0!pip install -q pypdf==4.0.1!pip install -q langchain==0.1.7!pip install -q llama-index==0.10.5 インデ

          Aya*

          ②LlamaIndex v0.10のIndexingをやってみた

          Aya*

          ①LlamaIndexのData Lodingについてやってみた(v0.10 対応)

          LLamaIndexのデータのロードについてサクッとまとめました． https://docs.llamaindex.ai/en/stable/understanding/loading/loading.html 私の使用している環境はこちら． !pip install openai!pip install pypdf==1.12.0!pip install langchain==0.1.7!pip install llama-index==0.10.5 SimpleD

          Aya*

          ①LlamaIndexのData Lodingについてやってみた(v0.10 対応)

          Aya*