tan_z_tan

tan_z_tan

大規模言語モデルを使ったQAの精度を評価する

GPTなどのLLMを使ったQAシステムについて、色々なパラメータで試して精度を評価するシステムを作成しました。 大規模言語モデル（LLM）を活用してドメイン特化のチャットボットを生成することが注目されています。例えば、企業が自社のヘルプページを読ませて質疑応答チャットボットを作成することができます。 シンプルなQAシステムシンプルな構成では、LangChainなどを使って以下のようにプロンプトを生成してユーザの入力に答えます。 そのドメインの文章（例えばヘルプページ）を

tan_z_tan

    • LangChainのChatbotプロンプトを理解して日本語を出力するように誘導する

      LangChainはLLMを使ったAIサービスを繋げ、チャットボットを作ったりReActフレームワークに従ったエージェントを簡単に作ることができるサービスです。 LangChainが用意しているエージェント`AgentType.CONVERSATIONAL_REACT_DESCRIPTION`は日本語で聞いても英語が返ってきたりします。これはエージェントに設定されているPromptが英語である理由が大きいです（もしかしたらGPT側が今後賢くなって言語の問題は解消されるかもし

      tan_z_tan

      • Chroma: LLMのEmbeddingに使えるデータベース

        なぜEmbeddingが必要か？ChatGPTやGPT-3.5などの大規模言語モデルを使って実際に大規模なドキュメントを扱うときに、大きな壁としてToken数の制限があります（GPT-3.5 Turboでは4,096 tokensなので日本語で3000文字くらい）。 この制限を超えたデータを扱うために使われるテクニックがドキュメントを細かくChunkに分割してEmbeddingを作るIndexingと呼ばれる方法です。 事前に大規模なドキュメントに対してIndexingを行い

        tan_z_tan

        • Google Colabで始めるLangChain

          LangChainのチュートリアルを一通りColabで試すLangChainはLLM(大規模言語モデル)を使ってアプリケーションを作るためのフレームワークです。プロンプトの挿入、会話の記憶を持ったチャットボットの作成や、外部の知識の取り込みなどをLangChainを使って作ることができます。 このColab Notebookでは以下のチュートリアルを試します。 https://colab.research.google.com/drive/1wnzpOU-JeC-q7j2-

          tan_z_tan

          GPT4ALLをMacで試してみる

          GPT4ALLとは？GPT4ALLは、OpenAIのGPT-3.5-Turboから得られたデータを使って学習されたモデルです。モデルはMeta社のLLaMAモデルを使って学習しています。 CPUで動き少ないメモリで動かせるためラップトップでも動くモデルとされています。 セットアップgitコードをclone git clone https://github.com/nomic-ai/gpt4all モデルファイルをダウンロード(3.9GB) `gpt4all/chat/`

          tan_z_tan

          GPT4ALLをMacで試してみる

          tan_z_tan