PON吉

python初学者。AI、LLM関連の記事を書いています。

PON吉

python初学者。AI、LLM関連の記事を書いています。

AzureからGPTを使ってみる|memoryを使って会話履歴に沿って会話する。その３

LangchainのRunnableWithMessageHistoryで保持する会話数を規定するRunnableWithMessageHistoryを使って会話履歴に沿ってGPTと会話するコードを以前書きました。 RunnableWithMessageHistoryの特徴として、 ・過去のやり取りを踏まえた応答ができる。 ・IDで会話セッションを分けることができる。 以上の点において非常に便利でした。しかしながら、"ConversationBufferWindowMe

PON吉

    • AzureからGPTを使ってみる | structured outputs

      structured outputsを使用するには Open AIのGPTにstructured outputsが実装されたのに伴って、AzureのGPTもstructured outputsが、使用可能になりました。 使用するには、 ・gpt-4oのバージョン:2024-08-06をデプロイする。 ・API バージョンの2024-08-01-preview（2024/09/22現在）を使用する。 ・openaiライブラリーのバージョンアップ（1.35.12では、エラーがで

      PON吉

      • AzureからGPTを使ってみる | RAG（Retriever編）

        LLMに独自データから回答してもらうために、 ・独自データとして利用したいドキュメントをチャンクに分割 ・分割したドキュメントをベクトル化して、データベースへ格納、類似度から検索 については以前に記事にしたので、今回は、LangChainのRetrieverを使って、LLMに独自ドキュメントから回答をしてもらうことにしましょう。 Retrieverとは？ 簡単に言えば、Retrieverは「最適な情報を見つけ出すための検索エンジン」と考えるとわかりやすいです。 La

        PON吉

        • AzureからGPTを使ってみる | RAG（データベース検索編）

          前の記事で、独自データとして利用したいドキュメントをチャンクに分割するというところまで書きました。今回は、その分割したドキュメントをベクトル化して、データベースへ格納、類似度から検索するところまで書いてみようと思います。 Vector DBとしてChromaを、embeddingにはAzureにあるOpenAIのtext-embedding-ada-002を利用します。 テストには、前回利用した文章を使います。 ・MarkdownHeaderTextSplitterで分割

          PON吉

        AzureからGPTを使ってみる|memoryを使って会話履歴に沿って会話する。その３

        PON吉

          AzureからGPTを使ってみる | RAG（テキストの分割編）

          RAG（Retrieval-Augmented Generation）とは何かRAGは、情報検索（Retrieval）とテキスト生成（Generation）を組み合わせた手法になります。具体的には、ユーザーの質問に対して、まず関連するドキュメントをデータベースから検索し、その情報を基に回答を生成します。これにより、最新の情報や特定の知識領域に関する質問にも、より正確かつ詳細な回答を提供できます。 今回の記事は、RAGを実現するための第一歩ということで、ドキュメントの分割に

          PON吉

          AzureからGPTを使ってみる | RAG（テキストの分割編）

          PON吉

          AzureからGPTを使ってみる | LangSmith編（ログの収集：その2）

          LangSmithを使うと、GPTとの会話ログを確認できることがわかりました。 今回は、Agentを使用した場合の会話履歴を確認してみようと思います。 Agentの使い方は、以前記事にしているので参考にしてみてください。 toolsにllm-mathを設定して、ログを確認してみようと思います。 #langchain-openai=0.1.15#langchain=0.2.7 #langsmith=0.1.84 from langchain.agents impor

          PON吉

          AzureからGPTを使ってみる | LangSmith編（ログの収集：その2）

          PON吉

          AzureからGPTを使ってみる | LangSmith編（ログの収集：その１）

          LangSmithとは、本番レベルの LLM アプリケーションを構築するためのプラットフォームです。どのようなことができるかというと、 ・LLMの実行ログの収集（ログと一緒に利用トークン数も収集できます） ・データセットの作成 ・モデル評価 LLMを利用する上でLangSmithが便利というのを聞きくので、使いながら勉強していこうと思います。 無料でも使えるので、APIを取得して使ってみます。 ログインした後、Setting>API keysからCreate API Ke

          PON吉

          AzureからGPTを使ってみる | LangSmith編（ログの収集：その１）

          PON吉

          AzureのAI visionを使ってみる | OCR編

          OCRとは 「Optical Character Recognition」（光学文字認識）の略で、画像や手書き文書などに含まれる文字をデジタルデータとして認識し、テキストデータに変換する技術です。たとえば、スキャンした文書や写真に写っている文字をコンピューターが自動的に読み取り、編集可能なテキストに変換することができます。 OCR技術は、書籍のデジタル化、名刺のスキャン、手書きのノートをデジタル化するなど、さまざまな場面で活用されています。日本語の文字認識も対応しており、手

          PON吉

          AzureのAI visionを使ってみる | OCR編

          PON吉

          AzureのAI visionを使ってみる | 物体検出編

          物体検出モデルにYOLOを使用して、GPTのAgentに設定する記事を書きましたが、 AzureのAI visionから物体検出ができるということなので、試しにつかってみました。 まず、Azure portalからcomputer visionで検索してリソースを作成します。 KEYとEnd pointが取得出来たら、早速pythonから使ってみましょう。 詳しくはこちらを参考にしてみてください。 まず、必要なライブラリーをインストールしましょう。 pip instal

          PON吉

          AzureのAI visionを使ってみる | 物体検出編

          PON吉

          AzureからGPTを使ってみる | GPTに画像中の物体を数えさせる(Agent-YOLO編)

          以前、GPTは画像中の物体の数を把握できないと記事にしました。 それなら物体検出で優秀なYOLOの力を借りればいい！ ということで、agentにYOLOを設定してGPTをパワーアップさせようと思います。 YOLOを動かしてみるagentに組み込む前に、YOLO単体をpythonで動かしてみます。 ver.は、現在最新のYOLO10を、Googel colab上で動かします。 （モデルのバリエーションなど、詳しくはこちらを参照してください。） 使う画像は、以前と同じリンゴの

          PON吉

          AzureからGPTを使ってみる | GPTに画像中の物体を数えさせる(Agent-YOLO編)

          PON吉

          AzureからGPTを使ってみる | GPTの画像認識について

          以前の投稿でGPT4oの画像認識の精度について、物体の認識はできるけど数が数えられないと書きました。 その時は、API経由でプロンプトから画像を渡して推論させましたが、ブラウザ版のGPT4oでも同じように画像推論を試してみました。 使った画像は同じリンゴの画像です。 （よく見るとへたがおかしいのがある） りんごは何個ありますか？ この画像には全部で25個のりんごがあります。 正解ですね。 何が違うのでしょうか？APIから使用したモデルは、Azureではありますが、GP

          PON吉

          AzureからGPTを使ってみる | GPTの画像認識について

          PON吉

          AzureからGPTを使ってみる | promptに画像を入力する

          GPT4oは、マルチモーダルLLMなので、画像をプロンプトとして渡すことができます。今回は、画像をBase64エンコードしてGPT4oへ渡し、その画像についてGPTに尋ねてみたいと思います。 ・画像入力 試しにこの画像を入力してみます。 #openai=1.35.12 from openai import AzureOpenAIimport base64from dotenv import load_dotenvimport os# OpenAI APIキーの設定dot

          PON吉

          AzureからGPTを使ってみる | promptに画像を入力する

          PON吉

          AzureからGPTを使ってみる | agentの使い方（その２：検索編）

          前回、演算機能をagentとして使用する記事を書きましたが、今回はTavilyを使用して、リアルタイムで正確かつ事実に基づいた回答をするagentを設定したいと思います。 Tavilyは、公式サイトから登録をするとAPIキーを使用することができます。 無料枠でも、毎月1,000 API コールまで無料で利用できるのでちょっと試す分には、十分でしょう。 LangchainからTavilyを使ってみますfrom langchain.retrievers.tavily_sear

          PON吉

          AzureからGPTを使ってみる | agentの使い方（その２：検索編）

          PON吉

          AzureからGPTを使ってみる | agentの使い方（その１：演算編）

          agentって？ agentは、ユーザーからの質問や指示に応じて、LLMを使用して動的にアクションを実行するシステムです。agentは、事前に定義された一連のツールやリソース（例えば、データベース、外部API、計算エンジンなど）にアクセスして、適切なアクションを選択し、その結果をユーザーに返します。 agentには様々な種類がありますが、今回はLLMにagentで演算機能を搭載します。 PythonREPLPython REPL はホストマシン上で任意のPythonコード

          PON吉

          AzureからGPTを使ってみる | agentの使い方（その１：演算編）

          PON吉

          AzureからGPTを使ってみる｜Runnable編

          LangchainのRunnableとは LangChainのRunnableは、LangChainフレームワークにおける汎用的なコンポーネントで、さまざまな種類のタスクやプロセスを実行するために使用されます。具体的には、LangChainの実行可能オブジェクト（Runnable Object）は、特定のタスクや操作をカプセル化し、これを呼び出して実行することができます。複数のRunnableをチェーン（連鎖）させることで、複雑な処理パイプラインを構築できます。各Runna

          PON吉

          AzureからGPTを使ってみる｜Runnable編

          PON吉

          AzureからGPTを使ってみる|memoryを使って会話履歴に沿って会話する。その２

          LangchainのRunnableWithMessageHistoryを使って会話履歴に沿った会話を実現するLangchainで会話履歴に沿った会話を実装するには、ConversationBufferMemoryや、ConversationBufferWindowMemoryを使うことで実現できるが、今回は、RunnableWithMessageHistoryの使い方をまとめました。 RunnableWithMessageHistoryを使う利点として、IDごとに会話セッ

          PON吉

          AzureからGPTを使ってみる|memoryを使って会話履歴に沿って会話する。その２

          PON吉