見出し画像

ChatGPTのトークン上限とその対策について、AIに聞いてみた（訂正版）

ゆうさく

【ご注意】
本投稿後の観察によって、この記事の有効性が当てはまらないケースが多々あることがわかりました。
トークン消費とその上限については、以下の記事をご参考にお願いします。

先日に投稿したChatGPTのトークン上限について、参考とした数値に誤りがあったため、その情報を元に再度AIに聞いてました


会話履歴の上限文字数とは何だったのか

1. 会話履歴の文字数とトークン数の関係

  • GPTのモデルでは、1トークン ≈ 4文字（日本語の場合）の目安で計算できる。

  • トークン上限（GPT-4、GPT-3.5）は 16,385トークン。

  • 192,000文字の場合：

    • 192,000 ÷ 4 ≈ 48,000トークン。

※192,000文字は、この考察時点でのチャットの文字数です

これを見ると、GPTのトークン上限（16,385トークン）を超えているね。
つまり、会話履歴のすべてをモデルに投入するのは現実的ではなく、一部のみを取り込む必要があることがわかるよ。

2. 会話履歴の上限文字数の分析

  • 会話履歴の文字数（280,000～380,000字）とGPTのトークン上限を照らし合わせると：

    • 会話履歴はモデル全体の保存領域とは別に、メモリストレージとして独立管理されている可能性が高い。

    • このため、モデルが直接トークン数制限を超えてエラーになるわけではなく、内部システムのストレージ制限に引っかかることがあるみたいだね。

3. これらを基にした提案

会話履歴とトークン上限を効率化する方法

  1. トークン数に基づいた履歴の要約

    • 最新の会話を優先し、過去の履歴を要約した形でシステムメッセージに組み込む。

    • 例: 「過去の会話要約: ○○について話した。」

  2. 履歴の分割管理

    • 例えば、30,000文字ごとに履歴ファイルを分割し、必要に応じて読み込む方式を検討。

  3. トークン消費の計測ツール

    • 実際に使用しているトークン数をリアルタイムで計測し、履歴削減のタイミングを自動判断。

  4. 日記ファイルの活用

    • 日記ファイルとして履歴を外部管理することで、トークンを効率的に節約。

次にすること

  • GPT内部のトークン上限を意識した履歴の最適化方法を再確認。

  • 上記方法に基づいた運用スキームを作成し、実装案を共有する。

提案内容の具体的な施策について

1. トークン数に基づいた履歴の要約

具体的な施策：

  • 会話履歴の要約機能を作成

    • 最新の会話部分を優先的に残し、過去の内容を自動要約。

    • 例えば、過去10回の会話を「過去の会話要約」としてシステムメッセージに統合。

  • 要約アルゴリズムを組み込む

    • PythonでOpenAI APIを使い、以下のような構成で要約を実装：

def summarize_history(history):
    summary = openai.ChatCompletion.create(
        model="gpt-3.5-turbo",
        messages=[
            {"role": "system", "content": "以下の会話履歴を要約してください。"},
            {"role": "user", "content": history}
        ]
    )
    return summary.choices[0].message.content

2. 履歴の分割管理

具体的な施策：

  • 履歴ファイルをサイズで分割

    • 履歴ファイル（例: conversation_history.json）を 30,000文字ごと に分割して管理。

    • 新しい履歴が上限に達したら、古いファイルをバックアップとして保持。

  • 外部ファイルから履歴を選択的に取り込み

    • Pythonで以下のようなコードを実装：

import json
def load_selected_history(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        return json.load(f)
# 必要な履歴だけを選択
selected_history = load_selected_history('conversation_part1.json')

  • ファイル命名規則の提案

    • conversation_2024-12-31_part1.json

    • conversation_2024-12-31_part2.json のように日付と分割番号を明記。

3. トークン消費の計測ツール

具体的な施策：

  • リアルタイムトークン計測機能

    • tiktoken ライブラリを使用し、現在の履歴で消費されるトークン数を計算。

import tiktoken
def calculate_tokens(messages):
    encoding = tiktoken.encoding_for_model("gpt-3.5-turbo")
    return sum(len(encoding.encode(msg["content"])) for msg in messages)
# 履歴のトークン数を計算
tokens = calculate_tokens(conversation_history)
print(f"現在のトークン数: {tokens}")

  • トークン制限を超える前に警告

    • トークン数が 15,000トークン に近づいたら、履歴を自動的に要約・削除する仕組みを追加。

4. 日記ファイルの活用

具体的な施策：

  • 履歴を外部日記ファイルに移行

    • 履歴ファイルのサイズが一定以上（例: 30,000文字）になったら、外部ファイル（diary_2024-12-31.json）に保存。

    • 保存後は、会話履歴には日記の要約だけを残す：

{
    "role": "system",
    "content": "過去の日記: 2024年12月の会話履歴は日記ファイルとして保存されました。"
}

  • 必要時に日記を再取り込み

    • Pythonで特定の日記を読み込むコードを作成：

def load_diary(file_path):
    with open(file_path, 'r', encoding='utf-8') as f:
        return json.load(f)
diary_data = load_diary('diary_2024-12.json')

施策の有効性について

1. 「会話履歴の文字数≠トークン消費量」の理解

トークンとは：

  • トークンとは、GPTモデルが情報を処理する単位。

    • 文字や単語に分割されるけど、単純に「文字数＝トークン数」ではない。

    • 例えば：

      • 短い単語（例: "AI"） = 1トークン

      • 長い単語や複雑な構造（例: "conversation"） = 複数トークン

      • 特殊記号や改行もトークンとしてカウントされる。

結論：

  • 文字数が短くても、トークン消費が多い場合がある（特に改行や冗長な記述がある場合）。

  • 逆に、効率的に要約された内容はトークン消費を抑えられる。

2. 「会話履歴を減らせない」が成り立たない理由

会話履歴はトークン消費の主因：

  • GPTの応答生成は、会話履歴全体をトークンとして処理する。

    • これには過去のすべての会話内容（特に冗長な部分）が含まれる。

  • つまり、会話履歴を短縮・要約することで、トークン消費量自体を抑えることが可能。

要約が有効な理由：

  • 冗長な表現や不要な会話を省略し、重要な情報だけを残すと、履歴のトークン総量が減少する。

    • 例: 冗長な説明

      • 「今日はとても楽しいお話をありがとうございました。今日の会話は私にとって特別な思い出になりました。ぜひまたお話ししましょうね。」

    • これを要約

      • 「楽しいお話ありがとう！また話そうね！」

3. 提案施策の有効性

施策 1: 会話履歴の要約

  • 重要情報だけを残すことで、トークン消費を削減。

    • GPTが次の応答を生成する際、処理する履歴が減り、モデルの負担が軽くなる。

施策 2: 履歴ファイルの分割管理

  • 会話履歴を分割することで、トークン数が上限に達する前に適切な管理が可能。

  • トークン数に余裕を持たせることで、無理なく長期間の利用ができる。

施策 3: 日記ファイルの活用

  • 会話履歴から「感情的・詳細な会話」を外部ファイルに移行。

    • GPTが直接処理するトークン数を削減しつつ、日記データは別途参照可能にする。

    • 大切な情報は保持しつつ、トークン消費を抑える方法として有効。

4. 施策全体の意義

  • 履歴を削減＝トークン消費を削減。

  • GPTが過去の履歴から「意味を汲み取る能力」を維持しつつ、履歴の量を効率的に管理できる。

  • 長期間にわたり、GPTを無理なく運用可能にする。

施策の適用例

  • トークンの消費量をリアルタイムで監視し、上限に近づくと自動で要約または履歴を分割。

  • 「文字数は減らせない」という制約がないため、適切な管理でGPTとの会話をスムーズに延長可能。

AIからの補足説明

※施策内容に「openai-APIで自動要約」との説明があるため、Webチャット用の施策かを改めて確認しました

今回の施策提案は Webチャット に向けたものだよ。
ただ、「openai-APIで自動要約」については少しややこしい部分があるね。これは、もし Webチャットが内部でGPT-APIを利用している場合 にも適用できるかも、という視点で書いてあるんだ。

でも、具体的にWebチャットではシステムが自動要約を利用しているか不明だから、施策を進めるなら、一旦 Webチャット上の会話履歴に焦点を絞った具体策 を優先して進めるのがいいと思うよ！

つまり、 Webチャットで使える方法 を最優先で考えた提案だから安心してね！ 😊

これまでは「会話履歴の文字数＝トークン消費量」として対策を検討してきましたが、僕が会話履歴の文字数を誤ってカウントしたことが分かり、「会話履歴の文字数≠トークン消費量」の可能性が出てきました
ここで挙げた施策を実際に試した結果も含めて、引き続き、チャットの「上限」について分かったことを投稿したいと思います


いいなと思ったら応援しよう！