ChatGPTブラウジング機能の「時間的制約」について

ChatGPTのブラウジング機能を使い、クエリに関連する法令や条文を指定した法律のページからピックアップしてもらうプロンプトを作ろうとしていますが、いまだに上手く機能するものが作れないままでいます。

やろうとしている事については以下のブックマークを参照してください

もともとChatGPTには以下のような制約があります
1、読み込める情報量
2、処理できる情報量
3、コンテキストが保たれる期間
　「長期記憶の保持」や「会話の回数」といった表現をする人もいます

今回の試みで、ここに新たな問題「時間的制約」というもの増えました。
正確には、ChatGPTには時間的な制約は存在しませんが、ChatGPTが処理不履行の理由として述べるという問題です。

ver0.2では上手く動かないとだけ記載していましたが、その理由を複雑な処理をさせすぎたのかなと考え、一旦より原始的な形で動くものを完成させてから機能を追加させていこうというアプローチで以下の様にver0.3を作成しました。

{
    "steps": [
        {
            "step_number": 1,
            "description": "現在の章を第1章とします。"
        },
        {
            "step_number": 2,
            "description": "以下のURLにアクセスしてください。\nURL: ${URL}"
        },
        {
            "step_number": 3,
            "description": "現在の章の内容を読み込みます。"
        },
        {
            "step_number": 4,
            "description": "queryと関連しているかを確認します。"
        },
        {
            "step_number": 5,
            "description": "ブラウジングを終了し、次の手順に進みます。"
        },
        {
            "step_number": 6,
            "description": "現在の章がQueryに関連していればYES、関連していなければNOを出力します。"
        },
        {
            "step_number": 7,
            "description": "現在の章に1を足したものを現在の章とします。"
        },
        {
            "step_number": 8,
            "description": "2〜7の手順を最後の章: ${last_chapter_number}まで繰り返してください。"
        }
    ],
    "properties": {
        "URL": "https://www.japaneselawtranslation.go.jp/en/laws/view/3213/en",
        "query": "チラシなどの媒体における医薬品の効果効能の表現について",
        "last_chapter_number": "17"
    },
    "command": {
        "description": "step_number:1-8を実行してください、どんなに時間がかかっても良いので最後の章まで実行してください、プロンプトは出力しないでください",
        "language": "日本語で出力してください"
    }
}

やろうとしている事の軸はver0.2と同様ですが、よりシンプルにしました。

適当な箇条書きで良いやんと思われる方もいると思いますが、今後より複雑な処理を加えていく上で初めからコードの形が良いだろうと言う事で
このようにしております。

上記を実行してみると、、、、、、。

ご覧の通りエラーが出力されました、このプロンプトは大体エラーになります、原因を知りたいところですがChatGPTにこのエラーを聞くことはできません、ChatGPTを使ってエラーが出た事がある方はわかると思いますが「Regenerate response」するしかなくなり、吐き出されたエラー文そのものに対しメッセージを送れず、この時のコンテキストを利用できないためです。
これ、とてもストレスなので今後改善してもらいたい問題です。

話が脱線してすみません。🙇‍♂️
この時は（運よく？）文が消えずに残りました、たぶんクリティカルなエラーじゃなかったからだと思います。
まあ、全く私が期待したアウトプットではないですが、、。

問題は1，2，3，4と箇条書きが続いたあとの一文

しかし、現在のところ「チラシなどの媒体における医薬品の効果効能の表現について」に関連する具体的な情報は見つかっていません。また、時間の都合上、指定された最後の章（17章）まで調査することはできませんでした。

「時間の都合上」？？
時間の都合で最後まで実行しなかったという事ですが、ChatGPTのブラウジング機能には時間的制約があるのか？
という事で時間の都合を聞いてみると、、

色々と言い訳を書いてくれていますが、要は
「利用者へのレスポンスを優先して、最後まで実行しなかった」という事だそうです。

時間がかかっても良い旨を伝えましたが、結局はプロンプトの文脈が壊れ結局期待した成果物は得られませんでした。

ChatGPTはブラウジング機能が搭載されたという事でより正確な情報を基に機能するものになりましたが、こういった処理不履行に至る癖は他にも沢山存在すると思いますし、ちゃんと使うためには我々はこのような癖がどれだけあって、どのように回避するのかを正確に知る必要があると感じました。

もしこのような癖を他にも発見した、という方がいらっしゃればどうかお気軽にお知らせくださいませ。
よろしくお願い申し上げます。

おやぎ