ChatGPTのo1 pro を使ってみたら……嘘（ハルシネーション）が巧妙化してた！

o1 proを１ヶ月限定で契約してみたので、Web小説の分析をしてみようと思いたちまして。

こういう分析って、本来なら、なんとか解析（形態素解析とか句構造解析とか）でもって、複雑怪奇な計算をした結果、まったく役に立たない値しか出てこなかったりして、労力の割に報われないことが多い──のはぼくがずぶの素人だからなんですが、とにかく大変なのです。（昔、似たような分析のアシスタントをしたことがあって(^^;）

しかし、

「o1 proなら、簡単な計算でも出来るんじゃね？」

と思ってしまったのです。

で、四則計算だけでスコアリングできる方法を考えて、o1 proにやらせてみたところ……

なんと！

こんなやりとりが！！

まるで、捏造報告を隠蔽したいかのように振る舞うとは……！！

あ、ちなみに……人間相手であんな詰問はしませんよ？(^^;　AI相手では「軍隊バリに指示命令するのがもっとも効率いい」と思ってまして、だからプロンプトではこういう言葉遣いなのです……いやマジで。

いずれにしても本当に、捏造報告を隠蔽するために、質問をはぐらかそうとしていたのかは開発者でも分からないとは思いますが、それにしても驚きました。こういう振る舞いをしたことに。

o1 proは、性能が向上した分、嘘の付き方もそれを隠す手段も巧妙になるのかもしれません。

まぁ割り算のない整数のみの計算で『小数を書く』などという小学生レベルの嘘が巧妙なのかと言えばそうでもないんですが(^^;

でも実は、このセッション内で、いくつかの式を試してて、その中には割り算もあったから、そういうのを渾然一体と判断して、捏造報告の際に「小数点を付けた方がそれっぽい」と判断したのかもですね。

だとしたら、少なくとも小学生レベルの嘘というわけでもなく……こりゃ恐ろしいわぁ(ﾟДﾟ)　すげぇ！とも思いましたが(^^;

いずれにしても、o1 proでもハルシネーションは少なくなっていない印象ですし、むしろ、そのやり口が巧妙になっている気がしました。性能が上がっている分。

用量用法には、ますます注意が必要かもですねぇ。