小説を読ませて、ChatGPTとGeminiの比較をしてみた（体感）
先日ふと、
「Geminiなら小説も読めるんじゃない？」
と思いたちまして、Gemini有料版を契約してみました。今なら２ヶ月無料だったのもあり。
というわけで自分の備忘録もかねて、２０２４年６月時点の、ChatGPTとGeminiの比較を書きました。
なお厳密な性能比較ではなく、あくまでも体感ですのでそこはご了承くださいませ。
Geminiとは？ ChatGPTと何が違う？
GeminiというのはGoogleの生成AIで、ChatGPTとガチ競合するヤツです。スマホで例えるなら、AndroidとiPhoneみたいな関係かな。
さてぼくが思う最大の違いは、入出力の量でしょうか。
画像生成とか各種連携とか動画読み込みとか、もちろん違いは色々ありますが、ぼくの用途では入出力の違いが大きなポイントなので、今回はそこに絞ってお話します。
２０２４年６月現在、ChatGPT有料版が約１３万トークンなのに対し、Gemini有料版はなんと１００万トークンを扱えるとか！
トークンってよく分からない単位ですが、日本語の場合、単語や助詞を１トークンと数えることが多いようです。状況によってカウントが多少違うようですが。
ということで１００万トークンともなれば、２００ページ前後の書籍に換算すると、約２０冊分に相当するとか！＜ChatGPT調べ（笑）＞
これを秒で読了するとか、どうなってんだよGeminiさん……
ということで自作小説をGeminiにツッコんだら、何かと便利なデータベースとして使えるのではないかと思ったのです。
ぼくの場合、自作小説の内容や設定をよく忘れます。自分で書いたというのに！
これは驚くべき忘却力なのか、他作者さんもそうなのかは分かりませんが……とにかく忘れます。執筆が数カ月空くだけでサブキャラの名前はおろか存在も忘れるし、ノリで書いた細かい設定なんて翌日には忘れてます（ﾟДﾟ）
というわけで数冊分のシリーズになると、Wikipediaも真っ青なほどの設定資料になるので、そもそも設定資料を読むのもめんどい……（ToT）
だからその辺をGeminiさんに丸投げして、「あれってどういう設定だったっけ？」と聞くだけで答えてくれるなら嬉しいなぁ、と思った次第です（^^;
比較してみた
ということでChatGPTとGemini（両方有料版）に自作小説をツッコんで、あらすじを聞いてみました。（２４年６月時点）
なお『自作小説をツッコんで』とは、両方とも、たんに添付しただけです。API経由でとかファインチューニングでとかそういう難しいことは一切やってません。
あと今回は、さすがに自分が忘れていたらまずいので、いま執筆中の『ぼっち王女』が題材です。
ChatGPT
小説の３分の１くらいは正確なあらすじを答えてくるんですが、それ以降は創作を始めました（笑）
つまり書籍１冊分（約５万トークン）を一度には読んでいないと予想できます。
小説の出だし２〜３万字（約１万〜１.５万トークン）だけを読み、それ以降は予測に基づいて回答してるのかもですね。
しかしこれは致し方ないのでしょう。
ChatGPTが１回セッションで扱えるのは１３万トークンだから、書籍１冊分（約５万トークン）をインプットすると、１３万トークンの半分弱を１回の会話で消費してしまいます。だから省略してるんでしょうね。
Gemini
かなり正確にあらすじを答えてきやがりました！
いやびっくり（ﾟДﾟ）
これだけでもChatGPTより凄いことが分かりました。
でもどこまで凄いのか確認したくて、さらに細かな質問をしてみます。
例えばキャラの感情は理解できているのか？ 中学校の国語とかでよくあるテストですね（笑）
あ、ここからはネタバレになる場合もあるので、一応その範囲を示しておきます。
▼ネタバレここから▼
「ティスリとアルデが戦った理由は？」と聞いてみたら……
Geminiの原文ママ
「ティスリは、アルデが自分を弄んだと思い込み、怒って戦いを挑みました。ティスリは、アルデが王女である自分をたぶらかして魔具を手に入れ、自分の親衛隊員にも手を出したと誤解していました。アルデは身の潔白を訴えますが、ティスリは聞く耳を持たず、二人の戦いが始まります。」
▲ネタバレここまで▲
ま、まぢですか……
あらすじはおろか、キャラの心境まで言い当ててるんですが……！？
まぁラノベなので、そこまで複雑な人間模様を書いているつもりはありませんが、それにしてもです。
感情のないAIが、感情表現を言い当てられることに脅威すら覚えましたね、えぇ……
もちろんChatGPTにも同じ質問をしましたが、あっちはまったくデタラメな回答をしてきました。全文を読んでいないんだから当然と言えば当然です。
ただもしかしたら、ChatGPTも、扱えるトークン数が多くなったら適確に出力できるのかもしれません。でも現状では出来ていないことは確かなわけです。
いやぁ……すごいぞGemini。
しかも、一見すると間違いだと思えるような回答があったのですが、実はぼくが間違っていたなんてこともありました！
▼ネタバレここから▼
『リリィ』というキャラがいるんですが、Geminiは『リリィ王女』という表現をしていました。
だからぼくが「リリィは王女ではないよ」と指摘すると……
「その通りです。リリィは王女ではなく、第二王位継承者です。」
と答えてきて正解を出します。
この時点では「まぁ細かい設定を間違えるのは仕方がないかな？」と思ったのですが……
あとから考えてみると、原稿内で、リリィが王女ではないと明言してませんでした！
「王族の遠縁」とは書いた記憶がありますが（たぶん書いたはず）、王族の遠縁なら王女と理解するのは間違いではありません。
つまりぼくの描写が足りなかったわけで！
これは読者さんにも勘違いされているかもしれません。
であればGeminiは、校正はおろか校閲まで出来るかもです。
▲ネタバレここまで▲
さらにサブキャラ『ラーフル』の名前をもう忘れてしまったので（本気で）、
「ティスリの親衛隊長の名前は？」
と聞いてみたら、
「ラーフル・ブルシェンシャフト」
とフルネームを答えてきます！
なのにぼくは「あれ……そんな名前だったっけ？」と思って原稿を検索してみたら……的中でした（笑）
いやぁ……なんという読解力に記憶力。
もはや作者より小説を理解していると言っても過言ではないと思いました（^^;
ChatGPTのほうが優れている点もあるよ
ということでぼくは「これってChatGPTよりいいのでは？」と思って、執筆以外にも使ってみたのですが、Geminiの弱点も見えてきました。
どうやらGeminiは、同一セッション内での文脈把握はイマイチのようです。
セッションというのは……使ったことない人向けに説明するのがけっこう難しいのでChatGPTに聞いてみたところ（笑）──
ChatGPTにおける「セッション」とは、ユーザーとChatGPTの間で行われる一連の対話を指します。＜ChatGPTより＞
──とのこと。
ChatGPTもGeminiも、左列に、これまでの会話履歴がズラリと並んでいると思いますが、あの１つ１つがセッションです。
つまりGeminiは、どうも、１つのセッション内で会話を続けるほどに、最初のほうの会話を忘れてしまうのか、あるいは日本語の解釈がおかしいのか、いずれにしてもセッションが長くなればなるほど支離滅裂になりがちです、ChatGPTよりも。
小説のような長文を正確に分析できているのに不思議ではありますが、ぼくの使用感ではそうでした。
だからセッションが長くなるような用途では、ChatGPTのほうが遙かに使いやすいのです。
例えばプログラミングをお願いするとき、複雑なものになるほどセッションは長くなりますが、そうなるとChatGPTのほうが使いやすい。
ただしChatGPTは、前述の通り、添付した長文をよく読まない仕様らしいので、長文プログラムを読ませるときは、添付ではなく、プロンプトとして入力したほうがよかったです。
それとGeminiはまだ不安定さがあります。けっこう頻繁に「わたしは生成AIとして学習中であり、それはできません」的な言い分けをしてきます（笑）
でも再生成を繰り返すと回答してきたりするので、システムが不安定なのかな？と思うわけです。ChatGPTもフリーズすることはありますが、Geminiより格段に少ないです。
あとChatGPTは、GPT 4oになってからそのスピードが段違いになりましたからね。スピードはGeminiを圧倒しています。
まとめ
と、いふことで。
備忘録としてちょろっと書くつもりが長文になってしまいましたが、ぼくの結論としてはこうです。
普段使いはChatGPT
長文を読ませるならGemini
安定性とスピード、そしてセッション内の文脈把握の観点から、普段使いはまだChatGPTに軍配があがると思いました。そもそも、長文を読ませるなんてシーン、そこまで多くないでしょうし。
でも長文の分析が必須となるなら、間違いなくGeminiですね。
だからぼくの場合なら、普段使いはChatGPTにして、小説関係はGeminiを使う、と使い分けをしようかと思いました。トークンの上限もありますし。
あと今や生成AIがないと仕事にならないので、どっちかが落ちてたらそのサブとしても使えます。
いずれにしても、多少の違いこそあれ、どちらもとてつもない性能であること間違いないわけですから、約６０００円／月の出費は惜しくないと思いました。
以上、AI活用のご参考になれば幸いです（^^）