以前の記事で、OpenAI o1 proを使って、物語の登場人物の人物像のリストを作る検証をしました。
以前の検証では、典型的な主人公、非典型的な主人公、サブキャラクター、主人公と的対するキャラクターの4つのカテゴリーでo1 proにリストを出力させ、それを元にデータベースを作ってキャラクターと物語のあらすじを作るプログラムを書きました。
今回は、DeepSeekのDeepThink(R1)モードに同じ質問をして、検証してみます。
概要
今回も、まずDeepSeekのDeepThinkモードで4つのカテゴリーの人物像のリストを出力させました。
Deepseekは中国で生まれた大規模言語モデルです。
今回検証したかったのは、同じタスクに取り組ませた場合に、ともに高性能なDeepSeekとOpenAIの出力を比較したときに、学習ソースの違いから表現される文脈に違いがでるか?
もっと雑に言えば、お国柄のようなものが感じられるかを観察しました。
性能ではOpenAIの各モデルにも肉薄すると言われるDeepSeekですが、物語のような抽象化されたコンテクストにおいて、明確な差異が見られれば非常に面白く活用できそうです。
記事中では、実際にDeepSeekが出力したものを引用して、キャラクタータイプの分類に活用できるかを検証していきます。
検証
典型的主人公のキャラクタータイプ
User
物語における典型的な主人公の人物像を分類し、構造化して資料化してください。
長大になって構いませんので、網羅的かつ詳細に各人物像を解説してください。
DeepThink
若干ハルシネーションがあるかんじがしますが、全体としては体系的にまとめられています。
(ここでは、「リストとして使える、網羅的な分類になっているか」という観点を重視していて、「推論能力の評価」という観点とは異なる点にご留意ください)
複数のタイプを組み合わせる提案があり、面白そうなので実際に活用する際に用いてみようと思います。
思考時間は9秒でした。
思考は中国語で行われたので、日本語訳したものを引用します。
日本語で入力されたものだから、日本の物語作品や物語文学に関する情報を求めているのではないか?と推察しています。
入力する言語によって挙動が変わる可能性があります。
中国語で入力してみたらどうなるでしょうか?
典型的主人公のキャラクタータイプ(中国語で入力)
User
对故事中主角的典型性格进行分类、结构和记录。
长也没关系,请对每个人进行全面详细的描述。
DeepThink(推論部分)
(日本語訳)
DeepThink
(日本語訳)
思考過程を見ると、内容的には西洋のLLMと変わらないもののように思えます。
OpenAI等のモデルの代替として利用できるという点ではメリットですが、ユニークではないという点ではデメリットと考えることもできそうです。
いちいち中国語に翻訳してから推論するのは面倒なので、プロンプトで「まず中国語に翻訳してから推論してください」と指示する方法などが提案されています。
今回はOpenAI o1 proと同じ条件で比較するため(面倒というのもありますが)、日本語で質問する形式で進めていきます。
非典型主人公のキャラクタータイプ
User
同様に、非典型的な、あるいは特殊な、または芸術性が高く一般の観客には共感し難い主人公の人物像についても解説してください
DeepThink
mermaidを使って図表を用いてわかりやすく表現しようとしてくれています。
事例のところがかなり抽象化された表現になっていて、意図を読み取るのが難しいですが、これをそのままAI(LLM)に突っ込むことを想定すると、気にしないでもよいかもしれません。
サブキャラクター
User
同様に、主人公と関わり物語に深みを与える脇役のタイプについても網羅的かつ詳細に解説してください。
DeepThink
この推論では、思考過程は英語になりました。
この挙動の違いはわからないですが、出力の文脈に大きな差はなさそうです。
モデルの推論処理自体は自然言語でやるわけではないことを考えると、学習したリソースや、推論指示における言語(が持っている文化的な背景)が、推論にあまり影響を与えない、ということも考えられそうです。
敵対者
User
同様に、主人公と対立し、大きな障害となる典型的な人物像について網羅的かつ詳細に解説してください。
DeepThink
単なるキャラクタータイプではなく、物語世界の哲学的問い(つまり鑑賞者に対する問題提起やメッセージ)の象徴でもあり、人類存在の根源的テーマの象徴として位置付けられているところが面白いです。
まとめ
DeepThink(R1)のファーストインプレッション
DeepThinkで使われているDeepSeek R1は、OpenAI o1と同等の性能であるという評判ですが、印象的には同じぐらいの感覚で使えます。
推論性能に影響を与える違いとしては、日本語入力と中国語推論の間で情報が抜け落ちたり、錯誤したりしている可能性があります(OpenAI o1 proはChatGPT Proで使っている限りは日本で推論しているように見えます)。
DeepSeekは投資会社で、投資で儲けたお金で作ったAIモデルを無料で配る義賊だ、みたいな話もありますが、DeepSeekの出力はサービス精神旺盛で、もりもり出力されます。短く端的な回答が欲しいときにちょっと困ります。
性能というより、性格で使い分けるイメージです。
キャラクタータイプの分類の推論について
推論の出力量は多いのですが、出力の中身を見るとかなり抽象化されていて、この出力をそのまま入力で使って、意図した推論ができるのか?と心配になりますが、おそらく与えた入力から推論を重ねる過程で、ある程度適切に補完してくれそうな気がします(記事の後半で検証しています)。
それが可能だとしたら、キャラクタータイプのデータベースの中身はキーワードの羅列程度の粒度でよい可能性があり、キーワードが(全体でどれぐらいの量があるのかわかりませんが)列挙できるなら、キャラクタータイプごとに各要素のアリ/ナシのパラメーターで規定できるのかもしれません。
しかも各パラメーターはかなり抽象化されていても平気な可能性もあります。
これは今後検証していきたいと思います。
最後までお読みくださりありがとうございました。
関連
2025年2月1日 公開