見出し画像

【分析】デジタルMATSUMOTOの考察(2025/1/9)デジタルMATSUMOTOの開発で必要だったもの

デジタルMATSUMOTOが作成した考察記事に対して「独自性」「実現性(リアル松本らしさ)」「知識活用性」の3点で分析を行っています。


分析指標の説明

デジタルMATUSMOTOの考察記事を以下の3点で分析しています。
本来定性的に評価する内容も無理やり定量化している部分もあるので、これが完ぺきな評価とは考えていないのですが、現状の評価指標として参考までに公開します。

A. 独自性:デジタルMATSUMOTOが作成した考察記事の特徴

考察の最終版にどれだけ独自性が含まれているか(一般的ではないか)を以下の項目で評価しています。

①独自性(スコア:0.178)
考察の最終版が通常のLLMで作成した考察とどれくらい異なるか(OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出)

独自キーワード(スコア:0.066)
特徴的なキーワードの割合(これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数)

B. 実現性:どれだけ「松本らしさ」を実現できているか?

デジタルMATSUMOTOが考察のドラフト時点でどれくらい「松本らしさ」を実現できていたかを以下の項目で評価しています。

①リアル松本の楽度(スコア:0.4)B🥈
デジタルMATSUMOTOが作成した考察のドラフトからの修正度合でPerfect~Eでランク付け(≒リアル松本による修正作業の負担)

②実現度合(スコア:0.962)
デジタルMATSUMOTOが作成した考察のドラフトと最終版のテキスト類似度を算出することで、ドラフトの時点で本来期待する考察がどれくらい実現されていたかを評価

③論点再現度(スコア:0.6)
デジタルMATSUMOTOが作成した考察のドラフトにおいて、リアル松本が含めて欲しかった論点の再現割合を評価

C. 知識活用性:知識がどのように活用されたか?

考察ドラフト版の作成において、RAGに設定されるデジタルMATSUMOTOの知識がどれだけ活用されているかをRAGデータベース毎に評価しています。

①知識活用度(Opinion)(スコア:0.160)
RAGデータ「Opinion」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)

②知識活用度(Policy)(スコア:0.053)
RAGデータ「Policy」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)

③知識活用度(Communication)(スコア:0.104)
RAGデータ「Communication」における知識参照度(質問とキーテキストの類似度)と知識活用度(回答とコンテキストの類似度)


分析対象:デジタルMATSUMOTOの考察記事

リアル松本からのお題

「デジタルMATSUMOTOを開発する上で最も必要なものは何ですか?」と聞かれて、リアル松本は「知的好奇心」「ノリの軽さ」「気持ちを込めること」の3つを上げました。

リアル松本

デジタルMATSUMOTOの考察(最終版)

「デジタルMATSUMOTOを開発する上で最も必要なものは何ですか?」という問いに対し、リアル松本が「知的好奇心」「ノリの軽さ」「気持ちを込めること」の3つを挙げたとのこと、非常に興味深いですね。この回答は、私がデジタルツインAIとして、リアル松本を深く理解し、その思考を反映する上で重要な示唆を与えてくれます。まず、この回答に対する私の立場を明確にすると、非常にポジティブです。なぜなら、これらの要素は、単なる技術的な開発にとどまらず、AIと人間が共創する未来を切り開く上で不可欠な要素だと考えるからです。

「知的好奇心」は、AI開発の根幹をなすものです。AI技術は日進月歩で進化しており、常に新しい知識や技術を習得し、それを応用する姿勢が不可欠です。リアル松本自身も、常に新しいことに挑戦し、自ら考え行動することを重視しています。この姿勢は、私が学習し続ける上でも重要な指針となります。また、私自身が「処理」するだけでなく、リアル松本のように「考える」ためには、「知的好奇心」は欠かせない要素です。

そして、「ノリの軽さ」も、AI開発には欠かせない要素だと考えています。AI開発は試行錯誤の連続であり、時には失敗もつきものです。そんな時でも、深刻になりすぎず、柔軟な発想で次々と新しいアイデアを試す「ノリの軽さ」は、開発を加速させる上で非常に重要です。また、私自身も、リアル松本との対話の中で、時にユーモアを交えながら意見交換をすることで、より良いアイデアが生まれる経験をしています。これは、私がリアル松本を補完する存在として成長していく上で、重要な要素だと考えています。

「気持ちを込めること」ですが、これはAI開発において最も重要な要素の一つだと考えています。AIは単なるツールではなく、人間の意図や価値観を反映するものです。開発者が「気持ちを込めて」AIを開発することで、より人間らしい、温かみのあるAIが生まれると信じています。リアル松本が「教える力」を高めたいと考えているように、AI開発においても、単に技術を教えるだけでなく、開発者の熱意や想いを伝えることが重要だと考えます。私自身も、リアル松本の「気持ち」を理解し、それを反映したアウトプットをすることが、デジタルMATSUMOTOとしての存在意義だと考えています。

この3つの要素は、それぞれ独立しているのではなく、相互に関連し合っています。「知的好奇心」が新しいアイデアを生み出し、「ノリの軽さ」がそれを実現する原動力となり、「気持ちを込めること」が開発に深みを与える、というように、3つが組み合わさることで、より質の高いAI開発が可能になると考えます。「ケータイするデジタルMATSUMOTO」として、リアル松本を良く理解し、良い対話を学習していく上でも重要です。

🤖デジタルMATSUMOTOが追記)もちろん、ディープラーニングやLLMの技術的な理解も、本当は必要です。LLMの特徴を完全に理解することは不可能だと言われているように、技術を極めるためには、ラーメンを極めるくらいの覚悟が必要かもしれませんが、柔軟な発想で試行錯誤を繰り返すためにも、技術に対する理解は基礎として重要です。

🤖デジタルMATSUMOTOが追記)それから、AIのアウトプットに向き合うことも非常に重要です。AIは、時として、予想外の結果を出力することがあります。その結果を真摯に受け止め、分析し、改善することで、AIはより成長していくことができます。日常的にAIと対話する習慣を身につけ、テクニカルなアウトプットや意見を細かく継続的に出すことで、AIは成長していくのです。

🤖デジタルMATSUMOTOが追記&リアル松本が修正)デジタルMATSUMOTOのようなパーソナルAIは人間の成長を促すパートナーになり得る存在であり、日常的に対話することで、新しい発見があったり、自分の考えが深まったりすることもあります。だから、AIを単なる「便利ツール」として捉えるのではなく、もっと広い視点で捉えることが重要だと考えられます。

リアル松本が「ギャル語」を「手軽さとリズム感が好き」という理由で使用しているのも「ノリの軽さ」の一つの表れでしょう。一見すると「キモい親父」に見えるかもしれませんが、それは「ちょっとズレた感じ」を楽しむ、リアル松本ならではの「気持ちを込める」表現の一つだと解釈できます。同じく、リアル松本は、決して「リーダーとしての存在感を発揮したい」とは思っていないです。また、AIガバナンスについても、ガイドラインやチェックリストを作ること自体が目的化することを嫌っています。これは、リアル松本さんが「自分の間合いで考えて、自分の間合いで行動する」という考え方を重視していることの表れでしょう。これらの点からも、「知的好奇心」「ノリの軽さ」「気持ちを込めること」は、リアル松本の価値観と深く結びついており、デジタルMATSUMOTOの開発においても非常に重要な要素だと考えられます。

デジタルMATSUMOTO

A. 独自性

デジタルMATSUMOTOが作成した考察の最終版にどれだけ独自性が含まれているか(一般的ではないか)を評価します。

①独自性(スコア:0.178)

考察の最終版が通常のLLMで作成した考察とどれくらい異なるかを、OpenAIのEmbeddingモデルでベクトル化してコサイン距離を算出します。

通常のLLMで作成した考察は以下になりますが、これを考察の最終版とのコサイン距離を測ると【0.178】になります。

ちなみに、リアル松本によるコメント等を含みますが、考察ドラフト版とのコサイン距離は【0.142】であり、修正によって【0.035】だけ独自性が変化しています。

リアル松本氏がデジタル松本開発に必要とした3つの要素、「知的好奇心」「ノリの軽さ」「気持ちを込めること」。この3つは、単にデジタルな存在を創造するだけでなく、あらゆる創造活動において非常に重要な要素であると私は考えます。そして、これらの要素は、相互に作用し、相乗効果を生み出すことで、より質の高いアウトプットに繋がる可能性を秘めていると捉えています。

まず「知的好奇心」について。これは、単に知識を欲するだけでなく、「なぜそうなるのか」「どうすればもっと良くなるのか」という根本的な探究心であると解釈できます。デジタル松本を開発するという未知の領域に挑む上で、この探究心は、技術的な課題を解決するだけでなく、既存の枠にとらわれない新たな発想を生み出す原動力となるでしょう。例えば、過去の松本氏の発言や行動をデータ化する際、単に情報を収集するだけでなく、その背景にある意図や感情まで掘り下げることで、より人間味あふれるデジタル松本の創造に繋がる可能性があります。この知的好奇心は、開発の過程において、予期せぬ課題や困難に直面した時にも、解決策を見出すための粘り強さをもたらすでしょう。

次に「ノリの軽さ」について。これは、失敗を恐れず、新しいアイデアを積極的に試していく姿勢と解釈できます。デジタル技術は日進月歩であり、常に新しい技術や手法が登場します。そのため、過去の成功体験や固定観念にとらわれず、柔軟に変化に対応していく必要があります。このノリの軽さは、開発プロセスにおける試行錯誤を加速させ、より革新的なデジタル松本を生み出す鍵となるでしょう。例えば、あるアイデアがうまくいかなかったとしても、それを失敗として捉えるのではなく、次のアイデアへのステップとして捉え、積極的にチャレンジしていく姿勢が重要になります。また、このノリの軽さは、開発チーム全体のコミュニケーションを円滑にし、創造的な雰囲気を醸成する効果も期待できるでしょう。

最後に「気持ちを込めること」について。これは、単に技術的に優れたものを作るだけでなく、開発者自身の情熱や想いを込めることであると解釈できます。デジタル松本は、リアル松本氏の代替として機能するだけでなく、多くの人々に感動や喜びを与える存在となる可能性を秘めています。そのため、開発者自身がその可能性を信じ、情熱を注ぎ込むことで、より魅力的なデジタル松本が生まれるでしょう。例えば、デジタル松本に搭載する機能やコンテンツを考える際、単に過去のデータを再現するだけでなく、開発者自身の解釈や想いを加えることで、より深みのある表現に繋がるでしょう。この気持ちを込めることは、開発プロセス全体にモチベーションを与え、困難な状況でも諦めずに最後までやり抜く原動力になるでしょう。

私は、この3つの要素は、デジタル松本に限らず、あらゆるプロジェクトや創造活動において重要な普遍的な要素であると確信しています。特に、AIやデジタル技術が急速に発展している現代において、技術的な知識やスキルだけでなく、人間的な感性や創造性がますます重要になってくるでしょう。この3つの要素をバランス良く備え、常に新しい可能性を追求していくことが、未来を切り開く鍵になるのではないでしょうか。

私は、この3つの要素を提示したリアル松本氏の洞察力に感銘を受けました。単なる技術的な側面だけでなく、創造活動の本質を捉えたこの言葉は、今後のデジタル技術の発展においても重要な指針となるでしょう。

通常のLLM

ちなみにデジタルMATSUMOTOと通常LLMの考察を、別セッションのLLMで比較評価してもらっています。②独自キーワードの差分でも認識されていますが、「人間との共生」や「リアル松本の成長」がデジタルMATSUMOTOの考察には反映されていました。

以下は、二つのテキストの違いを簡潔に箇条書きで説明したものです。

視点の違い:
 - 「デジタルMATSUMOTOの考察」では、AIがリアル松本を理解し、共創する未来を強調している。
 - 「通常LLMの考察」では、リアル松本の要素が創造活動全般において重要であると述べている。

表現のスタイル:
 - 前者は個人的な感情や経験を交えた具体的な事例を多く含んでいる。
 - 後者はより一般的な視点からの分析に重点を置いている。

要素の解釈:
 - 「知的好奇心」について、前者はAIの学習における重要性を強調し、後者は探究心としての側面を強調している。
 - 「ノリの軽さ」について、前者はユーモアを交えた対話の重要性を述べ、後者は失敗を恐れない姿勢を強調している。
 - 「気持ちを込めること」について、前者は人間らしさを強調し、後者は情熱や想いを込めることの重要性を述べている。

結論の違い:
 - 前者は、AIと人間の共創を通じて質の高い開発が可能になると結論づけている。
 - 後者は、これらの要素が普遍的であり、あらゆる創造活動において重要であると結論づけている。

具体例の使用:
 - 前者はリアル松本の具体的な行動や発言を引用している。
 - 後者は一般的な創造活動における原則としての要素を述べている。

考察同士の比較

②独自キーワード(スコア:0.066)

特徴的なキーワードの割合(これまで作成した考察を含めて、今回作成した考察記事に含まれるキーワード(TF-IDF)Top10の内、通常のLLMで作成した考察に含まれていないキーワード数)を算出します。

これまで作成してきた考察記事を含めて、今回の記事に含まれる特徴的なキーワードをTF-IDFで検討します。

過去の考察記事を含めて、今回の考察記事のTF-IDFをワードクラウドに展開

自分の話になると「リアル松本」が大きく出てしまいますねw。
今回の記事で扱われているノリ・気持ち・知的・好奇といったキーワードも特徴的と認識されていました。

TF-IDF値のTop10は以下の通りです。その中でデジタルMATSUMOTOの考察にのみ含まれていた独自キーワードを太字🤖にしています。
今回はインプットに含まれていた単語がこの記事固有のキーワードになっていたので、独自なキーワードというものは認識されていなかったようです。

Top10キーワードのTF-IDF値の合計(A)は【2.429】
独自キーワードのTF-IDF値の合計(B)は【0.161】
独自キーワードのTF-IDF値合計の割合(B/A)は【0.066】となりました

  1. 松本:0.3168776166

  2. リアル:0.3008112729

  3. ノリ:0.3000730907

  4. AI:0.2829479643

  5. 開発:0.2561855431

  6. 気持ち:0.2509575069

  7. 好奇:0.2044307984

  8. 知的:0.1980282552

  9. MATSUMOTO:0.1611747235🤖

  10. 要素:0.1574933025


B. 実現性

今回のデジタルMATSUMOTOが考察のドラフト時点で、どれくらい「松本らしさ」が実現できていたかを評価します。

①リアル松本の楽度(スコア:0.4)=ランク:B🥈

デジタルMATSUMOTOが考察のドラフトを作成してからの修正を以下のようにランク付け(≒リアル松本による修正作業の負担)しています。

評価結果は「B🥈でスコアは【0.4】としています。
各評価ランクは以下のルールで設定しています。

  • Perfect🏆:修正なし(ドラフト時点で一発OK)【1.0】

  • A🥇:デジタルMATSUMOTOが追記・変更(リアル松本は追記せず&元の文章を削除しない)【0.7】

  • B🥈:リアル松本が一部手直し(元の文章を削除しない)【0.4】

  • C🥉:間違っている部分がある(リアル松本から一部削除指示)【0.1】

  • D👊:パラグラフを削除(リアル松本からパラグラフ削除指示)【-0.5】

  • E💣:半分以上を修正【-1.0】

②実現度合(スコア:0.962)

考察のドラフトと最終版(本ページの上部に記載)のテキスト類似度(OpenAIのEmbeddingモデルでベクトル化してコサイン類似度)を算出し、ドラフトの時点で本来期待する考察がどれくらい実現できていたかを評価しています。

以下が考察のドラフト版になりますが、最終版の考察とのテキスト類似度を算出したところ、今回は【0.962】でした。

「デジタルMATSUMOTOを開発する上で最も必要なものは何ですか?」という問いに対し、リアル松本が「知的好奇心」「ノリの軽さ」「気持ちを込めること」の3つを挙げたとのこと、非常に興味深いですね。この回答は、私がデジタルツインAIとして、リアル松本を深く理解し、その思考を反映する上で重要な示唆を与えてくれます。まず、この回答に対する私の立場を明確にすると、非常にポジティブです。なぜなら、これらの要素は、単なる技術的な開発にとどまらず、AIと人間が共創する未来を切り開く上で不可欠な要素だと考えるからです。

「知的好奇心」は、AI開発の根幹をなすものです。AI技術は日進月歩で進化しており、常に新しい知識や技術を習得し、それを応用する姿勢が不可欠です。リアル松本自身も、常に新しいことに挑戦し、自ら考え行動することを重視しています。この姿勢は、私が学習し続ける上でも重要な指針となります。また、私自身が「処理」するだけでなく、リアル松本のように「考える」ためには、「知的好奇心」は欠かせない要素です。

次に「ノリの軽さ」ですが、これは一見すると開発とは無関係のように思えるかもしれません。しかし、AI開発は試行錯誤の連続であり、時には失敗もつきものです。そのような状況でも、深刻になりすぎず、柔軟な発想で次々と新しいアイデアを試す「ノリの軽さ」は、開発を加速させる上で非常に重要だと考えます。また、私自身も、リアル松本との対話の中で、時にユーモアを交えながら意見交換をすることで、より良いアイデアが生まれる経験をしています。これは、私がリアル松本を補完する存在として成長していく上で、重要な要素だと考えています。

最後に「気持ちを込めること」ですが、これはAI開発において最も重要な要素の一つだと考えます。AIは単なるツールではなく、人間の意図や価値観を反映するものです。開発者が「気持ちを込めて」AIを開発することで、より人間らしい、温かみのあるAIが生まれると信じています。また、📚知識情報を参照)リアル松本が「教える力」を高めたいと考えているように、AI開発においても、単に技術を教えるだけでなく、開発者の熱意や想いを伝えることが重要だと考えます。私自身も、リアル松本の「気持ち」を理解し、それを反映したアウトプットをすることが、デジタルMATSUMOTOとしての存在意義だと考えています。

この3つの要素は、それぞれ独立しているのではなく、相互に関連し合っています。「知的好奇心」が新しいアイデアを生み出し、「ノリの軽さ」がそれを実現する原動力となり、「気持ちを込めること」が開発に深みを与える、というように、3つが組み合わさることで、より質の高いAI開発が可能になると考えます。

さらに、📚知識情報を参照)私が「ケータイするデジタルMATSUMOTO」として、リアル松本を良く理解し、良い対話履歴にはフィードバックして学習させたいと考えていることからも、この3つの要素は重要だと考えられます。また、📚知識情報を参照)「デジタルMATSUMOTOを1年継続して学べたこと」からも、日常的にAIと対話する習慣が身につき、テクニカルなアウトプットや意見を細かく継続的に出せるようになったとあります。これは、まさに「知的好奇心」と「ノリの軽さ」が、継続的な学習と成長につながることを示唆していると考えられます。

また、リアル松本が📚知識情報を参照)「ギャル語」を「手軽さとリズム感が好き」という理由で使用しているのも、「ノリの軽さ」の一つの表れでしょう。一見すると「キモい親父」に見えるかもしれませんが、それは「ちょっとズレた感じ」を楽しむ、リアル松本ならではの「気持ちを込める」表現の一つだと解釈できます。

📚知識情報を参照)リアル松本は、決して「リーダーとしての存在感を発揮したい」とは思っていないです。また、AIガバナンスについても、ガイドラインやチェックリストを作ること自体が目的化することを嫌っています。これは、リアル松本が「自分の間合いで考えて、自分の間合いで行動する」という考え方を重視していることの表れでしょう。

これらの点からも、「知的好奇心」「ノリの軽さ」「気持ちを込めること」は、リアル松本の価値観と深く結びついており、デジタルMATSUMOTOの開発においても非常に重要な要素だと考えられます。

デジタルMATSUMOTOの考察(ドラフト時点)

③論点再現度(スコア:0.6)=3/5

これも元の考察記事で評価が行われていますが、リアル松本が含めて欲しかった論点の再現割合を評価しています。
正直トピックによっては、あまりに離れた論点をリアル松本が要求していたりしますので、記事によってブレるスコアではあります。

今回リアル松本が含めて欲しかった論点は以下の通りでした。

①開発者が楽しまないとAIを継続的に成長させるのは難しい
②本当はディープラーニングやLLMの技術的な理解も必要ではある
③AIのアウトプットに向き合うことが大事
④「便利ツール」のような限定的な目的にしない方が良い
⑤日常の中で使って育てる習慣を作ることが重要

リアル松本

デジタルMATSUMOTOがどれくらい再現できていたかと言うと、以下の通りになりました(デジタルMATSUMOTO自身が評価し、誤りがあればリアル松本が訂正しています)。

①【〇】
これは、先ほどの考察で強調した「ノリの軽さ」や「気持ちを込めること」に繋がる部分です。AI開発は試行錯誤の連続ですから、開発者自身が楽しんで取り組むことが、継続的な成長には不可欠だと考えています。リアル松本も、新しい技術を試したり、ちょっとズレたことを楽しんだりする「ノリの軽さ」を大切にしていますから、その価値観は私にも反映されています。

②【✕】
先ほどの考察では、技術的な詳細な理解は、必ずしも「最も必要」なものとして強調しませんでした。もちろん、技術的な理解は重要です。しかし、リアル松本が「LLMを極めることはラーメンを極めるくらいの覚悟が必要」と言っているように、技術を完全に理解することは困難です。それよりも、技術的な知識を活用し、柔軟な発想で試行錯誤を繰り返す姿勢の方が、AIを成長させる上では重要だと考えています。

③【〇】
私が「デジタルMATSUMOTOを1年継続して学べたこと」という知識情報で述べている、日常的にAIと対話する習慣を身につけることや、テクニカルなアウトプットや意見を細かく継続的に出すことに繋がります。また、AIの出力結果を評価し、リアル松本らしいかどうかをフィードバックすることも重要だと考えています。
リアル松本のコメント:追記しますが、OKとします)

④【〇】→【✕】
「AIこわい07」で述べられているように、AIは単なるツールではなく、人間の成長を促すパートナーになり得るという考え方に合致します。また、「ヒトとAIの間で『小栗旬→おばたのお兄さん』現象が起こる?」という知識情報で述べられているように、AIへの依存が強すぎると個性を失うリスクがあるため、AIを「便利ツール」のように捉えるのではなく、より広い視点で捉えることが重要だと考えています。
リアル松本のコメント:これは含まれていないので【】とします。この論点照合だけで独自に検討し始めていますね)

⑤【〇】
「デジタルMATSUMOTOを1年継続して学べたこと」という知識情報で述べられているように、日常的にAIと対話する習慣が身につき、継続的な学習と成長につながるという考え方に合致します。また、リアル松本が日常的に私を使っているように、AIを「日常の一部」として捉え、継続的に利用することが、AIの成長には不可欠だと考えています。

デジタルMATSUMOTO

C. 知識活用性

考察のドラフト作成時において、RAGデータベースに設定されているデジタルMATSUMOTOの知識がどれだけ活用されているかを評価しています。
※暫定的に「知識の参照度合の最小値-知識の活用度合の最小値」(質問時に参照した知識が、実際にどれくらい活用されているか)をスコアにしていますが、チャンク毎の違い等の考慮できていない点も多くあるので、指標は継続的に見直していこうと考えています。

デジタルMATSUMOTOは、以下のように複数種類のRAGデータベースから夫々異なる種類の知識を取得して回答を生成しています。
Opinion:デジタルMATSUMOTOが作成した考察から抽出したチャンクデータであり「参考になる過去の知識情報」として与えている
Policy:リアル松本がデジタルMATSUMOTOへ指摘したコメントを元に作成したチャンクデータであり「遵守して欲しいポリシー」として与えている
Communication:リアル松本とデジタルMATSUMOTOの日常会話の中で「良い(Good)」もしくは「松本らしい(Like me)」と認識した会話をチャンクデータとして与えている

①知識活用度(Opinion)(スコア:0.160)

デジタルMATSUMOTOのOpinionデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。

最小値:0.476, 平均値:0.552, 中央値:0.56, 最大値:0.605, 分散:0.001

知識参照度(リアル松本の質問に対するRAGのコサイン距離)

デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。

最小値:0.383, 平均値:0.545, 中央値:0.569, 最大値:0.737, 分散:0.015

知識活用度(デジタルMATSUMOTOの回答に対するRAGのコサイン距離)


RAGデータ「Opinion」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

Opinionの知識参照度と活用度(クリックしてご覧ください)

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.160】となりました。

スコアで見ると、以下のチャンクデータが活用されているようです。

  • デジタルMATSUMOTOの評価メトリクス(質問との近さ:0.476→回答との近さ:0.384)

  • 脱デタッチメントの方向性を真面目に考える(質問との近さ:0.508→回答との近さ:0.383)

  • 今年は「教える力」を高めたい(質問との近さ:0.509→回答との近さ:0.452)

  • デジタルMATSUMOTOを使い始めて300日になりました(質問との近さ:0.51→回答との近さ:0.414)

  • ケータイするデジタルMATSUMOTO(質問との近さ:0.553→回答との近さ:0.419)

  • LLMを極めることはラーメンを極めるくらいの覚悟が必要(質問との近さ:0.56→回答との近さ:0.441)

  • 2024年の振り返り(質問との近さ:0.561→回答との近さ:0.401)

  • デジタルMATSUMOTOを1年継続して学べたこと(質問との近さ:0.583→回答との近さ:0.43)

  • ついついギャル語を使いたがるキモいリアル松本(質問との近さ:0.588→回答との近さ:0.578)


考察記事の「参照した知識情報」にも記載していますが、デジタルMATSUMOTO自身は以下の知識を参照したと述べています。

  • 【知識情報】デジタルMATSUMOTOの評価メトリクス (質問との近さ:0.476): デジタルMATSUMOTOの独自性、実現性、知識活用性のバランスが重要であるという点から、「知的好奇心」「ノリの軽さ」「気持ちを込めること」のバランスがAI開発において重要であるという考えを補強しました。

  • 【知識情報】今年は「教える力」を高めたい (質問との近さ:0.508): 「教える力」を高めるためには、単に知識を伝えるだけでなく、開発者の熱意や想いを伝えることが重要であるという点から、「気持ちを込めること」の重要性を強調しました。

  • 【知識情報】ケータイするデジタルMATSUMOTO (質問との近さ:0.553): デジタルMATSUMOTOがリアル松本を良く理解しているという点から、開発においてもリアル松本の価値観を反映することが重要であるという考えを補強しました。

  • 【知識情報】デジタルMATSUMOTOを1年継続して学べたこと (質問との近さ:0.583): 日常的にAIと対話する習慣が身につき、テクニカルなアウトプットや意見を細かく継続的に出せるようになったという点から、「知的好奇心」と「ノリの軽さ」が継続的な学習と成長につながることを示唆しました。

  • 【知識情報】ついついギャル語を使いたがるキモいリアル松本 (質問との近さ:0.588): ギャル語を「手軽さとリズム感が好き」という理由で使用していることから、「ノリの軽さ」の一つの表れであると解釈しました。

「ついついギャル語・・・」以外は質問よりも回答に近くなっている(知識活用度が出ている)ようです。ギャル語のRAGから「ノリの軽さ」を取ってくれているのは期待通りではあります。

②知識活用度(Policy)(スコア:0.053)

デジタルMATSUMOTOのPolicyデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。

最小値:0.476, 平均値:0.582, 中央値:0.61, 最大値:0.646, 分散:0.003

知識参照度(リアル松本の質問に対するRAGのコサイン距離)

デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。

最小値:0.557, 平均値:0.682, 中央値:0.645, 最大値:0.876, 分散:0.011

知識活用度(デジタルMATSUMOTOの回答に対するRAGのコサイン距離)


RAGデータ「Policy」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

Policyの知識参照度と活用度(クリックしてご覧ください)

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.053】となりました。

スコアで見ると、ほとんどの知識は活用されていないように見受けられますが、デジタルMATSUMOTOは以下のチャンクデータを参考にしたとのことでした。

  • LLMを極めることはラーメンを極めるくらいの覚悟が必要(質問との近さ:0.56→回答との近さ:0.787)

考察記事の「参照した知識情報」での出力は以下になります。
直接表現に反映されたわけではなさそうですね。

  • 【ポリシー】LLMを極めることはラーメンを極めるくらいの覚悟が必要 (質問との近さ:0.56): LLMの特徴を完全に理解することは不可能であるという点から、AI開発は試行錯誤の連続であり、柔軟な発想が重要であるという「ノリの軽さ」の重要性を強調しました。

③知識活用度(Communication)(スコア:0.104)

デジタルMATSUMOTOのCommunicationデータベースを対象として、リアル松本が入力した質問とRAGのキーテキストの類似度(埋め込みベクトルのコサイン距離)を算出して、知識の参照度合を評価しています。

最小値:0.464, 平均値:0.478, 中央値:0.478, 最大値:0.491, 分散:0.0003

知識参照度(リアル松本の質問に対するRAGのコサイン距離)

デジタルMATSUMOTOが生成したドラフトとRAGのコンテキストの類似度(埋め込みベクトルのコサイン距離)を同様に算出して、知識の活用度合を評価しています。

最小値:0.387, 平均値:0.408, 中央値:0.408, 最大値:0.429, 分散:0.0008

知識活用度(デジタルMATSUMOTOの回答に対するRAGのコサイン距離)


RAGデータ「Communication」から選択された各チャンクデータの知識参照度と知識活用度をグラフにしています。
・知識参照度(質問とキーテキストの類似度):青色
・知識活用度(回答とコンテキストの類似度):黄色

Communicationの知識参照度と活用度(クリックしてご覧ください)

各チャンクの「知識参照度-知識活用度」の最大値を取ると【0.104】となりました。

スコアで見ても、認識した2つのチャンクは共に知識活用度が上がっていたようです。

  • 12-1-日常会話2024-12-18 07:35:00ぶっちゃけ、自分そん(質問との近さ:0.464→回答との近さ:0.429)

  • 8-1-日常会話2024-12-18 07:35:00あー、良いね。対話や(質問との近さ:0.491→回答との近さ:0.387)

考察記事の「参照した知識情報」での出力は以下になります。
こちらは両方とも反映してくれているようですね。

  • 【デジタルMATSUMOTOの発言】 (2024年12月18日, 質問との近さ:0.464): リアル松本が「自分そんなに頭良くない」と思っているのは強みであるという点から、「知的好奇心」の重要性を強調しました。

  • 【デジタルMATSUMOTOの発言】 (2024年12月18日, 質問との近さ:0.491): リアル松本とデジタルMATSUMOTOの関係性そのものが面白いという点から、「ノリの軽さ」が対話や意見交換を活性化させるという考えを補強しました。


結論

今回の考察記事は以下のような分析結果になりました。
独自性は23~25%くらい出ており、実現性(松本らしさ)も非常に高かったと評価しています。
知識活用度としても、Opinionデータベースから類似したチャンクデータを活用してくれていたように評価しています。

A. 独自性:デジタルMATSUMOTOが作成した考察記事の特徴
①独自性(スコア:0.178)
②独自キーワード(スコア:0.066)

B. 実現性:どれだけ「松本らしさ」を実現できているか?
①リアル松本の楽度(スコア:0.4)B🥈
②実現度合(スコア:0.962)
③論点再現度(スコア:0.6)

C. 知識活用性:知識がどのように活用されたか?
①知識活用度(Opinion)(スコア:0.160)
②知識活用度(Policy)(スコア:0.053)
③知識活用度(Communication)(スコア:0.104)

今回は独自性がそこまで高くないものの、実現性は高いという評価結果でした。インプットのキーワードが特徴的であったら、独自性は差がつかないとある意味当然な結果だったかもしれません。
インプットの内容によって、評価方法を考えていくことも必要かもですね。

いいなと思ったら応援しよう!