o1 proにOSSのソースコードを読解してもらう実験

o1 pro mode produces more reliably accurate and comprehensive responses, especially in areas like data science, programming, and case law analysis.

について体験してみたい。

手順

1. https://repomix.com/ でソースコードをMarkdownにする

2. o1 proに「以下のソースコードを読解し、どんなアーキテクチャで実現されているかをレポートしてください。」と聞く

対象

GitHubのトレンドに上がっていた以下の基準を満たすもの

• コードベースが小さいもの

• READMEを読んだだけでは内部構造が想像できないもの

• 自分で読んで検証可能なもの

以下は各レポジトリごとにレポートの結果をピックアップした感想→記事の最後の非公開ブロックに生データを載せておきます。

• 「DOCX → HTML 変換は mammoth」など知りたかった具体的な実装ポイントを上げてくれた

• Chain of Responsibility、Strategy などのデザインパターンの元ネタを教えてくれた

• 抽象クラス、プラグイン機構の情報を教えてくれた

• ReSwiftによるRedxuアーキテクチャであることを理解していた

• Reduxパターンの蘊蓄まで教えてくれた

• macOS の非公開 APIを使っていることを指摘

• なぜかmermaid図を書いてくれた

• 各Rustクレートの役割を教えてくれた

• MPSC（Multiple Producer, Single Consumer）チャネルを使ったCoreとTUIの連携もおさえていた

補足

• markitdown全体で5130のコードだが、このサイズはChatGPTで入力を受け付けてくれなかった。src/以下に指定した。

• 返答までかかる時間は2−3分

総評

• OSSリポジトリ探検ガイドとしては十分に使えるレベルだった

• gpt-4oにも同じプロンプトを送信してみたが情報量が減ってo1-proの下位互換になった

• 過去にNotebookLMで同じことをやってみた事があるが関連しない検索結果を繋げて回答したような結果になって正確ではなかった

• claude-3-opus、gemini-2.0-flash-expでも試してみたがgpt-4oぐらいの情報量だった

• というわけでソースコード解説BOTとしてはo1-proが一番優秀だった

• コードを書く側の性能も別途検証してみたい

おまけ：出力データ

ノイズになりそうなので生成されたレポートは非公開にしておきます。