複数の AI モデルを同時に実行するツール「Multi LLM Runner」を作った話

現在、OpenAI、Anthropic、Google、Meta などから様々な AI モデルがリリースされている。あなたが AI 愛好家なら、複数のモデルの性能を並べて比較してみたいと思うはずだ。

また、複数のチャットアプリに同じ質問を投げてファクトチェックを行うことがあると思う。その際にアプリ間を移動するのは手間に感じるだろう。

このような時に使える便利なツールはすでに存在する。最もおすすめなのは、Vercel AI が提供するプレイグラウンドだ。最新モデルをすぐに使えるし、会話履歴が保存されるのも良い。ただし、主要モデルの多くは Pro ユーザー限定であり、Hobby ユーザーや Vercel アカウントを持たないユーザーには使い勝手が悪い。

次のおすすめは、ない！それ以外に良いツールを私は知らない。でも安心してほしい、この程度のツールは自分で作れる。ありがたいことに「Vercel AI SDK」という素晴らしいツールが提供されているし、Cursor + Claude 3.5 Sonnet の最強コンビが大抵のことは解決してくれる。

今回私が作ったのは「Multi LLM Runner」というツールだ。製品化するつもりはないので名前などどうでもいいが、出来は悪くない。こちらのデモをご覧いただきたい：

複数の LLM を同時に実行できる「Multi LLM Runner」のデモ。

まだまだ改良の余地ありだが、短時間で作った割には良い感じに機能している。

- Next.js 14 (App Router)
- Vercel AI SDK 3.3
- Cursor + Claude 3.5 Sonnet

GitHub: https://t.co/sCbUxL1Nnx pic.twitter.com/blDF0vaJAj

— komz (@komzweb) August 29, 2024

（↑ Vercel AI SDK のエンジニアの方からレスポンスいただきました）

チャットエリアは自由に追加・削除でき、好きなモデルを選択できる。「同期」ボタンをオフにすればチャットは独立して機能し、オンにすれば複数のチャットに同じメッセージを一斉送信することができる。

とはいえ、2 時間程度で作ったものなので機能は十分ではない。例えば、出力のフォーマットを変換する必要があるし、会話履歴は保存できた方が良いだろう。他にもまだたくさんある。

Multi LLM Runner は GitHub に置いてあるので、自分なりにカスタマイズしたり、開発を進めてみたりしていただきたい。もちろん、一から作ってみるのも良いだろう。何か面白いものが出来たら是非教えてください。

この記事が役に立った場合は、「🩷」をいただけると嬉しいです。アカウントをお持ちでない方もできます。フォローも大歓迎です！ご質問やご意見がございましたら、X/Twitter (@komzweb) に気軽にメッセージをください。DM はオープンにしていませんが、フォローしていただければ、大抵の場合はフォローバックします。