4つのAIリサーチツール比較:2024年最新版〜Elicit, Consensus, Scispace, Perplexity〜
はじめに
AIの進化により、文献検索の方法が大きく変わりつつあります。本記事では、AIリサーチツール4種(Elicit、Consensus、Scispace、Perplexity)の無料版を比較し、それぞれの検索の特徴について解説します。この評価は、各サービスの最近のアップデートを踏まえた評価結果であり、特に医学分野の文献検索能力に焦点を当てています。
1年以上の前の比較はこちら👇
本評価は各サービスの総合的な評価ではなく検索の精度に限定した評価です。検索以外の付随する機能については、あかのんさんの以下の記事が参考になります。
評価方法
各サービスに同じ検索文を入力し、結果を評価
試行回数:約5回
使用バージョン:全て無料版
評価日:2024年10月19日
内容は身バレ防止のためすみませんが非公開とさせてください。私の専門領域についての検索性能なので分野によって違う可能性はあります。
注意: この評価は無料版のみを対象としています。有料版では機能や性能が若干異なる可能性があります。
では最初に結果から。
文献検索精度ランキング
総合評価
Elicit:最も優れた文献検索能力を持っています。
Scispace:文献検索精度が高く、最新の研究動向を追跡するのに便利です。
Consensus:検索精度は劣りますが、Pro版の要約機能が優秀です。Perplexity:手軽に使えるものの、文献検索精度は他のツールに劣ります。
各ツールの特徴と評価
1. Elicit
総合評価:★★★★★
長所:
文献検索の精度が最も高い
関連性の高い論文に漏れが少ない
引用数の多い重要な論文も入れてくれる
最近のアップデートで無料版の機能が回復(以前の改悪が元に戻った)
短所:
要約文章が情報の羅列で、必ずしも読みやすくない
コメント:
Elicitは文献検索において最も優秀なパフォーマンスを示しました。文献検索のアルゴリズムが改善され、最新のアップデートで無料機能が制限が解除されています。
2. Scispace
総合評価:★★★★☆
長所:
検索ワードのサジェスト機能が便利
短所:
原著論文以外の記事も検索結果に含まれることがある
関連性順の設定でも新しい論文が優先される傾向
要約文章が情報の羅列で、Elicitと同様
コメント:
Scispaceは文献検索の精度においてElicitに次ぐ性能を示しました。最新の研究動向を追跡するのに適していますが、検索結果の質にばらつきがある点に注意が必要です。
3. Consensus
総合評価:★★★★☆
長所:
無料版でもPro版を限定的に使用可能
Pro版の要約機能(月10回無料)がGPT-4を使用しており、非常にわかりやすい
短所:
マイナーなトピックで関連性の低い文献も表示されることがある
無料版の検索結果UIが見づらい
検索ワードの設定によっては適切な文献が表示されないことがある
コメント:
Consensusは文献検索の精度ではElicitやScispaceに劣りますが、Pro版の要約機能(限定的に無料使用可能)は優れています。気に入れば課金もありと感じます。
4. Perplexity
総合評価:★★★☆☆
長所:
アプリがあり、手軽に使用可能
無料版でもPro版を限定的に使用可能
短所:
検索結果の関連性にばらつきがある
重複した結果が表示されることがある
コメント:
Perplexityは使いやすさが魅力ですが、文献検索の精度や網羅性は他のツールに及びません。ただし、スマホでちょっとした疑問をサクッと調査するには適しています。
まとめ
AIリサーチツールの進化は目覚ましく、わずか1年で大きな改善が見られました。重要な点として、この評価は全て無料版を使用して行われたものです。有料版では若干の性能に差があるかもしれません。
また、今回の評価は主に文献検索の精度に焦点を当てており、各ツールの他の機能(例:テキスト生成、データ抽出など)については評価していません。これらの機能も、調査や論文執筆のプロセスで重要な役割を果たす可能性があります。ConsensusとPerplaxityは有料版の機能を無料でも試すことができますので気に入れば課金もありだと思います。
AIツールは非常に便利ですが、文献検索の結果が間違っていることもあり、文献は自分の目で確認を忘れないようにしましょう。
論文執筆をする場合はこちらから
しっかり網羅的な文献検索をしたい場合はこちら