ChatGPT vs SBST: A Comparative Assessment of Unit Test Suite Generation

ChatGPT vs SBST: A Comparative Assessment of Unit Test Suite Generation

1. 本研究の学術的な背景と研究が解決する問題は何ですか？
==> 大規模言語モデル（LLMs）は、様々なソフトウェアエンジニアリングに関する課題にも有効であることが示されていますが、その性能の評価が必要です。本研究では、ChatGPT LLMとSBST EvoSuiteを比較し、ソフトウェアエンジニアリングの問題を解決するためにどのツールが有用かを調べました。

2. 本研究の目的及び学術的独自性と創造性は何ですか？
==> 本研究では、ChatGPT LLMとEvoSuiteを比較して、ソフトウェアエンジニアリングの問題を解決するためにどちらが有用かを調べました。この比較は、正確さ、読みやすさ、コードカバレッジ、およびバグ検出能力など複数の要因に基づいています。

3. 研究の着想を得た経緯や、関連する国内外の研究動向とは何ですか？
==> 大規模言語モデルがソフトウェアエンジニアリングの問題に応用される可能性については、以前から研究されていますが、その有用性についての比較や評価が不十分であったとされています。

4. 本研究で何をどのように、どこまで明らかにした？
==> 本研究では、ChatGPT LLMとEvoSuiteをテストスイート生成に使用した場合の性能を比較し、コードの正確性や可読性などの要素について検証しました。その結果、異なる種類のタスクにおいて、それぞれのツールの効果の違いが見られました。

5. 本研究の有効性はどのように検証した？
==> 本研究では、適切に設定されたテストスイートを使用して性能比較を行い、ChatGPT LLMとEvoSuiteの性能の違いを指摘しました。