日々の人工知能の進歩に脅かされてばかりのデザインリサーチャーの浅野翔です。先日、Design Researcher Societyの論文を読んでいると、LLM(大規模言語モデル)を用いたテキスト分析は完全人力に比べると10倍の時間的効率があるとありました[*]。
言うまでもなく、その処理速度と質が毎日のように向上している大規模言語モデルは、インタビューなどの定性的なデータ分析においても一定の効果が現れています。まだ、文字起こしでも分析段階でもいくらかのハルシネーションが発生していますが、先述の論文ではその点を人間の目で確認して直してという作業をおこなっています。インタビューからインサイトの導出まで人力だと10日間かかる作業が、LLMとの共同アプローチだと2.5日程度だっというわけです。
先の論文では、LLMが持つバイアスがかかる可能性(英語ベースなため西洋中心的な価値観が強くなる)が懸念されており、ガイドラインの策定をはじめとした、研究が引き続き求められると締めくくられてます。倫理的な側面は進展があるようですが、情報先の依存によって生まれる課題はまだ根深いようです。
[*] Synergizing human expertise with AI: The role of LLMs in user research - Shivani Ganwaniほか
AIといっしょにインタビュー調査とテーマ分析をしてみる
それなら自分の活動を改めて振り返ってみようかと、かねてから自宅で取り組んでいる「アクアポニックス(水耕栽培+魚鑑賞)」について自己インタビューをおこない、口述記録したテキストを元にテーマ分析をすることにしてみました。今回、試してみたのは以下の手順です。
分析・報告の手順
インタビュー
問いの生成(今回は3つ)
Googleドキュメントで口述記録
テーマ分析
口述記録をもとにそれぞれ清文の生成
生成した清文を統合
テキスト分析からコードの生成(今回は30コード)
コードのレビューを生成(重複などの確認)
コードを下に10テーマ案の生成し、評価して3案に絞る
ボツ案も含めて人力でテーマを選定
レポート作成
定義したテーマをもとにインタビューから「背景」「実践」「変容」「考察」「洞察」の段落で文章をそれぞれ生成
生成した文章を統合生成
人力による確認・編集
手順:インタビュー
まずはChatGPT 4oにインタビューの問いを提出してもらいます。
悪くはない提案ですね。この問いをもとにGoogleドキュメントで口述でペラペラと話します。ドキュメントの音声入力は句読点、句点が入らないのですがまずは気にせずに進めます。
質問とその回答ごとにテキストをコピペし、ChatGPTに成分してもらいます。
質問や文意を汲んで修正が返ってきました。意外と悪くない内容です。これをまとめて統合した清文としましょう。
テーマ分析の手順
インタビューの文字起こしからコンテクストの理解を深める分析手法もたくさんあります。テキストからテーマやパターンを抽出し、背後にある文脈理解を目指す「テーマ分析」や「グラウンテッド・セオリー」、語彙やフレーズを定量的に抽出し、感情や重要性をおもみ付ける「語彙分析」や「テキストマイニング」など。
先述の論文にならって今回は「テーマ分析」をおこなってみます。テーマ分析のステップは、1. データの熟読・再読、2. コードの生成(データのラベリング)、3. テーマの検索、4. テーマのレビュー、5. テーマの定義と命名、6. レポート作成です。研究レベルでは2のコード生成は厳密におこなわれますが、今回はChatGPTを使うこともあり、簡易な方法としてみます。
コードの生成の際に「実際の記述も抽出して」とか入れておくと、合わせておこなってくれます。このコードが一般的すぎたり、特殊すぎたりの塩梅が難しいところです。ChatGPTをはじめLLMはどうしても一般的なコードが多い印象です。では、コードのレビューに進みましょう。
だいたい、問題ないよと出てきます。あるとしたらハルシネーションが起きている可能性が高いので見直してください。
続いてコードからテーマを分析してもらいましょう。
ずらっと10テーマ分の回答がありました。1テーマごとにその定義、命名案が3つあります。
明確さ、簡潔さ、適合性という評価で返ってきました。選択されたテーマは「1. アクアポニックス開始のきっかけ」、「2. 環境への意識変容」、「3. 生活習慣への影響」とあんまりおもしろくない感じでした。ここらへんはLLMらしい回答とまだ思ってしまいます。それを踏まえたうえで、「アクアポニックスの影響による環境への意識変容」と、テーマ設定をしました。うーん、凡庸なテーマ…。
手順:レポートの作成
さて、ようやく後半です。ここからは清文、コード、テーマを統合しながらレポートの作成を依頼します。長い文章だと途切れてしまい手間なので、見出しごとに生成するように依頼します。
「テキストこれでいい?」とChatGPTから吐き出されてくるので、おかしなところを指摘しつつ、次々と進めていきましょう。きちんと指摘しないとハルシネーションの原因や論文とインタビューの整合性がとれなくなるので気をつけてください。
見出しごとにわけると結構に長い文章ができますね。では、その文章を統合してもらいましょう。
ここまでくればわずかな気になる点は直接、テキストを編集したほうがはやいですね。冒頭の論文であった「バイアス」の話ですが、やたらと大げさな表現となっている、欧米的だと感じてしまうような表現が気になるところです。これはビジネスの場面だと好みに分かれそうな気がします。曖昧な表現は避けるべきだという人もいますし、機微をつかめという人も。
おおよそ1.5時間程度でインタビューの内容から、話しているコンテクストを読み解き、レポート作成までができる点は非常に素晴らしいですね。とはいえ、もっと科学と社会のつながりみたいなものも話していたのですが、文脈的に削られてしまったり。こういうのは人間が入ってもう少し細かく見ないと行けない点ですね。
それでは、自己インタビューとテーマ分析を通じて作成したレポートを最後に提示して締めようと思います。