慣れない作業をAIと一緒した結果、一晩中語り明かすことになったお話
こんにちは。NEWhのフルカワです。
大企業における新規事業やサービス開発に特化したデザインコンサルティング＆スタジオのNEWhで、サービスデザイナーとして多種多様な企業のサービスコンセプトやビジネスモデル開発のご支援をしています。
最近、私自身が慣れていない定量調査の分析作業をAIを利用して行ったのですが、想像以上の時間がかかり、最終的にはAIと一晩中語り明かす結果（=徹夜作業）になりました。
今回はその際の学び＆反省を備忘録として記します。
クライアント案件に関わる内容なので具体的な話は避けて書いています🙇
この記事は👇の状態の人が読んでおくと悲しい事態を避けることができます。
• 大まかなアウトプットイメージだけあり、自分では具体的な指示を出せない作業をAIに依頼しようとしている人
• 「とりあえずAIはなんとかしてくれるだろう」という幻想を抱いている人
前提条件となる私のスキル
私は、これまでインタビューや行動観察等の定性調査は数多く実施しており、ある程度のスキル・経験はあると自負しています。
どんな手順を踏んで実施し、分析するのかには作業内容も作業時間のボリュームの見通しも瞬時に把握できます。
対して定量調査は自分が中心となり手を動かして分析してきた経験は定性調査と比べると少ないのが実態です。
大まかなやり方は知ってはいるが、詳細な進め方やつまづきやすいポイントは自分の中には知見として蓄積されていません。
そんな私が定量調査結果から「このような形式のアウトプットが創出される分析をしたい！」という最終イメージはあるものの、やり方の解像度が粗いままAIを使った分析を行い、試行錯誤を繰り返し続け、最終的には定量分析で取っていたスケジュールのデッドラインのギリギリまで作業になったお話です。
進捗しているようでしないAIとの分析
まず、定量調査の設計の段階からどのような手法を用いて分析を実施するのか、そしてどのようなアウトプットをつくりたいのかのイメージは個人的にはついていました。
そのため、特段焦りも感じておらず、「AI使えばできるでしょう」程度に考えていました。
その状態で定量調査の回収が終了し、回答のローデータが上がってきました。
「さぁ、分析をAIでやろう！」とまずはプロンプトを書いて、分析を実行していきました。
しかし、望んでいるアウトプットに近い分析は全くされず、プロンプトの調整を繰り返しても改善の兆しは全く見えませんでした。
なぜなら、私が依頼するプロンプトで書けるのは「ローデータ渡すんで、こんな感じのアウトプットを作って」と言う雑なオーダーだけ。
提供するデータは分析がしやすいフォーマットにもなっておらず、精度を高く分析を実行するためのオーダーは全くされていませんでした。
繰り返しても、望んでいる分析のアウトプットは出てこず、「これ、結構やばいな」という不安がよぎります。（今思えば、ヤバいのは自分のお気楽さだったのですが😢）
この原因はシンプルです。私のオーダーが雑なのでAIが返してくる結果が雑になっていたのでした。
全く改善の兆しが見えないので、「AIを使う」という方針から自分でしっかり作業をして、分析する方針に転換しようと考えるようになりました。
この時点でデッドラインの2日前でした。
【このタイミングまでやっていたこと👩💻】
「この調査結果のローデータ使ってXX法を使って分析してください」程度のプロンプトでAIに生成を依頼していた
【ダメなとこ🙅】
・オーダーが雑すぎる
→具体的な進め方、生成してほしいアウトプットを明確に指示していない点
曖昧な指示であったことの気づき
方針転換を行い、当初検討していた分析の手法を細かく調べ始めました。
その結果、自分の分析手法に対する解像度の浅さに気づきます。
具体的な思考ステップ、分析の際に必要な視点が欠けていることが明らかになっていきます。
【このタイミングで行ったこと👩💻】
そのそのXX法の分析手法とは何か？をリサーチ。
→そもそも何の意義があるのか最終的なアウトプットの再確認と、具体的な進め方とその過程で生み出されるアウトプットを理解する
【良かったこと🙆♀️】
己の当初のプロンプトに欠けていた点(具体的なプロセス、生成過程で生み出されるアウトプット)を知る
ここで自分のプロンプトの内容や提供していたインプットデータがあまりにも雑であることに気づきます。
【雑なオーダーであった点】
・目的がしっかり定められていない。
→アウトプットが何のために必要なのか、何のために分析をしたいのか目的が不明瞭である
・提供されている情報が適切でない
→定量分析のローデータ結果を渡していたが、AIが分析しやすい状態になっておらず、分析が実行しづらい
・具体的なやり方が定められていない
→どのような進め方で分析を実行するのか、どのような視点で分析をして欲しいのかが不明瞭である
・アウトプットのフォーマットが定められていない
→最終的にどのような分析のアウトプットが欲しいのかが不明瞭である
そこで、プロンプトに足りていなかった思考ステップや視点を追記し、AI側に望んでいるアウトプットを創出するための生成フローとそれを実行するプロンプトを検討するように依頼しました。
そして、その生成されたプロンプトを実行すると以前よりは自分が望んでいるアウトプットに近づいている実感がありました。
しかし、違和感がある部分(これで目的を達成できているのか？とクオリティの精度が低く感じる、分析データを勝手に生成している可能性を感じる部分)もあるため、以下の工程を繰り返していきながら、プロンプトのアップデートを繰り返しました。
※アップデートしたプロンプトを同じスレッドで繰り返すとエラーが出やすいので適宜新規でスレッドを立てて行きました。
【プロンプトのアップデートのプロセス📄】
1. アウトプットを生成する(AI)
↓
2. 違和感があるポイントの指摘と原因の確認、改善の方法とプロンプトの検討依頼(人間)
↓
3. 原因の解明と改善プロンプトの生成(AI)
↓
4.改善プロンプトの入力(人間)→最初に戻る
上述のAIとの対話サイクルの繰り返しに加え、個人で分析手法をより詳細に調べて理解度を向上させてプロンプトへ反映させていき、自身でも納得ができる(=分析の目的を達成し、他人へ自信を持って自分で説明ができる＆質疑が来てもしっかり答えられる)アウトプットが生成されました。
この時点でデッドライン当日のAM4:00。その後は生成されたアウトプットを資料に落とし込む作業を行ったため徹夜作業となりました。
【このタイミングで行ったこと👩💻】
・(リサーチを通じて得られた手法の意義や進め方を踏まえて、)分析手法をAIと共に実行するためのやり方をAIと共に検討する
・AIと共にアウトプットを創出し、対話を繰り返しながらアウトプットへの自身の解像度を高める
【良かったこと🙆♀️】
・分析を人間が実行するためのやり方ではなくてAIで分析するための進め方をAIと共に検討できた
・アウトプットに対して深く理解をした結果、自分の言葉に変換して資料に落とし込めた
学びと反省点
上記のプロセスは人間の同僚や部下に対して実施していたら、間違いなく良くないやり方だと思われます。
(オーダーが不明瞭な中、言われた通りのアウトプットを出すと納得しない、理由を聞いていくと与件が少しづつ変わる、、)
無限にこちらのオーダーを聞き、嫌な顔せずにアウトプットし続けてくれるのはある意味、生成AIの利点とは言えます。しかし、このやり方は限りなく時間がないとできません。
1.他者へオーダーできる、戻しができる程度まで解像度を高める
AIであろうと人間であろうと当たり前ではあるのですが、依頼するにはまずは自身が依頼する内容に対して解像度高く、アウトプットへ戻しができる状態でなければなりません。
雑なオーダーでは解像度の低いアウトプットになってしまいます。
やり方が曖昧な業務をAIに依頼する際には、まずは自身で業務への対する理解を深める必要があります。
因みに他者へオーダーできるレベル感で言うと、
1. 依頼内容の言語化
2. 理想的な最終アウトプットの状態
3. 最終アウトプットイメージ
4. 最終アウトプットをつくるための具体的なステップと考え方
→XXX法やXX分析のような特定の手法がある場合はしっかり指定する
上述4点が揃っている状態が望ましいです。
2. AIとともにやり方をつくる
解像度が高まった状態でAIにオーダーしたい内容と生成しているアウトプットを提示し、改善案と実行するプロンプトを検討してもらい、改善を繰り返しいく。
このサイクルを実行がAIと共にアウトプットを生成していくには重要であると感じます。
シンプルなタスクの依頼であればプロンプトを1回書けば満足のいくアウトプットが生成されるかもしれませんが、複雑であり、高度なタスクの依頼をする際にはプロンプトのアップデートを行った方がより精度の高いアウトプットが生成されます。
3. アウトプットを自分の言葉で話せるまで理解する
AIがアウトプットを生成したらタスクの終了ではありません。生成したアウトプットを誰よりも理解し、自分の言葉で話せる、資料に落とし込める状態にならなければなりません。
アウトプットで不明点や違和感ががあれば明らかにするためにAIとの対話をしていく必要があります。
AIを盲信せず、常に自分の視点で評価し続ける姿勢が求められます。
反省点を踏まえた進め方の改善
これらの反省点と学びを活かし、慣れない業務を実行する際には次の手順で業務を進めるようにしました。
1. 準備段階での明確な目的設定と実行計画のイメージをたてる
AIを使用する前に、具体的なアウトプットのイメージとその目的を明確にする。必要なデータや分析手法を具体的に洗い出し、準備段階での計画をしっかりと立てる。
2. AIとプロンプトをつくる
進め方や期待するアウトプットを提示したプロンプトをAIとの対話の繰り返しによりアップデートを行い、AIがより適切なアウトプットを生成できるように改善を繰り返す。
3. アウトプットのレビューと理解を繰り返す
AIが生成した結果をレビューし、違和感や不明点をなくしていきます。
最近では精度が高くなり、一見すると「それっぽい」アウトプットが生成されるようになりました。
「それっぽいアウトプット」を見て安心するのではなく、「実際にこれで良いのか？」、「これの背景はどのようになっているのか？」の視点で深く思考してアウトプットをレビューすることが重要です。(なかなか意識しないと難しいですが、、)
まとめ
今回は、慣れない作業をAIと一緒した結果、時間がかかってしまった経験の反省と学びについての記事でした。
NEWhの他のメンバーもnoteを書いています!
気になる方はこちらのマガジンをフォローしてください〜💁♀️