問題設定の困難さと面白さ（データ分析・機械学習）

2023年9月19日 11:26

データ分析や機械学習のタスクの中で面白いのはどのフェーズ？
とたずねられたら、私の場合は「問題設定」を第一にあげます。曖昧でモヤモヤしたものですが宝探しのようなワクワク感があると思っています。問題設定の面白さについて、極めて個人的な印象を書いてみます。

問題設定の過程が面白い

問題設定は分析テーマのストーリーを決める場面ですが、プロジェクトの種類やクライアントによって随分と進め方や求められることが異なる印象があります。もちろん、データ分析や機械学習のタスクにはある程度のパターンがあるので、ひとたび解くべき問題が具体化されればパターンに落とし込むことは可能でしょう。しかし、そこに至る過程が様々なのです。

例えば、自社ソフトウェア製品に対して機械学習を組み込むプロジェクトを立ち上げる場合と、クライアントから技術コンサルで分析仕事をうける場合では問題の探し方が大いに変わってきます。

つまり、問題設定の困難さは、ビジネス課題と技術という異質なものの接点を見出すことだけでなく、課題を具体化していく過程そのものに潜んでいるのではないかと今では考えています。その一方で、その過程こそが面白いのではないかとも思っています。

製品に機械学習を組み込んだときの話

一例として、製品に機械学習を組み込むことを考える場合、解くべき問題の選定においては、本質的にはその製品の価値を押し上げるものを選ぶべきでしょう。しかし、その目的の幅は思ったよりも広く、例えば過去には以下のようなプロジェクトにたずさわったことがあります。

ルールベースでは実現できない機能要望に応えたい。
AI搭載を歌うことで市場にインパクトを与えたい。
他社製品がAI搭載をアピールし始めたので追従したい。
マーケティングのためのフックにしたい。
今は要望は顕在化していないがデジタル技術の人材を育成したい。
新しい課題を発見し新製品を打ち込みたい。
組織的な指示でとにかく検討したい。

さて、エンジニアの視点に立つと、こうした背景はさておき何をしたいのかはっきりさせてほしいと思うのではないでしょうか。また、ルールベースでできるタスクならいちいち機械学習に頼らなくてもいいのでは？とか、この問題は線形回帰で解けそうだからAIと歌うのは気が引けるなどと心配事が増えそうですね。私もかつてそのように思っていました。

しかし、様々なプロジェクトを経験するうちに、上にあげたようなトピックスというのはあくまで話の入口に過ぎないことに気づいたのです。プロジェクトメンバーやクライアントの話に耳を傾けて建設的な議論を進めていくと、自分が想定していなかった面白い課題に行きついたり、より本質的な打ち手に到達したりすることもあります。

上にあげた私が経験した例でもそうで、当初はマーケティング目線で始まったプロジェクトが紆余曲折を経て機能強化につながったこともありました。また、最も後ろ向きに思える組織事情からはじまった活動が新製品につながったこともありましたが、この経験は私にとってエキサイティングな経験となりました。

意思決定のためのデータ分析

先ほどは製品開発の場面をあげてみましたが、ここでは分析プロジェクトに焦点を当ててみます。社内データ活用プロジェクトや、クライアントのデータ分析案件がこれにあたります。

組織のデータ活用プロジェクトでしかも分析を行うとなれば、概ねその目的は「何らかの意思決定を行うため」と考えるのが自然です。意思決定の場面は様々であり、例えば次のようなプロジェクトを経験したことがあります。

BtoBサービスの売上予測精度を向上させ経営判断に活用したい。
組織別の生産性を把握して人事的な施策を検討したい。
製品のユーザー利用状況を把握して強化ポイントを探りたい。
組織内サーベイから組織開発課題を発見したい。
人事施策の効果が出ているか検証したい。
組織別の人材要件に対して現在の人員構成が充足しているか知りたい。

これらの行きつく先は、組織マネジメント上の何らかの意思決定であり、データ分析の結果はそのための「参考情報の一つ」として活用され得るというものです。データ分析は取り扱うデータの種類によらず、基本的には定量分析を基本とします。そのため、定性的な別の調査結果も含めて意思決定に活用されることが多いと思います。

さて、こうした意思決定のためのデータ分析案件の場合、分析を依頼する側が調査上の論点を明確に持ってそれを分析チームに伝え、分析チームはその論点をデータから分析・検証するというのが理想的です。シンプルにいうと、調査上の「問い」を考える人と分析調査をする人員が分離しているのが望ましいわけです。

なぜこの分離が必要かというと、分析チームのアウトプットは分析依頼者の意思決定に何らかの影響をおよぼすからであり、その客観性を担保する必要があるからです。データ分析は想像しているよりも意思決定者の意図が入り込みやすいタスクです。この問題点については、インテリジェンス関係の書籍で整理されています。

以上が理想的な話で、これができていれば分析者の問題設定の負担は著しく低くなるでしょう。しかし、そのためには組織にインテリジェンス体制が整っている必要があります。また、その前提には意思決定のプロセスが明確になっていることが重要でしょう。しかしながら、意思決定の場面はトップ、ミドル、現場で多種多様であり、新しい取り組みになればなるほど、その構造や位置づけを突き止めるところからスタートしなくてはなりません。

組織の複雑な問題と対峙することは難しいものです。しかしながら、データ分析文化をこれから作ろうとする場面では避けて通れない課題ではあります。

では、その面白さはどこにあるかといえば、やはり新たな機会を発見できる可能性があることにつきます。インテリジェンス体制が整っていない組織や分野はまだまだあります。そして、そうしたクライアントから相談をいただく場面というのは本当に多種多様です。

機会を発見するには多くの会話が必要で、ときにはデータ分析が最良の手段でないという結論に至ることもあります。私はこの一連の活動そのものを「問題設定」とよんでいるのですが、カチッとした組織でデータ分析に携わ手っている方からすると少々面倒な場面だとは思います。
しかしながら、私はその会話のプロセスにこそ創造的な何かがあるように感じていて、大切にしたいと考えています。

まとめ

この記事では、極めて個人的な目線でデータ分析・機械学習タスクの問題設定の面白さを書いてみました。あくまで私自身の印象ですので、人によって面白さの捉え方は変わると思いますし、面白さを求めない人もいらっしゃるでしょう。ただ、私は仕事に何らかの興味がある方が元気になるので、少し考えてみました。