データにはどんな価値がある？ いま敢えて考える、ビジネスにおける方向付け・意思決定との関係
以下は2019年に著した「データ駆動とは何か」という文章です。昨今DXの本質が問われるなかで、データを使うとはどういうことなのか、再考する価値があると思いご紹介します。
データ駆動、あるいは Data-driven X という言葉が世間にあふれ返っています。しかし、その意味や価値は正確に理解されているのでしょうか。そもそもいったい何なのでしょう。本稿ではこの難問を正面から論じてみたいと思います。
人はなぜデータを参照するのでしょうか。データを使わないと何が問題なのでしょうか。
データを使うことの価値は、最終的には2つに帰着すると考えています。“意思決定” と “方向付け” です。順に論じましょう。
意思決定
意思決定 (decision) と評価 (evaluation)
ここでいう意思決定とは、必ずしも経営上の大きな意思決定に限りません。むしろ「ホワイトカラーの業務は意思決定である」「本社とは意思決定工場である」というような、業務における全ての意思決定を指すとご理解ください。
本稿では図1の流れを想定します。まず大きな方向性を考える (direction)。それを具体的なアイデアにして (creation)、その実現のための作業をする (operation)。出来栄えを評価して (evaluation)、最終的な意思決定を行う (decision)。「次は高級食器に進出しよう」「デザインができました」「試作完了です」「これなら売れそうだね」「よし、これで行ってみよう！」という具合です。筆者はビジネス分野の人間なので企業活動をイメージしていますが、おそらくはある程度は汎用性のある流れなのではないかと思います*。
意思決定に埋没しがちなステップに「評価」がありますが、ここでは分けて考えていることにご注意ください。
さて、評価とは製造や研究、調査など様々な作業の結果に良し悪しを付けることです。評価の結果が明確で異議のない場合には意思決定は簡単です。良しならGoですし、悪ければStopだからです。一方、評価が難しいなかで意思決定をしなくてはいけない場合、意思決定者は困難に直面します。こういった局面では、一般に KKD と呼ばれる勘・経験・度胸を動員して決断を下すことになります (一部では意思決定フレームワークを用いてバイアスを除去し意思決定の精度を上げる技術も提供されています)。
データ活用のシーンは、ここでいう評価に相当します。すなわち、人間の頭脳では手に余る状況に対して、評価を容易にすることで意思決定を支援するのが典型的な機能なのです。
(出典『化学産業における分子デザイン』、一部改変)
当たり前のことですが、評価はデータを頼らなくても可能です。
実際には問題の置かれている状況に応じて、依拠すべきものが異なります。図2の実線をたどってみてください。何も頼るものがない場合には「直感」を信じるしかありませんが、ある程度の経験や他者の理屈がある場合には、それを「理論」として評価の根拠に用いることができます。理論が蓄積し洗練されるとコンピュータで「計算」できるようになり、評価が容易になります。
この進歩の過程にデータは登場しません。なぜなら我々はそう教育されてきたからですし、この思考方法に成功体験を有しているからです。言い換えるなら、我々の文化にデータ駆動は織り込まれていないのです。
私が明日何を買うか、如何なる演繹的な手法でも予測することはできない
(Amazonにはできるけど)
データ利用に関する違和感の正体
ですが、その “不自然” な思考方法であるデータ利用は、時に極めて大きな力を発揮します。例えば顧客の購買行動を考えてみましょう。理論でいえば消費者行動モデル、計算でいえば全脳シミュレーションなどが相当するでしょうが、私が明日に何を買うかをそういった手法で導き出すのはほぼ不可能です。しかし、私の過去の購買行動や、類似の環境にある他人のデータを参照することで、おおまかな予測はできてしまいます。つまり、単純なデータとデータサイエンスを用いることで、理論や計算では不可能だった評価が現実に可能になっているのです。図2の「パターン」の位置では、破線が実線より上に位置するということです。
おそらく読者の皆さんの多くは、この程度の説明では不足を感じるのではないでしょうか。それは、教育の過程で「なぜそうなるのか考えよ」という姿勢をしつこく追及されてきたからか、あるいは生得の思考方法かは分かりませんが、人間は目撃した現象に必ず理屈を付けたがるからです。「人間の頭は出来事一つひとつに対して一個の明確な原因を特定するようにつくられているから、無関係な、あるいはランダムな要素の影響を受け入れることは容易ではない」とムロディナウが言っているのはそういう意味であり、自分の体験が単なる偶然の結果であるとは思えない傾向があります。しかし、データサイエンスは人間を含む自然界の現象の多くが乱数に支配されていて、未来は過去の類似状態に乱数を加えたものになるという、きわめて荒っぽい立場で予測を行います。歴史はだいたい繰り返され、未来は過去と似たパターンを示し、そこに理由があるとは限らないというのがデータサイエンスの根源的な思想なのです。
ここまで言い切ることで、データ駆動に感じる違和感がはっきりしたと思います。データ駆動の世界観は極めて稚拙であり、用途は限定的であり、信頼に足るものではないと思われるでしょう。
データサイエンスは実践のための技術
ですが、そんなデータサイエンスは人間よりも高い物体判別能力があります。そんなデータサイエンスは世界最高のスパコンよりも人間行動を予測できますし、ほとんどの人間よりも上手に翻訳が行えます。なぜかと言えば、データサイエンスが凄いのではなく、人間やスパコンに苦手な領域があるからです。
したがって我々の取るべき態度は、データを信用せずに利用することです。データの長所を引き出し短所を理解すべきです。データ駆動がアメリカで発展したのは偶然ではなく、功利的な、プラグマティックな態度で付き合うべき技術だからです。
さてこれで、評価と意思決定を分けて議論した意味が分かって頂けるでしょう。データサイエンスは評価能力に大きく資するけれども、最終的にどう決断するかは別の議論です。人間でもシミュレーションでも手に負えないような複雑系を楽々と取り扱い、魔法のような精度で予測を行うことができるデータサイエンスを駆動力とすべきか、本質的な変化に弱く原理原則を理解していないという短所や限界を考慮しあくまで参考にとどめるべきか、そしてそれに代わる人間の評価能力をどこまで信用すべきか。こういったこと自体が意思決定と分離されているだけでなく、その態度自体が意思決定だからです。
データ利用には段階があり、最終的に自動化に行き着く
もう少し実用的な話をしましょう。一般には、IT による評価が意思決定に資する形式には大まかには二通りあるとされています。ひとつは人間の意思決定の参考になるという形、もうひとつは意思決定を自動化するという形です。しかしこれは、筆者に言わせると、人間の介在度合いの違いであって連続的なものです。
データを利用するには段階があり、可視化・要因分析・予測・最適化と順に上がっていきます。
可視化はデータ利用の基本であり、可視化とその共有によって業務プロセスが改善するケースは多いです。しかし意思決定の文脈では、可視化そのものは評価のきっかけに過ぎず、評価自体は人間が行うことになります。
次の段階として要因分析が行われると、理解と対処のポイントがはっきりするため、評価が迅速かつ容易になります。しかし要因はしばしば理解の一要素に過ぎないため、意思決定に際して必ずしも決定的な役割を果たすとは限りません。
その後、予測ができるようになると、人間の行う評価はかなり容易になってきます。アルゴリズムは人間に先回りして様々な予測を提示し、人間はそれを総合的に評価します。ここまでくると、データが意思決定を駆動し始めていると言えるでしょう。
最適化の段階になると、人間が選ぶべき選択肢をアルゴリズムが提示してきます。最適化も初めのうちは候補が未熟で人間が却下したり訂正したりせねばならず、人間の介在は避けられません。しかし学習が進み洗練されてくると、もはや人間の承認が時間の損失になるため、自動化された意思決定というプロセスが採用されることになります。
方向付け
方向付け (direction) と発見
ここまで意思決定を論じてきましたが、方向付けにも触れようと思います。
データサイエンスは帰納的な学問の系譜に属し、つまり多くの事象から共通項と非共通項を見出すことを得意とします。前述の議論と対応させるなら、共通というのは過去のパターンに当てはまるということですから、分類や予測が可能なこと意味し、意思決定に寄与します。一方で非共通というのは、これまでに見たことのないデータということですから、「発見」が生じます。
仮説検証で実験をするのは、仮説に対してデータが不足しているから。
もともとデータが多いときには、仮説が不足しているのだ。
「発見」の価値
さて、発見はそれ自体が価値になるのでしょうか。
意思決定に繋がる機能である「評価」と対比したとき、「発見」が繋がるアクションは何か。それは方向付け (direction)、あるいは仮説生成でしょう。つまり、次に何を目指すかという方策を立てる材料になるのです。
その構図は簡単です。データ利用によって新たに得られた情報が、これまでその人が持っていた情報と異なる場合、つまり発見があったときには、方向付けに寄与する、すなわち新たな方策を模索しあるいは仮説生成の一助となります。新しく得た情報がこれまでの情報と同じ場合には、方向付けに影響を与えません。例えばデータから「当社の女性用商品が実は子供にも使われているかもしれない」ということが見えたとして、元々知っていれば何の役にも立ちませんし、新たな気付きであればマーケティング施策に取り入れることができるという具合です。
この論は、先ほどの意思決定に関するものと比して自然に感じるでしょう。なぜなら発見はもともと帰納的であって、人間が無意識下で行っている作業がデータサイエンスという技術によって支援されるという構図だからです。
方向付けの成熟度と自動化
方向付けに関しても自動化の文脈が存在します。
取得されたデータを、可視化を通じてそのまま情報として人間に提示するならば、受け取った人はその情報を読み解いて考えますから、方向付けに関して人間の裁量の余地が大きくなります。逆に取得されたデータから最適化を通じて示された選択肢が異論の余地のない場合、方向付けに人間がかかわる必要はありません。前者に近いほど人間の思考に寄り添ったものでなくてはならず、後者であるほどいわゆる実験計画に近づきます。意思決定のときと同様に、方向づけに関してもデータサイエンスの寄与は連続的なのです。
方向付けが行われると、その方策を具体案に落とし込むステップが行われます。ここではそれを具体化 (creation) と呼んでいます。一般には具体化の部分は人間の創造性に依存していますが、明確な方向性が示されている場合にはコンピュータがそのステップの一部または全てを代替できることがあります。技術的には最適化、一部の分野では逆推定と呼ばれます。このステップにおいて計算機が人間を完全に代替できることは稀ですが、単純な系ではあり得るでしょう。
(※筆者註：2024年現在、生成AIの発展とともに「具体化」を取り巻く状況は大きく変わってきています)
本稿の結論
業務におけるデータ駆動とは何か、多少なりとも納得頂けたでしょうか。違和感の正体や取るべき態度は腑に落ちたでしょうか。以下は本稿の一応の結論になります。
データ利用は ①意思決定に資する評価 ②方向付けに資する発見 の2つの側面を通じてあらゆる階層の業務に貢献しうる。
データサイエンスは実践的に用いるべきであり、真理を含んでいないことに留意すべきである。
データの利用価値がそれほど高くないときには、既存のパラダイムに従って人間を支援する形で利用されるべきである。精度や速度が人間の知性を含めた他の手法を凌駕するとき、データは意思決定や方向付けを駆動するようになるだろう。
近年のデータサイエンスは、インターネットによってビッグデータが流通するようになり、そこから価値を見出そうと発展した技術であって、つまりはインターネット革命の産物です。したがってインターネット上の様々に革新的なカルチャーと一体不可分に結び付いている一方で、本質的には古くから使われてきた統計が発展し、使いやすく改良されたという側面も有します。つまり、データ解析に関する長年の研究の積み重ねがインターネット－ビッグデータと出会い、転換点を超えて様々な問題に使われ、その結果として知的活動に広く影響をもたらし始めた、これが昨今のムーブメントとしてのデータ駆動なのではないでしょうか。
*本稿では評価は作業の結果を受けて行われる形になっていますが、外部情勢など作業以外の情報から評価→意思決定を行うケースもあります。この場合でも、本稿で論じた「評価とデータ利用の関係」は同様だと思っています。
この記事が気に入ったらサポートをしてみませんか？