統計学が最強の学問である③：攻めのランダム化実験で、1億5000万ドルの売上増につなげた事例とは

読書ノート（138日目）
さて今日も昨日に続いて
こちらの本からです。

統計学が最強の学問である

第4章：「ランダム化」という最強の武器
・統計学が「最強の学問」となったのはその汎用性の高さ、
　すなわち、政治だろうが教育だろうが経営だろうが
　スポーツだろうが、最速で最善の答えを導けること
・統計学の汎用性はどんなことの因果関係も
　科学的に検証可能な「ランダム化比較実験」に支えられている
・例えば「どうすれば小麦の収穫量が上がるか」をテーマに
　科学的に取組む場合
・小麦の特徴や種類、肥料や天候の違い、さらには
　個体差もある中でどうするか
・肥料Aと肥料Bと小麦の収穫量の関連性を
　科学的に分析しようとした場合、水はけや土地の肥沃さ、
　日当たりといったものによって左右されるかもしれない
　だが、農地を細かい単位に分割し、ランダムに肥料をまき分ければ、
　肥料Aをまいた土地と、肥料Bをまいた土地のグループの間で、
　平均的な条件はほぼ一致する
・ランダム化してしまえば、比較したい
　両グループの諸条件が平均的にほぼ揃う
・揃っていない最後の条件は実験で制御しようとした
　肥料だけであり、その状態で両グループの収穫量に
　「誤差とは考え難い差」が生じたならば、それは
　「肥料が原因で収穫量に差が出た」という
　因果関係がほぼ実証できたといえる

・「攻め」のランダム化比較実験
・1億5000万ドルを稼いだクレーム対応
・コンチネンタル航空では飛行機が遅延したり
　ダブルブッキングでキャンセルさせられたときの
　アフターケアをどうするかについて、
　ランダム化比較実験を実施したことがある
・トラブルが起きた客をランダムに3グループに分け、
　①「ただ公式な謝罪のレターを送る」
　②「謝罪レターに加えプレミアムクラブへの
　　　お試し無料入会期間を与える」
　③「特に何もしない」という3種の対応をした
・③「特に何もしなかった」人たちは
　何カ月か経った後でもまだ怒っていた
・一方で①②の「謝罪レター」を受け取った2グループは
　翌年コンチネンタル航空へ費やすお金が8％も増えていた
・さらには②「プレミアムクラブ無料入会期間」を
　与えてもらった顧客の3割ほどは、無料期間が終わった後も
　自腹で会費を払い、コンチネンタル航空はさらに追加の収入を得た
・その後、彼らはトラブルが起こる度に
　せっせと「謝罪レターとプレミアムクラブへの案内」を送るようになり、
　結果として1億5000万ドル以上の売り上げ増加が得られた
・ただし、顧客の中にはランダムで自分が3種のうち1つが
　選ばれたということを知ることで、ブランドに対する愛着が消し飛び、
　不信感を持たれるリスクもあり、ランダム化の検証は難しい

・社内のありとあらゆる「正解のない意思決定」について、
　正解が無いのであれば、とりあえずランダムに決めてしまう。
　という選択肢の価値はもっと認められるべき
・継続的にデータを採取し評価することで、
　確実に「正解の判断」に近づける

・ランダム化の3つの限界
・「現実」の壁：絶対的なサンプル数の制限と条件の制御不可能性
　1回だけ、もしくは数回程度しかチャンスの無いことには統計学は無力
・「倫理」の壁：統計家の間で一般的に共有されている倫理的ガイドライン
　①ランダム化によって人為的にもたらされる、
　　どれか1つまたはすべての介入が明らかに有害
　　（またはその可能性が高い）場合はダメ
　②仮にすべてが有害でなくても、明らかに不公平なレベルで
　　「ものすごくいい」ものと「それほどでもない」ものが
　　存在していると事前にわかっている場合もダメ
・「感情」の壁：
　実験に参加する人が、運次第で自分の運命が左右されるのが
　何かイヤと思うことを止めることはできない

今回はランダム化比較実験の事例でした。
でも、そもそも比較したい両グループが
ランダムになっているかどうかを
どうやって確認するんだろう…？
という疑問が次に思い浮かんだのですが、
それについては、もはや相棒ともいえる
ChatGPTが答えてくれました。

年齢、性別などのデモグラ的な特徴の
分布を比べてランダム性を確認以外にも
様々あるということですが、
ChatGPTの1,2,3,4は
「比較するグループ間の違いを確認」し、
5の感度分析では
両グループで共通する条件を少し変えた時に
どれだけ結果が変わるのかという
「結果の安定性を確認」するという
2パターンの確認方法があり、
理想的には両方試すのが良いのでしょう。

ランダム化比較実験の良いところは
小さなコストとリスクで科学的に試せる
という点で、比較したいグループが
2つだけならExcelにも搭載されている
T検定ですぐ結果を求められますし、
比較するグループが3つ以上ならば
一元配置分散分析という手法を
PythonやRを使えば誰でも無料で
できるので、もし興味があればぜひ！

ランダム化比較実験を自在に
使えるようになると分析の質も
（データ集計のみと比べて）
一段と高まるということで、
分析のプロを目指す以上は
もっと磨きをかけていきたいと
この本を読んで改めて感じました。

…ということで、今日はこの辺で！
それではまたー！😉✨