宇崎ちゃんコラボのSCM解析の弱点を突かれたので、何かしてみる。その1
この人(自分)、本当に宇崎ちゃん好きだな。アニメまだ見てないけども。多分、凄く長くなるので、幾つかの記事に分けてnoteに書いています。
元記事は下記です。ここから色々派生しました。その2、その3もあります。
ここでは、一通り謝った後(やっつけ仕事で謝っている訳では無く、当社比で誠心誠意謝っています)、本題(パラレル仮定)に入っていきたいと思います。
アウトカム指標について謝るべき事
2019年11月の記事では、「関東の献血者増分(9月→10月)」と「合成対照の献血者増分(9月→10月)」の差を取って、約250人/都県としていました。
この数値は「関東の10月の献血者数」と「合成対照の10月の献血者数」の差(約126/都県)とは異なる点に注意して下さい。
この2者の違いを誤解しないように、私のnoteでは(私が覚えてたら)前者を「増分差」とし、後者を「差」と区別して呼ぶようにします。
増分差を使用したのには、2019年9月の差が埋まりきらなかったとか、多分なにかそんな感じの意味があったと思うのですが、もう覚えていません。
「ランダムウォーク」について謝るべき事
当初の記事の一節に「2019年10月の上昇は単なるランダムウォークの一部かもしれません。」という記載をしていました。
当初、ランダムウォークという用語を「偶然誤差」という意図で使っていました。しかし、ランダムウォークという用語には、時系列解析における専門用語としての意味があります。
日本語の単語として「ランダムウォーク」を選択したため、時系列解析における「ランダムウォーク」と混同させる結果になっていました。
当初利用した「ランダムウォーク」は「偶然誤差」という意味で利用しました。しかし、Tuba56@法律の素人様に指摘された際には、時系列解析における「ランダムウォーク」として言葉を使用しました。
この混同は、特に説明していませんので、私以外には伝わらず混同されたままになっています。
この「ランダムウォーク」という語に関して、Twitterでnowhereman134様から、下記の様なコメントを頂いています。
このTweetの前半部分で、「若干誤解を招く表現」と書かれていますが、そんな甘いもんじゃありません。すいませんでした!! マックス誤解を招く表現でした!
p値は「偶然誤差」を考慮に入れています。しかし、時系列解析における「ランダムウォーク」は考慮していません。
ですので、当該箇所は「とはいえ、偶然誤差かもしれません」とか「偶然誤差の範疇かもしれません。実際、p=0.0589でした」と読み替えて頂ければすれば、誤解を減らすことが出来ると思います。気づいた箇所は修正しました。
では、本来の意味でのランダムウォークは存在しているのでしょうか? これについては、追加@2019/11/22:ランダムウォークなのか?に記載しています。
この動きは「単位根を持つ」という帰無仮説を棄却しましたので、「単位根なし」と言えます。つまり、この青い線の動きはランダムウォークではなさそうです(伏線)。
突かれたSCMの弱点とは、何か?
謝ったので、Twitterでnowhereman134様から頂いたコメントについて他の部分も検討します。まず、このTweetからです。
考察対象は、このTweetの下半分「★10月において「関東7都県」と「合成関東」は「宇崎ちゃんコラボ」以外はほぼ条件が一致しているという大前提を必要とします」というコメントについです。
次に、違うTweetに書かれたコメントについても検討します。
このTweetの①についても、ここでの考察対象です(②と③は後で)。
これらを要約し、並べさせて頂きますと下記の様になるかと思います。
コメント1.宇崎ちゃんコラボ前の期間において、宇崎ちゃんコラボ後よりも大きな差があるので、宇崎ちゃんコラボ後の差は偶然と考えられないか?
コメント2.10月において「関東」と「合成関東」は介入以外はほぼ条件が一致している必要があるが、その考察が不十分ではないか?
実は、これらのコメントは、パラレル仮定というSCMや差の差法という解析手法において、正しい結果を得るために必要な前提に相当しています。
他の仮定もありますが、詳細はこちら(英語)。
パラレル仮定1:関東と合成対照は、宇崎ちゃんコラボ前期間(~2019年9月)の献血者数の動きについて、パラレルな動きをしている。
※観察可能
パラレル仮定2:2019年10月の関東の献血者数は、もし2019年10月に宇崎ちゃんコラボがなかったとしたら、合成対照とパラレルに動く。
※通常は観察不可能(もしもボックスがあれば観察可能)
つまり、コメント1はパラレル仮定1への疑義であり、コメント2はパラレル仮定2への疑義になっています。
パラレル仮定は成立しているのかキチンと考えよう。
疑義だって? 受けて立とうじゃないか!(フラグ)
話が早いので、パラレル仮定2から説明します。というか別のnoteで説明しています。早い話が、10月には関東に台風が上陸したのでパラレル仮定2は崩れています。
まとめると、「2019年10月の関東の献血者数は、もし2019年10月に宇崎ちゃんコラボがなかったとしても、少なくとも台風が上陸した影響があるのだから、合成対照とはパラレルにはならない」という事です。
早くも敗北の予感(フラグ回収)。
では、パラレル仮定1についてはどうでしょうか。
こんどこそまけないぞー(フラグ)
次のグラフを見て下さい。これは関東と合成対照の差を折れ線グラフで示した物です(本日2回目の登場)。
関東と合成対照の9月以前の動きがパラレルになるということは、この折れ線グラフが横一直線になるということです。
目茶苦茶、上下に推移しとるがな。完全にノコギリやがな(フラグ回収)。
この折れ線がゼロからどのくらいブレているかを評価する指標がRMSPEです。英略語をだして煙に巻こうって言う魂胆ではありません。RMSPEについては、こちらで説明しています。
しかし、RMSPEという1つの指標にまとめてしまう事には弊害があります。
平均的にはよく揃っていても、一箇所で大きくズレているということもあり得ます。そのため、グラフを作図し、目視する必要があります。
今回の目視結果、ズレが大きいのではないか?という指摘です。
なるほど、確かにズレを無視してはいけないようです。
このグラフ、ノコギリだけど大丈夫?っていう話は、当初(2019年11月)からありました。その時は、このRMSPEで評価するから、途中のブレはいいんじゃない?っていうのが、当初の私の考えでえす。このTweetツリーに当時の経緯が残っています。
でも、グラフがノコギリなのはずっと気になってましたよ!!!(後出し)
まとめ
ここまでをまとめると、「パラレル仮定は成立していない」ということです。
「おいおい、なに適当な解析してくれちゃてんのー」という声が聞こえてきそうです。
一応どう考えるか、どう追加解析を行うかについては考えています。考えていますが、長くなったので(ここまでで、3500字超)、このnoteはここまでにします。
続きはこちら(その2)。
利益相反(COI)について
宇崎ちゃん献血コラボ関係の利益相反は、2019年11月17日の記事中の通りです。
また、コメントを頂いた方々やTweet等を引用させて頂いた方との利益関係はありません。様々なご意見・ご指摘を頂きありがとうございました。
金銭・経済的なCOIはありません。ただし、金銭を頂くことを拒否している訳ではありません。何か贈りたい方は是非お願いします(ダイマ)。