「監督解任ブースト」は存在するのか？(すると証明するのは難しい，という結論の記事です)

konakalab

概要

  • 監督交代前後の平均勝点の変化は「平均への回帰」を考慮して評価するべき．

  • 監督交代前後に平均勝点が上昇したとしても，それが監督交代を原因とした変化であるかはわからない(相関と因果の違い)

  • 短期間で低パフォーマンスだったチームが監督交代なしにパフォーマンスを回復するのは頻繁に観測されるできごとである．

  • データを扱って因果関係を言いたい場合，統計学を勉強しましょう．

    • 「このデータからは因果関係を導けない」という態度を身に着けるのが統計学を勉強する恩恵です．

監督交代の効果は計測できるのか？

2023年もJリーグをお楽しみの皆さん，それ以外でも各国サッカーリーグをお楽しみの皆さんこんにちは．Jリーグは開幕から2カ月，そろそろ成績不振を理由に監督が解任される時期がやってまいりました．

そうするとよく話題に上がるのが「監督解任ブースト」．監督を解任して新監督を就任させると(なぜか)成績が改善するというアレです．ブログやTwitterを検索すると，監督交代前後の勝ち点などを調べていろいろと議論されているものを見つけられます．よくあるのが「監督解任・新監督就任前後5試合程度の平均勝点を比べる」というものです．解任前から解任後に平均勝点が上昇していればそれは監督解任の成果→監督解任ブーストは存在する！という論法なのですが，これはやっちゃだめだよ，を説明するのがこの記事です．

既存の研究

サッカーのデータ分析に関する書籍では古株の感もある「サッカー データ革命－ロングボールは時代遅れか」に，監督解任の効果を定量的に分析した研究事例が紹介されています．詳細は書籍を購入して読んでいただくべきですが，紹介されているのはオランダリーグ(エールディビジ)での監督交代前後の分析です．

シーズン途中で監督を解任したチームの相対的なパフォーマンスを評価すると，確かに監督交代時が谷の底のV字となっています．監督交代後の劇的回復！このデータを見せられると，「ほぉ，監督解任でパフォーマンスが回復したのか！」と思ってしまいがちなのですが，ここで結論を一歩保留して以下の疑問を頭に浮かべましょう．

「同じようにパフォーマンスが低下したけど監督を解任しなかったチームはどうなったの？」

参照されている研究はまさしくこの点を調査したものです．すると，監督解任ブーストの存在を信じている派には申し訳ないのですが，監督を解任しなかったチームでも同様にV字でパフォーマンスが回復したことが報告されています．つまり，V字でパフォーマンスが回復したことを根拠として，それが監督解任を原因とする因果関係を立証すると考えてはいけないのです．

これは時系列の統計データにある「平均値への回帰」という概念で説明できます．データの前半で特徴的な(例えば，平均が小さい)ものを抽出したとき，後半でその特徴が保持されないものがある，というものです．これはその時系列データが平均に乱数が加わった独立な時系列である場合に典型的に観測されるものです．

簡単な思考実験

平均値への回帰を理解するための簡単な実験はいくつも報告されています．一つ作ってみましょう．

  • さいころの奇数偶数を当てさせる実験．前半に予測正解率が高かった・低かった群に分けて再度予測させる．前半の予測正解率は後半の予測正解率に影響を与えない．前半低かった群は後半に正解率が上がったように見える．

    • そこで，前半と後半の間，前半低かった群に何らかの儀式を行わせると，その儀式が予測正解率を上げたかのように装える．

      • もしも予測正解率が改善しない場合，「儀式への取り組み方が正しくない」とし，予測正解率が向上するまで実施させる．

以下のツイートのじゃんけんの例も原理的には同じですね．和歌がじゃんけん必勝法，というのは風流ですが，もちろんそんな因果関係はありません．

さいころの奇数偶数当てやじゃんけんだと「儀式で勝率が上がるとか，そんなわけないだろ～」と笑えますが，笑えるのは我々が元のタスクが運任せであることを知っているからです．平均値への回帰を知っているからではありません．
ここのタスクをもう少し込み入ったものにして，儀式も関係がありそうでなさそうな微妙なラインをついたものに差し替えてみると，この問題の厄介さがわかっていただけると思います．

Jリーグのデータを調べる

J1の2005年から2022年までの各チームの結果を日付順に取得しました．以下の条件のチームを抽出してみます．

  • (各チーム5試合目以降の)各試合に対し，直近5試合の平均勝ち点を計算する．

  • 直近5試合の平均勝ち点が初めて1.0未満となる試合を見つける(チームによっては無いこともある)．その平均勝ち点を(勝点・前)とする．

  • その試合の次から5試合の平均勝点を計算する．この平均勝ち点を(勝点・後)とする．ただし，残り試合がシーズン中5試合未満の場合は対象としない．

この条件を満たすのは全344チーム中291チーム．それぞれの平均は以下となりました．

(勝点・前)の平均：0.6502，(勝点・後)の平均：1.3643

見事に勝点が回復しています．よく考えれば当たり前で，上下限がある平均勝点が低い5試合に限定して抽出しているので，その後が前よりも大きくなる傾向にあります(くどいですが，これが「平均値への回帰」です．)

(監督解任の時期を調査するのが面倒なので)この条件で抽出した291チームとその時期には監督解任の時期が含まれていたりいなかったりします．シーズン中の監督交代は4～5件という印象ですので，291チームそれぞれで抽出した時期と監督交代がばっちり一致しているのは割合としてそこまで多くはありません．

もしも監督解任ブーストの存在を，解任直前直後の平均勝点の違いで立証したいのであれば，解任しかなった場合の勝点の変化の分布に対して有意差があるかどうか，を議論する必要があります．個人的には，そっち方面からの立証はまず無理だろうなぁ，という印象です．

この議論は監督解任に限らず，成績不振のチームの風物詩であるバス囲み，責任者のサポーターへの挨拶，選手決起バーベキュー会，フロント批判の横断幕，などなど…の効果を測定したいのであれば真っ先に頭に思い浮かべてもらいたいものです．

監督交代の効果が無いと立証された，とは言っていない

注意していただきたいのは，この議論で「監督交代の効果が無いと立証された，とは言っていない」ことです．

統計学を勉強する際に慣れが必要，かつ身に着けるべき最優先な態度として，「～が無い」とは決して言わず，「～があることを有意に支持する根拠が見つけられなかった」というんですよね．そしてこれが学問的には正しく誠実な態度です．データからわからんことはわからん，ときっちり言いましょう．そしてこれが統計学を学ぶ最大の利点であるというのが個人的見解です．

むしろ私自身は監督という責任者が交代することがチームのパフォーマンスに影響を与えないわけが無いのでは？という印象を持っています．ただ，不振の原因が監督にあり，交代により明確にそれが改善され，それがさらに試合結果にまで影響を及ぼすのか？というのは個々の事例で異なるはずです．その個々の事例での監督交代から勝点への影響を平均という統計量で処理すると，もともと成績不振のチームに偏って起こるという前提が引き起こす平均値への回帰と混ざって分離できなくなる，と理解しています．

いいなと思ったら応援しよう！