ＥＢＰＭ（エビデンスに基づく政策立案）：2023年11月24日（金）
「データサイエンス」の重要性が叫ばれて久しく，日本の大学では新たな学部・研究科が今も毎年続々と設置されている。生成系AIの社会的活用と技術進歩がこれをさらに加速させているようだ。
今から25年ほど前に，通商産業省（現：経済産業省）の官僚の戒能一成氏と受託調査研究を通して面識を得ることになった。同氏は，私が出会った官僚の中でも突出して天才的で優秀な官僚である。おそらく，同氏の能力を上回るような官僚には今後お会いすることはないような気がする。
戒能氏が，2018年1月に独立行政法人経済産業研究所のWebページ上で，「政策評価で「科学風のウソをつく」方法」というSpecial Reportを公表している。そのなかで，同氏によれば，「近年の定量的政策評価への意識の高まりとは裏腹に，依然として(悪意の有無は別として)科学的な証左を用いながら誠に不適切な「政策評価」の類が横行している状況にあると言わざるを得ず，この類の文献や報告書の中には刮目して読まなければならないものが多いことを日々大変残念に思っているところである。」と大変厳しい現状について説明している。米国でも同様なことが起きているという。
科学的な証左を用いながら不適切な「政策評価」が行われる背景・要因について，構造的背景（要因）と技術的背景（要因）に分類し，同氏による実際の第三者評価の経験に基づき，以下のようにまとめている。思い当たる節がある人も多いのではなかろうか。慧眼である。
(1) 構造的背景 ―最初から「結果ありき」の政策評価が選好される要因 ―
「勇気ある撤退」を全く評価しない行政庁側の組織風土
予算・人員を巡る担当部署での「限定合理性」や「縦割主義」による視野狭窄
関係者の「思込み」や「欧米では〜」型の権威主義
行政庁側の中立的でない評価要請や過度の分析・評価者への介入・圧力
分析・評価側の客観性の欠落や金銭的・競争的・学術的動機に基づく利害相反
(2) 技術的背景 ―都合のよい政策評価の「結果」が捏造・抽出される要因 ―
統計試料の出典・年度の恣意的な取捨選択や混合・補間・加重
代表性の欠落や異常値の残留など偏った試料からの外挿・拡大推計
分析期間・対象における外的要因などの不考慮・悪用
分析手法における前提条件の乱用・逸脱や基礎的理論の無視
潜在的な偏差・誤差の軽視と強引な解釈
Evidence-Based Policy Making (EBPM)：November 24th(Friday)
The importance of "data science" has been emphasized for a long time, and in Japanese universities, new faculties and research departments are continuously established each year. The societal application and technological progress of generative AI seem to be further accelerating this trend.
About 25 years ago, I came to know Mr. Kazunari Kaino, a bureaucrat from the Ministry of International Trade and Industry (now: Ministry of Economy, Trade and Industry), through commissioned research. Mr. Kaino was an outstanding and brilliant bureaucrat, arguably surpassing the abilities of any bureaucrat I have encountered. Perhaps, I feel that I may not meet a bureaucrat with abilities surpassing his in the future.
In January 2018, Mr. Kaino published a Special Report titled "Methods of Creating 'Scientifically Styled Lies' in Policy Evaluation" on the website of the Independent Administrative Institution, the Institute of Economic Research. In this report, Mr. Kaino explains the challenging current situation, stating, "Contrary to the increasing awareness of quantitative policy evaluation in recent years, there is a situation where truly inappropriate 'policy evaluations,' whether malicious or not, using (scientific) evidence are rampant. I feel deeply regretful every day about the many documents and reports of this kind that must be read with keen attention." This situation is also said to be happening in the United States.
Regarding the background and factors behind inappropriate "policy evaluations" using scientific evidence, Mr. Kaino classifies them into structural backgrounds (factors) and technical backgrounds (factors) based on his actual experience with third-party evaluations. Many people may find these points familiar. He is indeed insightful.
(1) Structural Background - Factors favoring policy evaluations with predetermined outcomes -
Organizational culture of administrative agencies that completely disregard "courageous retreat"
Narrowed perspective due to "limited rationality" and "vertical sectionalism" in departments dealing with budgets and personnel
Biases of stakeholders and authoritarianism of the "In the West, they do it this way" type
Non-neutral evaluation requests from administrative agencies and excessive intervention and pressure on analysts and evaluators
Lack of objectivity on the side of analysts and evaluators, and conflicts of interest based on financial, competitive, and academic motivations
(2) Technical Background - Factors leading to fabrication or extraction of favorable policy evaluation "results" -
Arbitrary selection, mixing, interpolation, and weighting of statistical samples and years
Extrapolation and amplification estimates from biased samples, including the absence of representativeness and residual abnormal values
Neglect and misuse of external factors during the analysis period and in the subject
Misuse and deviation of assumptions in analysis methods and disregard for basic theories
Disregard for potential biases and errors and forced interpretations