"評価"への懸念 【なぜ今社会的インパクト・マネジメントなのか？シリーズ⑥】
「なぜ今、社会的インパクト・マネジメントが注目されているのか？」
ということを、自分なりに言語化したく、noteに気ままに書いていきます。
その時の勢いで書くので、認識に間違いや記載ミスがあるかも知れませんが、おいおい直していきます（たぶん）。
＝＝
ソーシャルセクターでは、様々な観点から「評価」が行われてきました。
2016年には国内で「社会的インパクト評価イニシアチブ」が立ち上がり、社会的インパクト評価を広めるための活動を開始しました。議論の中で、「”評価”から”マネジメント”へ」という気運が高まり、2019年に「社会的インパクト・マネジメント・イニシアチブ」と改称して活動を加速させています。
なぜ世の中の議論は、「社会的インパクト評価」から「社会的インパクト・マネジメント」へ移行してきたのか。
その要因はいくつかありますが、今回のnoteでは、”評価”への懸念を取り上げてみたいと思います。
--
”評価”とは何か？
辞書では以下のように記載されています。
評価（ひょうか）（英: evaluation, assessment）は、
1．物事・性質・能力などの良し悪しや美醜などを調べて価値を定めること。
2．品物の値段を定めること、またはその値段。
3．1または2の意味で、高い価値や高い値段を付けること。
4．数学や計算機科学において、変数に関連づけられた値などをもとに関数（関数 (数学)、関数 (プログラミング)）などの式・表現が表す値を計算すること。あるいは、不等式により値の範囲を絞り込むこと。表示的意味論が評価の操作における理論的な枠組をあたえる。
出典：ウィキペディア
企業評価、人事評価、成績評価などを思い浮かべればイメージしやすいですね。また、商品を買う時に「買う価値あるかな？高いかな？」と判断することも評価に該当します。
実は、ソーシャル分野における”評価”の定義は、ちょっと異なります。
「評価は、物事のメリット、値打ち、意義を体系的に明らかにすることである」（Scriven 1991）
この定義は、全ての評価（製品評価、組織評価、政策評価、事業評価、人事評価など）に当てはまるとされます。
現在、ソーシャルセクターにて行われる評価には、いくつかの種類があります。
出典：IML基礎コース資料
このように、一般的な日本語の”評価”と、ソーシャル分野における”評価”には、意味合いや使い方に乖離があります。ソーシャル分野では、「価値を明らかにする」というプロセスを含んでいますが、一般用語では「価値に値段をつける、良いかどうか判断する」ニュアンスが強めです。
同じ”評価”という言葉ですが、意味合いの違いによって、誤解や認識のすれ違いを生みやすく、近年はソーシャル分野に様々な方が出入りすることで、意味合いの差が意識されることなく使われています。また、資金の使途への「説明責任を求める」声が高まることで、良し悪しを判断するために”評価”が使われることも増えています。
”評価”の用いられる文脈
ソーシャルセクターや事業・組織・政策評価として、以下のような場面で”評価”という言葉が用いられています。
●社会的インパクト・マネジメントにおいては、PDCAを回す際の各ステージにおいて、ニーズを把握し、セオリーを明らかにし、プロセスを確認し、アウトカムを検証するものとして、社会的インパクト評価を位置付けている。
●国際協力の分野では、1990年代から事業の実施前から実施後まで事業評価を行い、評価を活かして事業の改善と開発援助の効果発現を目指している。国内NPOにおいても、事業評価への取り組みが行われている。
●2019年に休眠預金等活用法に基づき始まった助成事業においては、国民への説明責任を果たすために評価が義務付けられており、「評価指針」が提示されている。
●社会的インパクト投資は、投資によって経済的リターンと社会的リターンを得ることを目的としており、社会性を確認する手法として社会的インパクト評価が活用されている。
●政策分野においても、EBPM（Evidence-based Policy Making、エビデンスに基づく政策立案）としてエビデンスに基づいた政策立案が求めらるようになり、評価手法が用いられている。
●グッドガバナンス認証という制度では、認証団体が組織評価を第三者機関に開示して、信頼性・透明性の向上に努めている。
●PDCAというフレームワークは、業務改善や目標達成のために、継続的に生産プロセスを改善していくために活用され、「Plan（計画）－Do（実行）－Check（評価）－Act（改善）」というサイクルを回す。
--
これ以上「評価とは何か」という問いに答えることは、私には荷が重いので、書籍を参照ください。例えば以下。ただし、プログラム評価に偏っています。
--
”評価”への懸念
ソーシャルセクターにおいて、評価を求める声に応じて、評価に対するリテラシーも高まってきていますが、その一方で、評価に対する懸念も生じています。
ここでは3つ挙げます。
●適切な評価の設計がされておらず、評価結果の有効性が低い。
質の低い評価であれば、その評価結果は信頼性に欠けます。目指すべきアウトカムを定義できていない、副次的に生まれるアウトカムを主要なアウトカムと誤認している、活動との因果関係の薄いアウトカムを評価対象にしているなど、質の低い評価は多数存在します。
評価結果について議論を始める前に、その評価自体が適切であったのか、更には遡ってその事業が適切であったのかを議論する必要があります。これらが担保される前に評価結果について話し合うことは、「捕らぬ狸の皮算用」となりかねません。
●誤った評価基準が適用されることにより、本来目指すべき方向性を見失い、むしろ悪影響を及ぼす
評価や成果指標のために、いったん評価基準が設定されると、高い評価を得るためにその評価基準が目的化してしまうことがあります。誤った評価基準が設定されることで、本来事業が生み出すべきアウトカムを見失い、評価基準を追い求め、評価基準を達成することをゴールと誤認してしまうことが生じます。このことは、時にネガティブなアウトカムを現場に生み出します。実施者の中で「評価されること」に重きが置かれると、現場や生み出すべき社会的インパクトへの注目が下がることにもなりかねません。
特に、資金分配や資源確保が評価結果に絡む場合、実施者はより良い成果を出すことへインセンティブが強く働き、現場にムリを生じさせたり、更には盛った数字を作り出すことにもなりかねません。
●精度の高い評価を求めるあまり、現場への過度な負担を招く。悪影響を及ぼすこともある。
データがあればより良い分析ができ、精度の高い結果を得るこができます。一方で、データを集めることに現場の担当者が工数を取られ、本来の事業の実施がおろそかになることがあります。データをとることに気を取られ、対象者の変化を見落としていないか、適切なプロセスを見誤っていないか、十分に気を付け、事業運営において現実的な範囲で組み込んでいく必要があります。
また、度重なるアンケートやヒアリングにより、対象者やキーパーソンに対して、故意でなかったとしても恣意的な印象操作を強いていないか。資金提供者の聞きたい回答を、回答者に忖度することを強いていないか。十分な配慮が必要です。
--
何を評価基準とするのか？～市場化による弊害～
評価基準と選定基準が混同され、資金提供を行う際の事業者選定、金額選定において活用されている基準が混乱を招き、本来生み出すべきアウトカムを生み出せてないケースがあります。
近年、ソーシャルビジネスが広まったことで、株式会社形態の事業者や、大手企業のソーシャル分野への進出が進んでいます。大きな流れとしては歓迎するものの、ソーシャル分野における評価基準が定まっていないことから、混乱と弊害も生まれています。
行政がNPOへ委託してきた分野へ民間企業が参入してきた領域においては、いくつかの問題が指摘されており、「市場化による弊害」と呼ばれています。
例えば、2019年に子どもの学習支援の分野において、「市場化する学習支援」という言葉が話題になりました。
行政が委託先の事業者を選定する際に、これまで主に地域のNPOや社会福祉協議会が委託を受けてきたのですが、教育産業の事業者が入札に参加するようになり、大手企業が受託する事例が生じたのです。
行政支出の抑制として、市民が余計なコストを負担しないで済むという良い面もありますが、サービスの質の低下を招くのではないかと懸念の声が上がりました。
主に3つの点が指摘されています。
●学力向上への偏重
「学習支援」という事業ではありますが、子どもたちの置かれた環境を踏まえると学力の向上を最優先とすべきかどうかは、ケースバイケースで考える必要があります。家庭環境が整っていない、虐待やネグレクトを受けている、自己肯定感が低いなどの背景を抱える子どもたちに対して、学力支援だけでなく、生活サポート、居場所づくりといった幅広い支援が重要となっています。これらを「学力」を基準とした事業へ置き換えてしまうことで、今までNPOが提供していたサービスを、通っていた子どもたちが受けられなくなる可能性があります。
事業の主目的が何か、という問いを真摯に検討し、それらを評価基準として事業者を選定できているのか、しっかり確認する必要があります。
●成果の出やすい子どもへの偏重
事業者の成果として「学力向上」を評価基準とした場合、事業者は成果を出すために、学力が伸びやすい子どものみを対象として学習支援を行うというインセンティブが生まれやすくなります。学力が伸びにくい子どもは、複雑な家庭環境の中で生きることに精一杯であったり、自ら物事を考え答えを出すという力が育まれていない、などの要因を抱えている可能性があります。学習支援の前に、子どもとの丁寧な関係性づくりや生活を営む力を育むことが必要ですが、これらは時間のかかる活動です。
本来は、学校の授業についていけない子どもをサポートするべき学習支援事業が、成果の出やすい、学力やテストなどで高得点を得やるい子どもに偏る可能性があります。そして、学力向上に時間のかかる、途中でドロップアウトしやすい、丁寧な支援が必要な（手間のかかる）子どもが事業の対象者から外されるという懸念が残ります。
●事業者がノウハウを囲い込む可能性
民間企業の持つノウハウを、適正に評価し、対価を払う必要性があることは同意しますが、行政やNPOの意図する公益性を、民間事業者に期待することは難しいのが現状です。行政からの委託によって事業者が学習や運営のノウハウを得た後、それらを社会へ共有せずに、自社の成長のみに活用することが考えられます。行政の資金（そのもとは地域住民の税金）によって実施された事業のノウハウや知的財産を、社会の知見として積み上げていくことが難しいのです。
--
これらの懸念を乗り越えるためには、どうすれば良いのか。
「学習支援」という社会的インパクトを生み出す事業において、NPOなどの公益組織が生み出してきた価値を、どのくらい深く洞察し、認識し、言語化できているかが大切です。言語化できれば、それを基準として反映することができます。
その事業の持つ価値や可能性を損なわずに、その仕組みを全国へスケールさせていくために、安易な評価基準ではなく、包括的な視点で事業を見ていく必要があります。
事業を委託する行政、多様な価値を生んでいるNPO・事業者が、学習支援事業を通じて何を生み出すべきかを、しっかりと言語化していくことが期待されます。
※学習支援の事例と分析は、教育支援NPOの資料を参考に作成しました。
◆参考資料「市場化する学習支援」
--
”評価”の副作用
津富宏氏（静岡県立大学）は論文等の中で、評価の副作用に関して指摘を行っています。
評価の適用のもたらす副作用とは
評価の適用によって、かえって、社会が改悪されること
●評価の適用のもたらす副作用
①特定の指標を重視することによる活動のゆがみ
例：テスト範囲のみを「学ぶ」
例：体重を気にしすぎる（摂食障害）
②資源獲得のための評価の偽装
対象の選別（cream skimming）ほか
例：アメリカの学力テスト対策 さらには、評価基準の変更
例：再犯率から、再犯者率への変更
③資源の偏った配分による全体不最適
競争的配分による社会の分断、一部への集中的投資による全体の劣化
例：『科学立国の危機』 裏返しとしての、資源不配分という「処罰」
例：中国の信用スコア、監視社会化へ
④資源獲得の正当化に資する成果（リターン）の偏重
例：生保世帯の就職率の指標化
⑤内発的動機の喪失
外発的な「指標」のための活動、プログラム化された活動の実施
--
評価の持つ副作用を乗り越えるには、評価の置かれたコンテキスト自体を置き換えていく必要がある
自らの姿を鏡に映しだし、修正していく評価へ
出典：津富宏氏資料「市民活動による社会介入に関する 評価の適用の副作用」
津富先生が、日本ファンドレイジング協会のカンファレンス「FRJ2020」に登壇し、事例として挙げたものを紹介します。
セッション「エビデンスをつかおう！～現場実践に活きるエビデンスの考え方入門」
（土岐の記憶がおぼろげなので、だいたいの例ですが。）
少年院の運用として、「模範的な少年の割合が多い」という評価基準を設定し、インセンティブとして各少年院への予算の割り当てを増減させるとした場合、どのようなことが起こるか。
●職員が、少年たちに「模範的であれ」ということを強いる運用が始まる。少しでも模範的でないことを行う少年に対して厳しい罰を与える。
●模範的でない行動を、なかったことにする。目を瞑り、見なかったこと、なかったことにして報告しない、適切な指導を行わない、ということが生じる。
●模範的な、職員がコントロールしやすい少年を長く滞在させ、問題を起こす少年を早く出所させる、他の少年院へ送るなど、本来更生を図るべき少年たちを自分たちの施設から排除する。
●模範的な少年院の運用の方法を、他の少年院へは共有せずに、自分たちのみでノウハウを抱え込む。
●優秀な職員を厚遇して囲い込み、そうでない職員を冷遇し、職員の働き方・生活までをコントロールする。
特に、予算の割り当て、資金の融通、個人給与への反映など、資金分配にまつわるインセンティブが導入された場合、評価基準への強烈な達成志向が生まれる。1番になることで最も多い資金を手にすることができるため、他を蹴落としてでも1番になろうとする行動が始まる。このことが、評価や活動の本来の意義を壊してしまう。
津富先生は、特に資金分配をインセンティブに用いた評価について警鐘を鳴らしており、成果連動型事業（SIB：ソーシャルインパクトボンド）において、上記のような懸念があると指摘しています。
--
外部評価ではなく、内部評価を。できれば社会的インパクト・マネジメントから始めること。
土岐個人としての見解を述べます。
●なせ”評価”したいのか、目的を考えることから始める
”評価”には様々なものがあり、それぞれに観点が異なるので、一概に”評価”を論じることは難しいです。評価それ自身は目的にはなり得ません。評価によって何を得たいのかをまず考え、何を目的に評価を行いたいのかを整理し、どの評価を行うのかを設定する、というステップから始めることをオススメします。種類についてのスライドが参考になるでしょう。
●NPO事業者には、内部評価を、できれば社会的インパクト・マネジメントから始めることをオススメします
子ども学習支援の事例や、津富先生の少年院の事例のように、資金提供者や外部者が主導した評価、提示された評価基準は、現場で生まれ出ようとしている社会的インパクトを壊す可能性があります。外部評価の導入は慎重に行いましょう。信頼できる資金提供者・第三者評価者でない場合は、現場にネガティブな影響が生じる可能性を考慮して、慎重に実施しましょう。
NPO事業者の方には、自団体による自主的な内部評価、もしくは自らによる社会的インパクト・マネジメントを実践することをオススメします。これらから始め、徐々にやり方に慣れていくことで、外部評価を団体に適した形で導入していく力がついていきます。
自団体の内部にて事業評価を行いたい場合は、こちらの「事業評価ワークブック」がオススメです。
社会的インパクト・マネジメントを実践したい場合は、SIMIのウェブサイトに実践ガイドが掲載されています。
インパクト・マネジメント・ラボで行っている社会的インパクト・マネジメント研修も合わせてどうぞ。
＝＝
NPO事業者の方は、社会的インパクト（社会や困っている人にとって良いこと）を、現場でたくさん生み出したい、と願って活動されていると思います。
そのために何が足りないのか、どのようなことをするとそれが加速できるのか、自団体の目的を見失わずに、社会的インパクトを生み出していけるといいなと願っています。
以上