ポートフォリオアプローチによる政策評価
EBPMの政策評価について考えるにあたって、UNDPのポートフォリオ・アプローチによる介入効果を測る方法について学ぶことが多いのではないかと思っているので、今回は、ポートフォリオアプローチで介入した場合、何が個別のアプローチより良くて、どうやって、その効果を測るのか？について記事を書くことにする。
ポートフォリオアプローチとは？ 何がいい？
ポートフォリオアプローチとは
ポートフォリオアプローチは、自分の言葉でまとめると、目指す目的に対して、政府レベルでのポリシーメイキング、資金の手当、地元の団体と一緒にやるフィールドプロジェクトなどを一気にやって、１つの面としてのムーブメントを起こしていくというものだ。ちゃんと社会として動くムーブメントとなるから、インパクトも出るという考え方だと思う。ソーシャルセクターで「コレクティブインパクト」と呼ばれる横同士も連携で一気に変革していく手法もあり、効果があるとされているので、エビデンスとしても直感としても納得がいくアプローチだと思う。
UNDPの正しいちゃんとした定義は、こちらだ。
なぜポートフォリアプーチなのか？
ポートフォリオアプローチは、開発経済のドメインにおいて「ランダム化比較試験 (RCT)」偏重の統計的なペーパーを成果物としてきた過去を反省から、一過性の介入でペーパーを書いて終わりではなく、介入後も人が変わり社会が変わる中長期的なインパクトを狙ったツボ押し介入への重要性に立ち返ったのだ。また、COVID19といったパンデミック、異常気象による気候変動、地政学の不安定さといった外界の変化のスピードが速いので、そういった中でも、柔軟に動ける組織体であるには、机上の学者アプローチはフットワークが重すぎるのである。
UNDPのちゃんとした背景の説明は、こちらだ。
ポートフォリオアプローチは、例えていうなら、専門家集団の大人の介入といったかんじだ。公的な政府、金融ファイナンスや税制、現地NPO等組織との複数の協働プロジェクト、これらを互いの関連性を意識した上で、一気に抑えにかかる。
ポートフォリオアプローチの特徴
ポートフォリオアプローチで介入する際のツボの特定
UNDPのメソドロジーガイドブックによると、ポートフォリオアプローチでは、初期の段階で、介入のツボはどこにあるのか？を特定するために Impact Pathway といった事象の相互関係を描き、介入ポイントを調査するらしい。
センスメイキングによる関係者巻き込み型のプロジェクト推進
人を巻き込んでアクションに移していく過程では、特に、「SenseMaking 」というコンセプトを大事にしており、関係者の中の共通の課題意識、目的達成の方向性を持つことを大事にしているようである。
総合的な介入に対応する柔軟なインパクト評価手法の設計
ポートフォリオアプリーチによる面での介入をしないと、社会を変えるようなモーブメントは起きないことは直感的にも納得できる。
けれど、「ポートフォリオアプローチ」のような複数の課題に同時期に介入する場合、評価はどうするのだろう？という疑問が起きる。操作する変数が多いと、統計的な厳密な因果関係の検証は複雑になり、難しくなるはずだ。
ポートフォリオアプローチの介入プロセス
UNDPのメソドロジーガイドブックを読んでも、具体的なイメージがつきにくい。UNDPの評価機関の文書にも、ポートフォリオアプローチを適用する場合は、事前に相談することなの記載がり、あえて厳密なルールとして定義せず、アドホックに柔軟に対応する要素がありそうである。
そこで、ポートフォリオアプローチを適用した実際の事例をもとに、UNDPはどんな評価を行っているか調べることにした。
モンゴルの生物多様性と遊牧民の生活の持続性を目的としたプロジェクト
概念は理解できたとして、実際に、このポートフォリオアプローチによって、どのように人々を巻き込み物事を進めて、評価をするのか？という具体的なイメージとつながらないと、リアリティがわかないので、ポートフォリオアプローチによって介入した具体例として、モンゴルの環境省とUNDPがタッグを組んで取り組んだ「モンゴルの天然資源の自然再生プロセスを破壊せずに遊牧民が共存してくプロジェクト」を具体的に見ていく。
１） 介入すべきツボの特定
(1) 全体システム図作成
まずは、局所的な問題にフォーカスするのではなく、モンゴルの遊牧民の経済の営みや、公共財（自然や野生動物）の消費を取り巻くシステム関連図と引き起こされている課題の巨大なシステム関係図を作成したようだ。
ここでは、定量的な数字を使った因果関係というよりも、人間の洞察も使って、互いのシステム関係図が作成されている。
(2) ツボの特定
巨大なシステム図を作成後、システム相関図のルートとなる原因（端っこ）に着目し、介入ポイントとするようである。
モンゴルの例では、野生動物の乱獲という問題が引き起こされてしまうのは、そもそも希少性に対して、適切なマーケットプライスが付けられていないことが原因であるということがルートなる原因の１つであるとされている。このようにして、ツボを特定する。
２） UNDP内のプロジェクト関連メンバーの組成
UNDPのモンゴルのアプローチでは、結果的に、行政、ファイナンス、環境保護、現地NPOまで巻き込んだアクティビティになるのであるが、それらの全体をダイナミックに動かす場合に適切な専門家がUNDP内で召集されるようである。例えば、モンゴルは、チベット仏教の他イスラム教も信仰されているので、イスラム教での税制のプロもプロジェクトに加わるといった具合である。
３） 介入の戦略設計と社会化
モンゴルのしかるべき、異なるドメインの公的なオーソリティを巻き込んで、横のつながりを行い、公的オーソリティのレベルで実施の意思の確認がなされる。ここで、しっかり公的オーソリティを巻き込むのは、この後実行するプロジェクトのアクティビティを面での動きとして加速するためである。プロジェクトは決まったが資金不足だとか、絵に描いた餅だとかの問題は、この段階で解消されている。
i) 土地利用と農業に関する国家計画の拡大 (SCALA)
ii) 生物多様性計画のギャップを埋めるための金融ソリューションの開発 (BIOFIN)
iii) カシミア生産に関する対話の継続 (MSCP)
iv) 適応能力の向上 (ADAPT)
v) 農村コミュニティの回復力の確保 (ENSURE)
４） 介入の実行
十分に公的に認められ資金も用意されるという段取りが整った段階で、介入やどのように介入の効果が測定されるのかがデザインされ、プロジェクトが実行されていく。この段階では、UNDP Innovation Teamのファシリテーションのノウハウとともにリードしていく（参考：Sensmaking ワークショップ）
(1) プロジェクトの実行
プロジェクトの実行は、UNDPの職員と現地のNPOなどの団体が一緒にプロジェクトを実施する形式のようだが、UNDPが計画したものを、はい、やってください、みたいなアプローチではなく、現地NPOや行政などの横の連携を構築するといったことがワークショップ形式で行われるようである。
ワークショップの利用ツールなども整えられている。これらのノウハウは、ガイドブックとしてまとめられている。
(2) プロジェクトの評価手法のデザイン
プロジェクト評価は、UNDPの場合、独立の評価機関UNDP IEO Evaluation Resource Centerがあるのだが、ポートフォリオアプローチの場合は、画一的なガイドラインで評価することは難しいので、プロジェクトに合わせて、柔軟に評価手法を設計しているようである。モンゴルのこのプロジェクトの評価手法のまとめ資料でも、定量的なものもあれば、定性的なタスク消化をcompleteとするようなものもある。
定量的な例
野生動物の頭数、自然保護地域の面積
定性的な例
法律のドラフトガイドラインなど
上記が一連のポートフォリオアプローチのプロセスであるようだ。
これらの活動を支える形で、例えば、こんな課題に対応するなら、こういうところからデータが取得可能だよということも、情報としてまとめられているようである。
まとめ&考察
日本のエビデンスに基づく政策評価（EBPM)は、これから設計されていく段階であるが、定量的でなければいけないわけではない。 UNDPに学ぶところは、起こしたいインパクトを中長期的に発生させるために無理がない仕組みづくりである。仕組みづくりが、必ずしも定量的な評価と結びつくわけではなく、その仕事がタスクが完了したことが成果であるような０→１のようなものもある。これらの種類の違う介入に対して、それぞれ無理がなく、かつ、当初の目的から外れないかたちで評価手法をデザインすることが大事なのだと思う。政策は、ガイドラインとしての方向付けを早期にして、全体がおかしな方向にいかないように整えることを存在意義とするところが大きいのだから、その目的を達成するために、評価というのは、寄り添うようなかたちで存在するような位置付けである気がする。
次回は、今回のポートフォリオアプローチで全体を抑えられた思うので、少し狭めて、例えば、定量的な評価がフィットする領域は、どういうもので、逆にフィットしないのはどういう領域なのか、具体例をふまえて考えてみたい。