現在地を正しく見つめるための評価をデザインする
前回の記事では、選挙や政策の決定に対して民意を反映するための様々な事例を取り上げました。一方でニーズを吸い上げてつくったはずの政策や仕組みが社会や人の生活の急速な変化に対応できず形骸化されていってしまうケースや、運用フェーズであまりうまくいかないことが発覚するケースも多々あるかと思います。これらをうまく機能させていくためには、適切なタイミングで施策をチューニングしていくことが大切ですが、そのためには現状を正しく評価することが不可欠です。
今回の記事では、現状や施策に対する評価の方法について取り上げていきます。世の中にある多数のフレームワークや手法と同様、評価方法に絶対的な正解はありませんが、行政のサービスや施策に対してどんな観点で評価をするのかという上で参考になればと思います。
21世紀の議会のための成熟度を評価する
イギリス、グレーとマンチェスター州にあるトラフォードの評議会ではFutureGovと共に、地域の公共サービス提供の変革や協議会が将来的にどのよう機能するかを検討しました。改革を進めていく中で、組織全体のイノベーションのために、なにから手をつければよいのかという根本的な問題と対峙することなりました。何から変化させていくべきかを探っていくための方法として、FutureGovは成熟度評価フレームワークを使用しました。
A maturity assessment for a 21st-century council
この成熟度評価はトラフォードの行政がどのようにサービスを提供しているかに焦点を当てています。行政の運営モデルや働き方を通じて、地域住民のニーズや期待にどれだけ対応できているのかを検証しました。
1. ニーズや期待に応えていないサービス
この段階は、サービスが利用者のニーズや期待に応えられていない、つまり住民目線でサービスを理解出来てないような状態です。
2. 設計・改善されているサービス
この段階は、デザイン主導のプロセスがサービスや業務の改善に活用されています。ユーザーのニーズを満たす方法を根本的に変えたわけではありませんが住民の立場に立ったニーズを理解し始めている状態です。よりよい体験を提供するために、より新しく効率的な方法も取り組み始めており、サービス提供のコストも削減されつつある段階です。
3. 設計・変革されているサービス
この段階は、デザイン主導のプロセスを使用して、シンプルで透明性があり、連携したエンド・ツー・エンドのサービスを提供している状態です。施策の優先順位は、協議会の未来ビジョンを実現するためのロードマップとリンクしています。
4. 働き方・運営方法を変えるサービス
この段階は、デザイン主導のプロセスを通して、住民のために可能な限り最高なサービスを提供するため、パートナーや他組織と連携して模索している状態です。協議会は、セクター全体のサービスが地域と住民をサポートするための主導的な役割を果たしています。
評価の実施
一連のワークショップや職員とのインタビューを通し、地域住民の体験・製品とシステム・組織文化と働き方・ガバナンス・人材とスキル・データと洞察力・パートナーシップなど、７つの分野で見識を共有してもらい、議会運営の成熟度を1から4までの尺度で評価してもらいました。
およそ６週間かけて３００人以上の職員や外部パートナーと関わり、協議会の長期的な変化のための深い課題や潜在的な阻害要因を明らかにしました。これらの調査で明らかとなったのは、①ガバナンスと意思決定の問題、②リソースの配分と優先順位のつけかた、③研修や支援を通じた職員のための人的投資、などでした。また、システムやプロセスがサイロ化してしまっていること、ITへの投資不足なども原因であることが浮き彫りになりました。
これらの調査結果をもとにFuture Govとトラフォード評議会では、次のフェーズとしてアプローチやロードマップの作成に取り組んでいるそうです。
今回取り上げたフレームワークはおそらくもともとFutreGovが使用していた行政用のフレームワーク、デジタル成熟度評価（Digital Maturity Assessment）を基に発展させたものだと思いました。興味があるかたはこちらもどうぞ。
政府機関のコミュケーション施策を評価する
イギリスの内閣府にあるGovement Digital Service（以下GDS）は行政機関のデジタル改革の中心となっている機関です。広報業務の一環として彼らの活動を伝えるため、YouTube・instagramなどのメディアなども利用し、内外へ向けた発信を行っています。サービスの変革を通じて得られるメリットや、GDSが提供する役割を示すことを発信の目的としています。
大きな軸としてコミュニケーション戦略を立て施策をうっていくなかで、彼らは独自で開発した政府コミュニケーションサービス評価フレームワークを使用して、四半期ごとに施策の影響を測定しています。
GCS Evaluation Framework 2.0 publication
GCSではコミュニケーション施策のプロセスを、次の４段階に分けて、それぞれのプロセスごとに評価を行っています。
1.INPUTS GDSが何を投入したのか。企画やコンテンツ制作
2.OUTPUTS 誰が情報を受け取ったのか （いわゆるエンゲージメント）
3.OUTTAKES 情報の受け手が何を受け取ったのか
4.OUTCOMES 情報の受け手の行動変容につながったのか
各ステップの中で最も重要なプロセスとして位置づけられているのは、4.OUTCOMESです。情報を受け取った人がどのように行動を変化させたのか、政策目標の達成などに影響を与えることが出来たのかを測ることができます。
またその次に、3.OUTTAKESを重要なステップであるとおいており、キャンペーンメッセージの浸透度を評価するなど、コミュニケーションがどれだけ効果的に機能したのかを計測しています。
これらの評価を通して、キャンペーン施策が適切な費用の投入であったのかを測定し、計測結果を基に次の四半期でのよりよいアプローチをたてるようなサイクルを実行しています。
PolicyLabを評価する
近年、Policy LabやInnovation Labの領域ではデザインの学術的な理論が統合されていくよりも速いスピードで急速に実践されつつあります。世界にはすでに100以上の公共部門イノベーションラボ（Policy Lab）が、自治体レベルから国の省庁まで様々な粒度の政府機関に設置されています。
しかし、Policy LabやCo-Designの急速な普及にもかかわらず、公共サービスや政策への影響に関するアカデミックなエビデンスは不足していると言われています。それは、Policy Labの活動やプロジェクトは実験的な取り組みであることも多く、非公開で運営されている傾向があることが影響しています。
2015年、北アイルランドのイノベーションラボ（iLab）は、UK内の他ラボとベストプラクティスを共有するための試みとして、イギリスで初めてPolicy Labの評価結果を公開しました。ラボの有用性を評価するために、外部の調査機関に評価実施を依頼。ラボのスタッフ・北アイルランド市民サービス（NICS）全体・主要な外部の利害関係者など30人に対し、50分から90分の半構造化されたインタビューを行いました。質問内容は主に、iLabのリーダーシップ・運営モデル、手法、キャパシティなど、iLabの活動内容とガバナンスに焦点を当てていました。
iLabは2年間で、財務省・保健省・コミュニティ省などいくつかの省庁に複数のプロジェクト委託され、18個のプロジェクトを約54万ポンドの予算で主導しました。調査のアウトプットには、4つのインパクトケーススタディ、iLabのリーダーシップ・運営モデル・手法・キャパシティの強みと弱み、インパクトを高めるための一連の提言が含まれていました。これらの提言には、短期的な視点のものから長期的な視点のものまで、優先度の低いものから高いものまで多岐にわたっていました。
その後、これらの提言をもとにiLabでは業務プロセスを改善しました。例えば、提言の1つとして「デザイン用語集の開発」がありました。Co-Designを推進していくうえで、デザインの用語（「コ・デザイン」、「サービスデザイン」、「ユーザー中心のデザイン」、「人間中心のデザイン」、「デザイン思考」など）が多用されていますが、かなりの単語数が存在しており、その殆どはデザインの専門知識の無い公務員にとって馴染みのない言葉でした。そのため、iLabは評価での提言をもとにプロジェクトに参加する公務員のために用語集をつくりました。
政策サイクルの長さから、施策の実施から結果として出てくるまで 1 年以上のリードタイムがかかることもあり、評価の複雑さがさらに増してしまいます。正しく評価するためには、プロジェクトの初期段階で明確な評価基準を選択し、データを蓄積していくことが不可欠です。
特に問題を定義していく段階のイノベーティブなプロジェクトにおいては事後評価を行うための基準を特定し、継続的にモニタリングを行うことに人的リソースを割く必要があります。成功を可視化し、その要因を特定することは、Co-Designのプロジェクトを形成する上で、”スポンサーに応える”ことを確実にします。なぜならば、プロジェクトが万が一失敗したとしても、データとして蓄積しケーススタディとして残しておくことが重要であるからです。
残念ながら、上記のiLabのプロジェクトでは調査の初期段階でデータのベースラインを収集していなかったため、調査の範囲内でiLabのプロジェクトを実証的に評価することができませんでした。そのため、プロジェクト途中の評価方法としてステークホルダーへのインタビューという方法を取っています。
伝統的な政策とイノベーティブで実験的な政策の評価方法を比較する
一方で、デンマークデザインセンター(以下DDC)では、伝統的な政策とイノベーティブで実験的な政策に対して、目的や測定方法などを以下のように比較・整理しています。
Designing policy experimentation
DDCでは成果測定のために、活動の時間軸（インプット・活動・アウトプット）、期間ごとの成果（短期・長期）を体系的にドキュメンテーションする方法を決めます。主要な指標をはじめに決めるとき、施策の成功がどのように可視化できるのか、そのためにデータを収集しています。
説明責任と取り組みの透明性を担保するためにデータをつかって説明すること、継続的にナレッジを蓄積して行くことで学習サイクルをまわし組織のパフォーマンスを向上させること、これらが将来のより強い成果を生み出すことにつながるはずです。
おわりに
今回は、行政の施策や取り組みなどの現状に対してどのように評価しているのかという事例をみていきました。
今回、評価の指標や方法などを調べていく中で、わたしが新卒で働いてた民間企業で施策を提案する際に、必ずその評価方法を一緒に提案することを求められたのを思い出しました。施策のスパン・関わるステークホルダーの数・影響範囲の広さ・案件規模など複雑性は全く異なりますが、現状を正しく理解するために定常的モニタリングを行うため主要な指標を最初に正しく設計することが、持続的なパフォーマンスの向上に対して不可欠であることは分野をまたいでも同じであるように感じました。
行政×デザインの話題についてもし興味をもっていただけたらば、本マガジンのフォローをお願いします。また、このような公共のサービスデザインやその取り組み、その他なにかご一緒に模索していきたい行政・自治体関係者の方がいらっしゃいましたら、お気軽にTwitterDMまたはWEBサイトのコンタクトページよりご連絡ください。
一般社団法人公共とデザイン
https://publicanddesign.studio/
Reference
Modernising to meet a 21st-century vision：
GCS Evaluation Framework 2.0：
Whicher, Anna, and Tom Crick. "Co-design, evaluation and the Northern Ireland Innovation Lab." Public Money & Management 39.4 (2019): 290-299.
Designing policy experimentation / How to identify, design, run and learn from innovative policy interventions
https://www.slideshare.net/Designcentret/designing-policy-experimentation