キャパシティビルディング講座2024｜レポートVol.02：活動の意義を引き出し、可視化する評価手法とは？
源由理子さんによる第２回講座「活動の意義を伝える評価軸を磨く」
8月30日に実施した第2回講座は「評価」がテーマです。芸術文化関係者は、評価をどのように捉え、芸術文化事業の社会的価値を可視化し、事業の改善につなげられるのでしょうか。「ロジックモデル」を活用して、芸術文化事業の価値を引き出す思考法を学びます。
今回は、講義の前半部分をオンライン公開講座として配信。受講生は配信会場に集まって前半の【オンライン公開講座】に耳を傾けます。
講師の源由理子（みなもと・ゆりこ）さんは評価論や社会開発論が専門。源さんご自身がケニア共和国ナイロビ市のスラム地域の生活改善プロジェクトに携わる際に、援助する側が決めた指標を社会調査等で測定して分析するような評価ではなく、当事者にとっての価値を引き出す「参加型評価」に出会ったことが評価論を専門とするきっかけになったというお話から講座が始まります。
講座前半は、課題解決／価値創造等を目指した①社会的事業の評価についての考え方と方法論、②ロジックモデルを活用した、事業の構造を可視化する手法、③参加型／協働型評価のアプローチを学びます。
評価とは評価対象の価値を引き出し、高めるものである
評価学における評価とは「評価対象の価値を引き出すものである」と定義されています。評価は指標を測定して事実特定することだけでなく、評価対象についてどのような価値判断をするかが重要です。
まず、評価のなかでも、社会的な目的をもつ事業の価値を高めるための道具として、「プログラム評価」という方法論が紹介されました。プログラム評価では、アンケート等の社会調査手法を使った評価の他に、プログラムの内容、背景や文脈によってカスタマイズされた手法を用います。源さんは今日の講座を例にして「この講座は受講生のニーズにあっているだろうか」「講義内容の組み立ては適切だろうか」などの問いかけを提示しながら、「事業の価値を高めるためには複合的な視点が重要」と言います。
次に、生活困窮世帯の子どもへ学習支援をするNPOの事例を用い、具体的に掘り下げます。事業の目指す成果、評価でいうアウトカムが、「学校での成績が上がる」だったとします。しかし、評価の視点で捉えたときに「そもそも事業目的はこれでいいのか？」、「この活動だけで目的が達成されるのか？」、「活動の実施中に困難はないか？」など、さまざまな視点が必要になります。
「プログラム評価の5階層」（Rossi, Lipsey and Freeman, 2004: 80）に当てはめてみると、事業目的が適切かどうかという「ニーズ評価」、事業のデザインや設計の妥当性をみる「セオリー評価」、実施中に困難がおきたときにどのように対応するのかという「プロセス評価」にわけられます。その上の階層には、事業の成果を評価する「アウトカム／インパクト評価」、投入した資源に見合っているかを問う「効率性評価」もあります。源さんは「全部をやらなくてはいけないという意味では必ずしもありません。複数の視点が事業の目的である社会状況の改善につながる情報提供として必要になってくるということです。つまり、プログラム評価とは結果や成果だけを見ることではありません」と強調します。
ロジックモデルを活用し、事業を改善する手法を学ぶ
次に、「いったい何を評価するのか？」つまり評価対象事業の構造を可視化する手法について解説します。ここで活用できるのが、「ロジックモデル」です。ロジックモデルは70以上もの種類があるそうですが、基本的な考え方は共通していて、事業構造の構成要素を言語化し、手段と目的の関係性を可視化するものです。
ロジックモデルの構成要素は、事業の目的や事業実施によるインパクトにあたる「アウトカム」と、そのための手段として、リソースとなる「インプット」、インプットを活用して行う「活動」、活動によって生じる結果である「アウトプット」があります。また、アウトカムは外部要因によって影響を受ける可能性があるため、活動とアウトカムの関係性を指す「帰属性」の検証が必要となります。
先ほどの生活困窮世帯の子どもの学習支援をするNPOの例でいうと、事業のアウトカムをＮＰＯのミッションに照らし合わせ、かつ子どもたちのニーズを踏まえて、「学校の成績が上がる」から「子どもの自己肯定感が高まる」「将来に希望がもてる」と再設定した時に、学習支援の中身やアウトプットの変更、保護者への支援や地域社会へのアプローチといった活動を追加するなど、手段を変えています。源さんは「ロジックモデルは、事業をどのように効果的に実施していくか、そのアウトカムを達成するための戦略を見直す道具です」と伝えます。
続いて、ロジックモデルを活用した、指標の検討です。指標とは、あらかじめ決められたものが存在しているのではなく、事業の実施主体が知りたいことは何か、事業の価値をどのように可視化するか、事業改善のために必要な情報は何か、といった観点から自分たちで設定するものです。指標＝数値と考えられがちですが、人の価値観、信念、意欲、意図や気持ちの変化を測る、質的な指標も必要です。テキストマイニングや内容分析といった質的データの分析方法の他に、アンケートでよくある５段階評価など、質的データを量化する手法もあります。
では、芸術文化領域の事業でロジックモデルを活用することはできるのでしょうか。源さんは「アートは予め目的を設定することが難しい」と理解を示したうえで、芸術文化領域の事業に合わせたロジックモデルの活用法について、体系的にまとめます。
アートでは、わくわく感や感動、多様なものの見方といったクリエイティブ・プロセスで起こる内省的な変化や内発的なもの、またそういった変化を生み出す状況を創り出すことが本質的価値であるといえます。それは行政や官ではなく、私たちに開かれた公共＝パブリックの価値と捉えられます。そして、評価という行為を通してクリエイティブ・プロセスでどのような価値が生まれつつあるのかということを可視化・言語化し、どう社会的な広がりにつながっているのか、あるいは自分たちのミッション・ビジョンに近づいているのかということをみていく際に、ロジックモデルの思考が活用できると言います。
さまざまな視点から対話を重ねる「協働型評価」とは？
次に、組織あるいは実施主体の強化につながる評価として、「協働型評価」を紹介します。協働型評価は事業に携わる人や関係者・ステークホルダーが対話を通して事業の構造を可視化し、評価を継続的に行う手法です。
協働型評価の特徴として、現場で実践している人が主役ということです。実践者は現場での経験を通して言語化できない知識＝暗黙知を持っています。暗黙知という質的データと、過去のデータやエビデンスといった量的データの両方を使いながら、異なる視点を持つ人達と共に、取組の目的や手段等について対話を重ね、事業の継続的な改善と循環につなげます。様々な意見や立場のステークホルダーとの対話は、異なる価値観をすり合わせることによって新たなアイデアの創出、つまり創発的思考を促し、関係者同士の協働関係を強化し社会関係資本（ソーシャル・キャピタル）を醸成します。そして、取組を可視化して、生み出される新たな価値を社会的に共有できているかを検証する一連のプロセスが協働型評価です。また、取組やそこから創出される価値を発信することは組織のアカウンタビリティを果たすことにもつながるため、事業を実施する組織の基盤強化も期待できます。
源さんは最後に「評価的思考」という言葉をこの講座で覚えてほしいと伝えました。評価的思考とは、プログラムの構造を見える化して意味のある問いを投げかけ、情報に基づいた決断のもとに次の行動を起こすプロセスのことです。「できるだけ客観的なデータをもとに取組を可視化し、その意味を解釈し社会的に発信していくことは、仲間作りやアート分野の取組の価値そのものに繋げていけると思う」と、源さんは前半の講座を締め括りました。オンライン配信にて実施した講義は、評価の定義や手法の解説まで、評価の本質を捉えなおす濃密な時間となりました。
協働型評価ワークショップのススメと、評価指標
後半は、会場に集まった受講生との体面形式で、ロジックモデルを用いた評価デザインや指標の検討について学びます。
琵琶湖博物館で学芸員と一緒に実施した協働型評価ワークショップを事例に、手順や指標を具体的に示しながら解説します。まず、博物館が目指したい社会の状態、つまり最終アウトカムが置かれたロジックモデルをみながら、中間アウトカムや最終アウトカムを実現するための手段ともいえる直接アウトカム、直接アウトカムに対応する事業まで、全体の構造を確認します。
続いて評価の設計をしていく際に検討すべき4つの要素について、博物館の事例を用いて説明します。中間アウトカムの「来館者が、新たな知見と自分との関係性を見出すことができる（自分ごと化）」を評価設問とした場合、「もっと自分で調査をしてみたいと思う人の割合」などの指標が挙げられます。そして、その指標を測るために質的側面を量化し分析可能な５段階評価のアンケート項目を設定する、というように評価をデザインしていきます。このように、評価をとおして明らかにしたいことを自分たちで設定し、評価計画を立てるうえでもロジックモデルを活用することができます。
最後は受講生からの質疑応答の時間です。ある受講生が「文化、芸術の効果は即時的でないことも多い。10年後、20年後の変化をどう評価するのでしょうか」と問いかけました。源さんは、「ある対象者を10年間追い続ける調査ができれば不可能とは言い切れないが、10年、20年の間にある外的要因も多いため、事業とアウトカムの帰属性の判断が難しい」と応えます。
また別の受講生が「参加人数などのアウトプットを求められる事務事業評価が多いが、それ以外の評価をすることでどのように組織が変わりますか？」と質問すると、源さんは事務事業評価をやめて、プログラム評価を導入した行政機関の事例を挙げ、「協働型評価の導入によって組織風土が変わり、職員の戦略的思考が引き出された」というエピソードを紹介します。質問した受講生も「自分の組織でも取り入れたい」と意欲を見せました。ファシリテーター／アドバイザーの若林朋子（わかばやし・ともこ）さんも「言葉に落とし込む機会と考えて前向きにやっていきたいですね！」と受講生をエンパワーメント。２時間半の講座があっという間に終わりました。
次回の第３回講座は、「ロジックモデルを活用し改善・変革していく術を磨く」。今回と同様、源さんを講師にお迎えして協働型評価ワークショップを受講生が実体験します。
※文中のスライド画像の著作権は講師に帰属します。
前半講座のアーカイブ動画（2025年3月末まで）はこちらからご覧いただけます。
講師プロフィール
源由理子（みなもと・ゆりこ）
明治大学公共政策大学院ガバナンス研究科 教授。国際協力機構(JICA)等を経て現職。専門は、評価論、社会開発論。改善・変革のための評価の活用をテーマとし、政策・事業の評価手法、自治体、NPO等の評価制度構築、関係者による参加型（協働型・協創型）評価に関する研究・実践を積む。近年は特に、社会福祉分野、文化芸術分野における関係者のエンパワメントや組織強化につながる評価のあり方に関心を持つ。主著に『プログラム評価ハンドブック～社会課題解決に向けた評価方法の基礎・応用』（共編著、晃洋書房、2020年）、『参加型評価～改善と変革のための評価の実践』（編著、晃洋書房、2016)など。
編集協力：株式会社ボイズ
記録写真：古屋和臣
運営：特定非営利活動法人舞台芸術制作者オープンネットワーク（ON-PAM）
事業詳細
キャパシティビルディング講座2024
～創造し続けていくために。芸術文化創造活動のための道すじを“磨く”～
東京芸術文化相談サポートセンター「アートノト」
東京芸術文化相談サポートセンター「アートノト」は、東京都内で活動するアーティストやあらゆる芸術文化の担い手の持続的な活動を支援し、新たな活動につなげるプラットフォームです。オンラインを中心に、専門家等と連携しながら、お悩みや困りごとに対応する「相談窓口」、活動に役立つ情報をお届けする「情報提供」、活動に必要な知識やスキルを提供する「スクール」の3つの機能で総合的にサポートします。
アーツカウンシル東京
世界的な芸術文化都市東京として、芸術文化の創造・発信を推進し、東京の魅力を高める多様な事業を展開しています。新たな芸術文化創造の基盤整備をはじめ、東京の独自性・多様性を追求したプログラムの展開、多様な芸術文化活動を支える人材の育成や国際的な芸術文化交流の推進等に取り組みます。