キャパシティビルディング講座2024｜レポートVol.03：協働型プログラム評価を実践し、組織強化につなげよう
源由理子さんによる第３回講座「ロジックモデルを活用し改善・変革していく術を磨く」
2024年9月25日に開講した第３回講座では、ロジックモデルを使った協働型プログラム評価を実際に行い体験するワークショップを行いました。第２回に続いて源由理子（みなもと・ゆりこ）さんを講師にお招きし、ワークショップのファシリテーションも担っていただきながら進行します。
前回の振り返りとワークショップのルール説明
講座冒頭で、前回の振り返りと、ワークショップにあたってルールの共有がありました。ロジックモデルとは、事業の目的を達成するためにどのような活動をしているのか、言葉で可視化することにより事業の構造を明らかにする道具です。ロジックモデルを考えるときは、事業の目的である「最終アウトカム」から考え始め、逆算するように手段を考えます。留意点は、アウトカムを「主語＋述語」の形で具体的に考えること。目標を達成するための中間アウトカム、直接アウトカム、手段である事業や取組みまで、ツリー上に構成していきます。
ロジックモデルにおける手段と目的の因果関係を「帰属性」と呼びます。「本当にこの活動でこの目的が達成されたのか？」など、帰属性を問うことで事業の手段などを見直すことができます。ロジックモデルはあくまでも目標達成に向けた戦略的思考を引き出す道具。絶対に守らなくてはいけない「管理すべき計画」として扱わないようにしましょう。
「ロジックモデルは活動とその結果や変化の構図が直線的すぎる。現実はこのようにはいかない」という批判もありますが、多様な関係者と一緒に効果的なやり方を考える協働型アプローチにおいては、あえてリニア（直線的）に可視化し、わかりやすい共通言語にするという特徴があります。また、予めアウトカムを設定することだけでは芸術文化の価値や良さの全ては抽出できないといったとき、予期せぬ反応を引き起こす芸術文化の世界で、どのようにロジックモデルを使っていけばよいのか、源さんも「ぜひ皆さんと意見交換したい」と話しました。
今回のワークショップはファシリテーター／アドバイザーの小川智紀（おがわ・とものり）さんが理事長を務めるNPO法人が実施している、公設学童など地域の子どもたちの居場所で文化体験プログラム実施するという事業をベースにした事例を用いて行います。事業主体であるNPOの組織目的、事業の背景、事業の概要、プログラムの基本方針、活動内容、事務局が感じている課題・問題が示されます。これらを参照しながら、この文化体験プログラムをよりよくしていくためのロジックモデルづくりに、受講生全員で取り組みます。
ロジックモデルをつくるときは、事業を通じてどのような価値を創ろうとしているのか、なぜやるのかということを関係者で議論することが重要です。今日は既存の事業からロジックモデルを立ち上げていくワークショップですので、事例に示されている最終アウトカムを基に「その状態になるためにはどのような中間アウトカムになるとよいのか」と、各自が考え、配布された付箋に書き込んでいきます。
「付箋の内容は『私たちの意見』とし、書いた人物によって意見に上下関係が生まれないようにします。参加者は異なる立場で経験・知見をもっているという意味で対等です」と話す源さん。また、「意見が違うのは当たり前。誰かに賛同する合意形成ではなく、納得できる新しい解が生まれると良い」と受講生に伝えました。
最終アウトカムを確認し、中間アウトカムと手段を検討する
ワークショップで取り上げた事例の最終アウトカムは「より多くの子ども達が複雑化する社会を生き抜く力を身につける」。この目標が達成されるためにどのような状態になったらよいのか、受講生が考えた18枚の付箋が貼り出されました。源さんは挙げられた付箋を読み上げながら、似ているもの、手段と目的の関係になっているものなど受講生に問いかけながら、分類します。例えば、「子どもたちが福祉制度について知る」や「人権教育」と書かれた付箋の共通点、あるいは異なる視点について受講生がマイクを手にとって意見を重ねていきます。源さんは、受講生との対話を重ねながら、それぞれの付箋を中間アウトカム、直接アウトカム、手段といった階層に貼りかえ、ロジックモデルが構成されていきました。
次は中間アウトカムを実現するための活動を考えます。受講生が４つのグループに分かれて話し合い、活動内容を列挙し、アウトプットも設定します。事例で示された4つの具体的な活動、「文化プログラムの作成をする」、「参加者の募集と通知をする」、「各プログラムを実施する」、「報告書を作成する」を各グループで分担し話し合います。
参加者の募集と通知をするグループでは、「無料配布される自治体の広報物に情報を載せる」や「子ども自身の口コミで広げる」といった活動が挙げられます。各プログラムを実施するグループでは、「不登校・引きこもりの子も気軽に外に出るようになる」という中間アウトカムの実現のために、子ども食堂や公園、道路などでイベントを行うといったアイデアが議論されています。各グループで出された活動も付箋に書き込み、ホワイトボードに貼り付けていきます。
さまざまな活動が書き込まれた付箋が貼り出されていくのを見て、源さんは「さすが実践知をもつ人たち！」と驚きの表情。列挙された活動を見ながら、中間アウトカムとの関連やアイデアの背景を受講生と確認します。その際に、一般的に予算は“最終アウトカム”ではなく“活動”に紐づくことを指摘し、「動員人数などのアウトプットだけが評価されがちですが、実際に参加者や状況に変化がない、つまりアウトカムが実現していなければ事業をやる意味がありません。その場合には手段としての活動を見直す必要があります」とアウトカムの重要性も再度強調しながら出来上がった図を講評しました。
ロジックモデルを基に評価指標を検討する
後半では作成したロジックモデルから評価指標と調査方法を検討します。収支報告や参加人数などのアウトプットではなく、事業の実施主体が目的とする、介入による変化（アウトカム）を捉える指標を検討しなくてはいけません。ロジックモデルにあるアウトカムを一つ選び、それを評価する指標を考えていきます。
プログラムの作成を考えたグループは、「子どもが多様な価値観を持つ」というアウトカムを選びました。前半で挙げられた「車椅子で障害物競走をする」「いろんな人と散歩する」という活動から、参加前後の車椅子に対するイメージの変化を指標にできるのではと話し合っています。「不登校・引きこもりの子も気軽に外に出るようになる」を選んだグループは、イベント参加のリピート数といった定量的な指標を設定しつつ、「学校より楽しかったか？」という質的な質問項目も加えました。
「指標はアウトカムと活動の関係で考えるもの。ロジックモデルの作成と指標の検討は密接な関係」と話す源さん。指標に基づき評価した結果、アウトカムが達成されていなさそうであれば、活動を見直すことや異なる指標をとるなど改善につなげるポイントを伝えました。
ロジックモデルと指標の検討についての講義を終え、終盤の質疑応答タイムに。評価手法のひとつであるアンケートについて、「回答者数を増やすには？」という実務的な質問には、他の受講生から「プレゼントを付ける」「アンケートの目的や利用用途を丁寧に説明する」などのアイデアが挙がり、源さんからは「インタビューなど他の方法を考えてもよい」と調査方法の別案も紹介されました。また、「指標化できないアウトカムはあるか」という質問には、あまりにも抽象的なアウトカムは難しいが、それはアウトカム自体の設定に問題がある。一方、質的なものは指標化できないと言われることがあるが、自分たちが目指しているものが明らかであれば、指標化できないものはない、と強調しました。
そして最後に協働型プログラム評価の可能性を、再度伝えます。「評価のプロセスでステークホルダーの関係性が生まれ、内部で評価を行えば組織強化につながります。このプロセス自体も有効活用できるんですよ」。第２回に続いて、理論と実践で事業の価値を引き出す評価手法を学んだ今回。まだ話し足りないという、高揚した空気で講座が終了しました。
次の第４回講座は「実践者との対話を通じ活動の推進力を磨く」。自らNPO法人を立ち上げ、アートと福祉を融合させた実践を続けてきた久保田翠さんを講師にお迎えします。
※文中のスライド画像の著作権は講師に帰属します。
講師プロフィール
源由理子（みなもと・ゆりこ）
明治大学公共政策大学院ガバナンス研究科 教授。国際協力機構(JICA)等を経て現職。専門は、評価論、社会開発論。改善・変革のための評価の活用をテーマとし、政策・事業の評価手法、自治体、NPO等の評価制度構築、関係者による参加型（協働型・協創型）評価に関する研究・実践を積む。近年は特に、社会福祉分野、文化芸術分野における関係者のエンパワメントや組織強化につながる評価のあり方に関心を持つ。主著に『プログラム評価ハンドブック～社会課題解決に向けた評価方法の基礎・応用』（共編著、晃洋書房、2020年）、『参加型評価～改善と変革のための評価の実践』（編著、晃洋書房、2016)など。
編集協力：株式会社ボイズ
記録写真：古屋和臣
運営：特定非営利活動法人舞台芸術制作者オープンネットワーク（ON-PAM）
事業詳細
キャパシティビルディング講座2024
～創造し続けていくために。芸術文化創造活動のための道すじを“磨く”～
東京芸術文化相談サポートセンター「アートノト」
東京芸術文化相談サポートセンター「アートノト」は、東京都内で活動するアーティストやあらゆる芸術文化の担い手の持続的な活動を支援し、新たな活動につなげるプラットフォームです。オンラインを中心に、専門家等と連携しながら、お悩みや困りごとに対応する「相談窓口」、活動に役立つ情報をお届けする「情報提供」、活動に必要な知識やスキルを提供する「スクール」の３つの機能で総合的にサポートします。
アーツカウンシル東京
世界的な芸術文化都市東京として、芸術文化の創造・発信を推進し、東京の魅力を高める多様な事業を展開しています。新たな芸術文化創造の基盤整備をはじめ、東京の独自性・多様性を追求したプログラムの展開、多様な芸術文化活動を支える人材の育成や国際的な芸術文化交流の推進等に取り組みます。