研修効果測定をめぐる冒険
こんにちは。人材育成・組織開発しているうえむらです。本記事では研修効果測定をテーマに、私がこれまでに辿ってきた経験とその過程で得た学びを書き連ねていきます。
とある研修担当者のモヤモヤ💭
私がまだ人材育成の担当者になって間もないある日のこと。元上司との1on1で以下のような会話をしました。
元上司「最近モヤモヤしたことや悩みなどがあれば教えてもらえますか？」
うえむら「モヤモヤというほどではないのですが、人材育成の仕事…特に研修を何をもって成功・失敗とするかの定義が曖昧なことが気になっています。
元上司「なるほど。ちなみに成功の定義が曖昧なことが気になる背景についても教えてもらえますか？」
うえむら「そうですね、、研修のねらいが社員に提供できているか分からないと研修の改善点が見えない点が大きいと思います。あとは単純に自分の仕事の良し悪しが分からないことへの気持ち悪さもあります。
元上司「仕事の良し悪しについては、私もある程度経験を積むことでしか判断できていないかもしれませんね。改善点が見えない点についても同感です。うえむらさんが『こうしたい』と思われていることはありますか？
うえむら「現在も研修毎にアンケートは取っていますが、研修の企画段階で成功基準や成功水準を定められるとより良いと思います。特に定期的に実施する研修については惰性になりがちなので継続的に効果をモニタリングできるとよいのですが。」
元上司「おっしゃる通りですね。これまではそうしたことに取り組めていませんでしたが、ぜひ一緒にチャレンジしていきたいです。」
当時新米人事だった私の目には、研修がどのような効果をもたらしているかが見えづらく、また研修を適切に振り返ることができていないように見えていました。上司との会話を経て研修効果測定というテーマに取り組むことになりました。
満足度調査からの脱却
研修効果測定を考えるにあたり、まずはこれまで実施してきた研修でどのような手法が取られているかを調査しました。するとほとんどの研修でアンケートが取られていることが分かりました。アンケート項目の多くは「研修の満足度を5段階評価で答えてください」「研修で学びや気づきは得られましたか」といった定量的な設問、またその中身について記述させる定性的な設問から構成されていました。
これらの設問は研修の場そのものが効果的にワークしているかを調査することに役立ちます。研修内容だけでなく、オンラインを含めた研修会場がもたらす体験や、受講者同士の交流も満足度の値に影響するでしょう。研修によって企図した知識・マインド・スキルを受講者が習得するために、研修満足度は重要な指標のひとつであることは間違いありません。
一方で、もちろんこれらの設問だけでは研修の効果を測るには不十分です。分かりやすい点でいえば、研修直後のアンケートはあくまで研修の場を評価するものであるため、受講者が研修で学んだことを職場に持ち帰って実践したかどうかについては評価することができません。
研修効果測定に取り組むにあたり、まずはどのような考え方が存在するかを知るために書籍や記事をインプットしていきました。効果測定には様々なフレームワークが存在しますが、どの書籍でも「カークパトリックモデル」がベースとなっていました。このモデルはReaction(反応)、Learning(学習)、Behavior(行動)、Results(成果)の4段階から構成されています。
カークパトリックは世界一有名なモデルと言われていることもあり、新米人事だった当時の私も名前は聞いたことがありました。またレベル1、2まではアンケートやテストで計測できるが、レベル3、4については計測が難しいという話もよく聞いていました。とはいえモデルを知っていることと実際に効果測定ができるかはまた別の話。レベルを上げていくためにどういったアプローチが有効なのかについてはもう少し掘り下げていきたいところです。
研修効果測定についての理解を深める上で特に役立ったのが『研修開発入門 「研修評価」の教科書 』という書籍です。本書では研修評価の研究史を知ることができ、特定の知識に偏らず全体像を掴むことができました。カークパトリックモデルについても、高次のレベルを得るためのメカニズムが紹介されており参考になります。
またカークパトリックモデルをもとにした様々な研究から分かったこととして以下の3点が挙げられています。
(1) レベル4の成果を生み出すのは、レベル3の行動を導けたときである
(2) レベル3の行動に関係しているのは、研修直後の自己効力感である
(3) レベル2の学習レベルやレベル3の行動を研修直後の満足感は予測しない
カークパトリック以降、様々な研修評価研究が発展していくことにも繋がりました。特にジャック・フィリップスの「ROIモデル」に代表される「レベル5: ROI」を追加する考え方により、研修の費用対効果にも目が向けられることになります。その一方でROIを過度に追求することには技術的な困難が伴う点や、実際には経営者がそれを評価するとは限らなかった点もあり、ROIを示すアプローチは限定的なものとして取り入れられるケースが多いようです。
研修効果測定の４段階モデル(カークパトリックをベースにしつつ、2〜4の段階をサブパートに分割したもの) pic.twitter.com/rBDhk98ap4
— うえむら (@uemura_HR) January 19, 2025
ここまでの内容をまとめると「研修の効果であるビジネス成果に向けた行動を導くために、学習と行動を紐づける自己効力感をいかに醸成するか」という点がポイントになりそうです。また研修直後の満足度は研修評価のレベルを高める要因になりづらいという点も頭に入れておくべきでしょう。研修満足度を中心とする効果測定から脱却することが、効果的な研修提供の第一歩と言えるかもしれません。
何のために研修効果を測りますか？
研修効果測定についての理解が少しだけ深まったある日。元上司との1on1で嬉しいニュースが届きました。
元上司「我々のチームに新しい仲間がジョインすることになりました。」
うえむら「おお、それは嬉しいですね！どんな方なんですか？」
元上司「それが前職で人材育成系の会社にいた方で、研修周りの効果測定もご担当されていたそうなんです。」
うえむら「本当ですか！研修の効果測定をどう進めるか悩んでいたので一緒に進められると嬉しいですね。」
元上司「その方もこれまでの知見を活かしたいと仰っていまして、一緒に進めてもらえると私も嬉しいです。」
それからほどなくして、元上司から紹介されたメンバー(以下、Aさん)がチームに合流しました。早速Aさんと1on1を設け、私は自己紹介もそこそこに、これまでの経緯や問題意識を話し、研修効果測定を改善していきたいことを伝えました。Aさんは私のお願いを快諾すると共に、これまでの知見を活かして研修効果測定の勉強会を開いてくれることになりました。
Aさん「いじわる質問だったら申し訳ないですが、研修効果を測って、何らかの数値結果が出たとして、それをどう使いますか？」
・上位者に報告するため
・研修自体を継続するかどうか決めるため
・研修の内容を継続するか決めるため（改善ポイントを見つけるため）
・研修の外注先を継続するか決めるため
・社員全員が知るべき共通知識を定着させるため
・未経験者が能力を発揮できるようオンボーディングを促進するため
・会社が求める能力・行動を満たす人材が増えたか検証するため
・会社が求める能力・行動に合わない人材の行動が変わったか検証するため
・優秀な人材に魅力ある施策になっているか検証するため
・チームとして成果が出る組織になっているのか検証するため
・会社として業績向上につながる施策になっているか検証するため
Aさん「効果測定をする場合、フラットに、懐疑的に客観的に行っていきます。結果的に"効果がない"ことが分かるかもしれません。でもそれは、皆さんの施策を否定するものではありません。何のために効果測定をするのかを最初にすり合わせることが重要です。とりあえず効果を測定するだけでは、ひどい結果、無駄な数値を出す羽目になります。面倒かもしれませんが、よろしくお願いします。」
Aさんがこのように慎重に前置きをしてくれたことは今でも記憶に残る体験です。研修効果を測ることは自分達がこれまで目を背けてきたものをも映し出すことがある。それを受け入れる覚悟はありますか？と問いかけられている気がしました。
同時に上記のやり取りを通じて研修効果測定は万能薬ではないということがよく伝わってきました。ひとえに「効果」といっても様々な側面があります。その中からどの面を見たいかを明確にするためには、まず目指すゴールの解像度を高める必要があります。効果測定は企画と切り離されたプロセスにはなり得ず、むしろ企画に内包された行為であることを理解しました。
このような前置きをしつつ、Aさんはチームメンバーに研修効果測定にまつわる先行研究や知見をシェアしてくれました。そのいくつかを参考までに紹介します。
メーガーの三つの質問
アメリカの教育工学者ロバート・メーガーが掲げた「三つの質問」を活用することによって、研修設計の骨子を明確にすることができます。
「Where am I going?」研修のゴールとして、どんな場面でどんな行動を取れることを目指しているか
「How do I know when I get there?」ゴールに到達したことをどのように評価するか
「How do I get there?」受講者がどのような道のり経てゴールに到達するか
ブルームのタキソノミー(教育目標分類学)
教育の目標とする領域を「あたま(認知的領域)、こころ(情意的領域)、からだ(精神運動的領域)」 の3領域に分類し、それぞれにレベル分けを提案したもの。研修に適用する際には、研修によって変えたいのがどの領域のどのレベルにあるかを意識すると良さそうです。
ガニェのID(インストラクショナル・デザイン)理論
アメリカの心理学者ロバート・ガニェが提唱した効果的な教育設計のフレームワークに「5つの学習成果分類」「9つの教授事象」というものがあります。先に挙げたブルームの3領域のうち「認知的領域」を更に5つの領域に分類し、それぞれに学習成果や評価指標を示しています。これは研修が「何を教えるか」の解像度を高めることに役立ちます。また9つの教授事象では学習の段階に応じて教師が行うべきステップが示されており、こちらは研修で「どう教えるか」を考える際に役立ちます。
これらの理論を体系化したものが「インストラクショナル・デザイン」と呼ばれています。以下の記事に分かりやすくまとめられており、参考になりました。
効果測定の共通フレームワークをつくろう
勉強会を経て、人材育成のチームメンバーとも効果測定について会話する機会が生まれるようになりました。特に話題になったのは、研修担当者によらず研修品質を担保する仕組みが提供できるとよさそうという点でした。すでに多くの研修を提供し、担当者の入れ替わりもあるなかで、研修によらずPDCAサイクルを回すことで持続的にチーム活動を改善していきたい。そうした共通認識を持てるようになったことも勉強会の効用のひとつであったように思います。
その結果としてAさんを中心に効果測定の共通フレームワークをつくるタスクが立ち上がりました。どの研修においても効果的にPDCAサイクルを回すことを目的に、元上司や私、他のチームメンバーとも対話を重ねながら共通アンケートという形でアウトプットイメージを固めていきました。
共通フレームワークを作成するにあたり重視したのは、先に挙げたカークパトリックモデルの「レベル2:学習」から「レベル3:行動」への移行にフォーカスし、いわゆる「研修転移」を促す要因が満たされているかを測定することです。
研修転移とは、「研修で学んだことが、仕事の現場で一般化され役立てられ、かつその効果が持続されること」を指します。
研修転移が発生するメカニズムについてはいくつかの論文を参照していますが、特に分かりやすかったもののひとつが「Transfer Distance Conceptual Model」(Holton 2003)です。このモデルは知識の獲得から持続的なパフォーマンスへと至るプロセスをLearning ProcessとWork Processとして分類し、合計6つのステップとして示しています。
また研修後の実践フェーズにおいて、研修で得た学びを活用できているかどうかについても合わせて測定するようにしました。こちらについては学習転移のフレームワークと合わせて「経験から学ぶ力の三要素」を参考にしています。
これらの要素をベースにして効果測定のフレームワークを作成し、効果測定結果をいつでも経営報告できるようにレポートとして可視化しています。この取り組みによって、各研修でのPDCAサイクルを効果的に回せるようになっただけでなく、担当者が変わっても研修品質を把握し、改善し続けられる仕組みを整えることができました。
それからどうなった⌛
共通フレームワークを策定してから約3年が経ちました。元上司を含めて何人かのメンバーが入れ替わった今でも各研修のPDCAサイクルを着実に回し続けることができており、研修効果測定で当初掲げた目的は果たされています。加えて、研修だけでなく我々自身にもいくつかの変化が現れるようになりました。
経営との対話の質が向上した💪
経営層が注視する研修については受講レポートを作成し経営報告を行っています。研修レポートのフォーマットが統一されたことで、効果を伝えやすくなった側面があると感じています。またその結果、経営層からも「前回実施との差分が生まれた理由について仮説で良いので知りたい」「定性コメントのこの部分はどういった理由から来ていると思う？」といった具体的な質問を受ける機会が増え、社員を理解するための対話の質が向上しています。
現場との対話の質が向上した💪
研修によっては現場のマネージャーや育成担当者も運営に関わる機会があります。その際に効果測定レポートを見ながら会話をすることで、現場から見た結果の考察やその背景となる生の情報を得ることができ、対話の質が向上しています。また現場で設定しているKGI/KPIに対して研修がどのように寄与するかという会話や、日々のビジネス活動で学びを活かすための仕掛けなど、研修を現場のツールとして活用する動きも出始めており、この先が楽しみな面もあります。
研修結果をニュートラルに受け止められるようになった💪
効果測定が共通化されたことで、研修担当者が自身が実施した研修のフィードバックを素早く受け取ることができるようになりました。良い結果が返ってくればもちろんモチベーションが上がります。しかしより重要なのは、狙った効果に達していない際に、それをタイムリーに把握し、改善策を打てるようになったことです。ビジネス環境の変化や人員構成の変化などによって、一度ハマった研修であっても繰り返し実施する中で陳腐化してしまうことはよくあることです。前任者から引き継いだものを惰性で回すのではなく、どうすれば効果的な研修を提供できるかを考える習慣を持てるようになったことが長い目で見た成果だと思っています。
おわりに
本記事のカバー範囲はあくまで効果測定の土台部分であり、本丸となるような取り組みはまだまだ道半ばです。個々の研修をより深掘りした統計分析や、アンケートだけでなく行動情報、スキル情報を活用した効果測定などについては徐々に取り組み始めているところです。
とはいえここまでの道のりにも十分価値があると思い、ふりかえりを兼ねて記事を書くことにしました。記事を書くことで自分自身の整理にも繋がったように思います。これから効果測定に取り組む教育・研修担当者の一助になれば幸いです。
それでは、また。
うえむら（@Uemura_HR）