研修プログラムの評価：学習効果と職場への応用を測定するパイロットプログラムの実施方法

パイロットプロジェクトが終了した。12人が参加し、ほぼ全員が有益だったと述べ、ファシリテーターも満足していた。ところが、オペレーション責任者が「誰か仕事のやり方を変えた人はいたか？」というもっともな質問をした。パイロットプロジェクト実施前に人々の働き方を測定した者も、他の参加者と比較した者もいなかったのに、チームは同じ月に業務プロセスを変更したのだ。パイロットプロジェクトは好意を生み出しただけで、証拠は得られなかった。

これはあくまで例示であり、実際の顧客事例ではありません。研修プログラムの評価においてよくある失敗例を示しています。つまり、パイロット版は実施されるものの、そもそも何らかの疑問に答えるように設計されていないということです。

このガイドは、人材開発責任者、インストラクショナルデザイナー、トレーニングマネージャーを対象としています。パイロット調査の質問の定義、参加者とベースライン指標の選定、学習過程の記録、新しいタスクのパフォーマンスと転移の評価、そして結果が展開にどのように影響するかについての合意という5つのステップを網羅しています。最後に、カスタマイズ可能なテンプレートと、残された制約事項を示します。

訓練パイロットとは何ですか？

トレーニングパイロットとは、学習設計を本格的に導入する前に、小規模かつ期間限定で実施するものです。その目的は、設計が実現可能かどうか、そして追求する価値があるかどうかを見極めることであり、あらゆる場面で有効であることを証明することではありません。

その区別は重要です。米国国立補完統合医療センターは、パイロット研究を、より大規模に使用される方法と手順の小規模なテストと説明し、パイロット研究は有効性に関する疑問に答えるだけの検出力がないため、示された効果は不安定であると警告しています（NCCIH、パイロットスタディ：一般的な使用例と誤用例そのガイドラインは医療研究向けに書かれたものですが、その論理は応用できます。12人程度のパイロット研究であれば、被験者の募集、実施、効果測定、フォローアップが可能かどうかは分かります。しかし、組織全体への影響の大きさを確信を持って示すことはできません。

クイック事実

1. パイロット質問を定義する

まず、はい／いいえ、または数値で答えられる質問から始め、その質問がどのような意思決定に役立つのかを明確にしてください。

弱い質問：「新しいオンボーディングプログラムは効果があるのか​​？」検証可能な質問：「再設計されたオンボーディングの後、新入社員はサポートなしで標準的な顧客エスカレーションに対応できるか、また、限られたコーチング時間でこのパイロットプログラムを実施することは現実的か？」

３つのことを書き留めてください。

• その任務。 人々はこれまでできなかったこと、あるいはうまくできなかったことを、どのような形でできるようになるのだろうか？
• 決定。 デザインを見直すのか、別の試験運用を行うのか、それともより広範囲に展開するのか？
• 学習と提供に関する前提条件。 パイロットテストで検証すべき前提条件、時間、指導能力、ツールについて、どのようなことを想定していますか？

決定事項を明確に定義できないのであれば、試験運用を実施する準備はできていない。結果は、それに基づいて行動する人がいないまま、いずれ明らかになるだろう。

2. 参加者とベースライン測定項目を選択する

ベースラインとは、トレーニング前に人々がそのタスクをどのように遂行していたかを示す証拠のことです。ベースラインがなければ、「改善」を比較する基準がありません。

参加者は慎重に選ぶこと。 実際に業務を遂行する人、そして展開予定のグループに似た人を選びましょう。最も熱心なボランティアだけを集めたパイロットテストは、設計の完成度を高めるのに役立ちます。

基準値を取得する。 後で比較できるように、後で使用するのと同じ種類の測定方法を使用してください。選択肢としては、短い作業サンプル、構造化された観察、最近の成果物のレビュー、または採点済みの事例などがあります。対象者、対象者の数、および測定を行った日時を記録してください。

比較について考えてみてください。 最も効果的な設計は、パイロットプログラムを受けた人と、同様の条件で受けなかった人を比較することです。しかし、特に安全や法令遵守のために訓練が必要な場合、これは常に可能または公平とは限りません。段階的な導入は現実的な代替案です。あるグループが今すぐ開始し、同様のグループが後から開始し、後から開始したグループが最初のグループの比較対象となります。いずれの方法を選択するにしても、計画の中で、なぜそれが関係者にとって公平なのかを説明する必要があります。

3. 学習過程を提供し、記録する

証拠は、何が届けられたかが分かっている場合にのみ役立ちます。パイロットテストでは、配送にかかる費用と労力も検証対象に含まれるため、何が起こったかを簡潔に記録しておきましょう。

記録：

• 準備。 セッションの前に参加者は何をしていたのか、また、それにはどれくらいの時間がかかったのか？
• 練習。 彼らはどのような事例や演習に取り組み、どのようなフィードバックを得たのか？
• コーチング。 誰が、どれくらいの期間コーチを務めたのか、また、それはリアルタイムだったのか、非同期だったのか？
• 運用上の変更。 パイロット運用中に発生したその他の変更点、例えば新しいツールの導入、方針変更、季節的な繁忙期、マネージャーの交代など。
• 製品構成とコスト。 実際に使用したシステム構成、そして納品にかかった時間と費用。

最後の2つは、展開の決定において最も重要です。大規模な展開には費用がかかりすぎるレベルのコーチングが必要な設計は、貴重な教訓を与えてくれます。そして、ログはその教訓を如実に示しています。

4. 新しいタスクのパフォーマンスと応用を評価する

トレーニング評価は、カークパトリックモデルの 4 つのレベル (反応、学習、行動、結果) で説明されることが多い (カークパトリック・パートナーズパイロットは最初のレベルを超えて取り組むべきです。人々がそれを役に立つと感じたかどうかという反応はすぐに収集できますが、彼らが異なる行動をとるかどうかについてはほとんど何も語っていません。

新しい課題で学習内容をテストする。 参加者に練習していない事例を与え、ベースライン時と同じ基準で採点します。新しい課題は、人々が学んだことを応用できるかどうかを示すものであり、事例を覚えているかどうかを示すものではありません。

職場での曝露後の経過観察。 転移とは、学んだことを仕事に適用し、それを長期にわたって維持することを意味します。ボールドウィンとフォードによる1988年のよく引用されるレビューでは、転移を、学んだ内容を仕事に一般化することと、それを長期にわたって維持することの両方と定義し、トレーニング設計、研修生の特性、および職場環境がそれにどのように影響するかを考察しています（ボールドウィンとフォード、1988年)したがって、人々が実際に仕事をした後、例えば数週間後にフォローアップを計画し、同じタスクを再度測定してください。

記録の壁。 職場で新しい手法が使われていない場合は、その理由を尋ねてみましょう。必要なツールが不足している、上司が旧来のやり方を期待している、あるいは時間が足りない、といったことが原因かもしれません。これらは学習者の失敗ではなく、職場環境に関する知見です。

満足度から転移を推測してはならない。 良いフィードバック評価は記録しておく価値がある。ただし、それは行動の変化を示すものではない。

5. 結果が展開にどのように影響するかを決定する

結果を見る前に、判断基準を書き出しておきましょう。そうしないと、目にしたものを何でも受け入れる理由を見つけてしまいがちです。

シンプルな構造:

少人数グループで何ができるかについて正直に述べましょう。数値はあくまで目安として扱い、グループの規模と分母を明記し、効果量や効果の保証は避けましょう。研修の効果を主張する前に、同時期に発生した他の変化についても述べましょう。

パイロット測定テンプレート

例示です。この作業を行う実務者は、使用前に内容を確認する必要があります。

インタラクティブな配信が役立つ場面

インタラクティブ形式は、パイロット版の実践段階に適しています。各参加者がグループの回答を見る前に回答を確定するため、出席記録だけでなく、思考過程の記録も得られます。ファシリテーターはケースをライブで実行でき、同じケースを準備やフォローアップのために自己ペースで使用することも可能です。AhaSlidesはインタラクティブな学習をサポートし、ライブ配信と自己ペース配信の切り替えが可能です。使用する予定の特定のオーサリング、フィードバック、レポート機能は、ご自身のワークフローと照らし合わせて確認してください。また、AI、シミュレーション、統合機能は、実際に動作するまで外部機能または未確認機能として扱ってください。形式を選択するには、以下を参照してください。 適応型学習、インタラクティブ学習、ライブ学習をいつ活用するか測定したい思考に合わせてアクティビティをマッチングさせるには、次のガイドを参照してください。 学習活動をブルームの分類法に合わせる.

残る可能性のある制約

たとえ優れたパイロット版であっても、未解決の問題がいくつか残る。

• 少数。 パイロットプロジェクトは、実現可能性と方向性を示すものであり、大規模展開時にどれほどの効果が現れるかを示すものではない。
• 作業環境。 上司、ツール、あるいはインセンティブが逆の方向を示している場合、人は新しいタスクで優れた成果を上げても、それを職場で活用しない可能性がある。
• タイミング。 数週間後の経過観察では、6か月後に何が残っているかは分からない。
• 同時進行的な変化。 同時期におけるその他の変化も、改善の一因となっている可能性がある。
• 選択。 ボランティアとして参加した人々と、実際に支援を受ける人々は異なる可能性があります。

これらの問題については個別に解決策を計画し、パイロットテストで解決できなかった問題点をスポンサーに報告してください。

よくある質問

訓練用パイロットの機体はどのくらいの大きさであるべきか？

設計の実現可能性や測定のしやすさを検証するのに十分な規模でありながら、変更も容易に行える規模が望ましい。最適な規模は一つではない。グループの規模を報告し、結果はあくまで参考値として扱うこと。

研修プログラムを評価するには、対照群が必要ですか？

比較対象グループを設けることで証拠はより強固になるが、常に実現可能であったり公平であったりするとは限らない。ベースラインを設定し、同様のグループが後から開始する段階的な導入を行うという方法は、現実的な代替策となる。

転移を測定すべきタイミングはいつですか？

人々が職場で学んだことを実践する時間と機会を得た後、少なくとも数週間は様子を見てください。同じ作業を再度測定し、誰もその方法を使わなかった理由となる障壁について尋ねてください。

満足度は有用な指標だろうか？

これは学習体験の向上には役立ちますが、学習内容の転移を示す証拠にはなりません。新しい課題におけるパフォーマンスと併せて評価してください。

どこから始めれば

重要なタスクを1つ選び、パイロットテストの結果に基づいて下す決定事項を書き出してください。短い作業サンプルまたは評価ケースを用いて、少数の担当者が現在どのようにそのタスクを実行しているかを記録します。次に、パイロットテスト開始前に決定基準を書き出し、フォローアップの日程を手帳に記入してください。

練習ケースを自分のチームで実際に実行し、その後自分のペースで再利用する方法を確認するには、AhaSlides をご覧ください。