Как оценивать результаты обучения. Часть 3

Вернёмся к Киркпатрику. Нашёл статистику, которую сделали ASTD по тому, какой процент компаний на каком уровне снимает результаты обучения. Года этой статистики не знаю, но судя по тому, что было написано ASTD, а не их новое название ATD, то ему лет 10 точно. Но, не думаю, что есть сильные подвижки.

На каком уровне Киркпатрика оценивают обучения в компаниях

Только 7% компаний доходит до уровня “бизнес-результаты”. Именно поэтому, мне видится следующий уровень, который предложил прикрутить к модели Киркпатрика Филиппс - бессмысленным.

Киркпатрик-Филиппс.Пятый уровень. ROI.
На любом обучении тренеров, HRов, где разбирают эту модель, ведущий скажет такую фразу: "Крайне сложно посчитать ROI в обучении, иногда, проект по высчитыванию ROI может стоить дороже, чем само обучение". И, мне кажется, это не совсем верное утверждение. Проблема расчёта ROI не в том, что оно стоит больших денег, а в непонимании:

• на что конкретно влияло обучение (это мы разбирали во второй статье);
• к какому бизнес-результату оно привёло (4 уровень по Киркпатрику);
• какие есть ещё и косвенные бенефиты от обучения и как их “обсчитать”.

И вот, когда ты не знаешь как ответить на эти вопросы, тогда и возникает момент - "ну чтобы рассчитать ROI нам нужно много аналитиков, много данных собрать, в общем, это дорого".

Пример.
Чтобы быть детальным, возьму тот проект, про который писал - Кадровый резерв. Вот мы его сделали, достигли результата, о котором договаривались с бизнесом (нужное кол-во человек получили повышения), всё ок. Я хочу посчитать, а сколько денег приносит/экономит кадровый резерв компании? Допустим, данные такие:

• участвовало 150 человек;
• получили повышение 30 человек;
• о проекте знали почти все в компании.

Зачем бизнесу нужны были подготовленные 30 человек для повышения? Где тут профит бизнеса?

• Не нанимать со стороны. Так как со стороны больше вероятность промахнуться. Своих то ты знаешь, и примерно понимаешь, что от него ожидать.
• Назначить “готового” человека, с которым ты сразу будешь говорить на одном языке, а не объяснять, что такое “КМ со звёздочкой”.

Тогда получается, что я могу посчитать:

• Сколько нам стоит найм 1 руководителя этого уровня. Ок, это не сложно рассчитать.
• Посчитать сколько стоит адаптация руководителя, который пришёл из вне или без опыта обучения. А это уже достаточно сложно.

А ведь кроме этого, у нас остаётся ещё 120 человек, не получивших повышения, но прошедших обучения. У них же тоже, наверное, что-то изменилось, в мышлении, поведении, в работе.
А то, что об этом проекте знают многие в компании и видят результат, наверное, тоже как-то повлияло? Наверняка, есть люди, кто увидев, что “карьерные лифты” в компании работают, передумают увольняться? Это же тоже стоит денег. Но это вообще не просчитываемо.
Именно поэтому, я рад, что в данном проекте руководство не просило рассчитывать ROI или считать прибыль. Была задача - её выполнили. В большинстве учебных проектах стоит на этом поставить точку.
Это как ресторан, который решил поменять потершие кресла на новые. Как рассчитать прибыль, от этого изменения? А как рассчитать ROI кресел? Наверное, никак, если не натягивать сову на глобус. Просто бизнес понимает, что в ресторане должны быть свежие кресла (если концепция ресторана не утверждает другого) и это влияет на общий результат ресторана.
Моё виденье. Не стоит высчитывать деньги, если вы обучаете те профессии, которые сами, напрямую, не приносят деньги. Пока сложно. Перефразирую. Стоит считать эффект от обучения в деньгах, только в тех случаях, если вы обучаете людей, которые напрямую приносят деньги в кассу. Да-да, я про продавцов, как бы вы их не называли.
Когда мы начинаем высчитывать “прибыль от обучения”, которую принесло обучение руководителей, бухгалтеров, техников - чаще всего это профанация. Если нет алгоритма высчитывания прибыли, которую приносит сама профессия, то и считать прибыль от обучения этой профессии бессмысленно.
Но, всё таки есть несколько целей обучения, в которых можно попробовать посчитать деньги.

Как посчитать ДЕНЬГИ от обучения, там, где это возможно.
Знаю несколько направлений, где можно достаточно прозрачно рассчитать результат в деньгах.

• Цена ошибки. Если запрос был на обучение, которое должно снизить кол-во ошибок, например, у бухгалтера, тогда можно посчитать 4 уровень по кирпатрику (как изменилось кол-во ошибок, после обучения). И попробовать высчитать стоимость этих ошибок.
• Стоимость подбора нового сотрудника. Если обучение нацелено на рост сотрудника внутри компании или удержание имеющихся. То, высчитав результат 4 уровня (сколько человек вы удержали/вырастили по итогу проекта), можно его умножить на стоимость подбора - профит.
• Увеличение производительности труда. Размытый вариант, но если ваше обучение направленно на увеличение производительности труда (до обучение делал 6 "продуктов" в день, после стал делать 7), то можно попробовать рассчитать прибыль (важно - именно прибыль, а не маржу или стоимость) от повышения производительности и выдать её за результат обучения. Это сложный формат, в моём опыте такого не было.
• Обучение продавцов. Тут тоже не так легко, как кажется. Я видел как-то на одной конференции человек вскользь упомянул, “ну и дальше рассчитываем на сколько увеличились продажи после обучения”. Опытный ведущий, Миша Свердлов, схватился за это и попросил рассказать алгоритм подсчёта (это же капец как интересно), а человек поплыл и ответ был “ну засовываем данные в Power BI и получаем результат”. Сразу видно, не знает он как это сделать. А вам я расскажу, как это делал.

Как посчитать эффективность обучения продажников.

Прежде всего, без А/Б теста не обойтись. Все другие варианты у меня не получались, всегда найдётся влияние сезона, рекламы, новой вывески и т.д. Поэтому:

• Собираем группу, которая будет проходить обучение и контрольную группу, аналогичную, но, которую будем обучать во втором потоке.
• Определяем какой КПИ будем замерять. Чаще всего, это просто. Либо продажи какого-то конкретного продукта, на который работаете, либо маржинальность/расширение сделки, либо в целом выручка от продаж, либо… В общем, на что направлено ваше обучение, тот критерий и замеряем. Важно: Договориться с бизнесом не только о КПИ, но и о сроках, на котором замеряем результат. Моя рекомендация - само обучение + 2 недели после. На этом отрезке результат будет самым очевидным, а если его не будет, проще разобраться в причинах по горячим следам.
• Обучение. Начинаем считать. Я, когда уходил из компании REDMOND, записывал меленькое видео своему приемнику Алексею, как посчитать результаты тренинга (у нас там была ЗП тренера завязана на результаты продаж, после обучения, поэтому, это было важно). А вот и это видео:

Мой вывод: В большой части обучения не возможно посчитать сколько денег принесло обучения. Вернее так, невозможно ЧЕСТНО посчитать, придётся делать много допущений. Да, для разных отраслевых премий/выставок/конференций все пытаются подбить цифры, но чаще это выглядит смешно.

А есть ещё сложнейшая переменная в подсчёте результатов в деньгах от обучения. А на каком временном плече её измерять? 2 недели после обучения? Месяц? Год? Согласитесь, от ответа на этот вопрос будет зависеть результат.

Я не дам вам идеального ответа. Вернее, идеальный ответ - как договоритесь с заказчиком. Мой опыт показывал, что хорошо виден результат на плече 2-4 недели после. Это и понятно, потому что дальше, начинает накладываться много сторонних факторов и данные с каждым днём всё больше шумят.

При этом, есть процессы после обучения, которые начинают работать не сразу. Как говорят последователи Мэрилин Аткинсон - "значит результат догонит его позже".

Есть ещё одно мнение. Часто бывает, что когда человек начинает перестраивать свою работу, то вначале у него происходит падение результатов, пока он пробует новые техники и они получаются не идеально. Не могу не согласиться с этим мнением, такие ситуации я тоже видел.

Резюме 3 части.
Если вы достигаете результата, который согласован с бизнес-заказчиком - это и есть результат работы команды обучения! Обучение в компании - это вспомогательная функция, она направлена на повышение эффективности бизнеса, а не на то, чтобы самим зарабатывать. И только бизнес-заказчик, как ключевой стейкхолдер, ставит задачи и согласовывает цели. А вот если бизнес-заказчик поставит цель команде обучения - зарабатывать деньги, то это уже совсем другая история.