Первая современная книга о психометрике на русском языке оставила двоякое впечатление. Прежде всего - я обожаю автора, смотрю его выступления, фиксирую идеи, инструменты. Так что большая часть контента книги была мне знакома, что не помешало оформить предзаказ и с нетерпением ждать.
Ниже будут важные булиты (еденицы смысла), которые я вынес из книги. Но сначала, про большой минус.
Ниже будут важные булиты (еденицы смысла), которые я вынес из книги. Но сначала, про большой минус.
Книга сделана с практикой.
То есть, не просто теоретические аспекты, а прям с тем, как при помощи кода на языке R, его реализовывать!
Казалось бы - кайф! Почему же я говорю, что это минус?
📌 Книга 150 страниц, треть её занимает практика. Очень мало остаётся контента, для тех, кто не планировал изучать язык R)))
📌 Но ключевое - Дмитрий предлагает скачать базу данных и дальше практика выполняется на ней. То есть, у нас вдруг из небытия появилась база данных и мы с ней работаем. Ключевая проблема - у меня нет такой базы данных по своим продуктам и она не появится. Как следствие, ценность практики умножается на ноль.
Мы живём в эпоху экселя))) (прекрасно понимаю, что мы, корпоративное обучение, не совсем ЦА книги, и edtech живёт в другом измерении, но всё же). У корп_обучения (да и у HR в целом), огромная беда с данными.
А вот те вещи, которые я взял себе и буду адаптировать в "реалии эксель-данных", ниже.
То есть, не просто теоретические аспекты, а прям с тем, как при помощи кода на языке R, его реализовывать!
Казалось бы - кайф! Почему же я говорю, что это минус?
📌 Книга 150 страниц, треть её занимает практика. Очень мало остаётся контента, для тех, кто не планировал изучать язык R)))
📌 Но ключевое - Дмитрий предлагает скачать базу данных и дальше практика выполняется на ней. То есть, у нас вдруг из небытия появилась база данных и мы с ней работаем. Ключевая проблема - у меня нет такой базы данных по своим продуктам и она не появится. Как следствие, ценность практики умножается на ноль.
Мы живём в эпоху экселя))) (прекрасно понимаю, что мы, корпоративное обучение, не совсем ЦА книги, и edtech живёт в другом измерении, но всё же). У корп_обучения (да и у HR в целом), огромная беда с данными.
А вот те вещи, которые я взял себе и буду адаптировать в "реалии эксель-данных", ниже.
Важные ЕДЕНИЦЫ СМЫСЛА из книги.
Для корректного логирования нужно определить минимальные (атомарные) учебные элементы внутри продукта. Что считать минимальным элементом? Например, одно задание в тесте. Потому что тестовое задание одно, и оно цельно или неделимо. Другими словами, нет ничего более мелкого и при этом цельного.
Минимальным учебным элементом является видеоролик или текстовый материал.
Важнейшая задача психометрики - исследовать максимально подробно и точно две стороны: характеристики и студента, и задачи.
Хороший поинт, важно помнить, что результаты выполненных заданий\тестов это про две сущностях, поэтому, и исследовать надо обе - и ученика и задание.
А вот одно из важных проявлений значений этой книги - уверен, теперь эти значения для результатов тестов\заданий (см. фото выше) будут считаться бенчмарком.
Поясню картинку - на ней доля верных решений, то есть, вы запустили тест, в нём 5 вопросов, берём наименьший элемент, 1 вопрос, и смотрим, как люди его решали. И дальше сверяем с таблицей и принимаем решение по этому вопросу, что делать с ним дальше: избавляться, усложнять, упрощать, оставлять.
Ну и важно - это относится именно к УЧЕБНЫМ заданиям, а если это экзамен или проверочное задание\тест, то
Поясню картинку - на ней доля верных решений, то есть, вы запустили тест, в нём 5 вопросов, берём наименьший элемент, 1 вопрос, и смотрим, как люди его решали. И дальше сверяем с таблицей и принимаем решение по этому вопросу, что делать с ним дальше: избавляться, усложнять, упрощать, оставлять.
Ну и важно - это относится именно к УЧЕБНЫМ заданиям, а если это экзамен или проверочное задание\тест, то
В классической психометрии считается, что задания с:
менее 10% верных решений - очень трудные
10-20% - трудные
20-80% - продуктивные с целью подведения итогов или отбора лучших
более 80% - лёгкие.
Тут меня смутил очень большой разброс в "продуктивном" значении, скорее всего, таккие задания должны в какой-то пропорции складываться. То есть, если у вас на экзамене 5 заданий, то одно должно быть из нижнй границы, одно-два из верхней и два-три где-то в середине... Но это уже моя надстройка.
Кстати, вот какую интересную закномерность видит Дмитрий:
Кстати, вот какую интересную закномерность видит Дмитрий:
Граница референсных значений студента совпадает с границей референсных значений заданий. Другими словами, для студентов оптимальными заданиями считаются те, при которых доля верных решений находиться в диапазоне 75-95%. Такие студенты лучше достигают учебных целей.
Это важное наблюдение Дмитрия, мы в своих программах возьмём за основу и будем опираться на эти цифры.
Эмпирически мы тоже приходили к схожим цифрам: если материал курса "хорош", задания сделаын верно и актуально, то человек должен на 3\4 заданий давать верный ответ. Тогда, у него остаётся приятное послевкусие - "мне сложновато, но я добиваюсь успеха, значит, делаю всё верно".
Эмпирически мы тоже приходили к схожим цифрам: если материал курса "хорош", задания сделаын верно и актуально, то человек должен на 3\4 заданий давать верный ответ. Тогда, у него остаётся приятное послевкусие - "мне сложновато, но я добиваюсь успеха, значит, делаю всё верно".
Важно отслеживать успеваемость ученика в динамике от урока к уроку. Практика показывает, что негативный тренд предсказывает, что студент бросит учиться.
И для поддержки ученика Дмитрий предлагает ещё один показатель, ДЕЛЬТА - это разниц между средним результатом прохождения заданий и результатом ученика. И если ученик
Delta позволяет настроить автоматизированный фидбэк, рекомендовать дополнительные материалы ученику или даже бадди.
То есть, мы предусматриваем дополнительную помощь тем ученикам, которым тяжело. Это интересно, но надо будет ещё понять, что ученику действительно сложно, или он просто делает спустя рукава, "для галочки". Так как во втором случае, дополнительный контент будет скорее демотиватором))))
Ну и ещё одна крутая тема - а как учитывать попытки, которые потребовались ученику для решения задачи и\или подсказки? Приравнивать ли результат человека, решившего с первого раза и результат человека решившего со второго? А с четвёртого?
Ну и ещё одна крутая тема - а как учитывать попытки, которые потребовались ученику для решения задачи и\или подсказки? Приравнивать ли результат человека, решившего с первого раза и результат человека решившего со второго? А с четвёртого?
Супербалл – сбалансированная единица выполнения задания, в которой сочетаются полнота выполнения, количество попыток и подсказок, используемых студентом.
Дмитрий предлагает высчитывать СУПЕРБАЛЛ, который будет учитывать и кол-во попыток и подсказки. Очень класное решение!
Думаю, тут каждый продукт может быть уникальным по высчитыванию скпербалла, хотя в книге есть рекомендации на этот счёт.
Хочу закончить ещё одной важной цитатой, которая ооочень актуальна для корпоративного обучения:
Думаю, тут каждый продукт может быть уникальным по высчитыванию скпербалла, хотя в книге есть рекомендации на этот счёт.
Хочу закончить ещё одной важной цитатой, которая ооочень актуальна для корпоративного обучения:
Учитывать попытки в итоговой оценке позволяет убрать формат прохождения, который ученики называют «протыкать».
Это большая беда "электронных курсов". Но тут, бех xAPI (или аналогов) мы тоже бессильны.
Вместо заключения.
Выход этой книги - важная веха в образовательном процессе. Она точно задаст новые стандарты и введёт в регулярный обиход термин "психометрика". Дмитрий, спасибо!
Вместо заключения.
Выход этой книги - важная веха в образовательном процессе. Она точно задаст новые стандарты и введёт в регулярный обиход термин "психометрика". Дмитрий, спасибо!