Вы отправили опрос. Сорок человек ответили. И теперь вы смотрите на электронную таблицу с цифрами, которые практически ничего не говорят. Чаще всего проблема не в теме, а в типах вопросов опроса, которые вы выбрали. Правильный формат может превратить ту же тему в точные, полезные данные. Неправильный — скрыть их. В этом руководстве рассматриваются восемь наиболее часто используемых типов вопросов для опросов с примерами и советами о том, когда каждый из них заслуживает внимания.
Для каждого типа опросников вы найдете информацию о том, когда их использовать, в чем они хороши и на что следует обратить внимание, охватывая оценку эффективности обучения, обратную связь с сотрудниками, опросы на мероприятиях и исследования клиентов. Типы варьируются от закрытых вопросов, где каждый вариант ответа предопределен, до открытых вопросов, требующих ответов в свободной форме, и подходят для всего, от быстрой оценки настроения до полноценной анкеты.
1. Множественный выбор
В вопросах с несколькими вариантами ответа предлагается заранее определенный набор вариантов. В вариантах с одним вариантом ответа респондент должен выбрать один из них; в вариантах с несколькими вариантами ответа респондент может выбрать несколько.
Наилучшим образом подходит для демографических данных, поведенческой сегментации и вопросов, касающихся предпочтений, где варианты ответов хорошо известны. Примеры:
— Какой формат обучения вы предпочитаете? (Очное / Виртуальное / Самостоятельное обучение / Смешанный)
— «Какие из следующих тем вы хотели бы обсудить на будущих занятиях? (Выберите все подходящие варианты)»
Остерегайтесь неполных вариантов, которые вынуждают респондентов давать неверный ответ. Всегда указывайте «Другое (пожалуйста, уточните)», если вы не уверены, что учли все возможные варианты. Рандомизируйте порядок вариантов, чтобы уменьшить предвзятость, когда респонденты неизменно выбирают первый или последний ответ.
2. Шкалы оценок
Шкалы оценок предлагают респондентам оценить что-либо по числовому континууму, обычно от 1 до 5, от 1 до 7 или от 1 до 10. Они количественно определяют удовлетворенность, качество и вероятность таким образом, чтобы их было легко сравнивать и отслеживать во времени.
Наилучшим способом измерения удовлетворенности, эффективности и опыта является использование индекса лояльности клиентов (Net Promoter Score, NPS), представленного Фредом Райхельдом в статье Harvard Business Review 2003 года [1]. NPS использует шкалу от 0 до 10 для измерения вероятности рекомендации. Примеры:
— «Насколько вы остались довольны сегодняшним семинаром? (1–5)»
— «Насколько вероятно, что вы порекомендуете это обучение коллеге? (0–10)»
Всегда указывайте четкие обозначения для конечных точек: «1 = Очень недоволен, 5 = Очень доволен». Шкалы без обозначений приводят к тому, что респонденты по-разному интерпретируют числа. В случае NPS стандартная система оценки группирует респондентов как сторонников (9–10), пассивных (7–8) и противников (0–6) [1].
3. Шкалы Ликерта
Шкалы Ликерта представляют собой декларативные утверждения, которые респонденты оценивают по шкале согласия, от «Категорически не согласен» до «Категорически согласен». Технически это тип рейтинговой шкалы, но она достаточно распространена в профессиональных опросах, чтобы рассматривать её отдельно.
Они лучше всего подходят для измерения отношения, мнений и восприятия по нескольким взаимосвязанным параметрам. Они хорошо подходят для опросов вовлеченности сотрудников и оценки эффективности обучения, где необходимо измерить, насколько сильно люди относятся к конкретным аспектам опыта. Пример:
«Содержание обучающего курса было непосредственно связано с моей должностью».
Остерегайтесь усталости от опроса из-за слишком большого количества вопросов по шкале Ликерта подряд. Исследования по проблеме удовлетворенности опросом рекомендуют ограничивать количество строк в сетке Ликерта до 10 в блоке; при большем количестве строк респонденты начинают выбирать один и тот же ответ для каждого вопроса, не читая внимательно [2]. Разбавляйте длинные разделы шкалы Ликерта вопросами других типов.
4. Открытые вопросы
Вопросы открытого типа предполагают свободный текстовый ответ без заранее определенных вариантов. Они позволяют получить качественный контекст, который упускается при ответе на структурированные вопросы.
Наилучший способ понять «почему» стоят за количественными данными, выявить неожиданные темы и зафиксировать предложения, изложенные самими респондентами. Примеры:
— Что было самым ценным в этой встрече?
— «Какое одно изменение больше всего улучшило бы ваш опыт?»
Ограничьтесь одним-двумя вопросами на каждый опрос и разместите их в конце, после структурированных вопросов. Процент заполнения анкет снижается при ответах на открытые вопросы, поскольку они требуют больше усилий. Анализ также требует тематического кодирования, что занимает много времени при работе с большими выборками. В качестве быстрого решения на очных сессиях можно зачитывать ответы вслух и просить группу обсудить наиболее часто встречающиеся темы.
5. Вопросы ранжирования
В вопросах с ранжированием респондентам предлагается упорядочить элементы по приоритету, предпочтениям или важности. В отличие от вопросов с множественным выбором, они заставляют делать компромиссы, выявляя, что имеет наибольшее значение по сравнению с другими вариантами.
Вопросы с ранжированием — это формат опроса с принудительным выбором. Они не позволяют респондентам молча отмечать все пункты как «очень важные» и заставляют их определить порядок, именно здесь и проявляются настоящие приоритеты.
Лучше всего подходит для упражнений на расстановку приоритетов и понимания относительных предпочтений. Пример:
«Расположите следующие темы обучения в порядке важности для вашей должности: грамотность в области искусственного интеллекта, коммуникативные навыки, развитие лидерских качеств, осведомленность в вопросах кибербезопасности, грамотность в работе с данными».
Остерегайтесь когнитивной нагрузки. Ранжирование более пяти-семи пунктов становится утомительным и приводит к получению недостоверных данных. Держите список коротким и используйте четко различающиеся варианты.
6. Матричные вопросы
В матричных вопросах используется табличный формат, где строки представляют собой элементы, а столбцы имеют одинаковую шкалу. Это позволяет респондентам оценивать несколько связанных элементов по одной и той же шкале, не повторяя формат вопроса.
Лучше всего подходит для сравнения оценок по нескольким параметрам одного и того же опыта. Практический пример: матрица оценки после обучения со строками для «Актуальность контента», «Квалификация тренера», «Темп проведения» и «Качество материалов», каждая из которых оценивается по 5-балльной шкале удовлетворенности. Четыре оценки, один экран.
Остерегайтесь визуальной сложности на мобильных устройствах. Большие матрицы трудно читать на маленьких экранах, что приводит к случайным ответам. Ограничьтесь пятью-шестью строками в матрице и протестируйте на мобильных устройствах, прежде чем внедрять приложение для более широкой аудитории.
7. Дихотомические вопросы (да/нет).
Дихотомические вопросы предлагают ровно два варианта ответа, как правило, «Да/Нет» или «Верно/Неверно». Это самый быстрый формат вопросов как для написания, так и для ответа.
Лучше всего подходит для отбора, фильтрации и быстрой проверки фактов. Примеры:
— «Вы присутствовали на всем тренинге? (Да / Нет)»
— «Вы используете новое программное обеспечение после обучения? (Да / Нет)»
Они хорошо работают в качестве логических элементов, которые направляют респондентов к различным дополнительным вопросам в зависимости от их ответа. Отказ от участия может пропустить этап оценки сессии и отправить респондентов прямо к разделу с демографическими данными.
Остерегайтесь чрезмерного упрощения. Ответ «Нет» сам по себе ничего не говорит о причинах. После дихотомических вопросов задавайте краткий открытый вопрос или используйте шкалу оценок, чтобы выявить глубину проблемы там, где это важно.
8. Демографические вопросы
Демографические вопросы позволяют собрать информацию о респондентах, что дает возможность проводить сегментированный анализ. К распространенным параметрам относятся отдел, должность, стаж работы, местоположение и уровень опыта.
Лучше всего подходит для перекрестных таблиц и сравнения групп. Знание того, что сотрудники одного отдела оценивают эффективность обучения значительно ниже среднего показателя по компании, гораздо полезнее для принятия решений, чем единый общий балл.
Сделайте демографические вопросы необязательными, объясните, зачем вы собираете данные, и защитите анонимность, избегая сегментов, достаточно малых для идентификации отдельных лиц. Обычно пороговое значение составляет пять или более респондентов в сегменте, прежде чем сообщать данные на уровне группы.
Подводя итог: разработка алгоритма проведения опроса.
Хорошо структурированный опрос следует логической последовательности. Начните с простых вопросов для предварительного отбора или демографических вопросов, чтобы постепенно вовлечь респондентов. Перейдите к основным вопросам для измерения: рейтинговым шкалам, шкалам Ликерта, матричным вопросам. Завершите одним или двумя открытыми вопросами для углубленного качественного анализа.
Общее время выполнения опроса должно составлять от пяти до семи минут. Исследование SurveyMonkey показывает, что опросы, занимающие менее семи минут, демонстрируют значительно более высокие показатели завершения, чем более длинные, при этом процент отказов резко возрастает после 12 минут [3]. Это соответствует примерно 10–15 вопросам в зависимости от типа вопроса.
Типичные ошибки, чтобы избежать
Даже если вы правильно выберете типы вопросов, некоторые особенности дизайна могут незаметно снизить качество ответов.
1. Задавать вопросы, содержащие два противоположных утверждения.
Двойной вопрос объединяет две отдельные идеи в один: «Содержание обучения было актуальным, а материалы — простыми для понимания». Респондент, который счел содержание актуальным, но материалы — запутанными, не имеет честного ответа. Разделите каждое составное утверждение на отдельный вопрос. Это особенно часто встречается в опросах по шкале Ликерта, где авторы стремятся к эффективности, объединяя идеи.
2. Использование наводящих фраз.
Вопросы, указывающие на ожидаемый ответ, завышают положительные оценки и делают сравнительный анализ бесполезным в долгосрочной перспективе. Вопрос «Насколько вам понравилось сегодняшнее занятие?» предполагает наличие удовольствия. Вопрос «Как бы вы оценили сегодняшнее занятие в целом?» — нет. Просмотрите каждый вопрос на наличие слов, подразумевающих предпочтительный ответ, и замените их нейтральными формулировками.
3. Предложение несбалансированных вариантов ответа.
Шкала оценок с четырьмя положительными и одним отрицательным вариантом («Отлично / Очень хорошо / Хорошо / Средне / Плохо») несбалансирована. Респонденты, испытывающие негативные чувства, имеют ограниченный выбор, и ваши средние значения будут расти независимо от реального опыта. Для любой шкалы, идущей от отрицательного к положительному, сопоставьте количество вариантов по обе стороны от середины. Хорошо подходит стандартная 5-балльная шкала: два отрицательных, один нейтральный, два положительных. Если вам не нужна нейтральная середина, используйте шкалу с четным числом пунктов (4 или 6), которая предполагает направленный ответ.
4. Замалчивание самых важных вопросов
Усталость от опросов — это реальная проблема, и вовлеченность снижается с увеличением длины опроса. Если ваш самый важный вопрос находится на 14-м месте из 15, значительная часть респондентов может никогда не дойти до него полностью или вообще не дойти. Разместите наиболее важные вопросы в первой половине опроса. Оставьте вопросы о демографических данных и необязательные вопросы с открытым ответом на конец, где снижение вовлеченности менее важно.
Часто задаваемые вопросы
Сколько вопросов должно быть в опросе?
Для оценки эффективности обучения и обратной связи после мероприятий надежным диапазоном является от 8 до 12 вопросов. Обычно это соответствует пяти-семи минутам времени заполнения, что является оптимальным показателем. Если ваш опрос длиннее, подумайте, действительно ли каждый вопрос повлияет на принятие решения. Вопросы, которые дают данные, на основе которых никто не будет принимать решения, стоит исключить. Полезный тест перед окончательным утверждением опроса: для каждого вопроса запишите, на какое решение или действие он повлияет. Если вы не можете ответить на этот вопрос, вероятно, его не нужно включать. Это позволит четко определить цель опроса до его рассылки.
В чём разница между рейтинговой шкалой и шкалой Ликерта?
Шкала оценок присваивает числовое значение оценке: «Оцените это по шкале от 1 до 5». Шкала Ликерта представляет собой утверждение и спрашивает, насколько респондент с ним согласен: «Ведущий четко объяснил концепции. (От «Категорически не согласен» до «Категорически согласен»)». Обе шкалы являются порядковыми, но пункты шкалы Ликерта всегда сочетаются с утвердительным ответом, в то время как шкалы оценок могут применяться практически к любой задаче оценки.
В каких случаях следует использовать открытые вопросы вместо структурированных?
Используйте открытые вопросы, когда вы еще не знаете, какие категории важны, или когда подозреваете, что структурированные варианты ответов не охватят всей картины. Они полезны после запуска новой программы, когда вы хотите узнать, что выделяется, прежде чем у вас будет достаточно данных для построения системы оценок. Для повторяющихся опросов по стабильной теме структурированные вопросы быстрее анализируются и их легче отслеживать во времени. Практический подход заключается в том, чтобы задать один или два открытых вопроса в первом раунде нового опроса, определить наиболее часто встречающиеся темы, а затем преобразовать эти темы в структурированные варианты ответов для последующих раундов.
Проведение опросов с помощью AhaSlides
Выбор правильного типа вопросов – это только половина дела. Вам также необходимо, чтобы респонденты действительно участвовали в опросе и завершили его.
AhaSlides — это универсальная платформа для взаимодействия с аудиторией, которая поддерживает вопросы с множественным выбором, шкалы оценок, открытые вопросы, вопросы с ранжированием и многое другое — всё в рамках одной онлайн-сессии. Создайте промежуточный опрос из 3 вопросов, отобразите результаты на экране, пока участники в зале ещё находятся вместе, и скорректируйте вторую часть в зависимости от увиденного. Отдельный инструмент для проведения опросов не требуется.
В частности, при оценке эффективности обучения наблюдение за реакцией группы в зале меняет динамику процесса. Обсуждение, следующее за анализом данных, часто оказывается более ценным, чем сами данные. Мы обнаружили, что команды, которые видят результаты вместе, действуют на их основе, в то время как команды, получающие сводный отчет, редко это делают.
Источники
[1] Райхельд, Ф. (декабрь 2003 г.). «Единственное число, которое вам нужно для роста». Harvard Business Review. https://hbr.org/2003/12/the-one-number-you-need-to-grow
[2] Кросник, Дж. А. (1991). «Стратегии реагирования для преодоления когнитивных требований измерений отношения в опросах». Прикладная когнитивная психология, 5 (3), 213-236. https://doi.org/10.1002/acp.2350050305
[3] SurveyMonkey. «Какой должна быть длина опроса?» https://www.surveymonkey.com/curiosity/survey_completion_times/
