Главная / Статьи / Менеджмент (1196) /

Система тестирования: как понять, чего не знают ваши сотрудники?

Обучение сотрудников – задача, с которой сталкивается большинство крупных и быстро растущих компаний. Ее решение давно найдено, описано и снабжено методическими рекомендациями (достаточно упомянуть международный стандарт качества ISO 10015:1999 «Управление качеством. Руководящие указания по обучению»). Тем не менее, руководителям, заинтересованным в высокой эффективности инвестиций в повышение квалификации персонала будет интересно узнать о том, как потратить деньги только на то обучение, которое действительно нужно компании, или по-другому - кого и чему учить?

Для этого, нужно, прежде всего, знать какими компетенциями должны обладать сотрудники, и какими они обладают на самом деле. Сравнивая одно с другим можно выявить пробелы, которые требуется заполнить, в том числе, и с помощью обучения. Кстати, аналогичный подход специалисты могут использовать самостоятельно, чтобы оценить собственные знания и, если необходимо, потратить деньги и время на изучение только необходимых тем.

Для оценки фактического положения дел для каждой организации (специалиста) даже с  уникальным набором целевых компетенций можно (и даже нужно!) использовать типовые, проверенные многолетней практикой способы оценки, например, тестирование.

Возможно, некоторые скептически усмехнулись, но  давайте попытаемся разобраться, почему эта форма оценки так часто встречает негативное отношение.

Ответ, который вы, скорее всего, услышите: «Результаты тестов не соответствуют реальным знаниям, оценка необъективна!» К сожалению, часто это утверждение справедливо. Однако задумайтесь – зарубежные системы сертификации основаны именно на этом способе оценки, а сертификатам ИТ-вендоров у нас принято доверять.

Значит, тестирование все-таки позволяет оценивать реальные знания с высокой долей объективности? Да. А репутацию такой проверки дискредитировали некачественные тесты, которых сегодня, к сожалению, слишком много.

Но если ИТ-вендоры умеют создавать «правильные» тесты, почему другие разработчики этого не делают – неужели это так сложно?

Казалось бы, написать вопросы для оценки, к примеру, умения работать в текстовом редакторе или настраивать протокол TCP/IP – простая задача для ИТ-специалиста. Но если копнуть глубже, всплывают проблемы совсем иного – методологического характера. Как составить вопрос, чтобы избежать неоднозначности трактовки? Как сформулировать варианты ответов, чтобы правильные ответы нельзя было угадать?

Или, обобщая, – как составить тест, который будет максимально объективно оценивать реальные знания сотрудника? Это на самом деле непросто. Приведем пример – намеренно абстрактный, чтобы проиллюстрировать суть, не отвлекаясь на предметную область.

Пусть разработчик составил следующий вопрос, требующий выбора только одного правильного ответа:

В выражении «Сяпала калуша по напушке» объект «калуша» не является:

• Объектом женского пола
• Объектом мужского пола
• Сферической кобылой в вакууме
• Все ответы правильные
• Все ответы неправильные

Чем плох такой вопрос и такие ответы? Всем.

Этот тест не требует от человека представления о том, что такое или кто такая «калуша», является ли она «кобылой» или нет (в нашем примере является). Он не проверяет реальные знания в исследуемой области  – только внимательность и умение рассуждать логически. Разберемся, почему.

Во время экзамена человек чаще всего нервничает и торопится. Поэтому значительная часть тестируемых НЕ заметит частицу «не» и начнет отвечать на прямо противоположный вопрос. В итоге – ошибка на ровном месте, результат непоказателен.

Более внимательные присмотрятся к вариантам ответов. Очевидно, что раз «калуша» «сяпала», то по нормам русского языка она является объектом женского пола и не может одновременно быть объектом мужского пола. Значит, варианты «Все ответы правильные» и «Все ответы неправильные» отметаются сразу. А раз правильный ответ уже нашелся – второй, – и он для данного вопроса требуется один, то вариант «Сферическая кобыла в вакууме» можно на правильность не анализировать. К тому же, в формулировках неявно заложена подсказка – слово «объект» используется как в вопросе, так и в двух вариантах ответов, а значит, правильным, скорее всего, является один из них.

Результат – данный тест оценивает совсем не то, что нужно. Как, увы, и многие другие. То есть плоха не сама идея, а ее практическая реализация.

Рассуждая описанным выше образом, можно весьма успешно сдавать тесты, разработчики которых не задумывались о подобных вещах. В «Сетевой Академии» методисты уже давно составили список из полутора десятков требований, соблюдение которых позволяет создавать корректные тесты, с высокой степенью объективности – их невозможно успешно сдать только путем угадывания. В частности, приведенный выше пример не удовлетворяет минимум трем пунктам из этого списка, а значит, в наш реальный тест не попадет.

Корректный пример с учетом всех требований методики нашего учебного центра:

Чем является объект «калуша» в выражении «Сяпала калуша по напушке»?

• Сферической кобылой в вакууме
• Цилиндрической кобылой в вакууме
• Эллипсоидной кобылой в вакууме
• Тороидной кобылой в вакууме

Здесь без знаний о том, в каком облике «калуша» может «сяпать по напушке», на вопрос не ответить. Вероятность угадывания составляет 25%, чего недостаточно для успешной сдачи теста, для которой нужно показать результат обычно не ниже 70%. Ну и сам вопрос теперь сформулирован четко и понятно.

ИТ-вендоры умеют создавать «хорошие» тесты именно потому, что значительное внимание уделяют методике.

Так что мешает остальным разработчикам делать то же самое?

Варианты ответов (выберите один правильный):

• не владеют методикой разработки тестов или даже не подозревают о ее существовании;
• не желают тратить на это время и деньги («И так сойдет!»);
• считают, что большое количество вопросов статистически компенсирует их низкое качество.

Как вы думаете, этот тест корректен? Он нарушает, как минимум, требование однозначности и непересекаемости ответов.

А теперь серьезно. За последние годы в «Сетевой Академии» по этой методике разработана целая база тестов по разным направлениям ИТ-сферы. Мы используем их для оценки знаний слушателей и при выполнении крупных  проектов по разработке систем обучения ИТ-персонала и квалификационных требований. Зачастую к нам с просьбой оценить их знания обращаются и сами специалисты, стремясь как можно быстрее и с меньшими затратами перейти на следующую ступень профессионального развития, стать более востребованным на рынке. А бывает что и в ответ на претензии руководства: «Ты слишком плохо разбираешься в настройке Active Directory, чтобы повышать тебе зарплату!» Но что значит «разбираться хорошо» при этом объясняют далеко не всегда.

Кстати, в последнем примере руководству тоже не помешали бы конкретные аргументы в виде результатов оценки знаний сотрудников. Недальновидным руководителям – чтобы не повышать зарплату, мудрым – чтобы отправить специалистов на действительно важное и реально нужное компании обучение.

Главная / Статьи / Менеджмент (1196) /