Использование статистических методов для контроля эффективности теоретических занятий

Бородин В. Н., Карпов В. В., Черепанов В. А.

Ключевое значение контроля усвоения знаний признано при различных концепциях обучения [1, 2]. Тем не менее, материалы, публикуемые по этой проблеме, носят общетеоретический характер и, как правило, не уточняют конкретные методики проверки знаний.
Определение результативности мероприятий по обеспечению квалификации персонала в энергетике и, в частности - в атомной, затрудняется спецификой организации обучения персонала непосредственно на производстве, которая заключается в следующем:

1. Высокий начальный уровень профессиональных знаний. Дело не только в том, что сам по себе персонал АЭС уже изначально обладает высокой квалификацией, а изучаемый материал хорошо знаком аудитории. При обучении на производстве уровень знаний обучающихся сопоставим с уровнем инструкторского персонала, проводящего занятия, а иногда и превосходит его. Все это делает оценку результатов такого обучения довольно сложной задачей. В силу сложившихся традиций принято проводить только итоговый экзамен, который, как полагают, отражает уровень знаний обучаемых. Такой подход понятен для школьной и вузовской системы подготовки, где уровень знаний учащихся заведомо ниже, чем уровень преподавателей, а изучаемая тематика воспринимается как новая. Однако метод итоговой оценки не годится для определения результативности обучения персонала предприятия, поскольку итоговое тестирование может отражать начальные, т.е. заведомо высокие знания. Нельзя с уверенностью утверждать, что экзамен демонстрирует уровень, который был достигнут в результате проведения занятий - в этом случае не исключено, что этот уровень существовал и раньше, задолго до начала учебного курса.
2. Эпизодичность обучения. Основная деятельность энергопредприятия не может быть приостановлена, поэтому обучение персонала может проводиться лишь в определенное, специально отведенное время. Так, в нашем случае персонал ремонтных подразделений проходит один предремонтный учебный цикл в год. Дополнительно для отдельных групп ремонтников могут проводиться целевые занятия по наиболее актуальным темам не более 1 - 2 раз в год. Работники из числа оперативного персонала обучаются 1 - 2 раза в год. Длительность их учебного цикла - около двух недель, при этом отдельной теме может быть посвящено одно-три занятия. Вместе с тем, известно, что для получения достоверной оценки необходимо около десятка учебных отметок [3]. Это означает, что для накопления индивидуальных оценок по результатам итогового контроля потребуется 5 - 10 лет, что и подтверждает практика. При этом проблема эпизодичности обучения может усугубляться неудачно составленным расписанием, например, различным числом занятий для разных цехов [4].
3. Текучесть обучаемого персонала. Малая частота проведения обучения приводит к проблеме изменения списка обучаемых. За время, необходимое для накопления статистически достоверных данных для анализа эффективности обучения, многое может измениться. Работник может перейти в другой цех, сменить должность, уволиться и др. Но главный вклад вносит пересмотр списка обучаемого персонала, т.е. изменение потребности в переподготовке. Нами был проанализирован состав работников оперативной службы электроцеха (81 чел.). На конец 1999 г. в списке из 25 обучаемых появилось 12 фамилий, которых не было в мае 1995 г., т.е. за 4,5 года состав учебной группы обновился наполовину. Хотя в масштабе цеха это немного - всего 15%. Очевидно, что к тому времени, когда необходимые данные будут собраны, они утратят свою актуальность. С учетом сказанного, накопление статистической информации по результатам обучения представляется проблематичным.
4. Использование в качестве преподавателей привлекаемого персонала. В тех случаях, когда занятия проводит привлекаемый персонал, фиксации результатов занятий, как правило, не бывает. Привлекаемые преподаватели - руководители и работники соответствующих подразделений станции, иногда командированные специалисты - обычно не имеют педагогического опыта для выполнения такой проверки. В то же время доля занятий, проводимых привлекаемыми специалистами, на отдельных курсах может достигать более половины времени учебного цикла [4].
5. Проблема малых выборок. Очевидно, что причины, перечисленные в пп. 2 - 4, приведут к тому, что выборки данных будут очень малы. Тем более, что для анализа нужно подобрать однородные данные - по одному цеху или даже по одной должности. Собственно, занятия и организуются отдельно для таких групп, которые включают обычно около 6 - 8 чел. Большие лекционные занятия, семинары, тренировки охватывают несколько десятков человек, но у инструктора обычно нет времени на тестирование такой массы обучаемых.
6. Специфические формы обучения или специфические оценки его. Многие формы обучения вообще не удается оценить. Результативность таких занятий, как выездные семинары или целевые тематические экскурсии, нельзя объективно проанализировать. Другие виды занятий редки и несопоставимы, например, лекции психолога, юриста или работника отдела кадров. Некоторые занятия уникальны и проводятся только один раз, например, разбор конкретной аварии или изучение нового норматива, закона. Существуют достаточно сложные формы обучения, такие как тренажерные занятия или противоаварийные тренировки. Изучение их результативности заслуживает специального обсуждения, хотя определенные наработки в этом направлении известны [5, 6].
7. Существование психологических барьеров. Каждому хорошо знакомы волнение и тревога, которые он испытывал перед экзаменами, особенно если они играли большую роль в его дальнейшей судьбе. Такое волнение не способствует хорошим ответам. Для взрослого, умудренного жизненным опытом человека, имеющего многолетний стаж работы на энергопредприятиях, получение низкой экзаменационной оценки сопряжено с сильными переживаниями. Если результаты тестирования значительно хуже, чем ожидалось, то, вполне естественно, у обучаемого возникает подозрение, что ему уделяют повышенное внимание, что его ошибки нарочно фиксируются, что к нему возникли претензии и т. п. Инструктор также оказывается в психологически трудном положении, если ему нужно поставить неудовлетворительную оценку уважаемому им человеку. Принято считать, что после окончания изучения темы преподаватель должен дать анализ результатов контроля знаний группы, обсуждая его с обучаемыми. Если при подведении итогов результаты тестирования не представляются обучаемым, то это нередко воспринимается ими как стремление “что-то утаить” или “поставить двойку”.

Учитывая названные проблемы, получить объективную индивидуальную оценку практически невозможно. В связи с этим возникает вопрос: “Этично ли вообще ставить оценку, если она зависит от многих случайных факторов?” Трудности с определением индивидуального уровня подготовки вызывают естественное нежелание инструктора анализировать и подготовленность группы в целом. К психологическим проблемам также можно отнести сложившиеся привычки и традиции. Так, контроль обычно заменяется отзывами обучаемых о проведенном занятии. Точности ради следует заметить, что предпочтение, отдаваемое таким отзывам, вызвано многими объективными причинами: трудностью накопления данных, отсутствием других освоенных методов, организационными причинами [7 - 9]. Поэтому многие авторы стараются обойти вопрос оценки эффективности применяемых учебных средств и методов.
Поскольку существующая специфика обучения персонала энергопредприятия затрудняет изучение результативности занятий, то цель данной статьи можно сформулировать так: во-первых, рассмотреть анализ качества обучения для более узкого случая, связанного с оценкой только теоретических знаний, во-вторых, учитывая случайную природу оценки, обнаружить сам факт ее смещения. Другими словами, прежде, чем обсуждать эффективность обучения, необходимо обнаружить сам факт наличия этой эффективности.
Понимание сути проблемы приводит к мысли о необходимости использования двух оценок - исходной и конечной, сопоставление которых позволяет сделать вывод о воздействии учебного процесса. Например, в [6] заключение о результативности делается на основании сравнения старого и нового рейтинга обучаемого. Однако наиболее простым и доступным методом оценки показал себя метод входного и выходного контроля (ВВК) [10]. Проанализируем достоинства и недостатки этого метода, используя материалы [10], но в то же время учтем наш опыт и специфику обучения персонала электростанции. Любая система контроля знаний ставит перед собой следующие цели:

1. Диагностическую. Определение уровня знаний слушателей перед началом занятий и организацию учебного процесса с учетом этого уровня. Для квалифицированного персонала при наличии только итогового тестирования указанная цель не достижима, но легко выполнима при методе входного - выходного контроля. Проблема в том, что такой анализ нужно выполнять быстро, на первом же занятии.
2. Оценочную. Оценить качество обучения после окончания занятий, т.е. проверить их эффективность. Учитывая упомянутую специфику, прежде всего эпизодичность занятий, метод ВВК является единственным методом, который обеспечивает реализацию этой цели.
3. Коммуникативную. Установить обратную связь преподаватель - слушатель с целью постоянной коррекции учебного процесса. Как мы уже говорили, в некоторых случаях эта цель в принципе

"Устройство и эксплуатация ТКЕП (ТАВР)", выходной контроль

1. Указать порядок при вводе в работу устройства ТКЕП (ТАВР)

а)                             включить тумблер на блоке БП32 основного плеча
б)          проверить рубильники на входе и выходе обоих плеч, если отключены - включить
в)                              произвести внешний осмотр шкафа ТКЕП с открытием обеих дверок
г)                              собрать схему и включить автомат резервн. питания на секции (сборке) 0,4 кВ
д)                              проверить исходное положение тумблеров на блоках питания БП32
е)                              собрать схему и подать питание от устройства ТКЕО и на осн. плечо ТКЕП
ж)                              включить тумблер на блоке БП32 резервного плеча
з)                              нажать и отпустить кнопку "Тест"
** окончание набора ответов
Выбраны ответы - > гева                                                             Исправить ответ - <Esc>
Рис. 1. Вид экрана при работе с вопросником:

ТКЕП - тиристорное коммутационное переключающее устройство с естественной коммутацией; ТКЕО - тиристорное коммутационное устройство отходящих линий с естественной коммутацией.

не достижима: занятия на ПЭВМ без участия инструктора, проведение занятий привлекаемым специалистом и др. Метод ВВК может достичь этой цели, если его результаты обязательно обсуждаются с обучаемыми.

1. Оптимизирующую. Организовать учебный процесс для наилучшего усвоения изучаемого материала. Из-за эпизодичности занятий достичь этой цели трудно. Кроме того, как было сказано, не все виды обучения поддаются контролю, включая и работу привлекаемых преподавателей.
2. Мотивирующую. Обратить внимание слушателей на ключевые вопросы темы, стимулировать их интерес. После проведения входного контроля эта задача решается практически идеально. Обычно обучаемые просят предоставить им дополнительную документацию, задают вопросы по обсуждаемой теме, не проявляют самоуверенности и завышенной самооценки. После первого прохождения ВВК и совместного анализа его результатов (пусть даже очень короткого) персонал не испытывает тревоги перед тестированием, воспринимая его как инструмент контроля успеваемости всей группы. Полученные результаты охотно обсуждаются обучаемыми.

Все сказанное необходимо для понимания того, что возможности входного - выходного контроля все-таки ограничены, хотя и обеспечивают получение очень хороших результатов.
Кратко опишем обычную процедуру ВВК. Перед началом занятий по отдельной теме каждый из обучаемых получает список вопросов с набором альтернативных ответов на них. Обучаемый заполняет специальный бланк ответов или указывает их на экране ПЭВМ. При этом дополнительно фиксируются дата и тема обучения. Указывается идентификатор работника, обычно его табельный номер. Если обучаемый принимает участие в тестировании не впервые, то другие данные о нем (Ф. И. О., цех, смена, должность) выбираются из базы данных автоматически. После окончания занятий по данной теме тестирование повторяется. При этом может быть выбран либо тот же самый вопросник, либо, по решению инструктора, другой, равнозначный ему список вопросов. Среди предлагаемых альтернативных ответов есть заведомо правильные (+ 100) и неправильные (- 100), кроме того, предлагаются неточные ответы. Каждый из неточных ответов имеет свой вес в баллах, так что их сумма равна 100. Таким образом, можно формулировать такие вопросы, правильным ответом на которые служит строго определенный набор предлагаемых частичных ответов (рис. 1). В результате тестирования можно получить общее для всей группы число правильных, неточных и неправильных ответов.
Процентное распределение этих величин обычно используется как характеристика исходного и конечного уровня знаний в группе обучаемых. При низких показателях или в других неясных случаях инструктор анализирует индивидуальные ответы. По нашему мнению, такой традиционный
подход содержит принципиальные ошибки. В связи с тем, что полученные оценки являются случайными величинами, то их прямое сравнение неправомерно.
Для анализа эффективности обучения с использованием входного и выходного контроля предлагается применить классический статистический подход с проверкой гипотез изменения дисперсии (F - критерий Фишера) и изменения среднего значения оценок (t - критерий Стьюдента).

где п1 и п2 - число тестируемых при входном и выходном контроле; Х1 и Х2 - средние оценки по группе при входном и выходном контроле; Si, S2 и S - средние квадратические отклонения оценок входного и выходного тестирования и среднеквадратическое отклонение тестирования оценок соответственно.
Сопоставим традиционный и статистический подход к ВВК. Это можно хорошо проиллюстрировать на примере занятия по теме “Основные положения закона “Об использовании атомной энергии”. В силу ряда обстоятельств в этом примере “сошлись вместе” многие из обсуждаемых проблем. Занятие было проведено в Учебно-тренировочном пункте Калининской АЭС в учебном цикле обучения ИТР - ремонтников в межремонтный период весной 1997 г. привлеченным преподавателем и проводилось в форме 2-часовой лекции. Были розданы анкеты, включающие 10 вопросов по изучаемой теме с 10 вариантами ответов. Всего было собрано 36 анкет. Из них только 7 анкет оказались пригодны для анализа, т.е. заполнены вопросы не только входного, но и выходного контроля (проблема малой выборки). Традиционный анализ показал, что число правильных ответов до и после занятия увеличилось с 31,4% до 51, 4%; число неправильных упало с 65,7% до 47,2% (см. начало табл. 1). Казалось бы, достигнуты хорошие результаты. Однако статистическая проверка гипотез показала, что достоверных изменений ни дисперсии оценок, ни их среднего значения не обнаружено. Полученные результаты могут быть случайны, из чего следует вывод - занятие проведено неудачно. По мнению преподавателя, времени для рассмотрения темы было недостаточно, занятия пришлось проводить в высоком темпе, выходной контроль был по сути скомкан (проблема привлекаемых преподавателей).
Для более подробного сравнения традиционного и статистического методов анализа данных были использованы результаты входного и выходного контроля по занятиям “Устройство и эксплуатация ТКЕО”, которые были проведены ведущим инструктором, соавтором данной работы. Результаты приведены в табл. 1 и 2. Очевидно, что традиционный анализ по проценту правильных и неправильных ответов показывает одинаковую эффективность для всех занятий при неинформативном индивидуальном различии групп. Статистический анализ изменения среднего квадратического отклонения и средней оценки по группе обучаемых дает несколько иную картину. Отличные результаты достигнуты в группах из смен А, В и Е - достоверно выросло число правильных ответов и уменьшилась дисперсия для неправильных. Сложнее обстоит дело с группой из смены Д - дисперсия для числа неправильных ответов уменьшилась, но число неточных ответов возросло. Результат можно признать удовлетворительным. Для смены Б число неправильных ответов достоверно уменьшилось - хороший результат, характерный для подготовленной группы обучаемых.
К сожалению, статистические расчеты требуют много времени и специального знания соответствующего математического аппарата. Во время проведения учебного цикла инструкторский персонал не располагает таким временем, а статистическими методами он, как правило, не владеет. Изучение преподавателями специализированных статистических пакетов программ вряд ли можно признать целесообразным - такие пакеты слишком сложны для столь скромных целей. Так как результаты опроса обычно хранят на ПЭВМ в виде базы данных, то проще всего решить эту задачу в рамках соответствующей системы управления этой же базы данных (СУБД). Такое решение посильно практически любому программисту [11].
Таблица 1
Традиционный анализ. Распределение относительного числа ответов (в процентах)

Итоговая таблица занятия по теме: 3. "Анализ ошибок оперативного персонала в электрической части АЭС"

Дата опроса: 10.10.99, опрос: выходной

обратить внимание на:

Рис. 2. Результат анализа занятия “Анализ ошибок оперативного персонала в электрической части АЭС”

Таблица 2
Статистический анализ. Проверка достоверности изменений среднего числа ответов до и после занятий по критериям Фишера и Стьюдента (изменения с P > 0,95 выделены темным цветом)

В УТП Калининской АЭС была разработана программа для FoxBase, которая позволяет провести анализ автоматически после занесения результатов входного и выходного контроля. Программа успешно работает в среде DOS и Windows и не требует от пользователя специальной подготовки. Результаты анализа заносятся в файл.

Итоговая таблица занятия по теме: 1."Устройство и эксплуатация ТКЕП (ТАВР)" Дата опроса: 10.11.99, опрос: входной

обратить внимание на:

Рис. 3. Результат анализа занятия “Устройство и эксплуатация ТКЕП (ТАВР)”

Рассмотрим достоинства статистического подхода на конкретных примерах. Образцы автоматического анализа занятий представлены на рис. 2 и 3. На рис. 2 приведены результаты ВВК занятий по теме “Анализ ошибок персонала в электрической части АЭС”, на рис. 3 - по теме “Устройство и эксплуатация ТКЕП (ТАВР)”. Тема “Анализ ошибок...” является новой для обучаемых и, как следовало ожидать, в результате занятия число правильных ответов увеличилось, а неправильных - уменьшилось. Отметим, что среднее квадратическое отклонение для числа неточных ответов также уменьшилось. Изменения достоверны, P > 95% (P - достоверная вероятность). Все это признаки отлично проведенного занятия. Кроме того, используя правила оценки анормальности результатов наблюдений [3], программа отмечает низкий уровень начального знания данной темы у обучаемого КА... (№ 4). После проведения занятия этот недостаток удалось исправить. На занятии по теме “Устройство и эксплуатация ТКЕП” удалось добиться уменьшения числа неправильных ответов, что характерно для обучения группы специалистов высокой квалификации. Тема хорошо знакома обучаемым. Однако возросло и число неточных ответов. Анализ выявил недостаток в проведении занятия, что дает пищу для размышлений. Возможно, невысокая эффективность объясняется тем фактом, что для выходного контроля был использован новый усложненный вопросник. Впоследствии, проведя индивидуальный анализ ответов, инструктор внес изменения в формулировку некоторых вопросов. В целом, изучение темы проведено хорошо, но в дальнейшем оно нуждается в коррекции. По мнению преподавателя, учитывая сложность работы с опытными специалистами, необходимо увеличить продолжительность практической части занятий. Таким образом, удается косвенно проверить выбор вопросника и методики обучения.

Выводы

1. Оценка результативности занятий по итоговому контролю не учитывает специфики обучаемого персонала энергопредприятия и не может быть признана информативной. Такая оценка характеризует исходный заведомо высокий уровень знаний персонала.
2. Входной - выходной контроль знаний является эффективным методом оценки качества обучения группы. Этот вид контроля успешно решает задачи диагностики и мотивации обучения, обеспечивает надежную связь инструктор - обучаемый.
3. Метод ВВК позволяет работать даже с малыми выборками данных и не требует длительного накопления информации для анализа.
4. Применение ВВК требует обязательной разработки специальных статистических программ. Их применение позволяет выявлять особенности проведения занятий: исправления ошибок обучаемых, получение ими новой информации, оценить выбор вопросников.

Список литературы

1. Андреев А. А., Макарова И. Е., Шипилова Н. В. Планомерное формирование профессиональной деятельности персонала с помощью ПЭВМ. - Энергетик, 1998, № 5.
2. Внедрение системного подхода в подготовке персонала на Балаковской АЭС / Ипатов П. Л., Бердюгин С. А., Матвеев Е. Е., Тиняков Ю. М. - Электрические станции, 1997, №3.
3. Котельников Р. Б. Анализ результатов наблюдений. М.: Энергоатомиздат, 1986.
4. Карпов В. В. Проблемы применения ЭВМ для обучения персонала электростанции. - Энергетик, 1999, № 11.
5. Оценка противоаварийных тренировок оперативно-диспетчерского персонала энергосистем / Дьяков А. Ф., Лесковец И. Е., Меркурьев Г. В., Щербаков А. Д. - Электрические станции, 1997, № 2.
6. Шустов В. Г. Методика расчета рейтинга и оценки за проведенную тренировку. - Энергетик, 1998, № 4.
7. Совершенствование системы подготовки специалистов в области обращения с радиоактивными отходами / Батюхнова О. Г., Ожован М. И., Соболев И. А. и др. - Атомная энергия, 1999, т. 86, вып. 2.
8. Свешников Н., Скобелев П. Безопасность труда: интерактивное обучение. - Человек и труд, 1999, № 9.
9. О внедрении компьютерной системы проверки знаний персонала на Костромской ГРЭС / Рабенко В. С., Каекин В. С., Богачко Ю. Н. и др. - Энергетик, 1999, № 10.
10. Полярус А., Щербин В. “Газпром” учит надежно. - Служба кадров, 1999, № 4.
11. Афифи А., Эйзен С. Статистический анализ. Подход с использованием ЭВМ. М.: Мир, 1982.