Способ оценки уровня внимания учащегося при компьютерном тестировании

Способ оценки уровня внимания учащегося при компьютерном тестировании

Иллюстрации

Показать все

Реферат

Изобретение относится к диагностике психофизиологического состояния человека и может быть использовано для оценки когнитивных (познавательных) функций в условиях информационной нагрузки, в частности, при компьютерном тестировании.

В настоящее время компьютерное тестирование широко применяется в образовательном процессе при экзаменационной проверке знаний учащихся. Известны многие компьютерные системы, позволяющие формировать преподавателю экзаменационные вопросы, сгруппированные по темам, проводить тестирование учащихся в диалоговом режиме, оценивать правильность ответов и создавать статистические отчеты об успеваемости по выборке учащихся за период времени.

Как правило, на экране компьютера учащемуся предъявляется вопрос в словесной или графической форме, ответ на который выбирается из нескольких предложенных вариантов. Оценка эффективности выполнения задания проводится путем проверки совпадения номеров верного ответа и варианта, выбранного тестируемым. По этому принципу составлены задания единого государственного экзамена на сайте Центра тестирования Минобразования России /1/.

Проблемами компьютерного тестирования являются отсутствие учета возможного случайного выбора ответов, приводящее к недостоверным оценкам знаний учащегося, и отсутствие дозирования информационной нагрузки, которое может привести к психологическому стрессу в ситуации экзаменационного напряжения. Решение проблемы возможно при наличии информации об уровне внимания, направленного на выполнение теста. Под уровнем внимания понимают степень локальной активации центральной нервной системы (ЦНС), вызванной выполнением конкретной деятельности. Уровень внимания может быстро, в течение одной секунды, изменяться от состояния высокой концентрации внимания на выполняемом задании к состоянию рассеянного внимания, поэтому оценка уровня концентрации внимания должна производиться непосредственно в ходе самой деятельности с частотой один раз в 1-5 секунд. Оценка уровня внимания является частным случаем более общей задачи оценки психофизиологического состояния человека в процессе выполнения профессиональной деятельности.

Известен способ определения эмоциональной устойчивости оператора путем регистрации латентного периода (ЛП) принятия решения, отдельно для случаев успеха и неуспеха выполнения совокупности упорядоченных по сложности заданий, вычисления разности среднеарифметического этих значений, которая является показателем эмоциональной устойчивости оператора при принятии решения (SU 1779329, 5 МПК А61В 5/16, публ. 07.12.1992) /2/. Однако в практике проведения компьютерного тестирования заключение об успешности прохождения экзаменационных тестов должно предъявляться учащемуся только после окончания тестирования, и не требуется предъявление информации о правильности выполнения каждого задания и упорядочение заданий по сложности.

Известна система контроля функционального состояния человека-оператора при выполнении им обязанностей на стационарном автоматизированном рабочем месте (RU 2247530, 7 МПК А61В 5/0205, 5/04, публ. 2005.03.10) /3/, в которой реализован способ, заключающийся в следующих операциях. В кресло вмонтирован блок съема функциональных сигналов, содержащий измерительные преобразователи акустических колебаний, температуры, механического давления на опору и положения центра тяжести. Сигналы поступают на вход блока диагностирования функционального состояния. Оценка эффективности деятельности человека-оператора производится путем регистрации последовательности действий оператора, измерения скорости его реакций на раздражители и сопоставления фактических действий с оптимальной моделью деятельности оператора в конкретной ситуации. Оценка функционального состояния оператора производится по значениям эффективности деятельности оператора и его напряженности на основе закона Йоркеса-Додсона.

Согласно известному способу оценивается общий уровень напряжения оператора, но не выделяется доля когнитивного напряжения, которая связана с активацией ЦНС при информационной нагрузке.

Известен способ оценки операторской деятельности по управлению объектом, при котором измеряют параметры сенсомоторной реакции (СМР) оператора на последовательно предъявляемый стимул и вычисляют нормированные значения параметров СМР на стимул (RU 2254050 С2, 7 МПК А61В 5/02, публ. 2005.06.20) /4/. Согласно известному способу предварительно измеряют на большой популяции людей время СМР на стимул, который является многоальтернативным, и вычисляют среднее значение времени реакции и его среднеквадратичное отклонение. Время СМР определяют как временную задержку между предъявлением информации на индикаторе и изменением состояния органа управления (кнопка, тумблер, рычаг). Способ не требует сложного оборудования и пригоден для оценки психофизиологического состояния человека при массовом тестировании, но измерение времени реакции оператора ограничено количеством стимулов, предъявляемых для выполнения операторской деятельности по управлению объектом, в частности воздушным судном. При отсутствии сенсомоторных реакций на стимул в рамках временного окна, которое выбирают в диапазоне от 2 до 5 минут, используют предыдущие нормированные значения времени реакции на стимул и их среднеквадратичного отклонения.

Однако уровень внимания при выполнении учебного задания может быстро изменяться в зависимости от сложности, следовательно, для оценки психофизиологического состояния по времени СМР необходимо использовать реакции на стимулы, предъявляемые одновременно с выполнением задания, а не предыдущие значения времени реакции на нерегулярные стимулы.

Наиболее близким по выполнению и достигаемому результату к заявляемому изобретению является способ оценки уровня активации ЦНС путем предъявления теста, определения времени СМР и сравнения полученных значений с аналогичным показателем в условно-оптимальном состоянии тестируемого (SU 1835261, 5 МПК А61В 5/16, публ. 23.08.93) /5/. С целью повышения точности регистрируют частотную характеристику распределения латентных периодов (ЛП) и уровень активации ЦНС определяют по изменению этого распределения. В частном случае выполнения способа в качестве показателя оценки ЦНС используют появление или исчезновение реакций в интервалах с более короткими или более длинными значениями ЛП. Согласно способу-прототипу тестируемому предъявляют последовательность зрительных сигналов, на которые он реагирует нажатием на кнопку. После завершения обследования вычисляют число реакций, которые в соответствии с величиной ЛП зрительно-моторной реакции находятся в 10-ти интервалах длительностью 0.1 с каждый. Полученное частотное распределение значений времени реакций (латентного периода) сопоставляют с эталонным частотным распределением. Об изменении уровня функционального состояния тестируемого судят по изменению модального интервала ЛП СМР, который соответствует максимальному значению полученного частотного распределения.

Так как в процесс тестирования вовлечена зрительная система тестируемого, то для оценки уровня активации ЦНС во время учебной нагрузки, которая задается на дисплее компьютера, выполнение учебного задания будет прерываться, что приведет к снижению достоверности оценки из-за необходимости для учащегося смены вида деятельности. Смена вида деятельности заключается в переходе от деятельности по выполнению учебного задания к деятельности по выполнению теста с регистрацией СМР, которые могут различаться по уровню активации ЦНС.

Кроме того, в способе-прототипе выбор интервалов частотного распределения ЛП СМР производится по временным характеристикам с шагом 0.1 с, в то время как реальный диапазон значений ЛП СМР может умещаться не более чем в одном или двух интервалах частотного распределения с указанным шагом (Основы инженерной психологии. Учебник для техн. вузов. / Под ред. Б.Ф.Ломова. - М.: Высшая школа, 1986, с.98) /6/, что снижает достоверность известного способа при незначительных колебаниях уровня активации ЦНС, вызванных текущими изменениями внимания тестируемого при учебной нагрузке.

Техническим результатом настоящего изобретения является повышение достоверности оценки уровня активации ЦНС при компьютерном тестировании за счет регистрации частотного распределения латентного периода простой аудиомоторной реакции одновременно с выполнением учебного задания.

Технический результат достигается тем, что в способе оценки уровня внимания учащегося при компьютерном тестировании, включающем определение времени сенсомоторной реакции на предъявляемый стимул и регистрацию частотной характеристики распределения латентных периодов сенсомоторной реакции, согласно изобретению учащемуся предъявляют последовательность одиночных звуковых стимулов во время выполнения учебной нагрузки, а регистрацию частотной характеристики распределения латентных периодов сенсомоторной реакции осуществляют в диапазонах 0,15-0,25 с - при концентрации внимания на звуковых стимулах, 0,25-1,0 с - при недостатке внимания к звуковым стимулам, и более 1 с - при пропуске звуковых стимулов, которые соответственно относятся к состоянию низкого, среднего и высокого когнитивного напряжения, вызванного учебной нагрузкой, затем определяют время пребывания тестируемого учащегося в этих состояниях как величину, пропорциональную частоте распределения латентных периодов сенсомоторной реакции в указанных временных диапазонах.

Другое отличие состоит в том, что последовательность одиночных звуковых стимулов предъявляют с межстимульным интервалом 1.6-2.4 с.

Повышение достоверности оценки уровня активации ЦНС учащегося достигается за счет предъявления задачи на выполнение СМР непосредственно в процессе выполнения учебного задания, предъявляемого на дисплее компьютера. В отличие от прототипа, в котором в выполнение СМР вовлечена зрительная система тестируемого, в заявляемом способе используется простая аудиомоторная реакция (ПАМР), выполнение которой осуществляется параллельно с выполнением учебного задания, что исключает прерывание выполнения учебного задания (смену деятельности) при оценке уровня активации ЦНС.

Предъявление двух параллельных задач, учебной и тестирующей, требует от учащегося переключения внимания с одной задачи на другую, что приводит к увеличению времени ПАМР до 0.4-0.9 с по сравнению с фоновыми значениями (без параллельной задачи), которые попадают в диапазон 0.15-0.3 с, что свидетельствует о конкуренции за внимание учебной и тестирующей задач. Если ЛП между предъявлением текущего стимула и нажатием кнопки учащимся увеличивается до 2 секунд и более, то наступает предъявление следующего звукового стимула, что приводит к пропуску текущего стимула. Появление пропусков реакции на стимул указывает на существенное отвлечение внимания учащегося от выполнения ПАМР и значительную вовлеченность в выполнение параллельной учебной задачи. Чем больше внимания тестируемый концентрирует на решении учебного задания, тем больше ЛП ПАМР, и, наоборот, чем меньше учащийся сосредоточен на решении учебного задания, тем с большей скоростью он выполняет ПАМР.

Диапазоны ЛП ПАМР, соответствующие низкому, среднему и высокому уровням внимания к учебной нагрузке, определены авторами на основании научных исследований вызванной активности коры головного мозга группы студентов в ответ на звуковые стимулы. Обнаружено, что при увеличении информационной нагрузки, которая вызывает снижение внимания к звуковым стимулам, происходит уменьшение амплитуды компонентов вызванного потенциала N100 и Р300, отражающих процессы непроизвольного и произвольного внимания. Указанная зависимость является неочевидной, что подтверждает изобретательский уровень заявляемого способа.

Способ оценки уровня внимания учащегося при компьютерном тестировании иллюстрируется следующими фигурами.

На фиг.1 приведена схема последовательности операций проведения компьютерного тестирования.

На фиг.2 приведена блок-схема алгоритма вычисления уровня когнитивного напряжения учащегося при выполнении учебного задания.

На фиг.3 приведен график зависимости ЛП ПАМР от времени предъявления звуковых стимулов при решении учащимся простого арифметического примера на умножение, где черные столбцы - значения ЛП ПАМР в зоне I - низкого когнитивного напряжения, серые столбцы - значения ЛП ПАМР в зоне II - среднего когнитивного напряжения, белые столбцы - значения ЛП ПАМР в зоне III - высокого когнитивного напряжения.

На фиг.4 приведена гистограмма распределения времени решения учащимся простого арифметического примера на умножение по уровням когнитивного напряжения (КН).

На фиг.5 приведен график зависимости ЛП ПАМР от времени предъявления звуковых стимулов при решении учащимся сложного арифметического примера на умножение, где черные столбцы - значения ЛП ПАМР в зоне I - низкого когнитивного напряжения, серые столбцы - значения ЛП ПАМР в зоне II - среднего когнитивного напряжения, белые столбцы - значения ЛП ПАМР в зоне III - высокого когнитивного напряжения.

На фиг.6 приведена гистограмма распределения времени решения учащимся сложного арифметического примера на умножение по уровням когнитивного напряжения (КН).

На фиг.7 приведена гистограмма распределения суммарного времени выполнения учащимся задания на решение шестидесяти арифметических примеров на умножение по уровням когнитивного напряжения (КН).

На фиг.8 приведены графики усредненного времени, затраченного учащимися на решение шестидесяти арифметических примеров на умножение, где сплошная линия - время на выполнение задания одновременно с ПАМР, пунктирная линия - время на выполнение задания в контроле.

На фиг.9 приведена гистограмма распределения ЛП ПАМР, где серые столбцы - распределение при одновременном выполнении учебного задания, белые столбцы - распределение в контроле.

На фиг.10 приведены графики усредненных вызванных потенциалов, мкВ, зарегистрированных в ответ на звуковой стимул в 21 отведении на поверхности головы по системе 10-20, где темная линия - вызванный потенциал при одновременном выполнении учебного задания, светлая линия - вызванный потенциал в контроле.

При компьютерном тестировании с использованием заявляемого способа вначале проводится инструктаж учащегося о порядке действий для прохождения теста, затем одновременно предъявляются учебное задание и звуковая стимуляция, после окончания выполнения учебного задания производится оценка качества выполнения учебного задания и оценка уровня когнитивного напряжения и на основании полученных оценок осуществляется итоговая оценка эффективности выполнения задания (фиг.1).

Перед началом тестирования учащийся получает инструкцию и подтверждает готовность к выполнению учебного задания щелчком "мыши" или нажатием на кнопку "Enter".

Компьютерное тестирование осуществляется с помощью любой известной системы /1, 7/, в которых оценка качества выполнения учебного задания проводится путем проверки совпадения номеров верного ответа и ответа, выбранного тестируемым.

В процессе тестирования на экране предъявляют последовательность из N учебных заданий. При предъявлении учебного задания U_j учащийся выбирает вариант ответа, который он считает верным, и подтверждает свой выбор нажатием кнопки "Enter". Время окончания выполнения задания t_Uj определяют по нажатию на кнопку "Enter". Качество выполнения задания рассчитывают по правильности выбранного ответа и скорости решения задания.

Одновременно с предъявлением учебных заданий через компьютерные динамики подают последовательность коротких звуковых стимулов отчетливо слышимой громкости. В ответ на предъявление звукового стимула Z_i тестируемый должен как можно быстрее нажать на кнопку, определяемую инструкцией как кнопка "Звук". Величина межстимульного интервала задается случайным образом в диапазоне 1.6-2.4 с, чтобы воспрепятствовать угадыванию тестируемым момента предъявления следующего стимула, и в среднем составляет 2 с, что обеспечивает оптимальное соотношение частоты тестирования КН и интенсивности учебной нагрузки. После выполнения последнего учебного задания подачу звуковых стимулов прекращают.

Моменты предъявления звуковых стимулов t_i и моменты начала нажатия на кнопку "Звук" t_Ri сохраняют в памяти компьютера. ЛП ПАМР LP_i определяют как разность момента начала нажатия на кнопку "Звук" и момента предъявления предыдущего звукового стимула (фиг.2).

Частотное распределение ЛП рассчитывают путем проверки полученных значений LP_i на принадлежность k к одному из трех временных диапазонов: K₁ - 0,15-0,25 с, K₂ - 0,251-1,0 с и K₃ - свыше 1 с. Если в ответ на текущий стимул не было произведено нажатия на кнопку и ЛП не может быть вычислен, то принимается, что реакция тестируемого на текущий стимул принадлежит к третьему диапазону (k∈K₃), в который попадают значения самых медленных ПАМР. Массив значений k_i сохраняют в памяти компьютера. В случае продолжения решения примера производится подача следующего звукового стимула по истечении интервала 1,6-2,4 с, в случае окончания выполнения учебного задания U_j вычисляют время пребывания в трех указанных состояниях. Каждому значению LP_i соответствует 2-секундный интервал времени выполнения учебного задания. Поэтому количество значений, попавшее в указанные диапазоны, пропорционально времени пребывания учащегося в состоянии низкого, среднего и высокого КН соответственно. Время пребывания T_k в состояниях K₁, K₂, K₃ рассчитывают по формуле:

T_k - время пребывания в состоянии K_n при n={1,2,3}, с,

N_k - количество значений ЛП, попавших в данный диапазон,

T_ISI - величина межстимульного интервала, с.

Для наглядного отображения уровня КН на экране компьютера строят гистограмму, состоящую из трех столбцов, соответствующих времени пребывания учащегося в состоянии низкого, среднего и высокого КН (фиг.4, 6, 7).

Предложенный способ был апробирован при выполнении компьютерного теста на умножение двухзначных чисел.

Пример 1. Вычисление частотного распределения времени решения простого арифметического примера по уровню КН.

На экране предъявлялось задание в виде неоконченного примера

27·17=

Учащийся производил в уме требуемые мыслительные операции, затем сравнивал их с тремя предлагаемыми вариантами ответа 367, 475, 357 и подтверждал свой выбор нажатием на кнопку "Enter". Параллельно с выполнением учебного задания учащийся выполнял тест на ПАМР в ответ на щелчки громкостью 80 дБ. За время решения примера тестируемому было предъявлено 33 звуковых стимула, 5 из которых попали в диапазон K₁, 14 - в диапазон K₂ и 14 - в диапазон K₃ (фиг.3). Полученная частота распределения ЛП ПАМР позволила заключить, что тестируемому для решения данного простого примера потребовалось в течение 28 с находиться в состоянии высокого КН, еще 28 с - в состоянии среднего КН, и еще 10 с он не был загружен решением задачи (фиг.4).

Пример 2. Вычисление распределения времени решения сложного арифметического примера по уровню КН.

На экране предъявлялось задание в виде неоконченного примера

78·14=

Учащийся производил в уме требуемые мыслительные операции, затем сравнивал их с тремя предлагаемыми вариантами ответа 1092, 1132, 992 и подтверждал свой выбор нажатием на кнопку "Enter". Параллельно с выполнением учебного задания учащийся выполнял тест на ПАМР в ответ на щелчки громкостью 80 дБ. За время решения примера тестируемому было предъявлено 79 звуковых стимулов, 3 из которых попали в диапазон K₁, 54 - в диапазон K₂ и 22 - в диапазон K₃ (фиг.5). Полученная частота распределения ЛП ПАМР позволила заключить, что тестируемому для решения сложного примера потребовалось в течение 44 с находиться в состоянии высокого КН, 108 с - в состоянии среднего КН, и всего 6 с он мог быстро отвечать на звуковые стимулы (фиг.6).

Пример 3. Сравнение времени ПАМР и конфигурации вызванных потенциалов во время решения арифметических примеров и в контроле.

Группа учащихся выполняла тест из 60 заданий на умножение двухзначных чисел, подобных тем, что приведены в примерах 1 и 2, одновременно с выполнением ПАМР. Контрольные серии - только ПАМР и только решение примеров.

Усредненная гистограмма распределения времени пребывания учащихся в состояниях различного КН, построенная в соответствии с предложенным способом, позволяет заключить, что в среднем учащимся данной группы для прохождения данного теста из 60 заданий требуется около 1250 с находиться в состоянии высокого КН, около 2250 с - в состоянии среднего КН и около 100 с - в состоянии низкого КН (фиг.7). Усредненная гистограмма может использоваться для групповой оценки КН, которая, в свою очередь, может использоваться в качестве эталонной для задания норм для групп учащихся с различным уровнем подготовки.

Среднее время решения различных арифметических примеров различается и служит показателем их сложности для учащихся. Если одни примеры для данной группы учащихся требуют для решения не более 20 с, то другие требуют в среднем 60 с и более (фиг.8). Результаты контрольной серии, в которой выполнялось только решение примеров без параллельного выполнения ПАМР, достоверно не отличались, что доказывает незначительное влияние задачи на ПАМР на общий уровень КН.

Из суммарной гистограммы распределения ЛП ПАМР следует, что большинство значений ЛП ПАМР попадают в диапазон 0.25-0.8 с, в отличие от контроля, где половина значений попадает в диапазон 0.20-0.23 с (фиг.9). Причиной этого является необходимость переключения внимания с задачи на выполнение ПАМР на основную задачу на умножение двухзначных чисел. Для проверки влияния интенсивности учебной нагрузки на конфигурацию вызванных потенциалов во время выполнения основной и контрольной серий теста проводилась стандартная монополярная регистрация ЭЭГ в 21 отведении по системе 10-20. Суммарные слуховые вызванные потенциалы получали путем усреднения отрезков ЭЭГ длительностью 1 с, начинающихся за 0.1 с до стимула и заканчивающихся через 0.9 с после стимула (фиг.10). Максимальная амплитуда слуховых вызванных потенциалов регистрировалась в центральных и лобных отведениях. Снижение внимания на звуковые стимулы подтверждается снижением компонентов N100 и Р300 по сравнению с контролем (фиг.10).

Таким образом, переключение внимания, которое требуется для одновременного выполнения учебной и тестирующей задач, оказывает значительное влияние на эффективность выполнения более простой тестирующей задачи на ПАМР и практически не оказывает влияния на эффективность выполнения более сложной учебной задачи на умножение двухзначных чисел. Следовательно, добавление тестирующей задачи в процедуру проведения экзамена несущественно влияет на объективность отражения знаний учащегося в экзаменационной оценке.

Из сопоставления результатов примеров 1 и 2 следует, что для выполнения более сложных учебных заданий требуется большее суммарное время нахождения в состояниях высокого и среднего КН, и, следовательно, способ позволяет отслеживать динамику уровня активации ЦНС, вызванную изменениями сложности учебных заданий, и тем самым повысить достоверность оценки уровня внимания при его текущих изменениях.

Использование настоящего способа при массовом компьютерном тестировании учащихся позволит решить проблемы учета случайного выбора ответов и дозирования учебной нагрузки. Низкий уровень активации ЦНС при быстром решении учебных заданий свидетельствует о попытке учащегося угадать ответ. Если при этом все ответы правильны, то это свидетельствует о том, что учащийся знает ответы заранее. Известные возрастные нормативы непрерывной учебной нагрузки ориентированы на среднестатистического учащегося. При этом высокомотивированные учащиеся, пребывающие в состоянии высокого напряжения, могут достигнуть состояния стресса раньше нормативного срока, и, наоборот, для низкомотивированных учащихся, выполняющих задание с низкой скоростью, может потребоваться дополнительное время без ущерба для их психофизиологического здоровья. Дозирование непрерывной учебной нагрузки позволит исключить психологический стресс у учащегося в ситуации экзаменационного напряжения.

Источники информации

1. Центр тестирования Министерства образования РФ. Тренировочное тестирование для подготовки к ЕГЭ, http://testonline.rustest.ru/

2. SU 1779329, 5 МПК А61В 5/16, публ. 07.12.1992.

3. RU 2247530, 7 МПК А61В 5/0205, 5/04, публ. 2005.03.10.

4. RU 2254050 С2, 7 МПК А61В 5/02, публ. 2005.06.20.

5. SU 1835261, 5 МПК А61В 5/16, публ. 23.08.1993 - прототип.

6. Основы инженерной психологии. Учеб. для техн. вузов / Под ред. Б.Ф.Ломова. - 2-е изд., доп. и перераб. - М.: Высш. шк., 1986, 448 с.

7. А.И.Башмаков, И.А.Башмаков. Разработка компьютерных учебников и обучающих систем. М.: Информационно-издательский дом «Филинъ», 2003 г.

1. Способ оценки уровня когнитивного напряжения (КН) учащегося, вызванного учебной нагрузкой при компьютерном тестировании, включающий регистрацию времени реакции на предъявляемый стимул и определение частотной характеристики ее латентного периода, отличающийся тем, что во время выполнения учебной нагрузки предъявляют одиночные звуковые стимулы со случайно меняющимся межстимульным интервалом, регистрируют латентные периоды простой аудиомоторной реакции (ЛП ПАМР) и распределяют их в диапазонах: К1 0,15-0,25 с, К2 0,251-1,0 с и К3 - свыше 1 с; вычисляют время пребывания учащегося по ЛП ПАМР в каждом из указанных диапазонов и по времени К1 определяют нахождения учащегося в состоянии низкого КН, по К2 - среднего КН, К3 - высокого КН, вызванного учебной нагрузкой.

2. Способ по п.1, отличающийся тем, что одиночные звуковые стимулы предъявляют с межстимульным интервалом 1,6-2,4 с.