Способ оценки знаний учащегося при компьютерном тестировании

Способ оценки знаний учащегося при компьютерном тестировании

Иллюстрации

Показать все

Реферат

Область техники

Изобретение относится к средствам обучения, в которых обучающийся выбирает ответ на поставленный вопрос из набора ответов одновременно с регистрацией связанных с событием потенциалов (ССП), и может быть использовано для автоматизированной оценки знаний.

Уровень техники

Известен способ тестирования знаний, в котором учащиеся оценивают каждый из предложенных вариантов ответа на тестовое задание и выбирают только один. Это традиционный метод оценивания с помощью задач множественного выбора (multiple-choice tests). Если выбранный студентом вариант совпадает с отмеченным разработчиком тестового задания как правильный, то студент получает 1 балл, иначе, если вариант неправильный или вопрос пропущен, то студент не получает никаких баллов. Этот стандартный метод оценки знаний популярен ввиду легкой реализации в автоматизированных средах и объективности (вероятность получения высокой суммарной оценки за счет угадывания быстро снижается при увеличении числа заданий в тесте).

Недостатком данного способа тестирования знаний является большая вероятность ошибки при недобросовестном выполнении задания: с привлечением посторонних источников (списывание) или случайное угадывание (Lau PNK, Lau SH, Hong KS, Usop H. 2011. "Guessing, Partial Knowledge, and Misconceptions in Multiple-choice Tests". Journal of Educational Technology & Society 14 (4): 99-110. http://www.jstor.org/stable/jeductechsoci.14.4.99) /1/. Из-за высокой вероятности ошибки результат выполнения одного тестового задания не является достоверным. Для получения достоверной оценки требуется предъявление теста из многих (десяти и более) однотипных тестовых заданий, оценки за выполнение которых усредняются.

Эффективность традиционного способа тестирования знаний может быть повышена за счет:

- детекции случаев недобросовестного выполнения заданий;

- более точной оценки знаний на конкретный вопрос с введением промежуточных оценок вроде «неуверенное знание», «остаточные знания», «знание терминов, но незнание механизмов» и других специфических для разных дисциплин уровней знаний, умений и навыков.

Известны способы тестирования с введением уточняющего вопроса про уверенность (Certainty-Based Marking (СВМ), https://docs.moodle.org/30/en/Using_certainty-based_marking) /2/; с исключением неправильных вариантов (Chang SH, Lin PC, Lin ZC. Measures of partial knowledge and unexpected responses in multiple-choice tests. Educational Technology & Society. 2007 Oct 1; 10(4): 95-109, http://www.jstor.org/stable/jeductechsoci.10.4.95) /3/. Недостатком этих способов является повышение затрат времени на прохождение теста, а также то, что они не позволяют различить неуверенность в знании данного вопроса и общую психологическую неуверенность студента.

Известен способ повышения точности оценки, основанный на измерении времени, затраченного на выполнение тестового задания, и расчета индекса усилий для прохождения теста (Chang SR, Plake BS, Kramer GA, Lien SM. Development and Application of Detection Indices for Measuring Guessing Behaviors and Test-Taking Effort in Computerized Adaptive Testing. Educational and Psychological Measurement. 2011; 71(3): 437-459. http://dx.doi.org/10.1177/0013164410385110) /4/. Способ основан на предположении, что на неправильный ответ добросовестный студент тратит больше времени (сомневается, вспоминает), чем на правильный. Однако, если тестовое задание требует процедурного мышления, то время решения будет пропорционально количеству требуемых мыслительных операций, то есть процедурной сложности задания. Также наблюдается обратная зависимость при стратегии случайного угадывания - много неправильных ответов без затрат времени. Для решения этой проблемы авторы предлагают индивидуализированный подход, однако учащийся, прошедший один тест с одной стратегией, может поменять ее при прохождении другого теста, например, если на этот раз лучше подготовился.

Таким образом, в известных методах повышения точности оценки знаний используют время, затраченное на выполнение тестового задания, но не используют информацию о паттерне выполнения самого задания, а именно последовательности выполнения составляющих его компонентов.

Стандартный паттерн выполнения тестового задания множественного выбора начинается с чтения вопроса. В вопросе содержится ключевая информация, которая при наличии соответствующих знаний позволяет извлечь правильный ответ из памяти для сравнения с предложенными вариантами. В других случаях в вопросе содержится описание критерия, который надо применить к каждому из вариантов ответа. Далее, при просмотре очередного варианта ответа учащийся обнаруживает ответ, совпадающий с извлеченным из памяти, выбирает его и заканчивает решение задания. Если не один из предложенных вариантов не совпал с созданным образом внутри мозга учащегося, то учащийся может перейти к повторному более внимательному чтению текста вопроса, чтобы проверить свое решение в надежде найти в нем ошибку. Если учащийся обнаруживает ошибку, то переходит к соответствующему варианту ответа, отмечает его как правильный и заканчивает решение задания. Если ошибку найти не удается, то студент может отказаться от полноценного решения данного задания и перейти к стратегии угадывания, при которой он выбирает наиболее правдоподобный вариант. Таким образом паттерн выполнения тестового задания определяется количеством и порядком следования во времени операций просмотра текста вопроса и просмотра вариантов ответа, причем критический момент, определяющий связь наличия знаний с правильным ответом, происходит при просмотре правильного варианта ответа при наличии образа этого ответа внутри мозга учащегося.

Когда у человека внутренний образ совпадает с внешним, то примерно через 300 мс после предъявления внешнего стимула в теменных отделах коры головного мозга развивается позитивный компонент ССП Р300, также называемый Р3. Таким образом, регистрация ССП в теменных отделах коры головного мозга может быть использована для обнаружения событий совпадения внутреннего образа (эндогенного) с внешним (экзогенным).

Регистрацию ССП с последующим выделением компонента Р300 используют для диагностики функционального состояния головного мозга (RU 2521345, A61B 5/0484, опубл. 2013-03-22) /5/, функциональной межполушарной асимметрии (RU 2528658, A61B 5/0484, опубл. 2014-09-20) /6/, детекции вины или ложной информации (US 5113870 (А), A61B 5/0484, A61B 5/16, опубл. 1992-05-19) /7/, наличия сознания (WO 02100267 (А9), A61B 5/00, A61B 5/0205, A61B 5/0476, опубл. 2004-02-19) /8/.

Однако использование электроэнцефалографических показателей работы мозга для обнаружения событий совпадения внутреннего образа с предъявляемым внешним стимулом для оценки знаний учащегося не известно.

За последние годы произошло значительное удешевление технологии регистрации и анализа электрической активности мозга, что сделало способы на ее основе доступными для широкого применения в образовании. Так, заявлено об изобретении портативного устройства в форме ободка для регистрации Р300 (KR 20160041748, A61B 5/0476, опубл. 2016-04-18) /9/.

Наиболее близким по технической сущности к заявляемому изобретению является «Регулирующее устройство и способ идентификации мозговых волн» (Brain wave identification method adjusting device and method, WO 2008056492, A61B 5/0476, опубл. 2008-05-15) /10/, принимаемый за прототип настоящего изобретения. В прототипе система включает интерфейсный модуль, который регистрирует электроэнцефалограмму (ЭЭГ) пользователя, распознает компонент Р300 зрительного ССП, содержащегося в ЭЭГ после предъявления манипуляционного меню, и оперирует устройством на основании распознанного компонента Р300. В описании прототипа в качестве управляемого устройства предполагают телевизор, а предполагаемые операции с устройством включают переключение каналов, выбор желательного жанра программы для просмотра и звука регулировки уровня громкости. В примере реализации на экране пользователю предъявляют меню из нескольких пунктов, которые по очереди с фиксированным временным шагом, задаваемым программно, подсвечиваются в виде рамки вокруг текущего пункта. Если в ответ на выделение текущего пункта в мозгу регистрируется потенциал Р300, то происходит активация данного пункта меню. Развитие потенциала Р300 в коре головного мозга сопровождает событие совпадения внутреннего образа (пункта, на который хочет перейти пользователь) и внешнего стимула (пункта, который выделен рамкой) и не требует волевых усилий, поэтому способ-прототип позволяет переключать пункты меню без рук.

Однако в способе-прототипе период просмотра каждого из предлагаемых вариантов является фиксированным и задается программно, что в случае применения способа для оценки знаний не позволяет пользователю выбирать вариант ответа на основе обдумывания смысла вопроса в течение произвольного интервала времени и сопоставления вариантов ответа друг с другом.

Задача, на решение которой направлено заявляемое изобретение, заключается в разработке усовершенствованного способа достоверной оценки знаний учащегося при компьютерном тестировании.

Задача решена за счет нового технического результата - отделения правильного ответа на основе знаний учащегося от случайно угаданного ответа или ответа, полученного с привлечением посторонних источников, а также отделения неправильного ответа при попытке использовать частичные знания от случайно выбранного неправильного ответа.

В отличие от прототипа, в заявляемом изобретении пользователь активно перемещается по текстовым элементам с вариантами ответа, задерживаясь на просмотр каждого из них столько времени, сколько ему нужно для обдумывания задачи. При этом последовательность просмотра вариантов ответа заранее не определяют, что дает учащемуся возможность сопоставления альтернативных вариантов ответа друг с другом. Для отметки выбранного варианта ответа учащийся использует манипулятор (мышь), а не электроэнцефалографический интерфейс. По наличию компонента Р300 в ССП после предъявления варианта ответа судят о наличии готового правильного ответа у учащегося, совпадающего с предъявляемым на экране.

Использование поведенческих и электроэнцефалографических показателей работы учащегося для классификации видов решения тестовых заданий не следует из уровня техники, что подтверждает изобретательский уровень заявляемого способа.

Указанный технический результат достигается тем, что способ оценки знаний учащегося при компьютерном тестировании заключается в предъявлении тестового задания, состоящего из вопроса и вариантов ответа, на экране компьютера, регистрации момента времени начала просмотра текста вопроса и каждого варианта ответа, момента времени окончания просмотра текста вопроса и каждого варианта ответа, времени принятия решения о выборе варианта ответа с помощью манипулятора, вычислении интегральных показателей выполнения тестового задания, характеризующих последовательность и скорость просмотра вопроса и вариантов ответа, регистрации ССП во время просмотра текста варианта ответа, выделении компонента ССП Р300, при наличии которого делают вывод о совпадении эндогенного образа, соответствующего правильному ответу на вопрос, с экзогенным образом, возникающим при чтении текста на экране компьютера, классификации вида решения с помощью набора решающих правил на соответствие случайному угадыванию, списыванию, частичному знанию, неуверенному знанию или уверенному знанию.

В предпочтительном случае выполнения:

- вопрос и варианты ответа, из которых состоит тестовое задание, предъявляют на экране компьютера в виде визуально отмеченных областей экрана, а текст скрывают;

- текст вопроса и вариантов ответа предъявляют при наведении курсора манипулятора на соответствующие области экрана;

- регистрацию момента времени начала просмотра текста вопроса и каждого варианта ответа осуществляют при наведении курсора на область экрана, предназначенную для предъявления соответствующего текста;

- регистрацию момента времени окончания просмотра текста вопроса и каждого варианта ответа осуществляют в момент перевода курсора за пределы области экрана, предназначенной для предъявления соответствующего текста.

Знание момента времени начала просмотра текста варианта ответа необходимо для регистрации ССП. Появление текста в фокусе внимания учащегося представляет собой значимый зрительный вербальный стимул, в ответ на который в мозге развивается ССП. Компонент Р300 развивается в теменных зонах мозга через 300-400 мс от момента предъявления стимула. По наличию компонента ССП Р300 можно отделить правильный ответ на основе уверенных знаний учащегося от случайно угаданного ответа на основе частичных знаний.

Регистрация моментов начала и окончания просмотра текста каждого варианта ответа позволяет вычислить количество просмотров текста и их порядок. Это позволяет выделить длительные паузы, по которым можно отделить правильный ответ на основании имеющихся знаний учащегося от списывания с привлечением посторонних источников.

Регистрация времени принятия решения о выборе варианта ответа с помощью манипулятора позволяет вычислить время реакции, по которому можно отделить спонтанные случайно угаданные правильные ответы от осознанно принятых решений о правильности прочитанного текста.

Вычисление количества просмотров текста вариантов ответов до и после принятия решения позволяет выделить характерные паттерны выполнения тестового задания, связанные с неуверенностью в собственных знаниях, по которым можно отделить правильный ответ на основании уверенных знаний от ответа, полученного на основании неуверенных знаний.

Перечень фигур графического изображения

Фиг. 1. Схема соединения модулей для осуществления способа оценки знаний учащегося при компьютерном тестировании.

Фиг. 2. Блок-схема осуществления способа оценки знаний учащегося при компьютерном тестировании.

Фиг. 3. Блок-схема алгоритма выделения компонента Р300.

Фиг. 4. Блок-схема алгоритма регистрации моментов времени начала и окончания просмотра текстового элемента тестового задания, предъявляемого на экране.

Фиг. 5. Паттерны развертывания событий просмотра текстовых элементов во времени при пяти видах решения тестового задания.

Таблица. Сравнение достоверности оценок знаний учащегося стандартным и заявляемым способами, полученных на вероятностной модели прохождения теста из 20 заданий.

Реализация способа включает следующие операции: Подготавливают учащегося 1 (фиг. 1) к регистрации ЭЭГ, для чего на поверхности головы прикрепляют датчики электрического сигнала 2, соединенные с блоком электроэнцефалографа 3, передающим потоковую ЭЭГ через блок связи 4 в компьютер 5. Проверяют качество регистрации сигнала в соответствии с инструкцией к электроэнцефалографу. Проводят запись ЭЭГ на компьютере 5 в режиме реального времени.

Подготавливают рабочее место учащегося 1, проходящего тестирование, так, чтобы ему было видно экран блока стимуляции 6 и удобно пользоваться манипулятором 7.

На экран предъявляют тестовые задания по одному. Блок-схема осуществления способа оценки знаний учащегося применительно к i-му заданию показана на фиг. 2.

В ходе тестирования проводят регистрацию момента времени начала просмотра текста вопроса, окончания просмотра текста вопроса, начала просмотра текста каждого варианта ответа, окончания просмотра текста каждого варианта ответа, времени принятия решения о выборе варианта ответа с помощью манипулятора при выполнении задания 9 в протоколе 10. Одновременно проводят регистрацию ССП 12, для которой в качестве отметок о стимулах используют моменты времени начала просмотра вариантов ответов 11, сохраняемые в протоколе 10.

В ССП, зарегистрированном после начала просмотра текущего варианта ответа, выделяют компонент Р300. Информацию о наличии компонента Р300 в зарегистрированном ССП и информацию из протокола 10 используют для расчета М комплексных показателей х₁…x_M, которые поступают на вход классификатора 17, в котором с помощью набора решающих правил устанавливают соответствие вида решения q_i случайному угадыванию Q_G, списыванию Q_C, частичному знанию Q_P, неуверенному знанию Q_I или уверенному знанию Q_K. Информация о виде решения q_i используют для вычисления оценки G_i 18 с помощью передаточной функции ƒ за выполнение i-го тестового задания.

Алгоритм выделения компонента Р300 в зарегистрированном ССП представлен на фиг. 3.

Из зарегистрированной многоканальной ЭЭГ 19 извлекают фрагмент длительностью 1 с, следующий после начала j-го просмотра текста t_j 20, представляющий собой ССП 21 в ответ на зрительный стимул. Поскольку зрительный стимул содержит вербальную информацию, то восприятие стимула ведет к формированию сложного образа, включающего зрительные и вербальные компоненты. Однако электрическая мозговая активность, отражающая восприятие и анализ стимула, скрыта среди фоновой активности мозга, постоянно присутствующей в регистрируемой ЭЭГ. Для выделения релевантного сигнала из суммарной ЭЭГ проводят пространственную 22 и частотную 23 фильтрацию.

Пространственную фильтрацию 22 проводят, рассчитывая локальность (Hjorth, В., 1975. An on-line transformation of EEG scalp potentials into orthogonal source derivations. Electroenceph. Clin. Neurophysiol. Suppl. 39 (5), 526-530) /11/ в отведении Pz по сйстеме 10-20. Для этого используют 5 каналов многоканальной ЭЭГ, записанной по монополярной схеме с активными отведениями в точках по стандарту 10-20: Cz, Oz, Р3, Р4, Pz.

Частотную фильтрацию 23 проводят фильтром Баттеруорта (https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.signal.butter.html) /12/ с полосой пропускания 1-8 Гц.

После этого измеряют амплитуду 24 максимального отклонения сигнала в позитивную сторону от нулевой линии в диапазоне 300-400 мс от начала фрагмента. Если полученное значение A_j превышает пороговое А*, то отмечают наличие компонента Р300 (z_j=1) 26, иначе отмечают его отсутствие (z_j=0) 27. Превышение порогового значения интерпретируют как совпадение эндогенного образа, извлеченного из памяти, с экзогенным образом, сформированным при чтении текста варианта ответа.

Пороговое значение А* находят эмпирическим путем, поскольку амплитуда сигнала может изменяться в зависимости от характеристик фильтра. В отличие от способа-прототипа калибровка порогового значения А* для детекции компонента Р300 в заявляемом способе не является существенной операцией. Калибровка может быть произведена путем предъявления заведомо простых заданий или заданий, содержащих подсказку. В этом случае амплитуда компонента Р300 в ССП при просмотре правильного варианта ответа должна быть достаточна для детекции соответствия эндогенного и экзогенного образов, а при просмотре неправильных вариантов - нет. Поскольку заявляемый способ не накладывает ограничений на длину и сложность текста в элементах тестового задания, то калибровка должна производиться с учетом субъективной сложности предъявляемых тестовых заданий для данного учащегося. Важное требование для успешной калибровки - короткие текстовые варианты ответа длиной не более 3 слов, а также соответствие длины текста в калибровочных и рабочих тестовых заданиях.

События, связанные с действиями учащегося, регистрируют в виде массива парных значений, где первое значение - время от момента начала предъявления тестового задания t_i0, с, а второе - целочисленный код данного события. В частном примере осуществления способа события при записи в протокол 10 кодировали по схеме:

1 - начало нажатия кнопки мыши,

-1 - отжатие кнопки мыши,

1000 - начало просмотра вопроса,

-1000 - окончание просмотра вопроса,

1001 - начало просмотра 1-го варианта ответа,

-1001 - окончание просмотра 1-го варианта ответа,

1002 - начало просмотра 2-го варианта ответа,

-1002 - окончание просмотра 2-го варианта ответа,

и т.д. по количеству вариантов ответа.

В протоколе 10 также фиксируют длительность выполнения задания, с, равную времени от t₀ до нажатия кнопки «Далее», содержание текстовых элементов, адрес хоста, код пользователя, код вопроса в банке вопросов, порядковый номер тестового задания и другие метаданные, не имеющие отношения к изобретению.

Алгоритм регистрации моментов времени начала и окончания просмотра текстовых элементов представлен на фиг. 4.

Согласно изобретению текстовые элементы тестового задания, включающие вопрос и варианты ответа, предъявляют в виде визуально выделенных областей экрана, занимаемые текстовыми элементами. При наведении курсора мыши 43 на занимаемую элементом e_k область текст элемента T_k делают видимым 44. При этом регистрируют момент времени начала j-го просмотра текстового элемента t_onj. Текст остается видимым, и, соответственно, доступным для чтения до перевода учащимся курсора за пределы текстового элемента e_k 46, когда текст T_k вновь заменяют на визуально выделенные области экрана 47. При этом регистрируют момент времени окончания j-го просмотра текстового элемента t_offj. Моменты времени t_onj и t_offj сохраняют в протокол 10.

Возможны иные способы регистрации моментов времени начала и конца просмотра каждого текстового элемента, например с помощью устройства для отслеживания взгляда (eye-tracker, https://en.wikipedia.org/wiki/Eye_tracking) /13/, недостатками которого являются дороговизна и необходимость калибровки.

Информацию о моментах времени начала и окончания просмотра текстовых элементов используют для расчета M показателей выполнения тестового задания, характеризующих последовательность и скорость просмотра вопроса и вариантов ответа. Набор показателей x₁…x_M подобран так, чтобы характеризовать типичные паттерны, наблюдаемые при тестировании знаний учащихся.

В частном примере осуществления способа для работы классификатора 17 (фиг. 2) вычисляют следующие комплексные показатели:

x₁=y - признак правильного ответа, если номер выбранного ответа соответствует правильному.

х₂=z - признак наличия компонента Р300 в ССП на выбранный вариант ответа.

х₃=extra - признак избыточных просмотров вариантов ответа до принятия решения, соответствующий V_extra>1, где V_extra - количество лишних просмотров вариантов ответа сверх минимально необходимых для оптимального решения.

х₄=check - признак проверки, соответствующий V_check>1, где V_check - количество просмотров вариантов ответа после финального клика мышкой.

х₅=scan - признак проверки, соответствующий n_scan>0, где n_scan - количество сканирований перед первым кликом, где под сканированием понимают последовательные просмотры всех вариантов ответа в прямом или обратном порядке без принятия решения о выборе одного из них.

х₆=spont - признак спонтанной реакции, когда время реакции от начала просмотра варианта ответа r<0.5 с, что слишком мало для принятия осознанного решения о правильности прочитанного текста;

х₇=pau - признак паузы, соответствующий , где Р - интервалы между последовательными действиями, превышающие 5 с.

х₈=out - признак переключения в другое окно приложения, соответствующий p_out>0.05, где p_out - доля времени выполнения задания, проведенная вне текущего окна приложения.

Критические значения для показателей были отобраны методом кросс-валидации при обучении автоматического классификатора. 10-кратная кросс-валидация проводилась методом случайного леса (Random Forest https://en.wikipedia.org/wiki/Random_forest) /14/ при обучении 300 случайных деревьев на частичных обучающих выборках из 500 решенных заданий, размеченных экспертом по принадлежности к пяти стратегиям. Значения критических значений для решающих правил были получены на основании анализа построенных графиков частичной зависимости функции определения данной стратегии от значений данного показателя (Partial Dependence Plots http://scikit-learn.org/stable/auto_ examples/ensemble/plot_partial_dependence.html) /15/.

Для классификации 17 видов решения тестового заданий на классы используют набор решающих правил:

где Q_K - уверенное знание, Q_I - неуверенное знание, Q_P - частичное знание, попытка догадаться путем сопоставления вопроса и вариантов ответа, Q_G - случайное угадывание, Q_C - списывание. Если правило не срабатывает, то используют следующее в указанном порядке.

Расчет оценки 18 проводят по формуле

где q_i - вид решения i-тестового задания, - передаточная функция, так что в частном случае осуществления способа получают оценку на шкале от 0 до 1 со значениями функции , .

Пример выполнения.

Способ использован при оценке знаний студентов по дисциплине «Физиология человека и животных» на кафедре физиологии Академии биологии и биотехнологии Южного федерального университета.

Для проведения тестирования использовали систему управления обучением Moodle (https://moodle.org/) /16/, представляющую собой веб-приложение и включающую стандартный модуль для тестирования знаний с возможностью редактирования тестовых заданий. В ходе теста предъявляли тестовые задания по одному случайно выбранному из банка вопросов по данной теме. Тестовое задание для оценки знаний студентов состояло из текста вопроса и 2-6 вариантов ответа. Текстовые элементы тестового задания прикрывали непрозрачными панелями серого цвета, которые становились прозрачными при наведении курсора мыши. Если варианты ответа сопровождались круглым индикатором (radio input), то можно было выбрать только один ответ. Если варианты ответа сопровождались квадратными индикаторами (checkbox input), то можно было выбрать несколько вариантов ответа. В последнем случае обязательным является просмотр всех вариантов ответов, поскольку каждый из них требует принятия отдельного решения. В процессе тестирования учащийся целенаправленно перемещает курсор мыши к тому текстовому элементу, который хочет прочитать. Обычно при прохождении теста учащийся читает вопрос, затем переходит к чтению вариантов ответа. Если прочитанный им вариант ответа кажется ему правдоподобным, то он отмечает его как правильный, для чего кликает по нему мышкой (нажимает на кнопку в момент нахождения курсора над текстом варианта ответа). Сопровождающий данный вариант ответа индикатор переходит в состояние «выбранный», при этом на индикаторе отображается точка или птичка. Если можно выбрать только один ответ, то после выбора правильного ответа учащийся может не читать оставшиеся варианты и закончить выполнение тестового задания, нажав на кнопку «Далее». При этом он переходит к следующему тестовому заданию или на страницу просмотра результатов. Если можно выбрать несколько вариантов ответов, то учащийся просматривает каждый из вариантов ответа, и кликает мышкой на нем, если он считает его правильным.

Регистрацию ССП проводили с помощью мобильного электроэнцефалографа 3 (фиг. 1) «Энцефалан ЭЭГР-19/25» (фирма «Медиком-МТД», Россия), сигнал от которого передавался через беспроводной канал связи 4 по стандарту bluetooth. ЭЭГ регистрировалась в 19 отведениях по схеме 10-20. Также записывались сигналы ЭОГ, ЭКГ, ПГ (кривая дыхания), изменения позы.

Паттерны последовательностей событий, характерные для разных видов решения тестового задания с выбором единственного варианта ответа из 4-х предложенных, показаны на фиг. 5, где

а - паттерн решения при уверенном знании;

б - паттерн решения при неуверенном знании;

в - паттерн решения при частичном знании;

г - паттерн решения при случайном угадывании;

д - паттерн решения при списывании.

Паттерны представлены в виде развертки во времени, где каждому просмотру текстового элемента соответствует прямоугольник, левая грань которого соответствует началу просмотра, а правая - окончанию, связанному как правило с переводом курсора на другой элемент. По оси ординат - время, отсчитываемое от начала предъявления тестового задания. Вертикальной жирной линией показан момент нажатия на кнопку мыши. Выделенные отрезки r - время реакции, Р - время паузы. По оси ординат отложены условные обозначения - q - вопрос, светлая заливка прямоугольника, a1…a4 - варианты ответов, темная заливка прямоугольника, ERP - схематичное изображение общей динамики ССП, регистрируемой в течении 1 с при просмотре вариантов ответов длительностью более 300 мс. Для всех паттернов правильный вариант - номер 3, а вариант 2 - максимально похож на правильный ответ, то есть является наилучшим дистрактором. В правой части показан выход классификатора вида решения q_i и показатель наличия компонента Р300 в ССП на выбранный вариант ответа z.

Пример 1 (фиг. 5, а)

Решение тестового задания при наличии уверенных знаний характеризуется средним временем чтения вопроса 28, достаточным для уяснения смысла вопроса. В процессе осознанного восприятия текста вопроса формируется эндогенный образ правильного ответа. При просмотре очередного варианта ответа у учащегося формируется экзогенный образ, соответствующий воспринимаемому вербальному стимулу. При совпадении экзогенного и эндогенного образов развивается выраженное позитивное колебание (на рисунке позитивность вниз), известное как компонент Р300. Для целей иллюстрации отклонение, пересекающее нулевую линии, считается достаточным для детекции Р300. Вслед за этим учащийся делает правильный выбор 29 и завершает решение. Например, в тексте вопроса указано «Сколько будет 2×9?». У учащегося формируется эндогенный образ «восемнадцать» или «18». Он смотрит первый вариант ответа - «5». Формируется экзогенный образ «пять», который никак не соответствует эндогенному образу. Затем он смотрит второй вариант ответа - «19». Этот ответ похож на правильный, но все же есть рассогласование между «восемнадцать» и «девятнадцать». Затем он смотрит третий вариант ответа - «18». Экзогенный и эндогенный образы совпадают и учащийся с облегчением кликает мышкой на этом варианте.

Пример 2 (фиг. 5, б)

После длительного чтения вопроса 30 учащийся приступает к просмотру вариантов ответов. Он находит правильный ответ и отмечает его кликом 31. Однако неуверенность в сделанном выборе заставляет учащегося просматривать другие варианты 32 для сопоставления предложенных вариантов между собой. При этом экзогенные образы накладываются друг на друга и в голове может возникнуть путаница. Неуверенный в своих знаниях учащийся повторно читает текст вопроса 33. После чего он перепроверяет правильность уже сделанного выбора 34 и завершает выполнение задания. Таким образом, решение при неуверенном знании характеризуется лишними затратами времени по сравнению с уверенным, а также большей вероятностью ошибки, если альтернативные варианты ответа очень похожи на правильный вариант.

Пример 3 (фиг. 5, в)

Учащийся сокращает чтение вопроса 35 до времени, недостаточного для формирования готового ответа. Учащийся успевает схватить пару ключевых терминов и в таком состоянии переходит к просмотру вариантов ответов. Для полноты картины он быстро знакомится с содержанием всех вариантов ответа, просматривая их подряд, не выбирая ни один из них. Это характерный паттерн сканирования 36. Теперь учащийся знает, из каких вариантов ему предстоит выбирать, и тогда он снова читает текст вопроса, чтобы точнее уяснить то, о чем спрашивается в вопросе. Остаточные знания или общая эрудиция и логика помогают исключить ему заведомо неверные варианты ответа, 1-й и 4-й. Тем самым вероятность правильного угадывания возрастает с 0.25 (1 вариант из 4-х) до 0.5 (1 вариант из двух). Поскольку знания у учащегося лишь частичные, то он ограничен выбором из двух наиболее правдоподобных вариантов. Он выбирает то один вариант 37, то другой 38, полагаясь при этом на удачу. При просмотре правдоподобных вариантов у него нет эндогенного образа готового ответа, поэтому Р300 не обнаруживается. Паттерн решения при частичном знании характерен при спешке в ходе тестирования и недостаточной подготовке.

Пример 4 (фиг. 5, г)

Учащийся после короткого просмотра текста вопроса 39 осознал, что не обладает знаниями, необходимыми для ответа на вопрос, поэтому он решает кликнуть мышкой наугад на любом из вариантов ответа. Мотивацией кликнуть на любом из вариантов служит то, что при стандартном способе оценки знаний, случайное угадывание в рассматриваемой конфигурации теста дает 25% правильных ответов. Ключевые признаки паттерна случайного угадывания - малое время реакции r 40 и малое количество просмотров. Учащийся не пытается угадать правильный вопрос на основании анализа смыслового содержимого, поэтому не читает текст. Даже если он просмотрит несколько текстовых элементов, это будут короткие несистематические просмотры, недостаточные для формирования эндогенного и экзогенных образов.

Пример 5 (фиг. 5, д)

Учащийся быстро читает вопрос 41, после чего проводит поиск во внешнем источнике - в смартфоне с доступом к социальной сети, где выложены снимки экрана с решенными заданиями. В качестве внешних источников могут выступать документ с ответами (учебник), база данных, поисковая система в интернете, шпаргалки. Если у учащегося нет готовых ответов для данного теста, то ему приходится прочитать несколько абзацев текста, на что уходит относительно много времени. Характерная черта при списывании - длительная пауза 42. После обнаружения ответа учащийся со сформированным эндогенным образом правильного ответа переходит к просмотру предлагаемых вариантов. На данном этапе он фактически не отличается от студента с уверенным знанием материала. При просмотре правильного ответа в мозге развивается компонент Р300, вслед за которым следует клик мышкой 43.

Таким образом, вид решения, к которому прибегнул учащийся для прохождения данного тестового задания, отражается в порядке и скорости следования событий просмотра текстовых элементов и нажатий на кнопку мыши.

Оценка повышения достоверности производилась путем симуляционного вероятностного моделирования распределения оценок, полученных при различных сценариях тестирования. В таблице представлены результаты симуляции исходов тестирования с 20 тестовыми заданиями с выборов одного ответа из 4 возможных, и соответствующая оценка изменения достоверности при переходе от стандартного способа оценивания знаний к заявляемому способу оценки знаний учащегося при компьютерном тестировании. Вероятность правильного ответа при стандартном способе оценки соответствовала видам решения Q_K - 1.0, Q_I - 0.9, Q_P - 0.5, Q_G - 0.25, Q_C - 1.0. В ходе симуляции программно создавали двадцать правильных ответов. Следует отметить, что вероятность ошибки существует и при уверенном знании - с учетом типичного экзаменационного стресса случайные ошибки по типу опечаток могут составлять до 5%. С вероятностью случайной ошибки 0.05 номер ответа сдвигался на соседнюю позицию. Симуляцию повторяли 10000 раз. Моделировали ситуации:

1. Уверенное знание материала.

2. Неуверенное знание ответов на половину вопросов, остальное пытается угадать с опорой на остаточные знания.

3. Уверенное знание половины материала, неуверенное знание остального

4. Остаточные знания, недостаточные для прохождения теста

5. Случайное угадывание

6. Списывание с привлечением посторонних источников

7. Списывание половины ответов с привлечением посторонних источников, остальное случайное угадывание в условиях нехватки времени.

Источники информации

1. Lau PNK, Lau SH, Hong KS, Usop H. 2011. "Guessing, Partial Knowledge, and Misconceptions in Multiple-choice Tests". Journal of Educational Technology & Society 14 (4): 99-110. http://www.jstor.org/stable/jeductechsoci.14.4.99.

2. Certainty-Based Marking (CBM), https://docs.moodle.org/30/en/Using_certainty-based_marking.

3. Chang SH, Lin PC, Lin ZC. Measures of partial knowledge and unexpected responses in multiple-choice tests. Educational Technology & Society. 2007 Oct 1; 10(4): 95-109. http://www.jstor.org/stable/jeductechsoci.10.4.95.

4. Chang SR, Plake BS, Kramer GA, Lien SM. Development and Application of Detection Indices for Measuring Guessing Behaviors and Test-Taking Effort in Computerized Adaptive Testing. Educational and Psychological Measurement. 2011; 71(3): 437-459. http://dx.doi.org/10.1177/0013164410385110.

5. RU 2521345, A61B 5/0484, опубл. 2013-03-22.

6. RU 2528658, A61B 5/0484, опубл. 2014-09-20.

7. US 5113870 (A), A61B 5/0484, A61B 5/16, опубл. 1992-05-19.

8. WO 02100267 (A9), A61B 5/00, A61B 5/0205, A61B 5/0476, опубл. 2004-02-19.

9. KR 20160041748, A61B 5/0476, опубл. 2016-04-18.

10. WO 2008056492, A61B 5/0476, опубл. 2008-05-15.

11. Hjorth, В., 1975. An on-line transformation of EEG scalp potentials into orthogonal source derivations. Electroenceph. Clin. Neurophysiol. Suppl. 39 (5), 526-530.

12. Фильтр Баттеруорта https://docs.scipy.org/doc/scipy-0.14.0/reference/generated/scipy.signal.butter.html.

13. Eye-tracker, https://en.wikipedia.org/wiki/Eye_tracking.