Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
УДК 159.98 Психотехника
В статье рассматриваются методы оценки степени близости (расстояний) ответов обучающегося и эталона, как первичный этап формирования оценки знаний в автоматизированных системах обучения. Ответ обучающегося и эталона представляются строковыми образами (т.е. последовательностью числовых, буквенно-числовых или символьных примитивов). Оценка расстояний рассматривается как необходимое число преобразований (т.е. вставок, удаления и замещений примитивов образа), требуемых для получения строки эталона ответа из строки ответа обучающегося. В алгоритме оценки расстояний учитывается неравнозначность примитивов, различные формы их представлений и представлен алгоритм, допускающий ответ в форме естественного языка.
контроль знаний, строковый образ, примитив, дихотомическая, порядковая и ранговая шкалы оценок, расстояние между строковыми образами ответа и эталона, алгоритм Левенштейна
Введение
Одним из основных блоков специализированного математического обеспечения автоматизированных обучающих систем (далее – АОС) является блок контроля ответов обучающихся. В случае применения тестового способа контроля знаний этот блок функционирует следующим образом: при вводе ответа обучающимся выделяются некоторые признаки, в соответствии с анализом которых введенная обучающимся информация относится в дихотомической шкале оценок, к категории правильных или неправильных, а в порядковой шкале – оценивается соответствующими баллами. Один из основоположников научного подхода к проблеме тестирования В.С. Аванесов показал, что виды всех типов ответов обучающихся могут быть сведены к следующим [1]:
1) выборочный, когда выбор варианта ответа осуществляется в произвольном порядке по отношению к задаваемым вопросам.
2) порядковый, когда варианты возможных ответов соответствуют порядку задаваемых вопросов.
3) открытый (конструируемый), когда ответ представлен на основе определенных символов или выражен в форме текста.
4) множественный, представленный множеством ответов одновременно на все вопросы теста.
По мнению авторов предлагаемой статьи из перечисленных выше методов, в ряде случаев, наиболее эффективным представляется открытый (конструируемый) способ ответа для контроля знаний. Данный способ может быть использован, например, при определении порядка выполнения расчетов физических величин или параметров систем по изученной ранее технологии их получения, проведения регламентных работ на технике, контроля ее функционирования и т.д.
В этом методе обучающийся формирует (конструирует) ответ в виде определенной последовательности знаков, формирующих строковые образы и обозначающие отдельные элементы (примитивы). Эти образы могут быть представлены в виде буквенной, цифровой, символьной или смешанной последовательности знаков. Ответ в этом случае может быть сформулирован также в виде математических или синтаксических правил.
Процедура формирования оценки обучающегося в той или иной шкале оценок в случае получения ответа в конструируемой форме сводится к двум этапам, а именно: на первом – вычисляется расстояние между ответом обучающегося, представленным строковым образом и его эталоном (эталонами), на втором – вычисленное расстояние переводится в выбранную шкалу оценок (дихотомическую, порядковую, относительную, ранговую).
Решение задач второго этапа представляет самостоятельный интерес. Частично они раскрыты в предыдущих работах авторов [1], [10], [11], [12], [13]. В рамках этой статьи будут рассмотрены только задачи первого этапа.
Метод оценки близости эталона и образа ответа обучающегося, выраженных строковыми образами
Форма записи в виде строкового образа, которым представляется ответ обучающегося, предложена в работе [16], который ввел понятие «расстояния» (т.е. возможной регулируемой разницы между строковыми образами, отражающими текущие и окончательные решения какой-либо задачи, представленной в виде символов). Это «расстояние» определяло число преобразований (вставок, удалений и замещений примитивов образа) необходимых для приведения записи текущего строкового образа к его окончательному варианту.
В строковом образе важным является не только значение отдельного примитива, но и его положение в нем, что позволяет использовать строковый образ, например: при записи логической структуры решения контрольных задач; описания изучаемого объекта или ситуации, инициирующей принятие определенного решения; для определения последовательности выполнения операций при контроле функционирования аппаратуры, поиске неисправностей и т.д.
Рассмотрим алгоритм формирования оценки расстояния d между двумя строковыми образами ответа обучающегося Х и эталоном ответа М. В общем случае эталонов может быть несколько 
, т.е. d определяется как наименьшее число преобразований, требуемых для получения строки эталона ответа M из строки ответа обучающегося X (с учетом их сходства S). Преобразования состоят из вставок, удаления и замещений примитивов образа. Алгоритм оценки расстояния между примитивами строки ответа обучающегося и эталона сводится к расчету следующего рекуррентного выражения [1], [12]:
|
|
(1) |
где:
– примитив предыдущей строки сравниваемый с текущим значением атрибута;
– примитив предыдущей строки предыдущего столбца сравниваемый с текущим значением атрибута;
– примитив предыдущего столбца сравниваемый с текущим значением атрибута;
γ, j – примитивы образа ответа обучающегося и образа эталона соответственно;
n1, n – число примитивов в образе эталона и ответа обучающегося соответственно.
В общем случае справедливо неравенство 
. Расстояние между строковыми образами соответствует сумме преобразований необходимых для достижения эталона. Соответственно, чем больше эта сумма, тем большее несоответствие строкового образа ответа обучающегося и его эталонного варианта.
Рассмотрим несколько примеров.
1. Допустим, что в ходе контроля качества усвоения учебного материала обучающемуся предлагается записать последовательность операции решения задачи. Для этой цели используется ряд символов, обозначающих отдельные операции ее решения. Эталон ответа М подобной записи содержит следующую последовательность:
Ответ обучающегося Х выразился следующим образом:
Пользуясь алгоритмом (1), определим расстояние между этими двумя последовательностями. Формально это означает, что, при сравнении ответа и эталона, обучающимся была допущена ошибка в одном месте (в третьем символе последовательности). Таким образом, для данного образа ответа обучающегося необходимо одно преобразование, чтобы получить требуемый эталон правильного ответа на поставленную задачу.
Преобразования в соответствии с алгоритмом (1) построчно (для первой строки) могут быть представлены в следующем виде:
,
,
,
,
.
Для второй строки:
Аналогичные преобразования проводят для каждого примитива строки ответа
обучающегося X.
Таблица 1
Преобразования, требуемые для получения столбца эталона ответа M из ответа обучающегося X
Table 1
Transformations required to obtain the reference column of the answer M from the student's answer X
|
Эталон ответа (M) |
Ответ обучающегося (X) |
a |
a |
a |
b |
a |
|
|
№ |
примитива ответа |
||||||
|
Примитива эталона |
0 |
1 |
2 |
3 |
4 |
5 |
|
|
a |
1 |
0 |
0 |
0 |
0 |
0 |
|
|
a |
2 |
1 |
0 |
0 |
0 |
0 |
|
|
b |
3 |
2 |
1 |
1 |
0 |
0 |
|
|
b |
4 |
3 |
2 |
2 |
1 |
1 |
|
|
a |
5 |
4 |
3 |
2 |
2 |
1 |
|
Значение в ячейке правом нижнем углу – это есть искомое расстояние между эталоном ответа M из строки ответа обучающегося X.
Пользуясь подобным подходом, можно представить строковыми образами эталоны решения контрольных задач по различным дисциплинам, причем эталоны и ответы образов могут быть представлены, в виде наборов эталонов используемых в конкретных дисциплинах.
2. Предположим, что в задании обучающемуся предлагается записать алгоритм действий оператора станции слежения, осуществляющей обнаружение и сопровождение целей с помощью метки маркера на экране индикатора. При этом ответ обучающегося должен быть представлен порядковыми номерами, определяющими набор качественных признаков оптимального функционирования объекта или его описания.
Для записи алгоритма обучающемуся выданы списки элементарных операций и логических условий
где:
А1 – обнаружение отметки цели на экране индикатора при первичном обзоре;
А2 – совмещение метки маркера с отметкой цели и присвоение ей порядкового номера;
А3 – снятие цели с сопровождения;
Р1 – наличие отметки цели в следующем обзоре на экране индикатора;
Р2 – проверка совпадения отметки цели с положением метки маркера;
Р3 – отсутствие отметки цели в следующем обзоре на экране индикатора.
Эталон в виде строкового образа, определяющий суть деятельности оператора при обнаружении и сопровождении целей, с учетом введенных обозначений может быть представлен следующим образом:
.
Как видно, он содержит два равнозначных варианта решения задачи. Ответ
обучающегося записывается в тех же символах элементарных операций и логических условий.
.
Далее для оценки расстояния между образами используется рассмотренный выше алгоритм.
3. Рассмотренные выше подходы могут быть применены для решения задач, связанных с анализом ответов, представляющих фрагменты участков в программном обеспечении и определяющих логику последовательности обработки информации. Например, задача обучающемуся сформулирована следующим образом: написать программу для вычисления суммы нечетких чисел от единицы до десяти с использованием оператора DO и TO. Задача имеет три варианта решения, образующих массив эталонов :
А. {DO K=1 BY2 TO 10; S=S+K; END;}.
Б. {DO K=1 TO 10; S=S+K; K=K+2; END;}.
В. {M1:IF K <10 THEN DO; S=S+K; K=K+2; GO TOM 1; END;}.
Допустим, что ответ обучающегося имеет вид:
Х={DO K=1 ТО 10; S=S+K; END}.
Для оценки расстояния между образом ответа и эталона можно воспользоваться алгоритмом (1). Таким образом, в первом случае, для получения обучающемуся правильного ответа, по сравнению с эталоном из варианта А, необходимо выполнить два действия: удалить первую символьную запись (DO K=1 TO 10) в своей программе и вставить первую символьную запись (DO K=1 BY 2 TO 10) из варианта А.
Во втором случае, для получения правильного ответа (вариант Б), обучающемуся необходимо выполнить одно действие: добавить третью символьную запись (К=К+2) из варианта Б.
В третьем случае, для получения правильного ответа (вариант В), обучающемуся необходимо выполнить четыре действия: одно удаление и три вставки.
Вычисленные расстояния для каждого эталона будут равны:
Результаты анализа показывают, что обучающийся допустил ошибку в ответе, величина которой, определяемая расстоянием будет равна:
Метод оценки мер близости эталона и образа ответа обучающегося, выражаемых предложениями естественного языка
Автоматизированные обучающие системы, содержащие элементы системы искусственного интеллекта, представляют собой один из видов вопросно-ответных систем. В данном случае под искусственным интеллектом (ИИ) понимается система, обладающая возможностями накопления и обобщения информации о внешнем мире и способная к целенаправленному поведению на основе «собственного опыта». В таких системах значительно расширяются возможности, как организации самого процесса обучения, так и организации контроля знаний обучающихся. Системы с ИИ, как правило, содержат два вида знаний: предметные и лингвистические. Благодаря их взаимному использованию и сочетанию в процессе обучения обеспечивается качественный скачок эффективности применения АОС подобных типов [16].
Под предметными знаниями следует понимать информацию о предметной области, в которой реализована обучающая программа системы (например, математика, теоретическая механика, программирование и т.п.) [2], [3].
Под лингвистическими знаниями понимаются информация о значении слов, грамматике, значении отдельных предложений, фраз и их сочетаний, правил построения семантических конструкций.
При использовании системы для обработки ответа обучающегося, представленного в форме естественного языка, необходимо обеспечить [4], [5], [6], [7]:
а) понимание входного предложения (образа) ответа обучающегося, которое связано с преобразованием этого предложения (образа) из представления на естественном языке обучающегося в представление на внутреннем языке системы;
б) оценивание системой оценки близости образа ответа обучающегося имеющемуся эталону (или массиву эталонов) правильного ответа;
в) реакцию системы по результатам анализа образа ответа обучающегося, заключающаяся либо в продолжении опроса обучающегося системой (в виде предъявления очередного контрольного вопроса), либо в прекращении опроса обучающегося (в случае несоответствия образа ответа обучающегося соответствующим эталонам правильного ответа в системе).
При осуществлении контролирующей процедуры можно выделить следующие уровни понимания образа ответа обучающегося, выраженного в форме естественного языка: морфологический, синтаксический, семантический. В зависимости от типа и содержания контрольных вопросов, а также в зависимости от целей контроля, обработка ответа обучающегося будет затрагивать все уровни или только часть уровней понимания ответа.
Морфологический анализ имеет следующие цели [4]:
а) уточнить объем словаря, предназначенного для выбора и осуществления контролирующих процедур в конкретной предметной области;
б) реализовать возможность расширения и корректировки словаря системы для максимального охвата терминологии естественного языка, на основе которого формируется образ ответа обучающегося.
Синтаксический анализ предназначен для облегчения работы по восприятию образа ответа обучающегося посредством введения процедуры распознавания грамматических категорий, используя приставки, суффиксы и окончания [14].
В результате морфологического анализа для части слов входного предложения (образа ответа) приписывается информация, с помощью которой устанавливается синтагматические отношения между словами входного предложения, являющегося эталоном правильного ответа. Выделенные слова рассматриваются далее в качестве ключевых для эталонного ответа на заданный вопрос. Синтагматические отношения между словами определяют возможный порядок следования ключевых слов в ответе.
Морфологический анализ образа ответа обучающегося, в этом случае, будет состоять в установлении принадлежности слов или словосочетаний во входном предложении (образе ответа) к ключевым словам.
Для облегчения работы у каждого ключевого слова выделяется основа, по которой далее осуществляется его поиск в ответе обучающегося.
Семантический анализ предназначен для определения смысла входного предложения. Основная трудность семантического анализа это проблема многозначности ответов. Для уменьшения многозначности ответов обучаемых обычно используют два приема:
а) предварительный отбор контрольных вопросов, не допускающих многозначных ответов;
б) определение «скелета» конструкции ответа обучающегося, жестко формирующего структуру ответа (например, ответ обучающегося должен начинаться словами: «объектом …. называется …и т.п.»). На основе этого анализа выделяются ключевые слова и словоформы, составляющие основу смыслового содержания эталона ответа.
Например, в процессе контроля обучающийся должен дать определение полосы схватывания для систем автоматического регулирования (далее – САР), используя следующие ключевые слова (словоформы):
1) НОРМально ФУНКЦИОНирует;
2) МАКСИМально ДОПУСТИМая;
3) ПОСЛЕ ВКЛЮЧения;
4) НАЧАЛЬНая ОШИБка.
Cловоформы, определенные в результате морфологического анализа эталона, выделены путем подчеркивания ключевых слов (напечатано большими буквами). Обучающемуся необходимо, используя ключевые слова и фразы, дать определения полосы схватывания, начиная его словами: «Полоса схватывания САР есть…».
Эталон определения, записанный в системе, представлен следующим образом [6, 7]: «Полоса схватывания САР есть МАКСИМАЛЬНО ДОПУСТИМАЯ (2) величина НАЧАЛЬНОЙ ОШИБКИ (4) системы автоматического регулирования, при которой система НОРМАЛЬНО ФУНКЦИОНИРУЕТ (1) ПОСЛЕ ВКЛЮЧЕНИЯ (3)».
Синтагматические отношения между ключевыми словами определяют порядок их использования в ответе и задают структуру (образ) эталона ответа на внутреннем языке контролирующей подсистемы АОС. Образ эталона имеет вид: М ={2, 4, 1, 3}.
В алгоритме оценки осуществляется поиск ключевых слов и определяется порядок их следования в ответе обучающегося. Выделенная таким образом последовательность порядковых номеров ключевых слов определяет строковый образ ответа обучающегося.
Например, для определения (ответа), данного обучающегося, – «полоса схватывания есть максимально допустимая ошибка после включения САР, при которой она нормально функционирует», образ ответа обучающегося будет иметь вид: Х={2, 4, 3, 1}. Применяя далее алгоритм оценки расстояния между строковыми образами, получим оценку расстояния между ответом обучающегося и эталоном, т.е.: d(x, m)=1. Таким образом, видно, что обучающийся допустил одну ошибку в определении. Степень ее значимости, выраженной в той или иной шкале оценок, определяется отдельным алгоритмом, в общем случае, учитывающим нечеткость их представления. В данном методе оценки возможен также и учет весовых коэффициентов значимости ключевых слов эталона.
Заключение
Увеличение сложности подготовки специалистов в вузе и формирования у них профессиональных компетенций, обеспечивающих успешное освоение ими современных технических систем, определяет необходимость разработки и применения на практике новых методов контроля знаний, в том числе при анализе результатов тестирования обучающихся с использованием АОС. Для контроля знаний умений и навыков в тренажной подготовке целесообразно использовать эрготехнические решения [8], [9], [15]. Конструируемый метод формирования ответов обучающегося существенно расширяет спектр возможных контрольных задач, предлагаемых ему в АОС. Такие задачи в большей степени оказываются направленными на выявление у обучающихся способностей к нестандартному мышлению, чем обычные шаблонные вопросы теста, формируя и повышая, тем самым, их компетентностный уровень.
1. Багрецов С.А., Мищенко Э.В., Розанова Л.В. Методика контроля знаний обучающихся на основе биноминальной оценки случайного числа неправильных ответов с учетом вероятности их обнаружения // Эргодизайн, 2024. № 2 (24), С. 127-133. DOIhttps://doi.org/10.30987/2658-4026-2024-2-127-133. EDN JOOFUI.
2. Логовский А.С., Лепешкин С.А., Шульга И.Н. и др. Концепция построения и применения автоматизированных учебно-тренировочных средств в учебном процессе для подготовки специалистов по эксплуатации РЛС дальнего обнаружения // T-Comm: Телекоммуникации и транспорт. 2016. Т. 10, № 4. С. 4-8. EDN WAQPPV.
3. Онуфрей А.Ю., Какаев В.В., Куракин С.З. и др. Перспективы применения учебно-тренировочных средств для подготовки военных специалистов в высших учебных заведениях // Наукоемкие технологии в космических исследованиях Земли. 2018. Т. 10, № 4. С. 55-63. DOIhttps://doi.org/10.24411/2409-5419-2018-10097. EDN VARGPB.
4. Печников А.Н., Шиков А.Н., Котова Е.Е. Эргономический подход к решению проблем е-дидактики // Биотехносфера. 2015. № 1(37). С. 52-61. EDN THGBJH.
5. Рытов М.Ю., Спасенников В.В. Теоретико-прикладные вопросы отбора и подготовки операторов человеко-машинных комплексов в Отечественной эргономике // Эргодизайн. 2020. № 4(10). С. 203-223. DOIhttps://doi.org/10.30987/2658-4026-2020-4-203-223. EDN ANFPFQ.
6. Сергеев С.Ф., Никифоров Г.С., Заплаткин Ю.Ю. и др. Инженерно-психологические проблемы профессиональной подготовки авиационных специалистов // Российский научный журнал. 2012. № 3(28). С. 109-115. EDN OYOHWX.
7. Халин А.Ф. Концепция развития комплекса учебно-тренировочных средств для освоения вооружения, военной и специальной техники // Программные продукты и системы. 2018. № 1. С. 177-183. EDN MHSKBV.
8. Авторское свидетельство № 903940 A1 СССР, МПК G09B 9/00. Устройство для контроля уровня подготовки операторов : № 2632942 : заявл. 26.06.1978 : опубл. 07.02.1982 / А. М. Карасев, В. М. Львов, В. В. Павлюченко [и др.] ;. – EDN XMCBLP.
9. Авторское свидетельство № 1068975 СССР, МПК G09B 9/00. Устройство для оценки профессиональной пригодности оператора автоматизированной системы управления : № 3508259 : заявл. 29.10.1982 : опубл. 23.01.1984 / Б. М. Герасимов, Г. В. Ложкин, В. Н. Немтинов [и др.]. – EDN PZIRDV.
10. Авторское свидетельство № 1166165 A1 СССР, МПК G09B 9/00. Тренажер оператора радиолокационных систем : № 3696307 : заявл. 31.01.1984 : опубл. 07.07.1985 / В. А. Воробьев, С. А. Багрецов ;. – EDN PELXNZ.
11. Авторское свидетельство № 1280428 A1 СССР, МПК G09B 9/00. Тренажер операторов : № 3955026 : заявл. 12.08.1985 : опубл. 30.12.1986 / С. А. Багрецов ;. – EDN WILOXE.
12. Авторское свидетельство № 1437898 СССР, МПК G09B 9/00. Устройство для оценки профессиональной пригодности операторов автоматизированных систем управления : № 4249640 : заявл. 26.05.1987 : опубл. 15.11.1988 / С. А. Багрецов, В. Л. Гайдуков, В. В. Спасенников [и др.]. – EDN IWBSEK.
13. Авторское свидетельство № 1714653 A1 СССР, МПК G09B 9/00. Тренажер руководителя группы операторов : № 4827305 : заявл. 21.05.1990 : опубл. 23.02.1992 / С. А. Багрецов, Г. М. Попов, И. С. Давыдов ;. – EDN JKEIPI.
14. Авторское свидетельство № 1809455 A1 СССР, МПК G09B 7/07. Устройство для оценки психологической совместимости испытуемых : № 4884060 : заявл. 07.09.1990 : опубл. 15.04.1993 / В. В. Спасенников, Ю. И. Смирнов, С. И. Торбин, [и др.] ;. – EDN DYMSKB.
15. Spasennikov V., Androsov K., Golubeva G. Ergonomic factors in patenting computer systems for personnel's selection and training. CEUR Workshop Proceedings : 30, Saint Petersburg, 22–25 сентября 2020 года. Saint Petersburg, 2020. P. 1. EDN MRWCZX.
16. Vangelova A., Gancheva V. AI-Based Automated Scoring Layer Using Large Language Models and Semantic Analysis. 2026;16(7):3537. DOIhttps://doi.org/10.3390/app16073537.
