Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Санкт-Петербург, г. Санкт-Петербург и Ленинградская область, Россия
Рассматривается методика оценки знаний обучающихся с учетом априорной оценки вероятностных параметров контролирующих процедур и требуемой достоверности результатов контроля. При этом учитывается предыдущий опыт и субъективная оценка эффективности процесса обучения преподавателя по данной теме на основе предполагаемого уровня усвоения изучаемого материала данным контингентом обучающихся.
вероятность, функция распределения, биноминальное и нормальное распределения параметров, шкала оценок, математическое ожидание, дисперсия
Введение
Одной из задач, способствующих повышению уровня подготовки специалистов, является совершенствование образовательного процесса – как с точки зрения организации способов передачи знаний, так и объективного оценивания глубины их освоения обучающимися [1]. В рамках реализации этой задачи, в последние годы в дополнение к традиционным формам преподавания и оценивания знаний, где ключевой фигурой является преподаватель, все чаще используются обучающие информационные технологии. Среди них широкое распространение получили автоматизированные обучающие системы (АОС), включающие в себя не только учебный материал и методические рекомендации по его освоению, но и возможность in situ (без выхода из обучающей системы) оценить знания по только что пройденному учебному материалу в автоматическом режиме. АОС хорошо зарекомендовали себя в учебных дисциплинах, где проверка знаний осуществляется посредством выбора из нескольких ответов – правильного. При этом окончательная оценка уровня полученных знаний выставляется исходя из соотношения количества правильных и неправильных ответов обучающихся, что эффективно вероятно, для случаев, когда содержание учебного материала имеет конкретную к действию информацию, но может, при этом, не являться отражением глубины проработанности знаний обучающихся.
В то же время, в связи с постоянным увеличением объема и сложности, предлагаемых к изучению учебных дисциплин, возникает необходимость понимания (оценивания) глубины проработанности учебного материала обучающимися. Такую оценку, на сегодняшний день, может дать исключительно преподаватель, осуществляющий контроль знаний обучающихся, опираясь на свой опыт и восприятие глубины проработанности ими учебного материала.
В частности, одной из составляющих, которая может помочь преподавателю объективно оценить глубину проработанности материала обучающимися, является их стремление к получению более высокой оценки, которая, в свою очередь, будет зависеть от различных сопровождающих учебный процесс факторов.
Такой подход может быть осуществлен, например, при проведении рубежного контроля, «осуществляемого с целью систематической проверки усвоения обучающимися обязательных результатов обучения по дисциплине - минимума, который необходим для дальнейшего обучения, выполнения программных требований к уровню подготовки обучающихся» [2].
В настоящее время вопрос повышения объективности оценивания уровня (глубины) полученных знаний обучающихся остается дискуссионным [3]. Количественно оценка уровня знаний обучающихся выражается, в значительной степени, в использовании различных видов шкал. Например, дихотомическая шкала позволяет выражать уровень знаний всего двумя цифрами (0 и 1). Широко практикуется порядковая шкала оценок от 2 до 5 баллов. Значительное распространение получила 100-бальная шкала оценивания знаний, с помощью которой удобно представить процент полноты ответа обучающихся.
Эффективным и объективным способом оценивания знаний обучающихся, по мнению авторов данной статьи, может стать подход, основанный на методе планирования факторного эксперимента [4]. Метод позволяет сформировать выборку промежуточных оценок (далее – оценочная выборка), которая будет охватывать все возможные варианты подготовленности обучающихся по контролируемому предмету. Эти варианты будут включать в себя не только результат ответа на поставленный преподавателем вопрос, но и факторы, учитывающие степень вовлеченности обучающихся при изучении ими учебного материала. К факторам могут быть отнесены: регулярность посещения лекций по изучаемому предмету, качество ведения конспекта, активность выступлений на семинарах, своевременность выполнения практических заданий и другое. По сути, такой подход способен не только дать дополнительную информацию об уровне проработанности учебного материала (далее – УПМ) обучающимися, но и исключить получение «случайной» оценки за вытянутый «счастливый» билет [5], [6], [7] и др.
Цель настоящей работы, используя метод планирования факторного эксперимента, сформировать оценочную выборку из нескольких факторов, от которых может зависеть успешность освоения учебного материала. Оценить эффективность применения метода для повышения объективности оценивания уровня знаний обучающихся.
Формирование оценочной выборки методом планирования факторного эксперимента
Считаем, что оценочная выборка состоит из вариантов, каждый из которых включает в себя фактор допуска к экзамену (x0) и факторы успешности (xi), отражающие степень вовлеченности обучающегося при освоении им учебного материала. Также может быть учтен эффект от взаимного влияния ( ) факторов успешности на оценку уровня освоения учебного материала при сочетании факторов успешности между собой (x1x2; x1x3; x2x3; x1x2x3).
Рассмотрим оценочную выборку (табл. 1) возможных вариантов (N=23) оценивания уровня проработанности учебного материала обучающимся,
где N – общее количество возможных вариантов;
– значение 3 – количество факторов успешности (x1, x2, x3), влияющих на проработанность обучающимся учебного материала;
– значение 2 – показатель успешного выполнения (+1) или невыполнения
(-1) фактора.
Таблица 1.
Оценочная выборка возможных вариантов
Table 1.
Estimated sample of possible options
Здесь:
n – конкретный вариант оценивания;
(х0) – фактор допуска к оцениванию УПМ, который во всех вариантах при оценивании УПМ должен иметь положительное значение. Это будет свидетельствовать о том, что преподаватель удовлетворен ответом на поставленный перед обучающимся вопрос и оценивание УПМ может быть продолжено;
(х1) – наличие полного конспекта лекций;
(х2) – качество его оформления;
(х3) – хорошая ориентированность в изложенном материале в конспекте, активность на семинарах и практических занятиях.
Фактор (x1) свидетельствует о том, что обучающийся имеет конспект лекций, в котором представлен достаточный объем прослушанного или отработанного самостоятельно учебного материала, что позволяет рассчитывать обучающемуся на положительную оценку (+). В определенном смысле этот фактор связан с фактором (х2), который отражает правильное использование стандартных сокращений, терминов и определений, разделение учебного материала на темы и подтемы, предложенные преподавателем, наличие в конспекте графического сопровождения. Выполнение факторов (х1) и (х2) способствует хорошей ориентации обучающегося в изложенном в конспекте материале (х3) и эффективному использованию им конспекта на семинарских и практических занятиях, что в свою очередь будет свидетельствовать о глубокой проработанности обучающимся изучаемого предмета.
При рассмотрении результатов взаимного влияния ( ) факторов успешности по каждому из вариантов полноты знаний (n) обращает на себя внимание то, что эта часть оценочной выборки является своего рода лотереей, поскольку зависит от положительных и отрицательных результатов самих факторов успешности.
Рассмотренные выше условия по формированию оценочной выборки позволяют предложить выражение для расчета окончательной оценки УПМ обучающегося, исходя из конкретного варианта (n) его ответа:
, (1)
где: ( ) – весовые коэффициенты факторов допуска и успешности, определяющие вклад каждого из факторов и их взаимного влияния в общую окончательную оценку уровня проработанности учебного материала (УПМ);
– фактор допуска к экзамену по варианту (n);
– факторы успешности, где i – фактор успешности (1, 2 или 3) по каждому варианту (n);
– значение взаимного влияния факторов успешности (j) по варианту (n);
– расчетная окончательная оценка УПМ по варианту (n).
Пример оценивания уровня проработанности учебного материала обучающегося
Чтобы оценить вклад каждого из факторов, составляющих оценку вариантов УПМ обучающегося, определим весовые коэффициенты ( ) каждого из факторов (
). Эти коэффициенты рассчитываются исходя из возможных предварительных оценок, которые мог бы выставить преподаватель по каждому варианту ответа обучающегося.
Тогда весовые коэффициенты ( ) факторов (
) можно рассчитать, исходя из общего количества (N=8) вариантов по каждому фактору и предварительных оценок
( ) в оценочной выборке по формуле:
(2)
Предположим, что предварительная оценка по каждому из вариантов была выставлена по пятибалльной шкале. Рассмотрим два случая.
Случай 1. Предварительные оценки ( ) выставлены преподавателем по каждому варианту (табл. 2), исходя из своего индивидуального опыта. Отсюда, весовой коэффициент
фактора
по всем вариантам составляет:
А весовой коэффициент фактора
по всем вариантам составляет:
Полученные затем весовые значения каждого из факторов ( ) позволяют рассчитать весовое значение взаимного влияния факторов успешности по каждому варианту (
) из выражений:
(3),
где знаки (+) или (-) в весовых значениях взаимного влияния ( ) будут зависеть от знаков (
) факторов успешности, полученных обучающимся в конкретном варианте.
Рассчитанные по формулам 2 и 3 весовые значения факторов успешности и весовые значения их взаимного влияния приведены в таблице 2:
Таблица 2.
Весовые значения факторов успешности и весовые значения их взаимного влияния для случая 1
Table 2.
Weight values of success factors and weight values of their mutual influence for case 1
Случай 2. Предварительные оценки ( ) выставлены преподавателем по каждому варианту, исходя из предположения о равномерном снижении УПМ обучающегося от 1 к 8 варианту. Оценки представляют собой регрессию в диапазоне от 5 до 2 баллов с некоторым интервалом, рассчитанным по формуле:
где: – число пограничных вариантов уровня подготовленности знаний;
– средняя разница между граничными (соседними) вариантами.
Рассчитанные по формулам 2 и 3 весовые значения факторов успешности и весовые значения их взаимного влияния приведены в таблице 3.
Полученные в результате расчетов и выведенные на графиках (рисунок 1) окончательные расчетные оценки существенно отличаются от предварительных, предложенных преподавателями, как по характеру их распределения, так и по их значениям. Например, окончательная расчетная оценка по варианту № 5 в первом случае составляет 3,24 балла, а во втором – 2,84 балла.
Таблица 3.
Весовые значения факторов успешности и весовые значения их взаимного влияния для случая 2
Table 3.
Weight values of success factors and weight values of their mutual influence for case 2
Рис. 1. Графики распределения предварительных и окончательных оценок УПМ для случая 1 (таблица 2) и случая 2 (таблица 3), соответственно
Fig. 1. Graphs of the distribution of preliminary and final estimates of the UPM for case 1 (Table 2) and case 2 (Table 3), respectively
Безусловно, на окончательные оценки влияет и различный подход по выставлению предварительной оценки каждым из преподавателей по конкретному варианту. Однако, окончательная оценка по каждому варианту является уже объективной, поскольку учитывает вовлеченность самого обучающегося, выражающуюся в успешном выполнении факторов.
В перспективных исследованиях, связанных с эргономическим обеспечением разработки систем отбора и подготовки операторов, необходимо проанализировать существующие программные комплексы и патентную аналитику, направленную на математическое моделирование человеко-машинных комплексов [8], [9], [10].
Заключение
Представленные в статье: обоснование для использования метода планирования факторного эксперимента в образовательной деятельности, сформированная на основе метода оценочная выборка и полученные расчетные результаты свидетельствуют о том, что предложенный подход может быть использован преподавателями как инструмент стимулирования обучающихся к большей вовлеченности в изучении учебного материала. При этом рассмотренный подход обладает достаточной адаптивностью, так как перечень и количество факторов успешности могут быть выбраны по решению преподавателя с учетом специфики изучаемой дисциплины и индивидуальных особенностей обучающихся.
1. Приказ Министра обороны Российской Федерации от 15 сентября 2014 г. № 670 (ред. от 22.11.2021) «О мерах по реализации отдельных положений статьи 81 Федерального закона от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации»». [Электронный ресурс]. URL: https://www.consultant.ru/document/cons_doc_LAW_170951/ (дата обращения: 06.06.2024).
2. Приказ Министра обороны Российской Федерации от 30 мая 2022 г. № 308 (ред. от 17.04.2024) «Об организации образовательной деятельности в федеральных государственных организациях, осуществляющих образовательную деятельность и находящихся в ведении министерства обороны Российской Федерации» [Электронный ресурс]. URL: https://www.consultant.ru/document/cons_doc_LAW_421099/ (дата обращения: 06.06.2024).
3. Касавцев М.Ю. Вариант реализации рубежного контроля успеваемости в учебном процессе военно-учебного заведения. // Наука, техника и образование. 2016. № 5(23). С. 108-110. EDN WADNFV.
4. Шкляр В.Н. Планирование эксперимента и обработка результатов. Издательство Томского политехнического университета, 2010. [Электронный ресурс]. URL: https://portal.tpu.ru/departments/kafedra/iksu/ucheb_rabota/literatura/special/Tab/KonspPExp.pdf (дата обращения: 06.06.2024).
5. Багрецов С.А., Мищенко Э.В., Розанова Л.В. Методика построения плана диагностического исследования профессионального соответствия кандидатов в системах профессионального отбора // Эргодизайн. 2022. № 4(18). С. 243-251. DOIhttps://doi.org/10.30987/2658-4026-2022-4-243-251. EDN SVQDZF.
6. Багрецов С.А., Калуга В.М., Уточкин О.В. Метод прогнозирования процесса практической подготовки специалистов на основе применения марковских моделей // Известия Тульского государственного университета. Технические науки. 2023. № 2. С. 252-257. DOIhttps://doi.org/10.24412/2071-6168-2023-2-252-257. EDN NBZNBU.
7. Горячкин Б.С. Эргономические проблемы в автоматизированной системе обработки информации и управления // Информационно-измерительные и управляющие системы. 2016. Т. 14, № 12. С. 38-47. EDN XQXGBF.
8. Рытов М.Ю., Спасенников В.В. Теоретико-прикладные вопросы отбора и подготовки операторов человеко-машинных комплексов в отечественной эргономике // Эргодизайн. 2020. № 4(10). С. 203-223. DOIhttps://doi.org/10.30987/2658-4026-2020-4-203-223. EDN ANFPFQ.
9. Spasennikov V., Androsov K., Golubeva G. Ergonomic factors in patenting computer systems for personnel's selection and training. CEUR Workshop Proceedings : 30, Saint Petersburg, 22–25 september 2020 года. Saint Petersburg, 2020. P. 1. EDN MRWCZX.
10. Spasennikov V., Morozova A. Accreditation examination of developing professional competencies at the university: A mathematical model. Smart Innovation, Systems and Technologies. 2020;172:223-228. DOIhttps://doi.org/10.1007/978-981-15-2244-4_19. EDN UISUVQ.
