Россия
Россия
Россия
ГРНТИ 55.01 Общие вопросы машиностроения
ГРНТИ 55.13 Технология машиностроения
Предложена модель оценки степени сформированности компетенций, созданная с применением теории полихроматических графов и множеств на основе использования профстандартов и технологий оценки чемпионатов профмастерства, проводимых по стандартам WorldSkills, что позволяет организо-вать процесс как проверку набора объективных кри-териев, оценку сформированности которых можно свести к бинарной модели.
математическая модель, полихроматическое множество, критерии оценки, компетенция, индикатор
Применение компетентностного подхода для оценки результатов обучения в высшей школе изменило привычные схемы проведения промежуточной и итоговой аттестации обучающихся. Поэтому в современных учебных заведениях существует необходимость в эффективных методах проведения оценки сформированности компетенций как промежуточной аттестации, так и итоговой.
Повысить эффективность процесса оценки квалификации обучающихся возможно посредством разработки и применения модели оценки сформированности компетенции, которая использует набор объективных критериев. Применение такой модели позволяет автоматизировать процесс формирования набора компетенций для определённого направления подготовки, а также получение итоговой оценки [5-9].
- разработки модели оценки выберем аппарат теории полихроматических множеств. При математическом моделировании разрабатываемая модель будет состоять из нескольких составляющих:
- системы операторов, соответствующих дисциплинам учебного плана направления подготовки, которым поставлена задача формирования определённых компетенций;
- системы операторов, определяющих непосредственно формируемые компетенции;
- системы индикаторов, позволяющих оценить степень сформированности компетенции.
В данной статье предлагается формировать индикаторы на основе анализа профстандартов, а именно трудовых функций, и критериев оценки, применяемых в ходе проведения чемпионатов профмастерства по стандартам WorldSkills для соответствующих направлений подготовки. Это даст возможность сделать оценку максимально объективной, хотя полностью избежать участия эксперта-оценщика не удастся.
Математическая модель предметной области
Структура учебного плана направления подготовки А на теоретико-множественном уровне описывается синергетическим полихроматическим множеством вида
S(A) = (A, F(A), [AF(A)]), (1)
где множество А - набор дисциплин учебного плана; F(A) - набор свойств учебного плана, то есть компетенций, которые необходимо сформировать, и индикаторов моделируемого множеством А учебного плана; соответствие свойств элементам множества А - булева матрица [AF(A)].
При изучении предметной области была произведена классификация свойств в соответствии с целью и задачами моделирования. Для этого можно использовать разные подходы.
Первый подход основывается на том, что набор свойств состоит из трёх подмножеств. То есть F(A) = (F(A)I, F(A)II, F(A)III), где все свойства представлены группами, учитывающими различные способы проверки сформированности компетенций: F(A)I – «знать»; F(A)II – «уметь»; F(A)III – «владеть».
Второй подход основывается на том, что набор свойств состоит также из трёх групп подмножеств, но выделяются они по другому принципу. Здесь F(A) = (F(A)I, F(A)II, F(A)III), где F(A)I – компетенции; F(A)II – индикаторы, с помощью которых определяется степень сформированности компетенции; F(A)III – требуемый уровень сформированности.
Каждая группа, в свою очередь, может ещё делиться на подмножества. Например, F(A)I = (FI1, FI2, FI3, FI4, FI5 …), где FI1 – ОК, FI2 – ОПК, FI3 – ПК и т.п. В данной статье такая иерархия будет выстраиваться не введением новых подмножеств, а использованием единого подмножества компетенций.
F(A)I и F(A)II могут расширяться в зависимости от направления подготовки, введения профессионально-специализированных компетенций и др.
Отличается только группа свойств F(A)III. Ее элементы можно перечислить однозначно для данной предметной области: FIII1 – первый уровень сформированности компетенции, FIII2 – второй уровень сформированности компетенции, FIII3 – третий уровень сформированности компетенции, FIII4 – четвертый уровень сформированности компетенции.
Для дальнейшего анализа выберем второй подход и для повышения наглядности модели переименуем группы наборов контуров: F(A)I = F(A)К, F(A)II = F(A)ИНД, F(A)III = F(A)ур.
Конкретный учебный план А состоит из определённого набора дисциплин в соответствии с направлением подготовки. Структура такого плана А моделируется средствами теории полихроматических множеств и графов. Состав элементов плана в ПS-множестве представляется множеством
A = (a1, ..., ai, ..., an), (2)
где элементы множества описывают дисциплины учебного плана [1; 2].
Каждый элемент учебного плана при этом имеет собственные качественные и количественные свойства. Этими свойствами при описании учебного плана будут компетенции, сформированность которых необходимо оценить с применением модели. Свойствами компетенций будут индикаторы, с помощью которых оценивается сформированность компетенции.
Для целей моделирования имеет значение степень соответствия свойств моделируемого учебного плана (объекта) заранее заданным величинам. Поэтому условия существования цветов и раскрасок являются главным фактором, определяющим свойства ПS-множества.
По условиям существования всех цветов F(ai) учебного плана взаимосвязь между ними представляется единым математическим объектом – подмножеством декартова произведения F(ai)×F(ai) в виде булевой матрицы:
||сk(j)|| = [F(ai)×F(ai)], (3)
где сk(j) = 1, если связь Fk(ai) c Fj(ai) существует, и сk(j) = 0 – в противном случае. В матрице (3) представляются связи между компетенциями каждой отдельно взятой дисциплины [1; 3; 4].
Булевой матрицей, которая приведена ниже, аналогичным способом моделируется взаимосвязь унитарных цветов модели в целом:
||сi(j) || = [F(A)×F(A)]. (4)
В матрице (4) представляются связи между компетенциями и индикаторами. Для создания набора индикаторов при проверке сформированности компетенции достаточно просмотреть строку, соответствующую компетенции, и выписать индикаторы, имеющие ненулевые значения. Так формируется вектор Li (F) проверки для каждой компетенции.
Существование любого унитарного цвета Fj(А) зависит от существования определённых персональных цветов элементов учебного плана. Это свойство унитарных цветов в F(A) моделируется с помощью булевой матрицы:
||сi(j) || = [A×F(A)], (5)
где сi(j) = 1, если на существование унитарного цвета Fj(А) влияет наличие в учебном плане элемента aiϵА, в противном случае сi(j) = 0.
Множества дисциплин, их персональных и унитарных цветов, булевы матрицы (3), (4) задают структурную математическую модель S(A) учебного плана А. Возможны различные варианты описания модели плана S(А), но наиболее полную информацию для целей моделирования содержит описание в виде
S(A) = (A, F(a), F(A), [A×A], [F(A)×F(A)],[A×F(A)]). (6)
Так, структурная математическая модель S(A) описывается ПS-множеством, детализация описания которого соответствует информации, необходимой при решении определённых задач.
В табл. 1 представлен пример задания зависимости между дисциплиной и компетенцией. Необходимо помнить, что одну и ту же компетенцию может формировать не одна дисциплина.
матрица [A×FК(A)]
|
|
|
Компетенция 1 |
Компетенция 2 |
Компетенция 3 |
Компетенция 4 |
Компетенция 5 |
Компетенция 6 |
Компетенция 7 |
... |
Компетенция N |
|
|
|
FК1 |
FК2 |
FК3 |
FК4 |
FК5 |
FК6 |
FК7 |
... |
FКN |
|
Дисциплина 1 |
a1 |
* |
* |
|
|
|
|
|
... |
|
|
Дисциплина 2 |
a2 |
|
* |
|
|
|
* |
|
... |
|
|
Дисциплина 3 |
a3 |
|
|
* |
* |
* |
|
|
... |
* |
|
... |
... |
... |
... |
... |
... |
... |
... |
... |
... |
... |
|
Дисциплина М |
aМ |
|
|
* |
|
|
|
* |
... |
* |
Необходимо отметить, что заданный учебным планом уровень сформированности компетенции определяется набором индикаторов. Так, если компетенция формируется в ходе изучения не одной, а нескольких дисциплин, то именно набор индикаторов будет это задавать.
В табл. 2 приведён пример определения взаимосвязи между индикаторами и компетенциями
матрица [FК(A)×FИНД(A)]
|
|
|
Индикатор 1 |
Индикатор 2 |
Индикатор 3 |
Индикатор 4 |
Индикатор 5 |
... |
Индикатор М |
|
|
|
FИНД1 |
FИНД2 |
FИНД3 |
FИНД4 |
FИНД5 |
... |
FИНДМ |
|
Компетенция 1 |
FК1 |
* |
* |
|
|
|
... |
|
|
Компетенция 2 |
FК2 |
|
|
* |
* |
|
... |
|
|
Компетенция 3 |
FК3 |
|
|
|
|
* |
... |
|
|
... |
... |
... |
... |
... |
... |
... |
... |
... |
|
Компетенция N |
FКN |
|
|
|
|
|
... |
* |
Таким образом, вся исходная информация задаётся множествами A и F(A), а взаимосвязи содержатся в двух булевых матрицах, представленных в табл. 1 и 2.
В процессе оценки сформированности компетенций особо важную роль имеют связи между элементами модели, а также свойствами элементов модели. Выберем для нашей модели граф-дерево с бесцветным каркасом. Он будет отображать последовательность изучения дисциплин, отражать, какая из дисциплин какой предшествует, что позволит отследить последовательность формирования компетенций. Пример графа приведён на рис. 1.
формализации графа можно использовать булеву матрицу [A x A].
Математическая модель оценки сформированности компетенции
Предлагается следующий метод оценки сформированности компетенции с помощью ранее описанной модели. Необходимо действовать по алгоритму:
- Выбрать компетенцию для оценки.
- По матрице [A×FК(A)] определить дисциплины, которые формируют данную компетенцию.
- По матрице [FК(A)×FИНД(A)] определить перечень индикаторов, подлежащих проверке.
- Провести непосредственно оценку для определения значений индикаторов; использование в качестве индикаторов критериев оценки, применяемых в ходе проведения чемпионатов по стандартам WorldSkills, и трудовых функций профстандартов позволит использовать булевы матрицы и сформировать объективные оценки.
- Провести непосредственно оценку; для того чтобы сделать вывод, что компетенция сформирована на уровне, определённом в матрице [A×FУР(A)], надо чтобы результат конъюнкции индикаторов после проверки был равен 1, иначе компетенция сформирована не на должном уровне.
- результаты оценки:
- оценка проведена, компетенция сформирована;
- оценка проведена, компетенция не сформирована.
для FК1 перечень индикаторов равен (FИНД1, FИНД2), значит, компетенция будет сформирована, если (FИНД1 ˄ FИНД2) = 1, и не сформирована, если (FИНД1 ˄ FИНД2) = 0.- необходимости (или предпочтении преподавателя) в данную модель хорошо встраивается и тестирование. В этом случае один из индикаторов будет представлен частной моделью и развернут до размера количества заданий в тесте. При этом ответ на каждый вопрос теста должен проверяться по схеме «правильно - неправильно» и не требовать количественных оценок.
- моделирования такой ситуации является то, что модель оценки будет содержать в себе комбинации вариантов правильных ответов. При проведении тестирования заранее задаётся количество правильных ответов в тесте, чтобы он был зачтён.
- Например, тест реализуется в модели индикатором FИНДi, состоит из пяти заданий и считается успешно пройденным, если количество правильных ответов не менее трёх.
- свойство FИНДi до пяти: FИНДi= (FИНДi,1 , FИНДi,2, FИНДi,3, FИНДi,4, FИНДi,5) (то есть представим, что в тесте пять вопросов). В этом случае FИНДi = 1, если три из пяти значений развёртки индикаторов равны 1.
FИНДi =
|
1, если (FИНДi,1 ˄ FИНДi,2 ˄ FИНДi,3 ) ˅ (FИНДi,1 ˄ FИНДi,2, ˄FИНДi,4) ˅ ˅(FИНДi,1 ˄ FИНДi,2 ˄ FИНДi,5). ˅ (FИНДi,1 ˄ FИНДi,3 ˄FИНДi,4) ˅ ˅ (FИНДi,1 ˄ FИНДi,3 ˄ FИНДi,5) ˅ (FИНДi,1 ˄ FИНДi,4 ˄ FИНДi,5) ˅ ˅ (FИНДi,2 ˄ FИНДi,3 ˄ FИНДi,4) ˅ (FИНДi,2 ˄ FИНДi,3 ˄ FИНДi,5) ˅ ˅ (FИНДi,3 ˄ FИНДi,4 ˄ FИНДi,5) = 1; |
(7) |
|
0 - в противном случае. |
этом группы объединены именно исключающим «или», так как существование двух и более вариантов одновременно невозможно.
- образом, будет получен итоговый результат по индикатору-тесту.
Математическая модель производственной системы оценки сформированности компетенций дисциплин учебного плана
- система проведения оценки Р будет состоять из двух составляющих:
-
- системы материальных объектов, включающих оснащение и расходные материалы, необходимые для проведения оценки.
- технологических операторов и их свойств на теоретико-множественном уровне представляется множествами этих элементов и их персональных цветов. Множество унитарных цветов представляет свойства производственной системы в целом. Структуру производственного процесса моделируют множества технологических операторов и их персональных и унитарных цветов. Так, состав элементов технологического процесса системы оценки сформированности компетенций описывается множеством
- = (t1, ..., ti, ..., tv), (8)
- элементы множества описывают операции оценки. В качестве последних могут выступать конкретные задания, решение определённых задач, демонстрация практических навыков, которые нужно оценить по принципу «сделано - не сделано».
- и расходные материалы, которые необходимы для оценки сформированности компетенций, описываются множеством П:
- = (π1, …, π j,…, π w). (9)
- качестве элементов множества П могут выступать, например, оборудование лабораторий, требуемое для выполнения задания программное обеспечение, установленное в компьютерном классе, и др.
- состав элементов системы оценки будет таким:
- = Т ᴗ П. (10)
Сам процесс выделения индикаторов, основанный на анализе профстандартов и критериев чемпионатов по стандартам WorldSkills, будет затрагивать в большей степени не компонент «знать», а компоненты «уметь» и «владеть», то есть связан с практическим умением применения полученных знаний в будущей профессии.
Также этот подход к выделению индикаторов позволит оценивать готовность отдельных студентов для принятия участия во внутривузовских чемпионатах по стандартам WorldSkills, готовность к демонстрационным экзаменам, независимым экспертизам.
Использование таких индикаторов даст возможность должным образом оценить подготовленность студентов к их будущей профессии и повысит доверие работодателей к образовательной организации.
Кроме того, модель позволяет определить разные варианты объединения индикаторов для проверки достижения целей разного уровня сформированности компетенций без привязки к конкретным дисциплинам. А это может повлечь за собой требования к формированию различных вариантов элементов производственной системы для проведения оценки.
Таким образом, модель позволит проверить сформированность компетенции, при этом в распоряжении проверяющего будет не один вариант оценки, а несколько. Это некоторым образом оптимизирует процесс проведения оценки, а также расширит спектр оцениваемых индикаторов.
- контуров операций оценки (технологических операторов) и средств оснащения представляются матрицами контуров
- ci(j) T, F(T) = [Tx F(T)], (11)
- ci(j)||П, F(П) = [П x F(П)], (12)
а составы контуров элементов системы оценки в целом описываются булевой матрицей контуров:
- ci(j)||P, F(P) = [P x F(P)]. (13)
- свойств системы оценки такое же, как для описания начальной модели.
- процесса оценки сформированности компетенций реализуется в виде технологического процесса Ti как упорядоченной последовательности операций оценки (технологических операторов)
- i = (ti 1, ti 2, …, ti k-1, ti k, …, ti n), (14)
- воздействуют на свойства модели оцениваемой компетенции F(Аi) дисциплины учебного плана Аi и осуществляют преобразование этой модели из предшествующего F(Ai)k-1 в последующее F(Ai)k состояние. При этом F(T) = F(P) [10].
- между свойствами, объединёнными в контуры оценки, в ходе каждой из проверок каждой компетенции конъюнктивная, все свойства (компетенции, а внутри них индикаторы) должны быть обязательно оценены.
Сформированность всех компетенций, определённых для каждой дисциплины учебного плана Ai, может служить показателем её успешного изучения. О полном освоении учебного плана направления подготовки будет говорить успешное изучение всех дисциплин.
Кроме того, данная модель сможет помочь при проведении оценки сформированности отдельных компетенций в целом, без привязки к изучению дисциплины, например при оценке остаточных знаний по компетенции.
С помощью матрицы [FKxFИНД] формируются варианты оценки сформированности конкретной компетенции, которые в дальнейшем с помощью производственной системы P оцениваются на предмет затрат на проведение и выбор наилучшего с точки зрения эксперта варианта. На рис. 2 приведена схема применения алгоритма.
- Построенные модели учитывают специфику предметной области, являются расширяемыми и настраиваемыми.
- Полученные модели описывают взаимосвязь между компетенциями и индикаторами компетенций, а также хранят информацию о требуемом уровне сформированности компетенции.
- Применение моделей позволяет получить и оценить варианты проведения оценки сформированности каждой отдельной компетенции учебного плана направления подготовки.
- Применение моделей позволяет оценить успешность освоения учебного плана по дисциплине, курсу, а также в целом.
1. Павлов, В.В. СALS-технологии в машиностроении (математические модели) / В.В. Павлов; под ред. Ю.М. Соломенцева. - М.:Станкин, 2002. - 328 с.
2. Павлов, В.В. Структурное моделирование в CALS-технологиях / В.В. Павлов; отв. ред. Ю.М. Соломенцев; Ин-т конструкторско-технологической информатики РАН. - М.: Наука, 2006. - 307 с.
3. Штойер, Р. Многокритериальная оптимизация. Теория, вычисления и приложения / Р. Штойер. - М.: Радио и связь, 1992. - 504 с.
4. Харари, Ф. Теория графов / Ф. Харари. - М.: Мир, 1973. - 300 с.
5. Деменкова, Е.А. Моделирование процесса оценки квалификации / Е.А. Деменкова, М.Е. Деменков // Преподавание информационных технологий в Российской Федерации: сб. материалов XV откр. всерос. конф. - Архангельск: Изд-во САФУ, 2017. - С. 126-128.
6. Ажмухамедов, И.М. Оценка компетентности выпускников высших учебных заведений по направлению подготовки «Информационная безопасность» на основе нечеткого когнитивного подхода / И.М. Ажмухамедов, О.М. Князева, Н.В. Давидюк, Т.Г. Гурская // Вестник Астраханского государственного технического университета. Серия «Управление, вычислительная техника и информатика». - 2017. - № 1. - С. 115-124.
7. Алгазин, Г.И. Информационные технологии комплексной оценки компетентности выпускника вуза / Г.И. Алгазин, О.В. Чудова // Вестн. Новосибирск. гос. ун-та. Серия «Информационные технологии». - 2009. - Т. 7. - № 3. - С. 70-78.
8. Сибикина, И.В. Оценка уровня сформированности компетенции студента вуза на примере графовой модели / И.В. Сибикина, И.Ю. Квятковская, И.М. Космачёва // Вестн. Саратов. гос. техн. ун-та. - 2014. - № 2. - С. 179-185.
9. Квятковская, И.Ю. Энтропийный подход в задаче определения системных характеристик модели компетенции / И.Ю. Квятковская, И.В. Сибикина // Науч.-техн. ведомости СПбГПУ. Серия «Информатика. Телекоммуникации. Управление». - 2012. - № 3. - С. 89-93.
10. Деменков, М.Е. Структурное моделирование технологических процессов / М.Е. Деменков, Е.А. Деменкова // Развитие Северо-Арктического региона: проблемы и решения: материалы науч. конф. проф.-преподават. состава, науч. сотрудников и аспирантов Север. (Арктич.) федер. ун-та им. М.В. Ломоносова. - 2016.- С. 921-925.
