Bendere, Transnistria
Bryansk, Bryansk, Russian Federation
Bryansk, Bryansk, Russian Federation
GRNTI 55.01 Общие вопросы машиностроения
GRNTI 55.13 Технология машиностроения
Predlozhen metod ekspertnyh ocenok professional'nyh kompetenciy pri podgotovke speciali-stov raznyh napravleniy, urovney i profiley podgotovki s ispol'zovaniem metoda vesovyh koefficientov vazhnosti. Proanalizirovany sposoby vybora traektorii testirovaniya. Predlozhen algoritm provedeniya adaptivnogo testirovaniya s ispol'zovaniem iskusstvennyh neyronnyh setey.
vesovye koefficienty vazhnosti, dispersiya, adaptivnoe testirovanie, iskusstvennaya neyronnaya set', mnogosloynyy perseptron
Введение
Известно, что проведение экспертных оценок для выявления дисциплин, которые оказывают наибольшее влияние на формирование профессиональных компетенций, является неотъемлемым этапом подготовки специалистов в образовательных учреждениях. В отличие от существующих методов выявления таких дисциплин, в данной работе предложен алгоритм для экспертных оценок профессиональных компетенций при подготовке специалистов разных направлений, уровней и профилей подготовки (СПО, ВПО) на основе метода весовых коэффициентов важности [1; 3; 5].
В статье рассматриваются два первых модуля системы оценки сформированности компетенций студентов и выпускников:
- Модуль экспертной оценки сформированности компетенций.
- Модуль нейросетевого анализа уровня сформированности компетенций.
Алгоритмизация экспертной оценки
В нашей работе соблюдались определенные правила для экспертной оценки с использованием метода весовых коэффициентов важности, а именно:
- Опрос экспертов производится в письменном виде.
- Анкета содержит дисциплины.
- Отбор экспертов производится из разнородных групп.
- Опрос экспертов производится индивидуально.
После заполнения опросного листа эксперт заполняет экспертную таблицу (табл. 1).
Таблица 1
Экспертная таблица
|
Факторы, i |
Факторы, j |
pi (1) |
pi (2) |
|||||||||
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
X8 |
X9 |
X10 |
|||
|
X1 |
1 |
|
|
|
|
|
|
|
|
|
|
|
|
X2 |
|
1 |
|
|
|
|
|
|
|
|
|
|
|
X3 |
|
|
1 |
|
|
|
|
|
|
|
|
|
|
X4 |
|
|
|
1 |
|
|
|
|
|
|
|
|
|
X5 |
|
|
|
|
1 |
|
|
|
|
|
|
|
|
X6 |
|
|
|
|
|
1 |
|
|
|
|
|
|
|
X7 |
|
|
|
|
|
|
1 |
|
|
|
|
|
|
X8 |
|
|
|
|
|
|
|
1 |
|
|
|
|
|
X9 |
|
|
|
|
|
|
|
|
1 |
|
|
|
|
X10 |
|
|
|
|
|
|
|
|
|
1 |
|
|
|
|
|
|
|
|||||||||
Таблица 2
Весовые коэффициенты важности второго порядка
|
Номер эксперта, l |
Факторы, i |
Коэффициент непротиворечивос-ти ql |
||||||
|
X1 |
X2 |
X3 |
X4 |
X5 |
X6 |
X7 |
||
|
1 |
0,021 |
0,202 |
0,176 |
0,107 |
0,055 |
0,318 |
0,200 |
0,982 |
|
2 |
0,021 |
0,178 |
0,106 |
0,055 |
0,004 |
0,365 |
0,268 |
0,964 |
|
3 |
0,049 |
0,175 |
0,110 |
0,049 |
0,008 |
0,351 |
0,257 |
0,875 |
|
4 |
0,056 |
0,108 |
0,177 |
0,021 |
0,004 |
0,264 |
0,368 |
1 |
|
5 |
0,024 |
0,170 |
0,113 |
0,068 |
0,024 |
0,299 |
0,299 |
0,857 |
|
6 |
0,021 |
0,264 |
0,177 |
0,108 |
0,056 |
0,367 |
0,232 |
1 |
|
|
0,032 |
0,183 |
0,143 |
0,068 |
0,025 |
0,327 |
0,271 |
- |
|
|
2,584 |
25,610 |
13,518 |
11,720 |
6,060 |
16,908 |
33,92 |
- |
Для выделения факторов, вызывающих разногласия экспертов, использовался критерий Кохрена, при нахождении которого требуется знать выборочную дисперсию:
г
где - число повторений величин
, сделанных l-м экспертом. Проверка правильности выводов экспертизы дала величину
, а расчетный критерий Пирсона для определения значимости коэффициента конкордации по формуле
Коэффициент конкордации признается значимым только в одном случае – при выполнении условия c2 > c2табл. Проведенные расчеты показали следующий результат:
сованным и непротиворечивым.
Блок-схема алгоритма расчета коэффициентов важности влияния дисциплин на формирование профессиональных компетенций приведена на рис. 1.
В качестве исходных данных выступают параметры, полученные исследователем в ходе анкетирования. Загрузка исходных данных осуществляется нажатием кнопки «Загрузка исходных данных». Для работы данного алгоритма предполагается подготовка текстового файла.
В первых двух строках через пробел располагаются значения итерированных важностей второго порядка pi(2) всех n объектов первого эксперта, в третьей строке - значения следующего эксперта и т.д. Всего в текстовом файле должно содержаться m + 1 строк. При этом число параметров и экспертов определяется автоматически на основе содержимого файла. Далее осуществляется нажатие кнопки «Расчет», после чего на основе загруженных исходных данных производится расчет весовых коэффициентов важности методом ВКВ.
Нейросетевой анализ уровня сформированности компетенций
Одним из главных факторов управления образовательным процессом является оценка знаний. Для анализа знаний студентов кроме стандартной системы опроса также используется опрос в виде тестов. Среди всех моделей тестирования выделяется адаптивная модель. В ней заложена идея о большей эффективности классических тестов. Такая форма позволяет более точно и быстро оценить способности студента. К другим преимуществам адаптивного тестирования можно отнести уменьшение количества заданий, времени на тестирование, повышение точности оценки, повышение мотивации у студентов к прохождению тестов [6].
В настоящее время для решения задачи увеличения эффективности адаптивного тестирования был проведен анализ способов выбора траектории тестирования. Существует три основных способа [2]:
1) способ с применением теории IRT;
2) способ с заданием перехода между состояниями;
3) способ с помощью нейросетевых методов.
Способ с применением теории IRT прост для использования, однако сложен для получения точности логитов – величины, характеризующей трудность задания и разрешающую способность человека.
Нейросетевой метод является наиболее действенным для задачи выбора траектории тестирования. Рассмотрим способ проведения стандартного адаптивного тестирования [2], который показан на рис. 2.
Сперва, до задания тестовых вопросов, необходимо ввести основные параметры (тема тестирования, количество тестовых вопросов, время тестирования). Далее добавляем условие выбора первого задания. Вторым шагом является анализ выполненного задания, на основе которого происходит выбор следующего задания. Заключительным шагом является проверка правила окончания тестирования (закончились вопросы или время проведения тестирования). По завершении тестирования определяется его результат.
Данный способ малоэффективен, поскольку для выявления уровня сформированности компетенции требуется большое количество вопросов.
Для повышения эффективности тестирования и более точного выявления уровня освоения компетенций студентами всех уровней подготовки предлагается задать уровень трудности вопросов. Элементы блок-схемы алгоритма стандартного адаптивного тестирования «Анализ результатов выполненного задания» и «Выбор следующего задания» объединяем в элемент «Оценка результатов» и применяем аппарат искусственной нейронной сети.
Для корректировки перехода между модулями зададим ряд условий требованиями:
1) разделить вопросы по степени трудности;
2) установить количество блоков с вопросами;
3) применить искусственную нейронную сеть для корректного перехода между блоками.
На рис. 3 видно, что тестирование состоит из 3 блоков с вопросами. На первом этапе происходит выбор 10 вопросов, которые ранжируются по трудности следующим образом: {2, 6, 2}, то есть в блок включается 2 легких, 6 средней трудности и 2 трудных вопроса. Второй и третий этапы состоят из 6 вопросов, а по трудности могут быть ранжированы следующим образом: {1; 5; 0} (1 лёгкий, 5 средних, 0 трудных); {2; 4; 0}; {3; 3; 0}; {0; 4; 2}; {0; 5; 1};{0; 2; 4;}.
Обработка данных происходит после ответов на каждый блок вопросов. Результатом обработки данных является выбор вопросов для следующего блока. После прохождения второго блока вопросов существует выбор: если испытуемый ответил верно не менее чем на 15 вопросов из 16, то он может получить итоговую оценку, минуя третий блок вопросов [3].
Исходя из основных направлений использования искусственной нейронной сети нами была выбрана структура под названием «многослойный персептрон». Архитектура многослойного персептрона представлена на рис. 4.
В качестве функции активации нейрона выбрана сигмоидальная функция.
Предположим, что испытуемый ответил на 6 вопросов: 1 легкий, 4 средних, 1 трудный. Данную раскладку выражаем в долях: 1/2 - доля легких решенных вопросов, 4/6 – доля средних решенных вопросов, 1/2 - доля трудных решенных вопросов. Набор коэффициентов выглядит следующим образом: {1/2, 4/6, 1/2}. Он будет входным в искусственную нейронную сеть. Если испытуемый ответит на все вопросы, входные данные будут выглядеть так: {1, 1, 1}.
Обучение будет проводиться с учителем по экспертным данным. В результате обучения на выходе получаем число в промежутке от 0 до 1, на основании которого будут выбираться блоки вопросов.
В данном способе искусственная нейронная сеть осуществляет выбор траектории адаптивного тестирования. Существует несколько видов траекторий: индивидуальная, уровневая и смешанная [8]. Таким образом, в нашем случае параметры сети имеют зависимость от параметров тестирования.
Входных нейронов в сети будет 3 – по количеству трудностей вопросов в тесте. Выходных нейронов будет 4. Они будут нести в себе информацию, необходимую для вынесения оценки. Скрытых нейронов будет выбрано 6. Структура принятой искусственной нейронной сети представлена на рис. 5.
Заключение
Несмотря на то что метод тестирования для анализа уровня сформированности профессиональных компетенций обучающихся признан одним из самых эффективных и объективных, данная тестовая система не может считаться безупречной. Среди основных недостатков метода тестов главное место занимает одновариантность и недостаточное внимание к личностным параметрам испытуемого [7]. Данная проблема может быть решена применением адаптивного тестирования, которое способно подстроиться под уровень знаний студентов, а также варьирует количество и сложность заданий в зависимости от полученных результатов (ответов на вопросы теста).
В данной работе рассмотрены два модуля системы адаптивного тестирования студентов и выпускников. Модуль экспертной оценки сформированности профессиональных компетенций позволяет получить согласованное и непротиворечивое мнение экспертов по поводу той или иной профессиональной компетенции. Модуль нейросетевого анализа профессиональных компетенций позволяет увеличить уровень эффективности системы тестов и задать правильную траекторию тестирования. С помощью этого метода возможно совершенствование метода тестирования, а значит, повышение достоверности оценки уровня знаний студентов и выпускников. Данные модули лежат в основе разрабатываемой системы тестов. В ближайшее время нами будет проведено проверочное тестирование студентов специальности «Информационные системы и технологии» Брянского государственного технического университета. Все неточности в алгоритмах будут учтены, а также будут скорректированы веса нейронов разрабатываемой нейронной сети.
1. Beshelev, S.D. Matematiko-statisticheskie metody ekspertnyh ocenok / S.D. Beshelev, F.G. Gurvich. - M.: Statistika, 1980. - S. 263.
2. Beshelev, S.D. Ekspertnye ocenki / S.D. Beshelev, F.G. Gurvich. - M.: Nauka, 1973. - S. 161.
3. Goryushkin, E.I. Ispol'zovanie neyrosetevyh tehnologiy v adaptivnom testirovanii po informatike v vuze / E.I. Goryushkin. - Kursk, 2009. - S. 1.
4. Goryushkin, E.I. Osobennosti adaptivnogo kontrolya i izmereniya rezul'tativnosti distancionnogo obucheniya informatike / E.I. Goryushkin. - Kursk: Izd-vo KGU, 2009. - S. 240.
5. Gura, V.V. Teoreticheskie osnovy pedagogicheskogo proektirovaniya lichnostno-orientirovannyh elektronnyh obrazovatel'nyh resursov i sred / V.V. Gura. - Rostov n/D: Izd-vo YuFU, 2007. - S. 299.
6. Dang, H.F. Metody razrabotki algoritmov adaptivnogo testirovaniya / H.F. Dang, O.A. Shabalina, V.A. Kamaev // Izvestiya Volgogradskogo gosudarstvennogo tehnicheskogo universiteta. - 2012. - T. 4. - № 13. - S. 107-112.
7. Dang, H.F. Polnoe adaptivnoe testirovanie / H.F. Dang, O.A. Shabalina // Izvestiya Volgogradskogo gosudarstvennogo tehnicheskogo universiteta. - 2013. - № 14 (117).
8. Dolgov, Yu.A. Statisticheskoe modelirovanie: ucheb. dlya vuzov / Yu.A. Dolgov. - Tiraspol': Izd-vo Pridnestr. un-ta, 2010. - 117 s.
9. Kondratenko, S.V. Metodologiya ocenki deyatel'nosti operatorov v chelovekomashinnyh sistemah / S.V. Kondratenko, A.A. Kuz'menko, V.V. Spasennikov // Vestnik Bryanskogo gosudarstvennogo tehnicheskogo universiteta. - 2017. - № 1 (54). - S. 261-270.
10. Yusupov, D.F. Neyrosetevye tehnologii adaptivnogo obucheniya i kontrolya znaniy studentov po kursu «Osnovy programmirovaniya» / D.F. Yusupov // Molodoy uchenyy. - 2014. - № 6. - S. 779-783.
11. Averchenkov, V.I. Methodology of evaluation of operators activities in manmachine systems with color estimates / V.I. Averchenkov, V.V. Spasennikov, M.Y. Rytov, S.V. Kondratenko, A.A. Kuzmenko // International conference on industrial engineering, applications and manufacturing (ICIEAM). - SPb., 2017.
