Контроль уровней освоения учебной дисциплины является актуальной задачей в свете изменения требований, которые в современных условиях предъявляются к практике обучения по различным направлениям подготовки студентов. Контроль знаний является одним из важнейших элементов образовательного процесса. Научно-обоснованная организация контроля определяет эффективность управления обучением и качество подготовки студентов. Благодаря контролю между преподавателем и студентами устанавливается обратная связь, которая даёт возможность проследить динамику освоения учебной дисциплины (В,С. Аванесов [1], В.И. Аверченков, С.В. Кондратенко, В.В. Спасенников [3], Г.Ф. Голубева, А.А. Тришин [8], Ю.М. Казаков, Т.В. Маркина, Т.А. Фёдорова [12], E.J. Cobb, J. Meixelsperger, K.K. Seitz [24] и др.).В таблице 1 представлены формы текущего контроля знаний студентов в соответствии с программой курса «Общая и социальная психология» для направления подготовки 44.03.04 – «Профессиональное обучение.Результаты контроля знаний выражаются в оценках. Оценка является характеристикой результатов учебной деятельности, даёт представление о состоянии знаний и умения, степени их соответствия требованиям контроля. В работах по психологии труда, инженерной психологии, эргономике установлено, что текущий и итоговый контроль знаний по предмету связаны с мотивацией, самооценкой, уровнем притязаний студента, поэтому требования к оценке должны быть научно-обоснованными (В.С. Аванесов [2], К.Ю. Андросов [5], С.Н. Ларин, У.Х. Малков, Н.М. Баранова [13], А.Н. Печников, А.В. Прензов [17], S.F. Harp, R.E. Mayer [27] и др.).  Таблица 1. Формы текущего контроля успеваемости студентов и соответствующие оценочные средства по дисциплине № п/пНаименование формы контроляКраткая характеристикаОценочные средства12341КоллоквиумСредство контроля освоения учебных материалов темы или разделов дисциплины, организованное как практическое занятиеВопросы по темам и разделам учебной дисциплины2Контрольная работаСредство проверки умения применять полученные знания для решения практических задач по темам и разделам дисциплиныКомплект контрольных заданий по вариантам3Круглый стол, дискуссия, диспутСредства, позволяющие включать студентов в процесс обсуждения дискуссионных вопросов по проблеме и умение аргументированно отстаивать точку зренияПеречень дискуссионных тем для проведения круглых столов, дискуссий, диспутов4Проектная деятельностьПродукт, получаемый в результате выполнения учебных и научно-исследовательских заданий. Позволяет оценивать умение студентов самостоятельно решать творческие задачи, ориентироваться в информационном пространствеТемы индивидуальных и групповых проектов5Реферат (эссе)Продукт самостоятельной работы студента в виде краткого изложения теоретических результатов учебно-исследовательской темы. Позволяет оценить умение студентов письменно излагать суть проблемы, обобщать авторскую позицию и делать выводыТематика рефератов и эссе6Доклады (сообщения)Продукт самостоятельной работы студента, представляющий собой публичное выступление, связанное с решением определённой научно-исследовательской темыТемы докладов (сообщений)7Кроссворды (терминологические диктанты)Позволяет оценить степень усвоения базовых понятий курса с учётом их соответствия уровню профессионализированной понятийности мышления. Даёт возможность осуществлять последующее конструирование дидактических заданий в тестовой форме для текущего и итогового контроля знанийОпределения базовых понятий учебной дисциплины в форме кроссворда (терминалогического диктанта)8СобеседованиеСредство контроля, организованное в виде беседы преподавателя со студентами по темам учебной дисциплины, рассчитанное на выявление полученных знанийВопросы по темам и разделам дисциплины9ТестированиеСистема стандартизированных заданий, позволяющая автоматизировать процедуру измерения уровня знаний студентов с учётом надёжности и валидности заданий в тестовой формеБанк заданий в тестовой форме для текущего и итогового контроля   Результаты контроля знаний выражаются в оценках. Оценка является характеристикой результатов учебной деятельности, даёт представление о состоянии знаний и умения, степени их соответствия требованиям контроля. В работах по психологии труда, инженерной психологии, эргономике установлено, что текущий и итоговый контроль знаний по предмету связаны с мотивацией, самооценкой, уровнем притязаний студента, поэтому требования к оценке должны быть научно-обоснованными (В.С. Аванесов [2], К.Ю. Андросов [5], С.Н. Ларин, У.Х. Малков, Н.М. Баранова [13], А.Н. Печников, А.В. Прензов [17], S.F. Harp, R.E. Mayer [27] и др.).В психолого-педагогических исследованиях показано, что необходимо соблюдать такие требования к оценки знаний студентов как: объективность, обоснованность, индивидуальный характер, гласность (К.Ю. Андросов, Г.Ф. Голубева, Е.В. Спасенникова [6], Ю.М. Казаков, Т.В. Маркина, Т.А. Фёдорова [12], С.А. Нестеров, М.В. Сметанина [14], K. Albrecht [23] и др.). В образовательной практике принято различать текущую и итоговую оценки, во всех случаях необходимо предвидеть как положительные, так и отрицательные её последствия.Одной из актуальных научных задач при выборе оценочных средств, которые решаются в процессе текущего контроля является разработка банка тестовых заданий (вопросов в тестовой форме). Для решений данной задачи в процессе стандартизации заданий в тестовой форме целесообразно в тематическом контроле знаний студентов использовать терминологически диктанты и кроссворды. Решение кроссвордов может осуществляться на практических занятиях в игровой форме: преподаватель зачитывает определения, студенту, который правильно называет термин начисляется один балл. Зачитывание терминов может осуществляться по группам; процесс продолжается до тех пор, пока не определены все термины; побеждает группа, набравшая большее количество баллов. На рисунке 1 приведен кроссворд по теме «Способности и интеллект» курса «Общая и социальная психология».         1                     2 6                                                                                                                   7                                 3 5         11                          4      10                                                        9                        12           8                                                                               Рис.1. Кроссворд по теме «Способности и интеллект» По вертикали:1. Совершенство в выполнении профессиональной деятельности.2. Комплекс знаний, умений и навыков, формируемых в процессе обучения в высшей школе.3. Способности выполнения мотивированных действий.6. Комплекс нескольких потенциально высоких способностей.9. Структурированная и верифицированная информация научного и практического характера.10. Доведённые до автоматизма внешние и внутренние действия.11. Уровень развития умственных действий и способностей.По горизонтали:4. Наивысший уровень развития многочисленных способностей.5. Свойства личности, способствующие успешному обучению и осуществлению профессиональной деятельности.7. Сочетание высокоразвитых способностей.8. Природные предпосылки развития способностей и профессионально-важных качеств.12. Род трудовой активности человека, полученной в процессе специальной подготовки.В таблице 2 приведена оценочная шкала перевода набранных баллов (из двенадцатибалльной шкалы в традиционную четырёхбалльную). Таблица 2. Нормативная таблица перевода 12-балльной шкалы в стандртную оценочную шкалу отметок Оценка в баллах0-45-78-1011-12ОтметкаНеуд.Удовл.ХорошоОтлично Содержательный анализ ошибок при решении (заполнении) кроссворда даёт возможность корректировать итоговый банк заданий в тестовой форме по всем темам курса.В процессе разработки и использования задания в тестовой форме возникает необходимость обеспечить требуемый уровень их качества. Анализ кроссвордов показывает, что вопросы тестовых заданий по структуре логическому построению, точности определений не всегда обладают надёжностью и валидностью.Целью итогового тестирования является выявление уровня знаний студента, оценка степени освоения ими тем курса, определение на этой основе направлений дальнейшего совершенствования оценочных средств с целью стимулирования активности студентов на занятиях и в процессе самостоятельной работы.Тестовый материал – это контрольные задания, стандартизированные по форме содержанию и оценке результатов.Основные формы тестовых заданий: а) закрытые задания; б) открытые задания; в) задания на соответствия между множествами; г) задания на установление правильной последовательности. Они ориентированы либо на распознавание явлений, либо на ограничение одних явлений от других, либо на умение классифицировать явления.Содержания тестовых заданий зависит от вида контроля (тематический или итоговый) и должно соответствовать курсу общей и социальной психологии, отражать наиболее значимые темы, существенные проблемы. Качество включенных в тест заданий определяют эффективность их применения и обеспечивают возможность использования процедуры тестирования как на этапе промежуточной оценки знаний студентов, так и на заключительном этапе обучения.Промежуточное и итоговое тестирование даёт возможность получать объективную оценку знаний студентов по отдельным изучаемым темам, по логически законченной части раздела, по целому курсу дисциплины при завершении её изучения. Результаты контроля знаний студентов позволяет выявить наименее усвоенные темы, разделы и корректировать процесс обучения, концентрируя в будущем внимание на их более обстоятельном изучении.Повышение качества тестов и отдельных заданий в тестовой форме связано с внедрением в учебный процесс LMSMoodle [4].LMSMoodle – модульно-ориентированная динамическая учебная среда, позволяющая создавать курсы для электронного обучения. Кроме теоретической информации, система предоставляет ресурсы для мониторинга знаний, размещение заданий разного уровня  как в виде тестовых вопросов, так и в виде контроля оценочными средствами приведёнными в таблице 1.Существенным преимуществом системы управления электронным обучением Moodle является наличие встроенных средств, позволяющих по результатам выполнения тестовых заданий создавать отчёты, которые содержат статистические показатели, используемые для оценки качества тестов и входящих в них тестовых заданий.Возможность применения статистических методов для обработки результатов тестирования и расчёта статистических характеристик тестов обусловлена их выполнением большим числом испытуемых. Такие характеристики представлены в теории педагогических измерений и служат для оценки надёжности и валидности тестов [2, 10,15,17 и др.].Базовые понятия по темам курса «Общая и социальная психология» связаны с оценкой понятийной стороны мышления. Следует согласиться с мнением С.А. Гильманова [7], В.Н. Дружинина [10], М.А. Холодной [21], что именно понятийная сторона мышления обеспечивает профессионализацию действий обучающихся. Понятия, осваиваемые по темам курса «Общая и социальная психология» связаны с готовностью и умением их творческого использования в будущей профессиональной деятельности. В отечественных исследованиях, как показано в [7] выделяют 4 уровня профессионализированности мышления, которые представлены в таблице 3.  Таблица 3. Уровни профессионализированной понятийности мышления (ППМ) и их характеристики [7] Уровень ППМХарактеристика уровня ППМ121. ОбыденныйПонятия отождествляются со словами, без понимания их места в терминологической системе, описывающей определённую реальность; в основе представления лежит образ, сформированный на базе индивидуального опыта.Понятийное мышление в отношении осмысления идеальных объектов не развито: основания ищутся в эмпирических признаках; человек способен формулировать посылки, но не может выстраивать развернутые суждения и делать умозаключения2. ФормальныйЕсть представления о родовидовых характеристиках понятий, но нет осознанно синтезированного целостного образа (представления), позволяющего видеть систему понятий в их связях с объектами. Суждения часто бессодержательны, умозаключения производятся по формальным признакам, хотя человек опирается на конкретные знания и может дать грамотное описание понятий, описать их связи, однако это не оказывает влияния на представления о составе и очерёдности действий.Возможны обобщения и движения к категоризации3. СодержательныйЕсть представление о содержании и объёме понятий, о способах решении задач с профессиональной позиции. Умозаключения выстраиваются на основе обращения к сущности объектов, связь понятий осознана. Достаточно чётко проявляется закон эквивалентности понятий: «Всякое понятие может быть обозначено бесчисленным количеством способов с помощью других понятий».4. Системно-холи-стическийИмеется способность видеть целое в частях и часть в целом. Понятия начинают соотноситься по «вертикали» и «горизонтали» и включаться в деятельность на основе выделенных единиц анализа, отражающих сущностные свойства связей данных понятий, которые выстраиваются как целостность с действиями под задачу.  Составление и анализ ответов на задания кроссвордов осуществлялись в игровой форме и связаны с системно-холистическим уровнем профессионализированной понятийности мышления (таблица 3). Это даёт возможность в результате последующей статистической обработки в системе Moodle определить валидные и надёжные вопросы из банка всех кроссвордов для итогового тестирования по дисциплине «Общая и социальная психология».Статистические показатели для анализа качества теста базируются на теорий педагогических измерений, которые сводятся к следующему [16, 18,23, 25, 28 и др.]:получить репрезентативную выборку для вычисления устойчивых оценок уровня подготовки студентов с известными стандартными ошибками измерения;предъявить тест выборкам по направлениям и профилям подготовки на основе выявления гомогенных групп с учётом периода обучения;определить средний балл для каждой учебной группы, шкалировать результаты;интерполировать шкалированные результаты между соседними средними для тех «сырых» баллов, которые не наблюдались в выборке;экстраполировать результаты с учётом минимального и максимального полученных баллов для установления шкалы по тесту;результаты интерполяции и экстраполяции собрать в банк данных, показывающий шкалированные эквиваленты «сырых баллов в различных учебных группах.Информатизация процедур тестирования, обработки и интерпретации результатов в LMSMoodle привела к созданию статистических отчётов, позволяющих оперативно получать на единой шкале показатели учебных достижений студентов с учётом надёжности заданий в тестовой форме.Надёжность заданий в тестовой форме в системе Moodle определяется по формуле:rt=rr-1*(σx2-p*qσx2) Где r – число заданий в тесте; p – доля правильных ответов на задания теста;q – доля неверных ответов на задания теста.σx2 – дисперсия индивидуальных баллов (зависит от числа студентов и индивидуального балла каждого студента.Для формирования в системе Moodle статистических отчётов по результатам выполнения обучающимися тестовых заданий необходимо на странице курса перейти по ссылке в анализируемый тест, в блоке «Настройки» выбрать группу «Результаты», а в ней – раздел «Статистика». В поле «Рассчитать статистику» следует указать настройку статистического отчёта. В данном случае доступны варианты представления отчёта для всех попыток, первых попыток, последних попыток, лучшей из оценённых попыток. [4]В среде Moodle формируются два типа отчётов, такие как «Информация о тесте» в котором отражены параметры, рассчитанные для всего теста (табл.4) и «Анализ структуры теста», содержащий статистические оценки конкретных тестовых заданий [4].  Таблица 4. Статистические показатели, входящие в отчёт «Информация о тесте» LMS Moodle ПоказательХарактеристика показателяМедиана оценокЗначение оценок, расположенное в середине ранжированного ряда всех полученных оценокСтандартное отклонениеВеличина отклонений оценок от среднего арифметического значения в группеОценка распределения эксцесса и асимметрии распределенияСоответственно качественное и количественное равномерное распределение оценок относительно среднего значенияКоэффициент внутренней согласованностиКорреляционная зависимость между результатами ответов на чётные и нечётные вопросы, входящие в один тестСоотношение ошибокДоля случайных отклонений в результатах ответов испытуемых на один и тот же вопросСтандартная ошибкаВеличина погрешности для результатов тестирования обучающихся с учётом фактора везения Статистические показатели (табл.4) были проанализированы по результатам решения кроссворда по теме «Способности и интеллект», в отчёт включены результаты студентов получивших высокие оценки (8-12 баллов, табл.2).Отрицательное значение коэффициента асимметрии свидетельствует о том, что количество студентов, получивших оценку ниже среднего значения, меньше числа студентов, выполнивших тест с результатами выше среднего уровня. Оценка эксцесса подтверждает перевес в отношении высоких результатов.О существовании корреляционной зависимости между результатами ответов на чётные и нечётные вопросы кроссворда свидетельствует высокое значение коэффициента внутренней согласованности (более 80 %), что подтверждает согласованность вопросов кроссворда в тестовых заданиях.При анализе показателей «Соотношение ошибок» и «Стандартная ошибка» следует обратить внимание на возможное влияние такого артефакта как угадывание в кроссворде правильного ответа термина, с учётом решённых тестовых вопросов как по вертикали, так и по горизонтали.В отчёте «Анализ структуры теста» представлены статистические параметры оценки конкретных тестовых заданий (табл. 5). Они дают возможность выявлять вопросы, которые не позволяют дифференцированно измерить уровень достижений студентов, а затем производить корректировку или замену таких вопросов.  Таблица 5. Основные статистические показатели, входящие в отчёт«Анализ структуры теста» LMS Moodle ПоказательХарактеристика показателяИндекс лёгкостиУдельный вес испытуемых, которые дали правильный ответ на анализируемый вопросСтандартное отклонениеСтепень разброса оценок обучающихся, полученных за один и тот же вопросБалл случайного угадыванияВероятность случайного угадывания правильных вариантов ответа в вопросах закрытого типаНамеченный вес и эффективный весВес вопроса в процентах, назначенный разработчиком, и его фактическая доля в итоговой оценкеИндекс дискриминацииРазница сумм соотношений набранных баллов к максимально возможным у сильных и слабых обучающихся в среднем на одного испытуемого. При этом испытуемые по результатам ответа делятся на три группы (сильные, средние, слабые)Эффективность дискриминацииНормированное значение индекса дискриминации. При расчёте используются результаты тестирования всех испытуемых, что даёт более точную оценку  Изучение рассмотренных статистических параметров отчётов, полученных по результатам решения студентами заданий кроссворда, позволило сделать вывод о необходимости корректировки вопросов №1 и №12. Значения индекса лёгкости для указанных заданий близки к 100%, т.е. они оказались слишком простыми для группы студентов, сложные вопросы в кроссворде отсутствуют, их можно не корректировать.Значения индексов дискриминации и эффективности дискриминации варьируются в пределах от -100 до 100%. При значении -100% можно считать, что все сильные испытуемые дали неверный ответ на вопрос кроссворда, а все слабые – верный. Достаточная дифференцирующая способность заданий кроссворда должна составлять не менее 30%.В работе [12] показано, что основной сложностью внедрения LMSMoodle в учебный процесс является необходимость решения преподавателем трёх проблем: приобретение навыков работы с программнной частью выбранной платформы; формирование навыков управления учебно-познавательной деятельностью обучающихся с учётом специфики дистанционной формы обучения; качественное использование всего спектра возможностей по контролю освоения материала обучающимися.Одной из главных проблем с который сталкивается преподаватель в начале разработки дистанционных учебных курсов является отсутствие практических навыков работы с системой управления дистанционным обучением (LMS). На данном этапе будущего разработчика курса необходимо ознакомить с основными возможностями системы Moodle. Затем производится регистрация преподавателя в системе как разработчика курсов, формируются базовые навыки создания и настройки нового дистанционного курса. Далее производится обучение работе с основными меню и свойствами созданного курса. Например, настройка внешнего вида созданного курса, установка сроков начала и окончания доступности курса, установка доступности курса для различных групп студентов [15].На следующем этапе начинается наполнение курса содержимым. В первую очередь рассматриваются те компоненты системы, с помощью которых можно реализовать изложение учебного материала. Наиболее простыми в освоении являются элементы «файл» и «страница». С их помощью можно создать базовую структуру курса. Более продвинутым элементом является «лекция», который представляет из себя набор отдельных страниц, логические связи между страницами и условия перехода от страницы к странице. На данном этапе преподаватель разрабатывает страницы с аннотацией дистанционного курса и получает навыки работы с визуальным редактором системы.На третьем этапе преподаватель знакомится с основными возможностями системы по контролю знаний студентов. Производится обзор возможностей использования элемента «тест», способов создания банков тестирования, импорта существующих вопросов. Уделяется внимание настройке количества вопросов, способам их отображения, настройке ограничений прохождения по времени и количеству попыток. На примерах рассматриваются следующие типы тестовых вопросов и этапы их настройки: «множественный выбор», «числовой вопрос», «вопрос с пропущенными словами», «вычисляемый вопрос», «графический вопрос на перетаскивание маркеров». Далее происходит формирование навыков преподавателя по работе с элементом «задание», которая включает в себя установку сроков и критериев оценивания, формирование требований к загрузке файлов обучающимися, умения производить рецензирование работ через интерфейс системы.На последнем этапе преподаватель обучается работе с элементами «семинар», настройки ограничения доступа к темам или элементам курса. На примерах рассматривается настройка доступа согласно профилю пользователя, оценке за выполнение различных заданий, суммарной оценке за курс. Производится обучение работе с глобальными группами пользователей, журналами успеваемости.Исходя из оценки функциональных возможностей системы Moodle и практики разработки кроссвордов и тестовых вопросов можно предложить следующие рекомендации по оптимизации работы с банком тестовых заданий:формировать банки тестовых заданий в электронной образовательной среде, группируя вопросы в отдельные категории по темам (разделам) в зависимости от целей тестирования;включать в банки тестовых заданий достаточно большое количество вопросов для корреляционного анализа надёжности и повышения содержательной валидности тестов (не менее 300 вопросов);использовать различные формы тестовых заданий, доступных в электронной образовательной среде («Заполнение кроссворда», «Множественный выбор», Краткий ответ», «На соответствие», «Подбор пропущенных слов», «Вычисляемый», «Числовой ответ» и др.);минимизировать применение форм тестовых заданий, для которых характерна высокая вероятность угадывания верных ответов, например, таких как «Множественный выбор» или «На соответствие» с малым количеством вариантов выбора ответов.Для создаваемого в LMSMoodle учебного курса и оценки его освоения следует проводить предварительное тестирование и вносить изменения в тестовые задания на основе анализа статистических параметров отчётов, формируемых средствами электронной образовательной среды. Заключение и выводы Для успешного использования элементов дистанционных образовательных технологий в процессе обучения разработчику курса «Общая и социальная психология» необходимо решить следующие три проблемы: овладеть базовыми навыками работы с системами управления дистанционным обучением; научиться управлять учебно-познавательной деятельностью студента с учётом специфики использования дистанционных образовательных технологий; приобрести практические навыки применения возможностей средств контроля, включая анализ терминологических диктантов и кроссвордов.В работу с банком тестовых заданий, составленных на основе кроссвордов, в рамках учебного курса в системе Moodle рекомендуется включать такие этапы, как проведение пробного тестирования выборки обучающихся, анализ результатов тестирования и статистики теста. Количественной оценке надежности и валидности банка тестовых заданий должен предшествовать их качественный отбор в процессе игрового взаимодействия преподавателей и студентов при решении кроссворда по критерию соответствия базовых терминов системно-холистическому уровню профессионализированности понятийного мышления.Кроссворды и терминологические диктанты являются первичными оценочными средствами для дальнейшего включения в банк тестовых заданий, что позволяет на основе LMS «Moodle» автоматизировать процедуру обработки эмпирических данных путём вычисления статистических показателей надёжности и валидности тестов для оценки уровня усвоения студентами по учебной дисциплине.