Review as a procedure of expert evaluation of the quality of scientific articles
Abstract and keywords
Abstract (English):
The necessity of unification of the form of review in the process of decision-making on the publication of articles in scientific journals is explained. The experience of peer review of manuscripts in domestic scientific journals is summarized. The criteria for assessing the quality of scientific articles, a unified form of review-questionnaire, as well as examples of its application are proposed.

Keywords:
: scientific article, relevance, novelty, originality, language, logic and style of presentation, review, rating, decision-making
Text
Publication text (PDF): Read Download

В современной российской науке и образовании сложился целый ряд негативных тенденций, связанных с сокращением числа диссертационных советов по некоторым направлениям, увеличением возраста высококвалифицированных кадров, отсутствием преемственности в традициях публикации результатов научных исследований. При этом по-прежнему актуальной является проблема унификации критериев оценки качества научного материала, предлагаемого авторами к публикации в научных журналах.

Основной задачей проведенного авторским коллективом исследования являлось: на основании анализа, сопоставления и дифференциации имеющейся эмпирической информации  систематизировать основные позиции при рецензировании научных публикаций и предложить унифицированную форму их представления, т.е. сформулировать ориентиры для методологической рефлексии (от лат. reflexio – отражение) при рецензировании научных текстов [3].Эмпирическую базу исследования составил статейный и рецензионный материал научных журналов «Вестник Брянского государственного технического университета» и «Эргодизайн» (N = 158; выборка репрезентует рецензентов по полу, ученой степени, ученому званию, типу организации, в которой работает рецензент), психологическое наблюдение за отношением авторов к предоставлению статей в редакцию журнала.

Научные работники и исследователи разных типов (студенты, аспиранты, преподаватели вузов и т.д.) заинтересованы в научных публикациях, которые, являясь важной составляющей их научной деятельности, необходимы, для распространения их идей в научном сообществе, что способствует, с одной стороны, совершенствованию и верификации результатов теоретических исследований, а, с другой - развитию сотрудничества и коммуникаций в научной среде[1, 2].

Особенно актуальной проблемой опубликования и цитирования публикаций стала после внедрения в практику российских образовательных учреждений и научных организаций системы учёта индексов научного цитирования и эффективных контрактов.

Ключевым элементом процесса публикации, используемым ведущими журналами, является рецензирование представленных авторами рукописей. Рецензирование – это тот инструмент, которым современная наука пользуется для выявления качественно представленных результатов исследований. Более того, публикации произведений, не прошедших процедуру рецензирования, часто воспринимаются с недоверчивостью профессионалами во многих областях [9].

Международная практика рецензирования научных статей показывает, что содержание рецензии должно отражать следующие основные положения: «степень актуальности представляемой статьи; научная новизна направления исследования, рассматриваемого в статье; значимость постановки проблемы (задачи) и полученных результатов для дальнейшего развития теории и практики в рассматриваемой области знаний; полнота раскрытия темы; язык и стиль изложения; законченность и качество выводов; соответствие требованиям по оформлению» [9]. При этом одним из важных критериев проверки качества публикуемых материалов, проводимой ведущими научными изданиями мирового уровня, является их проверка на наличие научной новизны, что также выявляется в процессе рецензирования и часто требует от рецензента проведения патентных исследований [3].

При наличии в журнале практики рецензирования поступившая рукопись прочитывается учёными, специализирующимися на проблематике статьи, и затем они рекомендуют редактору принять или отклонить рукопись, либо предложить автору доработать её и представить для повторного рецензирования. Таким образом, рецензирование является также инструментом для стимулирования дополнительных усилий авторов и помощи им в целях улучшения их работы [3,4].

Анализ опыта рецензирования рукописей, предложенных авторами в различные научные журналы, позволил разработать и предложить следующую анкету научного рецензирования статьи (таблица 1), которую авторы публикаций могут использовать для самооценивания результатов представляемого в публикации проведенного исследования.

Аддитивное суммирование набранных баллов по предложенной шкале «стенов» (10-балльная шкала) позволяет выделить низкий, средний и высокий уровень статей, которые редколлегия может принять за основу принимаемых решений об опубликовании (табл.2).

Применение предлагаемой методики при проведении экспертного оценивания опубликованных научными журналами работ представлено в таблице 3.

Как видно из таблицы 3 наибольшим суммам баллов (рейтингам) статей по результатам экспертной оценки соответствуют высокие значения количества цитирований в электронной базе «Elibrary». В дальнейшем предполагается на репрезентативной выборке осуществить корреляционный анализ связи индексов цитирования и рейтингов статей по результатам экспертных оценок.

Вместе с тем, в последнее время появилось много критических высказываний о процедуре рецензирования; основными недостатками которого считается [9]:

  • увеличение периода между получением результатов и их публикацией (иногда – около года);
  • несоблюдение правил и этики рецензирования;
  • неадекватная реакция автора на замечания рецензента;
  • недобросовестность рецензента;
  • недостаточная квалификация рецензента;
  • неподготовленность научного сообщества к уровню работ автора;
  • умышленное давление на автора посредством заведомо недобросовестным подбором рецензентов;
  • сложность рецензирования различных категорий научных работ и т.д.

Применение унифицированной формы рецензии-анкеты может частично решить перечисленные недостатки существующей ныне практики рецензирования научных рукописей. Актуальной и нерешённой проблемой в процессе написания научных статей и представления их в редакционные советы отечественных и международных изданий является необходимость принятия международных соглашений, связанных со стандартизацией форм представления рукописей и списков цитирования актуальных библиографических источников.

 

1. Показатели и критерии для рецензирования статьи и самооценивания

 

Показатели качества научной статьи

Критерии оценки качества проявления

показателей

Шкала оценки

Оценка

рецензента, замечания

  1. Соответствие названия статьи её содержанию
    1. Соответствует её содержанию
    2. Некорректная формулировка требует уточнения
    3. Не соответствует содержанию статьи

8-10

 

4-7

1-3

 

  1. Тип статьи и значимость постановки проблемы (задачи)
    1. Проблемно-теоретическая или теоретико-экспериментальная
    2. Описание частного феномена
    3. Низкая оригинальность при проверке в системе Антиплагиат

8-10

 

4-7

 

1-3

 

  1. Степень новизны и значимость результатов исследования
    1. Совершенно новая
    2. Существенное дополнение известных фактов, что даёт новую интерпретацию или повторение известного, но на других примерах
    3. Повтор известных фактов, низкая степень новизны

8-10

 

4-7

 

 

1-3

 

  1. Актуальность статьи
    1. Теоретически значимая
    2. Практически значимая
    3. Актуальность отсутствует

8-10

4-7

1-3

 

  1. Методы и методики исследования
    1. Оригинальные
    2. Традиционные
    3. Отсутствуют или сомнительные

8-10

4-7

1-3

 

  1. Язык, логика и стиль изложения
    1. Не требует доработки текста
    2. Требует корректорской правки
    3. Требует редакционной правки

8-10

4-7

1-3

 

  1. Полнота отражения содержания статьи в аннотации
    1. Полное соответствие
    2. Необходима редакционная правка
    3. Аннотация не соответствует содержанию

8-10

4-7

1-3

 

  1. Точность выбора ключевых слов
    1. Высокая точность
    2. Средняя точность
    3. Низкая точность

8-10

4-7

1-3

 

  1. Правильность оформления таблиц, рисунков и формул, законченность и качество выводов
    1. Соответствует правилам и требованиям оформления
    2. Требуют незначительной доработки
    3. Не соответствуют требованиям оформления

8-10

 

4-7

 

1-3

 

  1. Оформление библиографических источников
    1. Цитируются актуальные источники
    2. Недостаточное цитирование и самоцитирование
    3. Некорректное цитирование и заимствование материала без ссылок

8-10

 

4-7

 

1-3

 

 

 

2. Классификация уровня и качества научных статей в процессе принятия решений об их опубликовании

 

Уровень (качество) статьи

Соотносительная норма

Сумма баллов

по всем показателям

Предложение

об опубликовании

Высокий

8-10

76-100

Принять к публикации

Средний

4-7

40-75

Принять с доработками

Низкий

1-3

10-39

Отклонить

 

 

3. Результаты экспертного оценивания статей, их рейтинг и количество ссылок по данным

Российского индекса научного цитирования (РИНЦ)

 

№ п/п

Название статьи, научный журнал

Критерии оценки качества

S

N

1

2

3

4

5

6

7

8

9

10

R1

R2

1

Критерии охраны авторских прав создателей психодиагностических тестовых методик // Психологический журнал. - 1994 – т.15 - №3. - С.123-127

10

10

8

10

9

10

10

10

2

10

91

24

2

Региональная образовательная система и местные рынки труда: поиск баланса спроса и предложения квалифицированных кадров // Социология образования. – 2008. - №10. – С.29-46

10

9

9

7

10

9

7

9

5

8

83

20

3

Феномен экономической идентичности в процессе подготовки будущих специалистов // Человеческий фактор: проблемы психологии и эргономики. – 2006. - №1. – С.116-121

9

7

8

7

8

6

7

9

4

5

70

4

4

Институционализация экономической психологии на основе национальных инновационных систем и междисциплинарного взаимопроникновения // Психология в экономике и управлении. – 2009 - №1 – С. 25-36

9

10

10

9

7

7

6

6

9

6

79

9

5

Экономико-психологические проблемы консультативной психологии при переходе на многоступенчатую систему образования // Человеческий фактор: проблемы психологии и эргономики. – 2009. - №3. – С.85-91

9

10

10

10

7

8

10

9

9

8

90

21

6

Концептуальный подход к процессу обоснования структуры института экономической психологии и эргономики в техническом вузе // Человеческий фактор: проблемы психологии и эргономики. – 2013. - №3. – С.87-93

8

10

9

10

6

9

10

9

10

8

89

18

7

Организационные проблемы становления и развития экономической психологии в XXI веке // Психология и экономика, 2013. - №1. -  С.11-19

9

9

8

10

3

7

9

10

10

6

81

5

8

Институциональная экономика и экономическая психология в формировании инвестиционной теории // Экономическая психология: прошлое, настоящее, будущее. – 2014. - №2. – С.59-66

8

9

8

10

6

5

8

9

9

8

80

2

9

Проблемы формирования национальной и экономической идентичности современной молодёжи // Социогуманитарный вестник. – 2015. - №1(14). – С.19-24

10

8

6

8

3

8

7

6

10

9

75

3

10

Экономико-психологический анализ успешности изобретательской деятельности // Психолого-экономические исследования. – 2016. – Т. 3-9. - №3. – С.79-93

10

10

9

10

10

9

10

10

8

10

96

9

Примечание: S - сумма баллов (рейтинг) статьи по результатам экспертной оценки, N – количество цитирований в электронной базе «Elibrary» для учёта индекса научного цитирования

 

 

Заключение и выводы

 

Несмотря на недостатки, процедура рецензирования различных категорий работ остается основным средством подтверждения валидности научной работы исследователя. 

Новые научные направления освещают в статьях, основанных на эмпирическом и теоретическом материалах исследования. Аналитическими считают публикации, построенные на анализе известного теоретического и эмпирического материала. Разработка способов решения проблемы отражается в методической статье, основанной на исследовании эмпирического материала или обобщении

практического опыта.

Разработанная авторами настоящей публикации унифицированная форма рецензии научных статей позволит сократить время написания рецензий, автоматизировать базу данных переписки с авторами и может быть использована различными научными изданиями.

Рецензентом в процессе опосредованной редакцией журнала переписки с авторами целесообразно делать вывод либо о возможности публикации статьи, либо о необходимости внесения исправлений и повторном рецензировании, либо об отказе в публикации с указанием причин.

References

1. Valeev G. H. Examination of scientific research in the field of socio-humanitarian knowledge / / Pedagogy, 2006. - №35. P. 23 – 29.

2. G. F. Golubev, V. V. Spasennov Interdisciplinary com-munication in the training of engineers // Sociology of educa-tion. - 2014. - №5. - P. 65-74.

3. Kondratenko S. V., Kuzmenko A. A., Spasennov V. V. the analysis of the dynamics of patenting of inventions in the field meet vital human needs // Bulletin of Bryansk state tech-nical University. - 2017. - №4 (57). - P. 183-191.

4. The method of automated classification of scientific ar-ticles by type of result in scientific analytical systems / / Mod-ern technologies. - 2018. - №2. - P. 59-63.

5. Lee S. R., Nirenberg A. G. To the question of populari-zation of scientific and research activities of students using Internet technologies // Socio-humanitarian Bulletin. - 2015. - №1 (14). - P. 15-18.

6. Moskaleva O. V. University Ratings and scientific jour-nals // Scientific periodicals: problems and solutions. - 2014. - №4 (22). - P. 9-20.

7. Nalivayko, M. V. Submission guidelines for authors a statement on the publication ethics and publication malpractice // Philosophy of education. - 2017. - №2 (71). - P. 166-168.

8. Novikov, M. Pedagogy. Dictionary of basic concepts. - M.: Institute of effective technologies. - 2013. - 268c.

9. Popova N. D. Academic writing: articles in IMRAD format: studies.allowance / N. D. Popova, N. N. Koptyaeva. - Yekaterinburg: Publishing house Ural.UN-TA, 2016. 168 p.

Login or Create
* Forgot password?