сотрудник
Брянск, Россия
сотрудник
Брянск, Брянская область, Россия
Брянск, Брянская область, Россия
УДК 331.101.1 Эргономика
Приведены результаты сравнительного анализа вычисления показателей научных журналов Брянского государственного технического университета (БГТУ) по техническим специальностям номенклатурного перечня ВАК РФ на основе интегрального рейтинга информационно-аналитической системы Science Index. Осуществлён анализ публикационной активности и разногласий экспертного сообщества по рейтингованию журналов по экономическим специальностям. Выявлены направления дальнейшего улучшения качества научных журналов БГТУ по техническим специальностям: Наукоемкие технологии в машиностроении, Транспортное машиностроение, Автоматизация и моделирование в проектировании и управлении и Эргодизайн на основе их экспертных оценок. Показано, что приоритетными критериями экспертного оценивания являются: академический вклад в область знания, качество статей и их соответствие предметной области журнала, политика журналов в отношении рецензирования и географического разнообразия авторов и членов редакционного совета и редколлегии журнала. Выдвинуто предположение о том, что помимо интегрального рейтинга Science Index, который является точечным показателем, актуальность и новизна публикуемых журнальных статей связана с анализом альтметрик и визуализацией данных.
публикационная активность, качество журналов, Российский индекс научного цитирования, наукометрические показатели, рейтингование, критерии качества, рецензирование, визуализация
1. Обзор существующих подходов к управлению наукой и оценке качества научных журналов
Проблемы изучения феномена научного творчества и управления научной активностью преподавателей и научных сотрудников связаны с целым рядом институциональных и рыночных факторов и во многом определяются стратегией в выборе используемых методов оценки качества научных журналов.
В мае 2014 года в редакции журнала «Вопросы философии» прошёл Круглый стол «Можно ли измерять научное творчество», в нём приняли участие академики В.А. Лекторский, А.А. Гусейнов, А.Н. Паршин, член-корреспондент РАН А.В. Дыбо, доктора философских наук А.Л. Никифоров, С.А. Крылов, кандидат философских Е.О. Труфанова, кандидат философских наук С.В. Пирожкова, кандидат политических наук И.В. Усольцева, младший научный сотрудник Д.А. Кибальчич. Они представляли Институт философии РАН, Математический институт им. В.А. Стеклова РАН, Институт славяноведения РАН, Институт востоковедения РАН, Институт системного анализа РАН и другие научные организации [1].
Академик В.А. Лекторский открывая дискуссию сформулировал вопросы: «Можно ли измерить научное творчество? … Почему данная проблема возникла, почему к ней сейчас приковано такое внимание? Она связана с положением науки в современном мире вообще и в России в частности. … Разумеется, на передний план выдвигаются следующие вопросы: какую роль играет наука в современном обществе, какая наука нужна, какую науку может позволить себе та или иная сторона и что вообще с наукой происходит?» [1, с.50].
Вопросом институционального управления наукой и оценки качества научных журналов и их рейтингованию уделяется неослабное внимание как в России, так и за рубежом. При этом в качестве методического инструментария используют как наукометрические показатели, так и экспертные оценки. Обобщение используемых подходов и методик, на основе целого ряда библиографических источников (Н.К. Алимова, 2019 [2], П.Г. Арефьев, Г.О. Еременко, В.А. Глухов, 2012 [3], Е. В. Балацкий, Н. А. Екимова, О. В. Третьякова, 2021 [4], Б. И. Бедный, Ю. М. Сорокин, 2012 [5], Г. Ф. Гордукалова, 2014 [6], С.В. Марвин, 2019 [7], О. В. Москалева, М. А. Акоев, 2020 [8], Ю. Г. Мыслякова, 2022 [9], А. И. Орлов, 2015 [10], А.Я. Рубинштейн, Н.А. Бураков, 2022 [11]) позволило выделить следующий состав индексов научного качества журналов ( выделены TOP-10 индексов, которые могут быть выражены в различных измерительных шкалах):
- представленность журнала в национальных и международных базах научного цитирования;
- наличие сетевой версии и свободного доступа к сайту журнала;
- наличие переводной версии журнала, материалы публикуются на русском языке с аннотациями на английском языке;
- регулярность выпуска, наличие графика публикаций, который жёстко соблюдается;
- печатная версия журнала распространяется по подписке, имеется обязательная рассылка по библиотекам;
- журнал размещён на сайте образовательного учреждения высшего образования;
- журнал имеет собственную стандартную форму для внешнего и внутреннего рецензирования;
- журнал публикует аффилированные сведения об авторах: ФИО, место работы, учёные степени и звания, контактные данные;
- пристатейный аппарат включает аннотацию, ключевые слова и список литературы на русском и английском языках;
- редакционная коллегия включает ведущих учёных различных регионов России и дружественных стран.
Следует согласиться с большинством отечественных исследователей, что редакции современных научных журналов несут значительную ответственность за качественную экспертизу публикуемых материалов.
В работе Н.К. Алимовой, 2019 [2] сделан правомерный вывод о том, что отечественное издательское сообщество научной периодики готово к работе по улучшению качества публикуемых статей в соответствии с существующими этическими правилами в своей редакционной работе.
В исследовании авторов [4] сделан обзор существующих методов оценки, ранжирования и рейтингования научных экономических журналов в России и других странах мира – США, странах ЕС и Китае. Для этого выявлена общая типология аналитических методов, включающая библиометрические, экспертные, сетевые (инвариантные), гибридные и консолидированные алгоритмы оценки качества журналов. Показано, что дифференциация массива периодических изданий может быть выполнена на основе как количественных, так и качественных маркеров. Рассмотрена практика использования так называемых институциональных фильтров, которые представляют собой правила регулирования научной сферы с помощью специализированных инструментов оценки.
В исследовании С.В. Марвина, 2019 [7] затронута проблема статистической взаимосвязи между цитируемостью отдельных статей или журналов в целом с одной стороны и реальной оценкой научного сообщества – с другой. За основу взяты исследования, проведенные Австралийским исследовательским советом в 2010 году (с привлечением различных общественных организаций и экспертов). Данные этих исследований представляются интересными потому, что именно они легли в основу статьи «Гнусные цифры», получившей широкую известность и ставшей хрестоматийной для науковедения. Статистические данные «Гнусных цифр» детально воспроизведены и подробно исследованы методами корреляционного анализа (в противовес популярному изложению «Гнусных цифр», где применение методов корреляционного анализа вообще не продемонстрировано). В результате выводы «Гнусных цифр» уточнены и дополнены.
В статье О. Москалевой и М. Акоева «Современные ресурсы для принятия стратегических и оперативных решений по управлению научными исследованиями организаций» намечены рекомендации для преподавателей, сотрудников и управленческой команды университета по картированию науки и технологий, прогнозированию новых научных направлений прикладных исследований и выявлению актуальной проблематики диссертационных работ [8, c. 36-44].
Исследование Ю. Г. Мысляковой, 2022 [9] посвящено развитию института рецензирования, который рассматривается в контексте влияния на научную зрелость периодических изданий. В работе предложено авторское понимание дефиниции «научная зрелость» журнала и выявлены особенности рецензирования ее обусловливающие. Представлены результаты опроса, проведенного Институтом экономики УрО РАН совместно с Ассоциацией научных редакторов и издателей, среди представителей российских журналов экономических, социальных, технических, гуманитарных, медицинских наук, позволяющие выявить общие тенденции и закономерности становления института рецензирования в России. Используемый экспресс-анализ ответов респондентов позволил сформировать фундаментальную основу для разработки принципиально новых вариантов совершенствования работы издательств с рецензентами, включая отбор экспертов на основе единой базы данных рецензентов, придающего процессу оценки качества контента статей междисциплинарный характер.
Значительный интерес с позиции научно-обоснованной критики существующих попыток управления деятельностью учёных научно-исследовательских организаций и профессорско-преподавательского состава высших образовательных учреждений со стороны менеджеров различных уровней представляет работа А.И. Орлова, 2015 [10].
Цикл наших исследований связан с анализом научных статей как средств эффективной коммуникации [12], формализацией процедуры рецензирования статей на основе экспертной системы поддержки принятия решений с использованием теории нечётких множеств [13], сравнительным анализом научной продуктивности преподавателей университета по различным научным специальностям [14].
В исследовании А.Н. Сорочайкина, 2014 [15] приведены оценочные характеристики публикационной активности государственных вузов Самарской области на основе базы данных РИНЦ, сделан вывод о необходимости использования не только наукометрических показателей, но и экспертных оценок актуальности, новизны и оригинальности публикуемых материалов.
В исследовании О.В. Третьяковой, 2023 [17] рассмотрена проблема чрезмерной зависимости российской системы научной периодики от международных баз данных, обострившаяся после ухода с отечественного рынка компаний – владельцев глобальных индексов цитирования Web of Science и Scopus. Сделан вывод, что системы научной периодики, имеющие в своей основе национальную составляющую, проявляют большую устойчивость под влиянием внешних вызовов. Проанализирован российский опыт составления национальных списков научных журналов на примере выборки изданий по экономике и смежным дисциплинам. Результаты анализа позволили показать изъяны в процедуре отбора журналов, которые привели к тому, что в состав так называемых «белых списков» оказались включены не все ведущие российские журналы, получившие признание на международном и национальном уровне. Обосновано, что критической недоработкой процедуры ранжирования журналов, включенных в национальные перечни, является смешение квартильных метрик из разных международных баз данных, вызвавшее нарушение логики в распределении позиций изданий, сходных по научному уровню и статусу. В качестве итогов исследования определены качественные критерии, значимые для оценки научных журналов, и на их основе предложены три категории, по которым могут ранжироваться издания в национальных списках.
А.Н. Хохлов и Г.В. Моргунова являются авторами оригинального исследования возможного влияния количества просмотров статей и упоминаний в социальных сетях на количество последующих цитирований этих публикаций [18]. Анализ полученных результатов, а также данных, доступных в Интернете, позволил авторам заключить, что связь между количеством скачиваний или альтметриками и количеством цитирований не очень сильна, хотя и вполне достоверна. Подчеркивается, что в настоящее время большое количество скачиваний/просмотров статей осуществляется пользователями, которые не занимаются наукой и, соответственно, не пишут статьи в научные журналы. Они просто интересуются данными научных исследований, а Интернет теперь доступен практически любому человеку. Сказанное касается и обсуждения научных публикаций в социальных сетях. По-видимому, частое упоминание работы в таких сетях действительно стимулирует ее скачивание. Это становится очевидным, только если статья находится в открытом доступе, так как у большинства «законопослушных» пользователей социальных сетей нет легального доступа к публикациям в подписных изданиях. Упомянутые обстоятельства, по мнению авторов, будут приводить к постепенному ослаблению рассматриваемых корреляций.
В связи с постановлением Правительства Российской Федерации от 19 марта 2022 г. № 414 «О некоторых вопросах применения требований и целевых значений показателей, связанных с публикационной активностью» до 31 декабря 2023 г. не применяются обязательные требования о наличии публикаций в изданиях, индексируемых в международных базах Web of Science и Scopus, а также целевых значений показателей, связанных с данными базами. Таким образом, подтверждается необходимость повышения качества российских научных журналов, в т. ч. входящих в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание ученой степени кандидата и доктора наук (далее — Перечень ВАК).
В 2022 г. было проведено рейтингование журналов Перечня ВАК с последующим категорированием. В настоящее время созданы личные кабинеты научных журналов с целью оптимизации работ по мониторингу журналов, а также их перспективному рейтингованию в 2023 г. 6 марта 2023 г. в Российском научно-исследовательском институте экономики, политики и права в научно-технической сфере совместно с Минобрнауки России и ВАК был проведен вебинар, посвященный заполнению данных научных журналов в личных кабинетах на портале «Российские научные журналы» (https://rng.riep. ru/). На вебинаре рассматривались вопросы регистрации, технические возможности портала, алгоритм внесения данных о статьях и иные вопросы. Подробная инструкция по заполнению личных кабинетов представлена на портале https://rng.riep.ru.
Достаточно дискуссионными и далеко не однозначными остались вызванные вебинаром вопросы, связанные с критериями, значимыми для оценки научных журналов (К.А. Бородюк, Н.Н. Гагиев, 2023) [19].
Как в отечественных, так и в зарубежных исследованиях накоплен целый ряд противоречивых данных, связанных: со значимостью индекса Хирша [20], рейтингованием научных журналов [21], с наукометрическими рейтингами экономических журналов [22], с критериями оценки научной деятельности преподавателей и научных сотрудников [23], а также связью значимости публикаций с патентной активностью, патентной аналитикой, частотой цитирования статей и патентов, прогнозированием перспективных направлений исследования (D.W. Aksnes., T.N.van Leeuwen, G. Sivertsen, 2014 [24]; Y. Bai, J. Du, 2022, [25]; L. Bornmann, R. Haunshild, 2017 [26]; T.-S. Cho, H.-Y.Shih, 2011 [27]; J.E. Hirsch, 2010 [28]; A. Moeller, M.G. Moehrle, 2015 [29], P. Valderrama, E. Jimenez-Contreras, M. Escabias, M.J. Valderrama, 2022 [30] и др.).
При анализе категорирования журналов ВАК по экономическим наукам А.Я. Рубинштейн в работе [23] выделил два обстоятельства.
Во-первых, как указывалось в «Положении о порядке присуждения ученых степеней», нормативное требование к списку журналов относилось только к соискателям степени доктора наук и уже позже было распространено на соискателей кандидатской степени. Во-вторых, нетрудно заметить, что категория «ведущих рецензируемых научных журналов», о котором говорится в том же Положении, трактуется неодинаково. В одном случае список таких журналов, носящий информационный характер, определяет РИНЦ на основе библиометрических рейтингов, в другом случае его формирует Минобрнауки и ВАК в качестве обязательной нормы, подлежащей выполнению. В контексте обсуждения журнальных списков в различных базах и конфликта между ВАКом и РИНЦем имеет смысл воспользоваться результатами регулярных социологических опросов, которые проводит Новая экономическая ассоциация. Одним из постоянных сюжетов этих опросов являются ответы респондентов на вопрос: «Какая база данных, в которой индексируются статьи, является для Вас наиболее важной?». Результаты мониторинга в 2017 и 2022 гг. приведены в табл. 1 [11].
Таблица 1.
Сравнение оценок важности баз данных для индексации статей (в 2017 г. – в интервале от 1 до 3; в 2022 г. – в интервале от 1 до 5) [11, c.9].
Table 1.
Comparison of value values base dataand indexation articles (in 2017) - in the range from 1 to 3; in 2022. - in the range 1 to 5) [11, Apostille.9].
|
Базы данных |
2017 г. |
Базы данных |
2022 г. |
||
|
среднее значение |
медиана |
среднее значение |
медиана |
||
|
РИНЦ |
1,92 |
2,00 |
Список ВАК
|
3,86 |
4 |
|
Список ВАК |
1,62 |
1,00 |
РИНЦ |
3,45 |
4 |
|
Web of Science |
1,90 |
1,99 |
Web of Science |
4,05 |
5 |
|
Scopus |
1,90 |
1,90 |
Scopus |
4,03 |
4 |
Таблица 1 свидетельствует, что в 2022 г. нормасписок ВАК стал важнее любых журнальных перечней РИНЦ. «Высшая аттестационная комиссия и Минобрнауки, осуществив соответствующие меры в части государственного задания и системы оплаты научного труда, добились своего: почти три четверти респондентов (71,3%) считают наиболее важным индексацию статей в изданиях из перечня ВАК и лишь немногим больше половины (52,7%) предпочитают РИНЦ, уступая Web of Science (55,8%) и Scopus (55,4%)».
В работе [22] приведен список ТОП-10 журналов (на 7 января 2023 г.) по рейтингу «Science Index» из базы данных RSCI (табл. 2).
Таблица 2.
ТОП-10 журналов RSCI по рейтингу «Science Index»
Table 2.
TOP 10 RSCI journals rated by "Science Index"
|
Журнал |
Номер по рейтингу Science Index |
Номер по общест- венной экспертизе |
|
Форсайт |
1 |
6 |
|
Вестник международных организаций: образование, наука, новая экономика |
2 |
8 |
|
Экономический журнал ВШЭ |
3 |
5 |
|
Журнал Новой экономической ассоциации |
4 |
3 |
|
Journal of Institutional Studies |
5 |
9 |
|
Вестник Санкт-Петербургского университета. Экономика |
6 |
4 |
|
Мировая экономика и международные отношения |
7 |
2 |
|
Вопросы экономики |
8 |
1 |
|
Пространственная экономика |
9 |
7 |
|
Бизнес-информатика |
10 |
10 |
В комментарии к табл. 2 достаточно заметить, что лидирующие позиции (первое и второе место) по данному рейтингу занимают журналы «Форсайт» и «Вестник международных организаций: образование, наука, новая экономика». С учетом того, что в хвосте десятки оказались «Вопросы экономики», возникает сомнение в адекватности РИНЦевской библиометрии со всеми ее индикаторами и методикой расчетов,. Подтверждают этот вывод представленные той же eLIBRARY.RU результаты общественной экспертизы (табл. 2). Итоги социологического опроса Новой экономической ассоциации 2022 г. Позволили выявить ранговую корреляцию между рейтингом Science Index и рейтингом общественной экспертизы: коэффициент корреляции по Ч. Спирмену составил rxy=0,3, что свидетельствуют о слабой связи между двумя рядами данных. Сложность согласования рейтингования объясняется социально-психологической причиной: симпатиями и антипатиями разработчиков экспертных, библиометрических и сетевых рейтингов. По нашему мнению, рейнтигование качества технических журналов связано с большой согласованностью мнений экспертного сообщества.
3. Сравнительный анализ качества журналов Брянского государственного университета по группам технических специальностей
Статусные списки качества научных журналов по техническим специальностям могут базироваться либо на качественных оценках экспертов, либо на наукометрических показателях различных библиометрических и сетевых рейтингов, либо на расчёте интегрального показателя научного журнала в рейтинге Science Index (О.В. Третьякова, 2023) [17].
Тематические направления журналов БГТУ представлены 6 машиностроительными специальностями (журнал «Наукоёмкие технологии в машиностроении» - НТМ, журнал «Транспортное машиностроение» - ТМ) и 5 специальностями, связанными с науками о материалах, металлургией и транспортными системами в этих же журналах с давними традициями (таблица 2).
Тематика журналов НТМ и ТМ по группам специальностей
Table 3.
Topics of STE and TE magazines by specialty groups
|
Научные специальности в рамках групп (с июня 2021 г.) |
НТМ |
ТМ |
|
2.5.2. Машиноведение 2.5.3. Трение и износ в машинах 2.5.5. Технология и оборудование механической и физико-технической обработки 2.5.6. Технология машиностроения 2.5.7. Технологии и машины обработки давлением 2.5.8. Сварка, родственные процессы и технологии |
- + + + + + |
+ + + + - + |
|
2.6.1. Металловедение и термическая обработка металлов и сплавов 2.6.17. Материаловедение |
- + |
+ + |
|
2.9.1. Транспортные и транспортно-технологические системы страны, ее регионов и городов, организация производства на транспорте 2.9.3. Подвижной состав железных дорог, тяга поездов и электрификация 2.9.5. Эксплуатация автомобильного транспорта |
- - - |
+ + + |
Помимо журналов с давними традициями с 2017 года в БГТУ существует 2 инновационных журнала по списку ВАК РФ, охватывающих 6 научных технических специальностей (журнал “Автоматизация и моделирование в проектировании и управлении» - АиМ и журнал «Эргодизайн» - Э).
Тематика журналов АиМ и Э по группам специальностей
Table 4.
Topics of A&M and E magazines by specialty groups
|
Научные специальности в рамках групп (с июня 2021 г.) |
Э |
АиМ |
|
1.2.2. Математическое моделирование, численные методы и комплексы программ |
- |
+ |
|
2.3.3 Автоматизация и управление технологическими процессами и производствами 2.3.4 Управление в организационных системах 2.3.7 Компьютерное моделирование и автоматизация проектирования |
- + - |
+ + + |
|
2.4.2. Электротехнические комплексы и системы |
- |
+ |
|
5.3.3. Психология труда, инженерная психология, когнитивная эргономика |
+ |
- |
Научный журнал может быть отнесен к нескольким направлениям (не более трех) укрупнённых групп научных специальностей, в журнале ТМ их 3, журнал НТМ-2, АиМ -2, Э-2). Для каждого из научных направлений вычисляют:
- среднее число ссылок в списках цитируемой литературы на статьи в журналах РИНЦ;
- средняя доля ссылок из публикаций текущего года на статьи в журнале за последние 5 лет по отношению ко всем ссылкам на данный журнал (за все годы).
За основу расчетов показателя берется пятилетний импакт-фактор журнала в РИНЦ с учетом цитирования переводной версии журнала (при ее наличии) и с учетом самоцитирования.
Рассчитанные значения 5-летнего импакт-фактора журнала нормируются с учетом среднего числа ссылок в списках цитируемой литературы, а также доли ссылок, попадающих на пятилетний период, используемый при расчете импакт-фактора. В качестве нормирующих коэффициентов используются средние параметры журналов в тематических направлениях, рассчитанные на предыдущем этапе.
Такая нормировка позволяет учесть следующие основные факторы, приводящие к различию показателей цитирования в различных научных направлениях:
- различие в длине списка цитируемой литературы;
- различие в структуре списка цитируемой литературы (в частности, доли цитирования статей в журналах по отношению ко всем другим типам научных публикаций);
- различие в доле цитирования зарубежных журналов (не входящих в РИНЦ и не участвующих в рейтинге);
- различие в хронологическом распределении цитируемых статей.
Результат нормирования научных журналов представлен в таблице 3.
Таблица 5.
Результаты формирования рейтинговых показателей журналов БГТУ по категориям ВАК РФ К1, К2, К3
Table 5.
The results of the formation of rating indicators of BSTU journals in the categories of the Higher Attestation Commission of the Russian Federation K1, K2, K3
|
Показатель журнала |
НТМ |
ТМ |
Э |
АиМ |
|
Место в общем рейтинге SCIENCE INDEX за 2022 год, в том числе по тематике: «Машиностроение» / «Транспорт» «Общие и комплексные проблемы технических и прикладных наук и отраслей народного хозяйства» |
1153 34 / - - |
2134 73 / 17 - |
2903 - 53 |
- - - |
|
Процентиль в рейтинге SCIENCE INDEX за 2022 год |
30 |
54 |
74 |
- |
|
Десятилетний индекс Хирша Индекс Джини (0…1) - отражает степень неравномерности распределения статей в журнале по числу их цитирований. Нулевое значение индекса соответствует ситуации, когда все статьи в журнале за год получили одинаковое количество цитирований. Меньше – лучше. |
18 0,66 |
21 0,77 |
9 0,72 |
5 0,87 |
|
Число статей, опубликованных за предыдущие 5 лет / Число цитирований статей предыдущих 5 лет, Двухлетний коэффициент самоцитирования, % |
423/144 38 / 36 27 |
585/153 25 / 28 33 |
100/59 16 / 3 22 |
-/31 5 / 3 - |
|
Средний индекс Хирша авторов Средний возраст авторов |
9,1 55,6 |
8,6 54 |
11,1 51,4 |
7,9 46,5 |
|
Число просмотров статей за год Число загрузок статей за год Вероятность цитирования после прочтения, % |
6618 989 7,0 |
8732 1026 3,1 |
2897 496 11,7 |
1759 280 1,2 |
Индекс Херфиндаля-Хиршмана рассчитывается как сумма квадратов процентных долей журналов, цитирующих данный, по отношению к общему количеству цитирований. При расчете учитываются ссылки из текущего года на предыдущие 5 лет, в том числе самоцитирования. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равно 10000 и достигается, когда все ссылки сделаны из одного журнала – чем меньше, тем лучше…
Полученное скорректированное значение импакт-фактора журнала делится на индекс Херфиндаля по цитирующим журналам, нормированный на его возможное минимальное значение в данном направлении.
Индекс Херфиндаля рассчитывается как сумма квадратов процентных долей журналов, цитирующих данный, по отношению к общему количеству цитирований. При расчете учитываются ссылки из текущего года на предыдущие 5 лет, в том числе самоцитирования. Чем больше количество цитирующих журналов и чем равномернее распределены по ним ссылки на данный журнал, тем меньше величина этого показателя. Максимальное значение равно 10000 и достигается, когда все ссылки сделаны из одного журнала.
Нормировка с учетом индекса Херфиндаля увеличивает показатели журналов, широко известных в научном сообществе, и, наоборот, понижает рейтинг журналов с высоким уровнем самоцитирования или журналов, использующих взаимное цитирование для искусственного повышения своих показателей.
Нормировка на минимальное значение индекса Херфиндаля в рамках тематического направления позволяет несколько скорректировать различия в количестве журналов и степени их взаимного цитирования в разных научных направлениях. В качестве минимального берется среднее значение по 5 журналам с наименьшими значениями индекса Херфиндаля в данном научном направлении.
База данных РИНЦ постоянно растет и пополняется как новыми журналами, так и новыми выпусками уже обрабатываемых журналов, в том числе архивными. Чтобы учесть эти обновления, показатели журналов периодически пересчитываются и, соответственно, могут меняться с течением времени.
Рис.1. Пятилетний индекс Херфиндаля по цитирующим журналам
Fig.1. Herfindahl's five-year index of citation journals
Как видно из рис.1. имеется устойчивая тенденция к снижению данного показателя по всем журналам БГТУ. В 2019-2020 гг. только журнал «Эргодизайн» имел превышение данного показателя относительно среднего значения.
Как видно из рис. 2 значение индекса Херфиндаля по организациям авторов показывает благополучное положение для всех журналов БГТУ (данный показатель по всем журналам ниже среднего уровня).
Среди рейтинговых показателей научных журналов важное значение имеет импакт-фактор РИНЦ (ИФ-РИНЦ). Импакт-фактор - число цитирований в текущем году статей, опубликованных в журнале за предыдущие два года, поделенное на число этих статей.
Рис.2. Индекс Херфиндаля по организациям авторов
Fig.2. Herfindahl Index by Author Organizations
Рис.3. Двухлетний импакт-фактор РИНЦ с учетом цитирования из всех источников
Fig.3. The two-year impact factor of the RSCI, taking into account citations from all sources
Как следует из рис.3. необходимо обратить внимание редакций на повышение цитируемости статей журнала, что свидетельствует о низком качестве отбора статей.
Как следует из рис.4. журналы БГТУ фактически не цитируются в высокорейтинговых журналах из ядра РИНЦ. Исключение составляет журнал НТМ, максимальный показатель в 2017 и 2021 году достигал 0,13.
В интегральный рейтинг входят также такие показатели рейтинговой оценки как десятилетний индекс Хирша и индекс Джини.
Десятилетний индекс Хирша - вычисляется на основе распределения цитирований статей и имеет значение N, если в журнале опубликовано N статей, на каждую из которых сослались как минимум N раз, а остальные статьи имеют число цитирований не более N. Учитываются все статьи, опубликованные в журнале за 10 лет, и цитирования за этот же период. Больше – лучше.
На рис.5. видно, что наблюдается положительная тенденция роста данного показателя по всем журналам.
Индекс Джини - отражает степень неравномерности распределения статей в журнале по числу их цитирований. Может принимать значения от нуля до единицы. Нулевое значение индекса соответствует ситуации, когда все статьи в журнале за год получили одинаковое количество цитирований.
Рис.4. Двухлетний импакт-фактор по ядру РИНЦ
Fig.4. Two-year impact factor on the core of the RSCI
Рис.5. Десятилетний индекс Хирша
Fig.5. The ten-year Hirsch index
Как следует из рис.6. необходимо обратить вниманий редакций всех журналов на неблагоприятную тенденцию роста данного показателя.
На авторитетность журнала оказывают влияние авторы статей (средний индекс Хирша авторов) и список ссылок (среднее число ссылок в списках цитируемой литературы). Средний индекс Хирша авторов - рассчитывается средний индекс Хирша авторов каждой статьи, затем берется среднее значение по всем статьям в журнале за год.
Рис.6. Индекс Джини
Fig.6. Gini Index
Рис.7. Средний индекс Хирша авторов
Fig.7. The average Hirsch index of the authors
Как видно из рис.7. наиболее высокие показатели среднего индекса Хирша авторов наблюдаются в журнале «Эргодизайн». Необходимо отметить, что квалификация и авторитет авторов связана с их возрастом.
Среднее число ссылок в списках цитируемой литературы - средняя длина списка цитируемой литературы в статьях, опубликованных за год.
Как следует из рис.8. данный показатель находится в приемлемом диапозоне.
Анализ альтметрик показывает, что наметилась положительная тенденция уменьшения процента самоцитирования статей и имеется определённый рост по количеству загрузок и просмотров статей.
Особый интерес в анализе качества научных журналов представляет такие альтметрики, как статистика просмотров статей за год, двухлетний коэффициент самоцитирования, число загрузок статей за год и вероятность цитирования после прочтения (рис.9, рис. 10, рис. 11, рис.12).
Рис.8. Среднее число ссылок в списках цитируемой литературы
Fig. 8. The average number of references in the lists of cited literature
Рис.9. Число просмотров статей за год
Fig. 9. Number of article views per year
Рис.10. Двухлетний коэффициент самоцитирования, %
Fig.10. Two-year self-citation coefficient, %
Рис.11. Число загрузок статей за год
Fig.11. Number of article downloads per year
Рис.12. Вероятность цитирования после прочтения, %
Fig.12. The probability of being quoted after reading, %
Анализ показателей качества научных журналов БГТУ показывает в целом положительную динамику и возможности их дальнейшего улучшения, что позволит выработать рекомендации по повышению статуса журналов. Одним из направлений стимулирования публикационной активности учёных БГТУ является создание комплексной базы данных для заключения эффективных контрактов, представленная на рисунке 13 [31].
Рис.13. Комплекс баз данных и взаимосвязи между ними для анализа публикационной активности преподавателей [31]
Fig.13. A set of databases and the relationship between them for analyzing the publication activity of teachers
В каждом авторском профиле будут включены данные об идентификаторах сотрудников в различных системах:
• ссылка на страницу сотрудника на сайте организации;
• ссылка на список публикаций автора;
• внутренний идентификатор РИНЦ;
• SPIN-код РИНЦ;
• внутренний идентификатор в Scopus;
• идентификатор ORCID;
• идентификатор ResearcherID (перенаправляет на страницу Publons с отдельным идентификатором, но может напрямую использоваться в расширенном поиске в Web of Science);
• идентификатор Publons;
• идентификатор Google Scholar;
• идентификатор ResearchGate.
Идентификаторы будут снабжены гиперссылками, перенаправляющими пользователя на страницу соответствующих систем, а также на страницы сотрудника на сайте института. Данную информацию пользователи могут использовать в случае необходимости указания того или иного идентификатора, для прямого доступа в соответствующие системы, а также для составления комплексных запросов во внешние системы, такие как Scopus или Web of Science. Сводные запросы по авторским идентификаторам, в свою очередь, дают возможность настраивать оповещения о новых публикациях [32, 33].
Важным направлением дальнейшего совершенствования качества научных журналов БГТУ является анализ результатов экспертного оценивания на основе критериев предложенных в работе [18], таблица 6 (все критерии имеют средние и высокие значения).
Таблица 6.
Результаты экспертной оценки качества журналов по шкале стенов
Table 6.
Results of the expert assessment of the quality of journals on the wall scale
|
Критерий |
НТМ |
ТМ |
АиМ |
Э |
Примечание (Лидер) |
|
Академический вклад в область знаний |
9 |
8 |
6 |
7 |
НТМ |
|
Качество аннотаций |
8 |
5 |
5 |
7 |
НТМ |
|
Качество статей и их соответствие предметному полю журнала |
8 |
7 |
6 |
7 |
НТМ |
|
Читабельность статей |
8 |
8 |
7 |
9 |
Э |
|
Тематическая область журнала |
9 |
9 |
8 |
8 |
НТМ, ТМ |
|
Политика журнала в отношении рецензирования |
9 |
8 |
8 |
9 |
НТМ, Э |
|
Географическое разнообразие членов редсовета/редколлегии |
9 |
7 |
6 |
8 |
НТМ |
|
Географическое разнообразие авторов |
8 |
9 |
5 |
7 |
ТМ |
|
Этическая политика журналов |
8 |
7 |
7 |
8 |
НТМ, Э |
|
Архивирование опубликованного контента |
9 |
8 |
8 |
8 |
НТМ |
|
Политика, в отношении платы, взимаемой с авторов |
9 |
9 |
9 |
9 |
НТМ, ТМ, АиМ, Э |
|
Цитируемость статей журнала |
9 |
8 |
7 |
10 |
Э |
|
Авторитетность редакторов и членов редколлегии |
9 |
9 |
7 |
8 |
НТМ, ТМ |
|
Регулярность и количество выпусков журнала в год |
9 |
9 |
7 |
8 |
НТМ, ТМ |
|
Доступность контента (на русском и английском языках) |
9 |
9 |
9 |
9 |
НТМ, ТМ, АиМ, Э |
Результаты экспертного оценивания журналов БГТУ и рейнтингования по интегральному показателю Science Index совпадают, что позволяет наметить программу дальнейшего совершенствования качества научных статей каждого из журналов в соответствующих технических направлениях исследований.
Одним из важных факторов, который определяет значимость научных статей, не учитываемых в наукометрических и библиометрических исследованиях, как отметил главный редактор журнала «Эргодизайн» в интервью декану факультета отраслевой и цифровой экономики В.С. Дадыкину и проректору по перспективному развитию А.В. Киричеку является: «...патентование новых идей и решений и получение авторских свидетельств на программные продукты» [34, с. 13], именно такие публикации по техническим специальностям представляют ценность для инновационной экономики России [35].
Выводы
- На базе научной электронной библиотеки функционирует информационно-аналитическая система Российский индекс научного цитирования (РИНЦ), обрабатывает информацию более чем о 6 тысячах российских научных журналов. Для каждого журнала РИНЦ регулярно рассчитывает традиционно используемый в библиометрии импакт-фактор, также рассчитываются и другие наукометрические и статистические показатели. Для научных журналов в РИНЦ ведётся интегральный рейтинг Science Index, что дало возможность за 5-летний период осуществить сравнительный анализ четырёх научных журналов БГТУ по техническим специальностям: НТМ, ТМ, АиМ и Э.
- Разработка методов измерения качества научных журналов является сложной задачей, не имеющей однозначного решения. Это связано с многосторонностью научной деятельности и многоаспектностью рынка научных исследований, что порождает проблему многокритериальности, размытости и условности оценок качества журналов. Методы оценки качества журналов можно разделить на легитимные, которые представляют собой своего руда институциональные фильтры, вводимые на правительственном уровне, и рыночные, которые основаны на различных аналитических подходах внутри научного сообщества представителями этого сообщества, поэтому в оценке качества используются как наукометрические показатели, так и экспертные оценки.
- Журналы Перечня ВАК РФ: НТМ, ТМ, АиМ, Э являются неотъемлемой частью системы научно-технической информации, данный Перечень нормативно закреплён законодательством и предстоящая работа по повышению качества этих журналов требует предельной внимательности со стороны главных редакторов и экспертов.
- Одним из перспективных направлений совершенствования работы редакций журналов НТМ, ТМ, АиМ, Э технического университета является повышение квалификации научных сотрудников и профессорско-преподавательского состава в вопросах совершенствования владения ключевыми компетенциями научных коммуникаций, установление профессиональных связей как внутри университета, так и за его пределами, осуществления перспективного планирования ситуаций быстроменяющейся научной и образовательной среды.
Важными направлениями совершенствования качества научных журналов БГТУ являются повышение академического вклада в соответствующие журналам научные специальности, улучшение качества аннотаций, повышение качества рецензирования статей, расширение географического разнообразия авторов, редакторов и членов редколлегии, стремление к повышению цитируемости статей журнала и сокращению количества ретракций статей.
1. Лекторский В.А., Гусейнов А.А., Никифоров А.Л. и др. Можно ли измерять научное творчество? (материалы "круглого стола") // Вопросы философии. 2014. № 4. С. 50-74. EDN SDXJRJ.
2. Алимова Н.К. Оценка научных журналов: Диссеропедия и мнение российского издательского сообщества // Научный редактор и издатель. 2019. Т. 4, № 3-4. С. 140-150. DOIhttps://doi.org/10.24069/2542-0267-2019-3-4-140-150. EDN CONNCN.
3. Арефьев П.Г., Еременко Г.О., Глухов В.А. Российский индекс научного цитирования - инструмент для анализа науки // Библиосфера. 2012. № S. С. 66-71. EDN PSXSLJ.
4. Балацкий Е.В., Екимова Н.А., Третьякова О.В. Методы оценки качества научных экономических журналов // Журнал институциональных исследований. 2021. Т. 13, № 2. С. 27-52. DOIhttps://doi.org/10.17835/2076-6297.2021.13.2.027-052. EDN SYGLBT.
5. Бедный Б.И., Сорокин Ю.М. О показателях научного цитирования и их применении // Вестник Казанского государственного энергетического университета. 2012. № 3(14). С. 155-172. EDN RAFUZR.
6. Гордукалова Г.Ф. Индекс цитирования в науке: цели использования, основные разновидности и ограничения // Вестник Санкт-Петербургского государственного университета культуры и искусств. 2014. № 2(19). С. 54-57. EDN SEATKD.
7. Марвин С.В. О статистической взаимосвязи между экспертными оценками научных журналов и их импакт-факторами // Научные ведомости Белгородского государственного университета. Серия: Философия. Социология. Право. 2019. Т. 44, № 4. С. 583-592. DOIhttps://doi.org/10.18413/2075-4566-2019-44-4-583-592. EDN JCBYTO.
8. Москалева О.В., Акоев М.А. Современные ресурсы для принятия стратегических и оперативных решений по управлению научными исследованиями организации // Университетская книга. 2020. № 8. С. 36-43. EDN BCXCOM.
9. Мыслякова Ю.Г. Влияние института рецензирования на научную зрелость российских журналов // Научный редактор и издатель. 2022. Т. 7, № 1. С. 50-59. DOIhttps://doi.org/10.24069/SEP-22-33. EDN TPIXDD.
10. Орлов А.И. О ключевых показателях эффективности научной деятельности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 111. С. 81-112. EDN UMAQPB.
11. Рубинштейн А.Я., Бураков Н.А. Экономическая наука и публикационная активность в патерналистском государстве // Управленец. 2022. Т. 13, № 4. С. 3-14. DOIhttps://doi.org/10.29141/2218-5003-2022-13-4-1. EDN COKZYJ.
12. Спасенников В.В. Научная статья как средство эффективной коммуникации: рекомендации по написанию и оформлению // Эргодизайн. 2020. № 2(8). С. 51-57. DOIhttps://doi.org/10.30987/2658-4026-2020-2-51-57. EDN FYWAMZ.
13. Спасенников В.В., Рытов М.Ю., Андросов К.Ю. Экспертная система поддержки принятия решений как средство повышения качества рецензирования статей в научном журнале // Эргодизайн. 2022. № 2(16). С. 128-136. DOIhttps://doi.org/10.30987/2658-4026-2022-2-128-136. EDN NTCWTH.
14. Спасенников В.В., Хохлова М.В., Лупанова Е.А. Сравнительный анализ научной продуктивности преподавателей университета на основе показателей публикационной активности и цитируемости // Вестник Тверского государственного университета. Серия: Педагогика и психология. 2022. № 3(60). С. 22-34. DOIhttps://doi.org/10.26456/vtpsyped/2022.3.022. EDN AWVKLM.
15. Сорочайкин А.Н. Оценочные характеристики публикационной активности государственных вузов Самарской области на основе базы данных РИНЦ // Основы экономики, управления и права. 2014. № 5(17). С. 3-11. EDN STZFHF.
16. Харыбина Т.Н., Бескаравайная Е.В. Результаты библиометрического анализа публикационной активности на сайте научной библиотеки // Управление наукой: теория и практика. 2020. Т. 2, № 3. С. 165-180. DOIhttps://doi.org/10.19181/smtp.2020.2.3.9. EDN DLWNZD.
17. Третьякова О.В. Российский опыт составления национальных списков научных журналов: ошибки, задачи и перспективы // Terra Economicus. 2023. Т. 21, № 3. С. 102-121. DOIhttps://doi.org/10.18522/2073-6606-2023-21-3-102-121. EDN GPGNNF.
18. Хохлов А.Н., Моргунова Г.В. И пробуют, и хвалят, а замуж не берут: еще раз о связи скачиваний, просмотров и цитирований // Научный редактор и издатель. 2022. Т. 7, № 2. С. 191-201. DOIhttps://doi.org/10.24069/SEP-22-47. EDN GAWTOF.
19. Бородик К.А., Гагиев Н.А. Обзор вебинара по обеспечению рейтингования журналов, входящих в Перечень ВАК, в 2023 г // Управление наукой и наукометрия. 2023. Т. 18, № 1. С. 135-140. DOIhttps://doi.org/10.33873/2686-6706.2023.18-1.135-140. EDN EZZJAK.
20. Болотов В.А., Квелидзе-Кузнецова Н.Н., Морозова С.А. и др. Индекс Хирша в Российском индексе научного цитирования // Вопросы образования. 2014. № 1. С. 241-262. DOIhttps://doi.org/10.17323/1814-9545-2014-1-241-262. EDN SGWRAB.
21. Брумштейн Ю.М., Мальчук Л.В. Структура российских журналов по гуманитарным наукам: анализ изданий, индексируемых российским индексом научного цитирования // Прикаспийский журнал: управление и высокие технологии. 2018. № 2(42). С. 10-25. EDN YQWYVF.
22. Рубинштейн А.Я. О наукометрических рейтингах и журнальной ВАКханалии // Экономический журнал Высшей школы экономики. 2023. Т. 27, № 2. С. 290-305. DOIhttps://doi.org/10.17323/1813-8691-2023-27-2-290-305. EDN CHYPDC.
23. Молчанова Н.В., Сканцев В.М., Спасенников В.В. Дискуссионные вопросы оценки эффективности научной деятельности с использованием индексов цитирования (обзор отечественных и зарубежных публикаций) // Эргодизайн. 2019. № 4(6). С. 186-195. DOIhttps://doi.org/10.30987/2619-1512-2019-2019-4-186-195. EDN FIAFGA.
24. Aksnes D.W., van Leeuwen T.N., Sivertsen G. The effect of booming countries on changes in the relative specialization index (RSI) on country level. Scientometrics. 2014;101(2):1391-1401. DOIhttps://doi.org/10.1007/s11192-014-1245-3.
25. Bai Y., Du J. Measuring the impact of health research data in terms of data citations by scientific publications. Scientometrics. 2022;127:6881-6893. DOIhttps://doi.org/10.1007/s11192-022-04559-4.
26. Bornmann L., Haunshild R. Quality and impact consideration in bibliometrics: a reply to Riker. Scientometrics. 2017;111(3):1857-1859. DOIhttps://doi.org/10.1007/s11192-017-2373-3.
27. Cho T.-S., Shih H.-Y. Patent citation network analysis of core and emerging technologies in Taiwan: 1997-2008. Scientometrics. 2011;89(3):795-811. DOIhttps://doi.org/10.1007/s11192-011-0457-z.
28. Hirsch J.E. An index to quantify an individuals scientific research output that takes into account the effect of multiply coauthorship. Scientometrics. 2010;85(3):741-754. DOIhttps://doi.org/10.1007/s11192-010-0193-9.
29. Moeller A., Moehrle M.G. Completing keyword patent search with semantic patent search: introducing a semiautomatic iterative method for patent near search based on semantic similarities. Scientometrics. 2015;102(1):77-96. DOIhttps://doi.org/10.1007/s11192-014-1446-9.
30. Valderrama P, Jimenez-Contreras E., Escabias M., Valderrama M.J. Introducing a bibliometric index based on factor analysis. Scientometrics. 2022;127:509-522. DOIhttps://doi.org/10.1007/s11192-021-04195-4.
31. Мазов Н.А., Гуреев В.Н. Базы данных публикаций научной организации как основа информационных исследований // Научно-техническая информация. Серия 1: Организация и методика информационной работы. 2022. № 5. С. 8-18. DOIhttps://doi.org/10.36535/0548-0019-2022-05-2. EDN LJRDGO.
32. Osipov I.A., Aksens D.W., Kullerud L., Radford G., Hirshberg D., Cristian K. et al. Altmetrics: Alternative Perspectives on the Impact of Arctic Research: A working paper. Digital Science. 2016. DOIhttps://doi.org/10.6084/M9.FIGSHARE.3811233.V1.
33. Robinson-Garcia N., van Leeuwen T.N., Rafols I. Using Altmetrics for Contextualised Mapping of Societal Impact: From Hits to Networks. Science and Public Policy. 2018;45(6):815-826. DOIhttps://doi.org/10.1093/SCIPOL/SCY024.
34. Киричек А.В., Дадыкин В.С. Интервью с юбиляром: доктору психологических наук, профессору Валерию Валентиновичу Спасенникову - 65 // Эргодизайн. 2021. № 1(11). С. 3-14. DOIhttps://doi.org/10.30987/2658-4026-2021-1-3-14. EDN ETCBMP.
35. Спасенников В.В. Опыт управления инновационной деятельностью в процессе создания и внедрения изобретений // Экономика науки. 2023. Т. 9, № 2. С. 47-59. DOIhttps://doi.org/10.22394/2410-132X-2023-9-2-47-59. EDN VGKGOQ.
