Bryansk, Bryansk, Russian Federation
Bryansk, Bryansk, Russian Federation
Bryansk, Bryansk, Russian Federation
GRNTI 12.09 Развитие науки
The article is devoted to the debatable issues of the practice using scientific citation indices as tools of bibliographic search and citation tools. Limitations of the formal indicators’ use for bureaucratic control and evaluation of the scientific activity’s effectiveness are shown. The results of interviewing the teaching staff of the technical University in possible areas of scientific articles’ use for various communication purposes are presented.
bibliometry, science, citation index, scientific activity, journal article
Эффективное решение масштабных задач, стоящих перед отечественной наукой, требует рациональных принципов организации производства знания, что связано с внедрением научно-обоснованной модели управления. В исследованиях по наукометрии отмечен конфликт, возникающий в научно-образовательных учреждениях между двумя типами власти – власти, основанной на пребывании в должности (бюрократическая модель), и власти, основанной на специальном знании (профессиональная модель) [3].
Сложившаяся точка зрения, развитая в социологии управления [6, 25], основана на том, что профессии свободны от контроля со стороны общества, ученые сами регулируют свою деятельность и подчиняются внутреннему контролю коллег. Академическая наука принадлежит к свободным профессиям (обозначаемым в английском языке термином profession в отличие от занятия – occupation) и основана на создании, хранении и передаче формализованных знаний. Однако современные тенденции развития научной деятельности в образовательных учреждениях и научных организациях привели к тому, что профессии утрачивают свою автономию и все больше становятся под контроль государства и общества. [1, 7, 27, 30].
Актуальным является вопрос о взаимодействии ученых и администраторов. Основную трудность, возникающую в подобной ситуации, наилучшим образом удалось выразить еще братьям Стругацким в «Сказке о Тройке»:
«Это я все понимаю! − проникновенно вскричал Хлебовводов. − Ямбы там, александриты... Я одного не понимаю: за что же ему деньги плотят? Ну сидит он, ну читает. Вредно, знаю! Но чтение – дело тихое, внутреннее, как ты его проверишь, читает он или кемарит, сачок?.. Сейчас по конторам многие навострились спать с открытыми глазами... Так вот я и не понимаю: наш-то как? Может, врет? Не должно же быть такой профессии, чтобы контроль был невозможен – работает человек или, наоборот, спит?» [цит. по [3, с. 56].
Одна из проблем заключается в том, что администратор не вникает в сам процесс научной и изобретательской деятельности, однако требует конечных результатов. Исходя из этого очевидно желание администраторов перевести процессы производства знания на доступный язык, сделать их измеряемыми для последующей оценки и управления. [4, 5]
В отечественных и зарубежных исследованиях показано, что одним из вариантов оценки эффективности производства знания является работа с индексами научного цитирования. [2, 8, 10, 15, 29 и др.].
Первый подобный индекс (Science CitationIndex) разработан Институтом научной информации под руководством Ю. Гарфилда в 50-60-годах XX века в США и изначально был ориентирован на совершенствование библиографического поиска и облегчение освоения информации по смежной проблематике, т.е. поиска публикаций исследователей и новых научных задач [2]. За короткий промежуток времени произошла формация данного инструмента, и он стал признанным орудием для оценки деятельности как ученых, так и научно-образовательных учреждений [3, 9, 12, 14, 18 и др.].
Дискуссия о том, какие последствия возможны при использовании индекса цитирования в качестве орудия оценивания для развития науки и состояния научного сообщества, является особенно актуальной для российских ученых, так как наметились тенденции к введению количественных показателей для оценки научной деятельности. В качестве примеров можно привести, во-первых, инициативу Федерального агентства по науке и образованию, предложившего Российский индекс научного цитирования (РИНЦ); во-вторых, внимание к доле присутствия России в зарубежных индексах цитирования, отражающееся в концепциях Министерства образования и науки; в-третьих, введение Российской академией наук и вузами системы показателей результативности научной деятельности [3, 9].
Российские ученые справедливо опасаются, что вышеперечисленные практики оценки научной деятельности могут приводить к целенаправленному завышению количественных показателей и росту низкокачественных статей («публикации ради публикаций») [1, 5, 8, 9 и др.].
Негативные тенденции, связанные с трансформацией причин применения индексов научного цитирования можно проследить на основе ретроспективного анализа их возникновения и развития [2, 19, 20, 21].
Изобретатель первого индекса научного цитирования Ю. Гарфилд (E.Garfield) после получения степени бакалавра химии в 1949 г. (Колумбийский университет) был принят на работу в библиотеку Университета Джонса Хопкинса для составления указателя литературы по медицине. Здесь он начал применять машинные методы обработки библиографической информации, прошел соответствующий курс обучения и получил в 1954 г. степень магистра библиотековедения в Колумбийском университете [2].
Ю. Гарфилда не устраивал текущий библиографический указатель по литературе (Chemical Abstracts), который отставал от современной информации на 4 − 5 лет. В результате был подготовлен указатель Index Chemicus, позднее переименованный в Current Abstracts of Chemistry and Index Chemicus. Ю. Гарфилд создал свою коммерческую фирму Eugene Garfield Associates, занимался обработкой текущей периодики по самым разным направлениям и составлением указателей к ней (Current Contents).
В период работы в библиотеке медицинского университета Ю. Гарфилд, занимаясь проблемой автоматизации в организации и поиске литературы, пришел к идее, что ссылки можно использовать как ключевые слова для индексирования. Позже он отстаивает эту идею на международном симпозиуме, посвященном машинным методам обработки научной литературы, а в 1955 г. публикует свою первую науковедческую работу «Индексы цитирования в науке» («Citation indexes for science») в журнале Science [2].
Выступления Ю. Гарфилда привлекли внимание лауреата Нобелевской премии Дж. Ледерберга и генетика Г. Аллена, и с их помощью удалось получить грант от Национального института здоровья (National Institute of Health), позднее средства проходили через Национальный научный фонд (National Science Foundation), на создание библиографической базы данных по генетике Genetics Citation Index (порядка 100 тыс. статей и 1,5 млн ссылок), вышедшей тиражом 1000 экз. После завершения проекта правительство решило его не продолжать, однако Гарфилд, фирма которого в 1960 г. была снова переименована, на этот раз − в Институт научной информации (Institute for Scientific Information, ISI), продолжил заниматься обработкой научной литературы и выпуском указателей к ней по нескольким дисциплинам на коммерческой основе. С 1964 г. начинаются регулярные ежеквартальные выпуски Science Citation Index (библиографической базы ссылок) [2].
Несмотря на то, что приступая к созданию иразвитию первого индекса цитирования, Ю. Гарфилд предупреждал о невозможности оценки качества илизначимости научной работы на основании подсчетов частоты или количества цитирований [20]. Однако, впоследствии он изменил свою точку зрения [19, с. 359].
Во время разработки индекса цитирования Ю. Гарфилд связался с Р. Мертоном и заручился его поддержкой по поводу возможности использования этого инструмента в исследованиях по социологии науки [21].
Р. Мертон (R.Merton) наметил перспективы, а именно: каким образом при помощи индекса цитирования выявлять социальные и когнитивные аспекты организации науки и ее практики, − и с этого момента возможно проследить зарождение самой идеи о том, что индекс цитирования может служить инструментом измерения различных социальных процессов.
Создание индекса цитирования вызвало ряд дискуссионных вопросов о перспективах его применения в научных исследованиях.
В науковедческих работах выделяют два противоположных подхода к рассмотрению сущности цитирования в науке: один сосредотачивается на изучении того, каким образом цитирование отражает социальные процессы, происходящие в науке; другой концентрирует внимание на когнитивном уровне – связи смыслового контекста ссылки и логики построения научного текста [16, 23 и др.].
В социологии науки наиболее полно изучены механизмы цитирования (восприятие ссылки как вознаграждения). Ученые работают ради признания, а специфика институциональной системы науки такова, что это признание они могут получить лишь со стороны коллег, при этом ссылка выступает одной из форм подобного признания. Поскольку новое научное знание строится на базе достоверного знания, то, ссылаясь на коллегу, ученый подтверждает качество исследования и обозначает значимость работ для собственного продвижения. Таким образом, система научной коммуникации служит основой для вознаграждения и определения статусов внутри института науки и, соответственно, – стимулирующим фактором для исследователей [11].
Ю. Гарфилд также имел представление об идее вознаграждения: «Я подозреваю, что выбор был мотивирован обычным для ученого стремлением к признанию… Множество людей проходят незамеченными сквозь формальную систему вознаграждений в науке. SCI и цитат-анализ (citation analysis) стали для меня средством преобразования неформальной системы признания в явную систему вознаграждений в науке» [2, c. 44]
Рассмотрим примеры альтернативного подхода к анализу природы цитирования в науке, связанного с соотнесением смыслового содержания ссылок и текста. Группой английских ученых показано, что каждый исследователь стремится доказать свой вклад в науку и обосновать значимость полученных результатов при помощи ссылок. С этой точки зрения цитирование выступает как средство убеждения, как аргумент в интеллектуальной борьбе [14]. Автор статьи помещает свою работу в пределы некоего интеллектуального поля, цитируя исследования, ценности которых разделяет предполагаемая аудитория. Данный подход получил свое научное обоснование в работах Б. Латура [24] и Б. Барнса [17], по мнению которых, в науке мы имеем дело не с объективным процессом накопления достоверного и релевантного знания, а с борьбой мнений и авторитетов, где ссылка служит средством этой борьбы.
С точки зрения американского социолога Г. Смолла (H.Small), цитирование в первую очередь выполняет функцию преобразования публикуемых текстов в символы [28]. Каждая часть текста посредством ссылки соотносится с группой других документов, и таким образом цитирование становится процессом создания значений, при этом большинство ссылок имеет стандартные значения, разделяемые сообществом ученых [29, 30].
В российских исследованиях был выявлен целый спектр факторов, препятствующих распространению практики использования индексов цитирования в качестве библиографического ресурса. Во-первых, следует назвать недостатки самого инструмента – не всегда в библиографической базе представлены аннотации к статьям, не говоря уж о полных текстах. Во-вторых, существует ряд проблем, связанных с ограниченностью доступа к зарубежным индексам из-за их высокой стоимости.
В ряде работ показано, что основой оценки
научной деятельности должен стать созданный в 2005 году на платформе Научной электронной библиотеке (НЭБ, eLibrary.ru), РИНЦ является мощной аналитической системой для оценки научной деятельности, в которой рассчитывается и постоянно обновляется ряд наукометрических показателей [1, 3, 9].
В основе национальной системы лежит библиографическая реферативная база данных, в которой аккумулировано более 7 миллионов публикаций российских авторов и информация о цитировании этих публикаций из более 6,5 тыс. российских журналов [8].
Помимо публикаций из научных журналов в РИНЦ должны включаться доклады на конференциях, монографии, учебные пособия, патенты, диссертации. База содержит сведения о выходных данных, авторах публикаций, местах их работы, ключевых словах и предметных областях, а также аннотации, пристатейные списки литературы. РИНЦ позволяет на основе объективных данных оценивать результативность исследовательской работы и детально исследовать статистику публикационной активности российских ученых и научно-образовательных учреждений, относящихся ко всем отраслям знаний (в данной статье под научно-образовательными учреждениями понимаются как научных организации, так высшие учебные заведения).
Мониторинг показателей публикационной активности осуществляется по ведущим структурным подразделениям вуза и группе академических институтов различного профиля. Анализ наукометрических индикаторов показал, что научно-образовательные учреждения организации наращивают свою публикационную активность, повышают качество публикаций, о чем свидетельствуют планомерно увеличивающиеся показатели цитируемости. [8].
Индекс Хирша, или h-индекс (англ. H-index), предложен Х. Хиршем в 2005 г. [22] в качестве наукометрического показателя продуктивности ученого, основанного на распределении цитирования его работ.
Определение h-индекса ученого: ученый имеет h-индекс, равный h, если h из его 
публикаций имеют по крайней мере h цитирований каждая, а остальные – h публикаций имеют не более чем h цитирований каждая. Множество всех публикаций автора, удовлетворяющих этому определению, называют h-ядром. В случае соавторства при подсчете h-индекса Хирш предлагал делить количество цитирований работы на количество соавторов и сопоставлять полученную долю с каждым автором.
Введение h-индекса Хирш аргументировал тем, что этот критерий оценки предпочтительнее других подобных индексов, таких как количество работ, деленное на общее количество цитирований, или количество цитирований, приходящихся на одну работу. Однако Хирш считал, что применение одной этой количественной меры может дать только грубую аппроксимацию индивидуального профиля ученого, её следует применять в случае, если дело касается грантов или подтверждения статуса ученого. В работе [8] отмечено, что преимущество h-индекса перед другими показателями подобного рода заключается в учете количества публикаций, так и их востребованности (число цитирований этих публикаций).
В наших исследованиях для анализа научной активности преподавателей и структурных подразделений помимо h-индекса вычисляется такой показатель, как среднее число цитирований автора публикаций (
):
= 
В таблице 1 приведены данные по 10 ведущим преподавателям факультета экономики и управления.
Как видно из таблицы 1 рейтинг преподавателей, определяемый на основе h-индекса, и рейтинг по среднему числу цитирований, приходящихся на одну публикацию, совпадают. Средний индекс Хирша по факультету h=15, среднее количество цитирований одной публикации = 7.
Из таблицы 1 следует, что наиболее часто цитируют работы автора 4 DES (больше 13 цитирований в среднем одной статьи, что свидетельствует о востребованности публикаций).
Менее востребованы публикации автора 8 NKA (в среднем менее 3 ссылок на одну статью, включая самоцитирование).
О возрастании публикационной активности за последние 5 лет можно судить на основе сравнения публикаций по отношению к работе [8], где приведены статистические данные по тем же авторам. Так h-индекс у автора 2 DEA вырос с 7 до 22, среднее количество цитирований выросло более чем в 2 раза. Существенный рост количества публикаций, количества цитирований h-индекса наблюдается и у других авторов.
В таблице приведены данные по 10 веду-щим преподавателям факультета информационных технологий.
Таблица 1. Факультет экономики и управления (ТОП-10 ФЭУ)
|
№ п/п (рейтинг) |
Код |
Число публикаций |
Число цитирований |
Индекс Хирша |
Среднее цитирование |
|
1 |
SOS |
711 |
7198 |
38 |
10,1 |
|
2 |
DEA |
216 |
1612 |
22 |
7,5 |
|
3 |
PNV |
160 |
1151 |
19 |
7,2 |
|
4 |
DES |
89 |
1206 |
15 |
13,6 |
|
5 |
KOD |
70 |
330 |
15 |
4,7 |
|
6 |
EVV |
125 |
589 |
14 |
4,7 |
|
7 |
EVD |
92 |
474 |
12 |
5,2 |
|
8 |
KNA |
182 |
499 |
11 |
2,7 |
|
9 |
GNV |
86 |
277 |
10 |
3,2 |
|
10 |
DVS |
82 |
238 |
10 |
2,9 |
|
Итого |
1813 |
13574 |
15 |
7 |
|
За прошедший 5-летний период по сравнению вс данными работы [8], здесь также наблюдается существенный рост публикационной активности по всем показателям.
Таблица 2. Факультет информационных технологий
|
№ п/п (рейтинг) |
Код |
Число публикаций |
Число цитирований |
Индекс Хирша |
Среднее цитирование |
|
1 |
AVI |
345 |
2132 |
20 |
6,2 |
|
2 |
SVV |
194 |
1457 |
19 |
7,5 |
|
3 |
OVV |
237 |
1194 |
17 |
5,1 |
|
4 |
AAV |
117 |
481 |
10 |
4,1 |
|
5 |
ZMV |
64 |
480 |
10 |
7,5 |
|
6 |
PAG |
92 |
442 |
10 |
4,8 |
|
7 |
RMV |
173 |
402 |
10 |
2,3 |
|
8 |
SVH |
35 |
148 |
7 |
4,2 |
|
9 |
DKV |
41 |
117 |
6 |
2,9 |
|
10 |
LDG |
52 |
206 |
6 |
4,0 |
|
Итого |
1346 |
7059 |
12 |
5 |
|
Сравнительный анализ таблицы 2 и таблицы 1 показывает, что публикационная активность преподавателей ТОП-10 ФЭУ выше, чем ТОП-10 ФИТ, как по h-индексу, так и по среднему числу цитирований, приходящихся на каждую публикацию автора.
На факультете информационных технологий за последние 5 лет также наблюдается существенный рост публикационной активности, так например у автора 4 AAV индекс Хирша вырос на 7 единиц, при этом количество цитирований возросло с 62 до 117, среднее количество цитирований («популярность статей автора») возросла более чем в 4 раза.
Негативной стороной повышения научной активности (о которой свидетельствует значительный рост h-индекса) является так называемая «Хиршемация» [3], когда авторы целенаправленно увеличивают количество самоцитирований и взаимоцитирований в журнальных статьях с низким импакт-фактором, входящих в РИНЦ, при этом вопрос о качестве публикаций остается открытым.
Как показали В.В. Спасенников и И.Е. Задорожнюк в работе [11], на государственном уровне необходимо принятие решения о закреплении за индексом научного цитирования статуса национальной базы данных. Если речь идет об оценке эффективности и результативности деятельности российских ученых и научных организаций, а также о ранжировании научных журналов на базе каких-либо библиометрических показателей, необходимо брать за основу данные национального индекса цитирования. Развитие отечественной реферативно-библиографической базы будет во многом способствовать сохранению суверенитета российской науки, позволит руководствоваться в выборе приоритетов научного развития прежде всего национальными интересами [15].
Количество публикаций, реферируемых в международных базах данных, не может использоваться как основной наукометрический показатель для оценки результатов работы российской научной организации, поскольку российские публикации слабо представлены в зарубежных базах данных и этот показатель не позволяет составить объективную картину публикационной активности научных учреждений.
Формирование национального индекса цитирования целесообразно осуществлять путем отбора периодических изданий и отдельных публикаций по строгим критериям, которые обеспечили бы качество представленных в базе материалов, что сделало бы их оценку по наукометрическим показателям более объективной [8].
Следует отметить, что главной целью системы оценки результатов научной деятельности должен стать поиск путей содействия вузам и научным институтам, создание базы для принятия эффективных управленческих решений в сфере науки, что позволит повысить уровень научных изданий и добиться существенного повышения публикационной активности авторов научно-исследовательских работ.
Индекс Хирша, созданный как первичный инструмент для оценивания продуктивности учных, как и любая характеристика, имеет ряд достоинств и недостатков. Предложенный Х. Хиршем индекс позволяет установить связь между количеством работ и цитирований ученого, оценить востребованность и влияние его научных публикаций на современные разработки в определенной области, а также не принимать во внимание так называемых «случайных соавторов». Ведущими научными деятелями и авторами статей, посвященных оценочным инструментам публикационной активности ученых, выделено множество недостатков индекса Хирша, а также предложены альтернативные индексы и способы улучшения предложенного Хиршем показателя [6, 15, 18 и др.].
На сегодняшний день индексом Хирша, тем не менее, пользуется как основной характеристикой при оценке значимости публикаций ученых, поэтому необходимость ориентироваться на него и стремиться к улучшению этого показателя, однако имеет смысл разработать меры, учитывающие особенности индекса [6].
h-индекс изначально был введен для оценки научной деятельности в области физики и только позже его стали применять и для других областей. Хирш сам отмечал, например, что в биологии и медицине h-индекс намного выше, чем в физике или химии. Поэтому имеет смысл определить некие средние значения, которые могут свидетельствовать о достижениях в данной области.
Индекс Хирша необходимо рассматривать в совокупности с общим количеством статей и количеством цитирований каждой из них, чтобы не упустить из виду труды авторов, по каким-либо причинам не имеющих возможности продолжать свои исследования и опубликовавших сравнительно небольшое количество статей [8].
Хирш высок, когда вы успешно творите в признанных, устойчиво результативных, популярных научных областях, в которых работает много людей, где сложились научные коллективы и стабильные горизонтальные связи между ними. Но если вы осваиваете новые, мало известные области, не рассчитывайте на хороший Хирш. Это плохой знак не для вас, а для него, ибо он не стимулирует генерацию и разработку новых идей и областей. Он не зовет в будущее, он измеряет лишь настоящее и прошлое [12, 13].
Интервьюирование Брянского государственного технического университета показало, что ученых с точки зрения научного цитирования и публикационной активности интересуют следующие вопросы [8]:
- Какие ассоциации вызывает у респондентов понятие «индекс научного цитирования», как они его понимают (что оно собой представляет, для чего может быть использовано)?
- На сколько активно используются индексы цитирования как средство библиографического поиска, как велико число обращений к этой подписке, где организованы учебные курсы, объясняющие механизм действия ресурса?
- Приходилось ли преподавателям пользоваться подобным инструментом для определения ведущих ученых в своей области, авторитетных журналов, или для поиска коллег, разрабатывающих тоже направление, отслеживать развитие какой-то идеи?
- Существует ли организация, где работает ученый, практика оценивания эффективности его работы на основе его публикационной активности (например, публикация статей в зарубежных реферируемых журнальных базах данных)?
Одним из вопросов, волнующих преподавателей и научных сотрудников является вопрос о том, какую роль играют журнальные статьи для научного сообщества. Как показано в наших и зарубежных исследованиях журнальные статьи преследуют несколько целей, т.к. авторы ориентированы на различные аудитории научных сообществ [11, 12, 29, 30].
На рисунке 1 приведены примеры того, как роль журнальной статьи как жанра может варьироваться в зависимости от уровня рассматриваемого сообщества и связанной с ним цели [14].
В исследовании [14] показано, что статья удовлетворяет более чем одну цель, поскольку авторы с помощью одной статьи обращаются к нескольким аудиториям научного сообщества. Некоторые общие цели, как например повышение признания и репутации, применимы к нескольким уровням, цели, показанные на рисунке, уникальны для каждого сообщества. На институциональном уровне, когда продвижение является коммуникационной целью, статья является показателем качества фундаментальных исследований и продуктивности исследователя. Однако на уровне дисциплины, где цель состоит в том, чтобы передать конкретное сообщение, статья способствует интеллектуальному диапазону в той мере и на том уровне в каких автор преподносит свою работу в пределах определенного уровня знаний. На уровне научной системы, где статья может быть указана в списке публикаций заявителей, статья означает, что заявитель является активным и знающим исследователем в данной области. С точки зрения самого широкого уровня сообщества, где автор желает влиять на политику в результате своих исследований, статья представляет собой средство для инициирования изменений.
Обработка данных интервьюирования и экспертного опроса позволила сделать следующие выводы:
- В перспективных научных исследованиях необходимо обосновать критерии оценки результатов научной деятельности на основе обсуждения данного вопроса в научной печати, Internet и СМИ. Актуальной проблемой является ограничения внедрения бюрократической модели управления оценкой производства знаний с использованием h-индекса Хирша и других, вызывающих сомнение библиометрических показателей. На уровне государственной финансовой поддержки научной деятельности целесообразно расширить сеть монодисциплинарных высокорейтинговых журналов, которые соответствуют требованиям международных баз Scopus и Web of Science.
- В следствие отсутствия материальных стимулов можно констатировать слабый уровень заинтересованности в формировании индивидуального исследовательского профиля и публикационной активности учёных в журналах с высоким импакт-фактором. В отечественных вузах и научно-исследовательских и образовательных учреждениях на современном этапе по сравнению с ведущими странами низкий уровень культуры публикационной активности и низкие значения h-индекса у учёных.
Одним из парадоксов использования
индексов Хирша является то, что «… из физики хорошо известно, если вы измеряете что-то новое и новым измерительным прибором, то измерительный прибор надо предварительно откалибровать, а затем создать эталон и поместить его в палату мер и весов», таким образом, несмотря на универсальность данного индекса, использование его как метрологического инструментария для сравнительной оценки деятельности ученых в различных научных направлениях требуют осторожности.
1. Arutyunov V. V. Features of the citation rating of Russian scientists according to RSCI // Scientific and technical libraries. - 2015. - No. 5. - P. 28-43.
2. Garfield Yu. Is it possible to identify and evaluate scientific achievements and scientific productivity? // Bulletin of the USSR Academy of Sciences. - 1982. - No. 7. - P. 42-50.
3. Zhukova I. A. Index of scientific citation - transformation application practices: from a bibliographic search tool to an assessment tool // Sociology: 4M. - 2012. - No. 34. - P. 54-69.
4. Kirichek A.V., Morozova A. V., Spasennikov V. V. Reviewing how the procedure of expert estimation of scientific articles’ quality // Ergodesign. - 2018. - No. 2 (02). - P. 3-7.
5. Kirichek A.V., Morozova A. V., Spasennikov V. V. Structuring of scientific articles taking into account the requirements of international scientometric databases // Ergodesign. - 2019. - No. 3 (05). - P. 99-105.
6. Levin V. I. Hirsch Index and evaluation of scientist's contribution to science // Alma mater (Bulletin of the higher school). - 2016. - No. 4. - P. 9-13.
7. Mikhailov O. V. Scientist's citation: is this the most important criterion of the quality of his scientific activity? // Science of science. - 2001. - Vol. 3. - No. 1. - P. 201-207.
8. Molchanova N. V., Skantsev V. M., Spasennikov V. V. Evaluation of scientific and educational institutions employees’ publication activity using the national citation index // In the collection: Actual problems of social and humanitarian research in Economics and management. Materials of the II International scientific and practical conference of faculty, masters and students of the faculty of Economics and management. - Bryansk: BSTU. - 2015. - P. 169-176.
9. Nazarenko M. A. Hirsch index’s use during the competition for the replacement of teaching staff’s positions in universities // international journal of experimental education. - 2013. - No. 8. - Pp. 186-189.
10. Pislyakov V. V. Methods of scientific knowledge’s evaluation by citation indicators // Sociological journal. - 2007. - No. 1. - P. 128-140.
11. Spasennikov V. V., Zadorozhnyuk I. E. Ways of educational processes’ optimization: the economic psychology’s potential // Sociology of education. - 2012. - No. 12. - P. 15-53
12. Spasennikov V. V. Economic and psychological problems of consultative psychology in the transition to a multistage system of education // Human factor: problems of psychology and ergonomics. - 2009. - No. 3. - P. 85-91.
13. Spasennikov V. V. Regional education system and local labour markets: the search for a balance of qualified staff’s supply and demand // Sociology of education. - 2008. - No. 10. - Pp. 43-50.
14. Wakeling Simon, Spezi Valerie, Fry Jenny, Criser Clare, Pinfield Stephen, Willett Peter. Scientific communities: the role of open access journals and megajournals in scientific communication // Bibliosphere. - 2019. No. 2. - P. 3-14.
15. Fominykh K. S. Attitude to the index of scientific citation by the scientific community // Bulletin of the Institute of Economics of the Russian Academy of Sciences. - 2015. - No. 2. - P. 155-161.
16. Baldi S. Normative versus Social Constructivist Processes in the Allocation of Citations: a Networkanalytic Model // American Sociological Review. 1998. Vol. 63. P. 829-846.
17. Barnes B. About science. Oxford: Basil Blackwell, 1989.
18. Braun T., Glanzel, W., Schubert A. A Hirschtype index for journals // Scientometrics. 2006. V. 69, iss. 1. P. 169-173.
19. Garfield E. Is Citation Analysis a Legitimate Evaluation Tool? // Scientometrics. 1979. Vol. 1. № 4. P. 359-375.
20. Garfield E. How Sweet It Is - The ACS Patterson-Crane Award: Reflections on the Reward System of Science // Essays of an Information Scientist. 1983. Vol. 6. P. 229-236.
21. Garfield E. The Unintended and Unanticipated Consequences of Robert K. Merton // Social Studies of Science. 2004. Vol. 34. № 6. P. 845-853.
22. Hirsch, J. E. An index to quantity an individual’s scientific research output // Proc. of the National Acad. Sci. USA. 2005. V. 102, N 46. P. 16569-16572.
23. Kaplan N. The Norms of Citation Behavior: Prolegomena to the Footnote // American Documentation. 1965. Vol. 16. P. 179-184.
24. Latour B. Science in Action. Cambridge: Harvard University Press, 1997.
25. Millerson G. The Qualifying Associations: a Study in Professionalisation. L.: Routlege & Kegan Paul, 1964.
26. Merton R.K. Foreword to Garfield, E. Citation Indexing - Its Theory and Application in Science, Technology, and Humanities Institute for Scientific Information. Philadelphia: ISI Press, 1979.
27. Parsons T. Professions // International Encyclopedia of the Social Sciences. The Macmillan Company & The Free Press, 1968. P. 536-547.
28. Small H.G. Cited Documents as Concept Symbols // Social Studies of Science. 1978. Vol. 8. № 3. P. 327-340
29. Taylor L., Willett P. Comparison of US and UK rankings of LIS journals. Aslib Journal ofnInformation Management, 2017, 69 (3), 354-367.
30. Tucker B.P., Lowe A.D. Practitioners are from mars: academics are from Venus? Accounting, Auditing & Accountability Journal, 2014, 27 (3), 394-425.
