CC BY
217
УДК 001 + 519.25 ББК 72.4 + 78.5
НАУЧНЫЕ ЖУРНАЛЫ И ЭФФЕКТИВНОСТЬ НАУЧНОЙ РАБОТЫ: ПОИСКОВЫЕ СИСТЕМЫ И БАЗЫ ДАННЫХ
Савельева Ю. В. *, Хоперсков А. В. 2
(Волгоградский государственный университет, Волгоград)
Обсуждаются проблемы применения наукометрических параметров для оценки эффективности научной работы. Проведено сравнение импакт-факторов российских журналов, рассчитанных с использованием баз данных научных поисковых систем Scopus, Web of Science, e-library. Импакт-факторы отечественных журналов в среднем в два раза ниже значений по всей выборке. Рассматриваются некоторые причины в среднем низких показателей российских журналов. Статистический анализ наукометрических величин для ученых, имеющих высокие показатели в международных библиографических и реферативных базах данных, показывает их высокий результат в системе e-library.
Ключевые слова: наукометрические показатели, анализ
распределений, корреляция, e-library, Web of Science, Scopus.
Аннушка масло уже купила, причем не только купила, но и пролила.
(М.А. Булгаков)
1. Введение
Обсуждение методов оценки эффективности науки, в том числе и на основе наукометрических показателей, имеет длин-
1 Юлия Владимировна Савельева, (721987@bk.ru).
2 Александр Валентинович Хоперсков, доктор физикоматематических наук, профессор (khoperskov@volsu.ru).
ную историю в нашей стране. Эти проблемы активно и плодотворно обсуждались с начала 60-х годов [3, 4, 6]. Отметим проблемы изучения закономерностей организации научных публикаций и оценки эффективности вклада в научный информационный поток от различных стран [7]. Отметим, что количество научных журналов на душу населения mJ в СССР было достаточно низким в 1961 году (рис. 1). И, несмотря на рост в последующие 30 лет, к моменту распада страны эта величина отставала от многих государств. Последний двадцатилетний этап в РФ характеризуется существенным увеличением числа научных изданий - журналов и монографий, издаваемых на русском языке. Закрылись многие журналы, издаваемые в национальных республиках, но примеры исчезновения изданий РСФСР немногочисленны, часть поменяла название, но продолжают работать. К сожалению, имеются потери отечественных журналов из базы Web of Science (WoS).
В настоящее время такого рода распределения по странам (см. рис. 1) во многом теряют свое значение по двум причинам. Во-первых, из-за массового перехода «национальных» журналов за рубежом на английский язык. Во-вторых, факт юридической регистрации издания в конкретной стране перестал влиять на редакционную политику, поскольку в состав редколлегий входят ученые из самых разных стран и доля публикаций авторов из других стран часто оказывается доминирующей.
Вплоть до середины 20 века основным источником оценки научной работы являлось экспертное мнение. В последние 10-20 лет наряду с экспертной оценкой усиливается мировая тенденция учета количественных библиометрических показателей. Укажем на некоторые факторы, определяющие этот процесс:
- Техническая возможность обрабатывать огромные массивы библиографической информации порождает желание иметь количественные характеристики.
- Формирование массовой профессии «научный работник». Если в «чистой математике» (pure mathematics) или астрономии, где, грубо говоря, «каждый знает каждого», экспертное мнение представляется достаточно объективным, то в более массовых
научных разделах возможно усиление степени субъективизма эксперта.
- Продолжающаяся дифференциация научных дисциплин.
- Увеличение количества научных изданий (проблема: «Что читать? Что не читать?»).
- При бюджетном или грантовом финансировании возникает желание политиков сравнивать научную работу не только внутри научного раздела, но и в разных научных областях.
- Удобство использования небольшого числа простых количественных показателей для формирования начального мнения о научном работнике. По нашим наблюдениям, многие, впервые услышав фамилию, смотрят в е-НЬгагу, какова статистика у нового знакомого. Тратить ли время и ресурсы, например, на собеседование при приеме на работу, если не выполнены некоторые минимальные требования?
треугольники) и числа журналов на 1 млн. населения mJ (зеленые квадратики) по странам на 1961 год (исходные данные о числе журналов взяты из работы [17])
В данной работе кратко обсуждается практика использования баз научного индексирования. Все количественные показатели, полученные в системе е-НЬгагу, относятся к 23 марта 2013 г. Мы не будем обсуждать наукометрические проблемы международной, точнее зарубежной науки, ограничившись
исключительно нашим положением. Мы считаем, что ситуация настолько критична, что внедрение наукометрических показателей жизненно необходимо, несмотря на все недостатки этой системы. Наукометрический подход, возможно, является тормозом для развития науки в целом. Такая точка зрения активно исследуется международным научным сообществом (см., например, [5] и ссылки там). В случае нашего современного положения речь идет не о замедлении темпов роста качества и снижении эффективности научной работы с позиции фундаментальности результатов, как во многих зарубежных странах. Для нас важнейшей является задача сохранения кадровой базы на минимальном уровне, который бы позволил в каком-то обозримом будущем восстановить нашу науку.
Обсуждение проблемы использования наукометрических показателей в контексте задач управления необходимо [2], но важно успеть поставить диагноз еще живому пациенту. По нашему мнению, активное внедрение наукометрических показателей позволит сохранить кадровый потенциал. Если наступит время больших проектов (без которых наука не нужна), то при наличии кадровой базы будет возможность восстановить науку. В наших условиях лучше считать статьи, чем коллекционировать воспоминания о прошедшем величии.
Высказываются и отстаиваются разные точки зрения на возможность использования наукометрических подходов в нашей стране для сколько-нибудь адекватной оценки научной работы. Одна предельная точка зрения заключается не просто в нежелательности такой оценки, но и в отрицании необходимости публикации результатов исследований в научных журналах [8]; предлагается работать в рамках последовательности «тезисы - сборник - монография - учебник».
Другой крайней точкой зрения является позиция, основанная на использовании исключительно системы Web of Science (индексируется примерно 8000 журналов). Грубо говоря, эта позиция основана на утверждении: «ученый тот, кто имеет высокий индекс цитируемости в WoS». Такая точка зрения достаточно давно (с 2001 года) приняла организационные фор-
мы в рамках проекта scientific.ru, который начал отслеживать наукометрические показатели российских ученых. Критерием вхождения в список, названный «Кто есть кто в российской науке», является условие иметь не менее 100 цитирований за последние 7 лет по версии Web of Science. В результате сформирован корпус экспертов (http://www.expertcorps.ru/), состоящий из примерно 4000 ученых (значительная часть работает за рубежом), причем для ряда городов с миллионным населением имеем результат: Самара - 11, Воронеж - 10, Пермь - 6, Челябинск - 6, Волгоград - 3, Омск - 3, хотя, в каждом из них работает 3-5 тысяч человек, занимающихся наукой по данным e-library. В городах Владимир, Калининград, Кемерово, Курск, Петрозаводск, Ставрополь, Хабаровск зафиксировано по одному эксперту. Дополнительно имеем сильную дифференциацию по научным разделам: физика - 1870, химия и наука о материалах
- 1121, биология - 778, науки о Земле - 333, астрономия - 281, математика и компьютерные науки - 88. Многие технические направления не представлены совсем.
Использование исключительно систем WoS/Scopus позволяет характеризовать по разным оценкам 2-10% научных работников и преподавателей университетов нашей страны. Даже выводя из обсуждения гуманитарные и социальноэкономические знания, которые в WoS/Scopus практически не представлены, мы не можем игнорировать основную часть активно работающих научных работников, не имеющих статей в WoS/Scopus, но публикующие свои результаты в научных журналах на русском языке по техническим, прикладным дисциплинам.
На наш взгляд, более взвешенный подход пытается внедрить Минобрнаука, ориентируясь на учет трех баз данных e-library, WoS, Scopus. Впрочем, это делается непоследовательно. Укажем на пример формирования так называемых контрольных цифр приема в 2013 году (выделение бюджетных мест вузам) с учетом цитируемости в e-library и WoS без привлечения данных Scopus. Поскольку последняя база данных содержит
много журналов прикладной направленности, то многие вузы оказываются в неравном положении.
Степень проработанности всего спектра такого рода позиций и инструментария в англоязычной литературе очень высока (см., например, [14, 15, 16, 21, 23], выделим работу [20] на российских данных), в том числе для университетского образования [11, 12].
2. Ранжирование российских журналов в Web of Science, Scopus и РИНЦ
2.1. НАУКОМЕТРИЧЕСКИЕ ПОКАЗАТЕЛИ
К числу наиболее распространенных показателей, используемых для оценки научной работы на основе различных баз данных, относятся:
NWoS, NSg, Ngs, ^ринц, Nel - число индексируемых работ в системах Web of Science, Scopus, Google Scholar, РИНЦ и e-library соответственно.
CWoS, Csc CGS, CРИНц, Cel - аналогичные величины числа цитирований для данного автора/организации/страны.
IFWoS - импакт-фактор журнала, определяемый отношением числа цитирований работ из данного журнала за отчетный год к числу опубликованных работ за два предыдущих года в этом журнале. Рассматриваются только издания из базы WoS.
IFSc, 7^РИНц - аналогично вычисляемые параметры с использованием баз данных Scopus (параметр «Cites per Documents (2 years)» в системе SCImago Journal & Country Rank) и РИНЦ соответственно. Базы данных научной литературы позволяют рассчитывать индексы цитирования за 3, 4 и 5 лет, но они используются более редко.
SJR (SCImago Journal Rank) - параметр, рассчитываемый системой Scientific Journal Rankings на основе базы данных Scopus в результате итерационной процедуры (www.scimagojr.com). Помимо индекса цитируемости учитывает так называемый престиж журнала, в котором имеется ссылка на статью. Пре-
стиж определяется значением его SJR, числом цитат и количеством публикуемых статей.
H - индекс Хирша, рассчитывается для отдельных ученых, организаций, страны и журналов.
Наукометрические методы оценки эффективности научной работы превратились в отдельный раздел исследований, и если принять во внимание, что ряд специализированных журналов по наукометрии включены в WoS и имеют высокие импакт-факторы, можно говорить о становлении научного раздела. Среди таких изданий укажем на Scientometrics - IFWoS = 1,97, Online Information Review - IFWoS = 0,939, Research Evaluation -IFWos = 0,845, Electronic Library - IFWoS = 0,5, Library Trends -IFWos = 0,313, Journal of Informetrics - IFSc = 4,55.
Основная претензия к использованию наукометрических методов связана с их простотой и игнорированием экспертных оценок [5, 9]. Одним из доводов против применения простых параметров является сильная зависимость от научного раздела, например, среднее число цитирований на статью в научной дисциплине «Matematics/Computer» меньше 1, а для раздела «Life sciences» превышает 6, что связано с историческими причинами и особенностями конкретной науки [10]. Предлагаются новые, более сложные наукометрические показатели для журналов [1, 22] и отдельных ученых (помимо H-индекса [18], предлагается m-индекс, учитывающий возраст [18], g-индекс для учета цитирований больше значения H [13]).
2.2. ВЫБОРКА ЖУРНАЛОВ
Сравнительный анализ различных баз данных научного индексирования дает новые возможности для анализа и понимания, как ранжирование журналов влияет на развитие науки [19]. Построим выборку российских научных журналов, удовлетворяющих следующим условиям.
1. Издание должно являться российским журналом, входящим в систему РИНЦ. Такой подход представляется естественным, поскольку процедура индексирования в РИНЦ требует
заключения договора по инициативе журнала и регулярного предоставления данных, оформленных специальным образом.
2. Журнал должен иметь двухлетний импакт-фактор РИНЦ хотя бы за два года из интервала 2009-2011 гг.
3. Издание должно индексироваться в системе WoS и/или Scopus и иметь импакт-фактор хотя бы за один год из интервала 2009-2011 гг.
Таблица I. Перечень журналов в выборке
Название на английском языке
1 Acoustical Physics
2 Algebra and Logic
3 Applied Biochemistry and Microbiology
4 Archaeology, Ethnology & Anthropology of Eurasia
5 Astronomy Letters
б Astronomy Reports
7 Astrophysical Bulletin
8 Atomic Energy
9 Automatic Control and Computer Sciences
10 Automation and Remote Control
11 Biochemistry
12 Biologicheskie Membrany
13 Bulletin of Experimental Biology and Medicine
14 Bulletin of the Lebedev Physics Institute
15 Cardiovascular Therapy and Prevention
16 Catalysis in Industry
17 Cell and Tissue Biology
18 Chemistry and Technology of Fuels and Oils
19 Coke and Chemistry
20 Colloid Journal
21 Combustion, Explosion, and Shock Waves
22 Computational Mathematics and Mathematical Physics
23 Contemporary Problems of Ecology
24 Cosmic Research
25 Crystallography Reports
26 Differential Equations
27 Eurasian Soil Science
28 Fluid Dynamics
29 Geochemistry International
30 Geology of Ore Deposits
31 Geotectonics
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
____________________Название на английском языке
Hematology and Transfusiology___________________________
Herald of the Russian Academy of Sciences_______________
High Energy Chemistry___________________________________
High Temperature________________________________________
Inland Water Biology____________________________________
Inorganic Materials_____________________________________
Instruments and Experimental Techniques_________________
Izvestiya, Atmospheric and Oceanic Physics______________
Journal of Advanced Materials___________________________
Journal of Analytical Chemistry_________________________
Journal of Applied and Industrial Mathematics___________
Journal of Applied Mathematics and Mechanics____________
Journal of Applied Mechanics and Technical Physics Journal of Communications Technology and Electronics Journal of Computer and Systems Sciences International
Journal of Engineering Thermophysics____________________
Journal of Experimental and Theoretical Physics_________
Journal of Experimental and Theoretical Physics Letters Journal of Evolutionary Biochemistry and Physiology
Journal of General Biology______________________________
Journal of Mining Science_______________________________
Journal of Optical Technology___________________________
Journal of Petrology____________________________________
Journal of Russian Laser Research_______________________
Journal of Structural Chemistry_________________________
Journal of Volcanology and Seismology___________________
Kinetics and Catalysis__________________________________
Laser Physics___________________________________________
Lithology and Mineral Resources_________________________
Low Temperature Physics_________________________________
Mathematical Notes______________________________________
Measurement Techniques__________________________________
Mechanics of Solids_____________________________________
Mendeleev Communications________________________________
Metal Science and Heat Treatment________________________
Metallurgist_____________________________________________
Microbiology_____________________________________________
Molecular Biology_______________________________________
Moscow University Physics Bulletin______________________
Neurochemical Journal___________________________________
Oceanology_______________________________________________
Название на английском языке
73 Optics and Spectroscopy
74 Paleontological Journal
75 Petrology
76 Physics of Metals and Metallography
77 Physics of Particles and Nuclei Letters
78 Physics-Uspekhi
79 Plasma Physics Reports
80 Programming and Computer Software
81 Radiophysics and Quantum Electronics
82 Reviews on Advanced Materials Science
83 Russian Chemical Reviews
84 Russian Geology and Geophysics
85 Russian Journal of Bioorganic Chemistry
86 Russian Journal of Coordination Chemistry
87 Russian Journal of Ecology
88 Russian Journal of Electrochemistry
89 Russian Journal of Genetics
90 Russian Journal of Inorganic Chemistry
91 Russian Journal of Marine Biology
92 Russian Journal of Mathematical Physics
93 Russian Journal of Non-Ferrous Metals
94 Russian Journal of Nondestructive Testing
95 Russian Journal of Organic Chemistry
96 Russian Journal of Pacific Geology
97 Russian Journal of Physical Chemistry A
98 Russian Journal of Physical Chemistry B
99 Russian Meteorology and Hydrology
100 Russian Physics Journal
101 Siberian Mathematical Journal
102 Solar System Research
103 Solid Fuel Chemistry
104 Stratigraphy and Geological Correlation
105 Theoretical Foundations of Chemical Engineering
106 Theory of Probability and its Applications
107 Thermophysics and Aeromechanics
108 Water Resources
Большинство таких журналов являются переводными и выходят на русском и английском языках. Только небольшая часть не имеет русского варианта и издается сразу на английском
языке. Таблица 1 содержит названия журналов нашей выборки, которая включает основной массив изданий с учетом наших условий.
Необходимо сделать замечание, что наукометрические показатели WoS/Scopus за 2009-2011 годы являются окончательными и меняться не могут. В отношении данных из системы e-library это утверждать нельзя, поскольку методика расчета IF в РИНЦ разрешает периодическое обновление с учетом обработки новых данных, и все рассчитанные нами характеристики относятся к 23 марта 2013 г.
2.3. СТАТИСТИЧЕСКИЕ ПАРАМЕТРЫ ОТЕЧЕСТВЕННЫ1Х ЖУРНАЛОВ, ИНДЕКСИРУЕМЫХ В WOS/SCOPUS
Сравним импакт-факторы российских журналов из нашей выборки по параметрам IFWoS и ^РИНц для трех последних лет (рис. 2). Для каждого года построены линейные зависимости методом наименьших квадратов IFWoS = a•IFРИНц + b. Несмотря на значительный разброс точек аппроксимация МНК для 2009 и
2010 гг., имеем близкие зависимости. Систематическое отличие в 2011 г. наблюдается для всех параметров при использовании системы e-library. Основная причина связана с неполнотой данных по международным журналам, неиндексируемым в РИНЦ. Для 2011 года имеем систематическое занижение им-пакт-факторов в РИНЦ для журналов из выборки, цитируемость которых в существенной мере определяется англоязычными изданиями.
Средние значения для выборки (IFWoS) и (№рИНц) и коэффициенты линейной корреляции r(IFWoS, ^РИНц) приведены в таблице 2. Корреляция между параметрами IFWoS и ^РИНц хорошая. Наблюдаем особенность зависимости IFWoS(IFPrau) при небольших IFWoS (< 0,5) и высоких IFWoS (> 0,5) (см. рис. 2). В первом случае в среднем ^РИНц в два раза выше IFWoS. Для более высокорейтинговых журналов имеем IFWoS « ^РИНц и вклад в цити-руемость таких журналов слабо зависит от публикаций на русском языке.
1.2 -
0.8 -0.6 -
0.4 -
0.2 -
0
О 0.2 0.4 0.6 0.8 1 1.2
Рис. 2. Положения журналов на плоскости параметров IFWoS и ^РИНцдля 2009 г. (кружки синего цвета), 2010 г. (квадратики зеленого цвета), 2011 г. (красные крестики). Положения шести журналов с высокими IF выходят за границы графика, но учитываются в расчетах
Аналогичное сравнение параметров из баз данных РИНЦ и Scopus показано на рис. 3. Имеем более размытые распределения и зависимости /^с(/^РИНц) сильнее меняются по годам. Коэффициент корреляции лежит ближе к средней корреляции (см. таблицу 2). Неожиданными являются низкие значения IF по сравнению с IFWoS с учетом того, что система Web of Science индексирует примерно 8000 журналов, а Scopus - около 20000, причем большинство изданий из WoS учитываются и в Scopus.
На рис. 4 мы сравнили импакт-факторы журналов из нашей выборки IFS(: и IFWoS между собой. Подавляющее число точек лежит ниже прямой IFS(: = IFWoS, свидетельствуя в пользу большей полноты базы данных WoS для рассматриваемой выборки. Для средних значений импакт-факторов для всех журналов из WoS и Scopus также выполняется условие IFWoS/IFS(: « 2 (см. таблицу 2). Следует отметить более низкие показатели для российских журналов по сравнению со средними (в 3-4 раза) и медианными (в 2-3 раза) значениями IF для всех изданий,
индексируемых WoS/Scopus. Меньшее различие для медиан обусловлено большой долей журналов с малым импакт-фактором в обоих выборках.
1.2 -
0.8 -0.6 -0.4 -0.2 -0 -
0 0.2 0.4 0.6 0.8 1 1.2
Рис. 3. Положения журналов на плоскости параметров ^8с и ^ринц (обозначения как на рис. 2)
Рис. 4. Положения журналов на плоскости параметров Ш8с и IFWos (обозначения как на рис. 2)
Таблица 2. Статистические характеристики журналов по годам. Индекс «RUS» относится к выборке российский журна-
лов, индекс «ALL» — ко всей базе данных, в скобках указаны медианные значения
Показатель 2009 2010 2011 2009-2011
С^РИНц) 0,579 0,631 0,492 0,569
(IFWoS)RUS 0,531 (0,474) 0,515 (0,429) 0,536 (0,512) 0,527
(IFWoS)ALL 2,014 2,027 2,049 2,03
(1,296) (1,279) (1,304)
(IFSc)RUS 0,272 (0,2) 0,349 (0,26) 0,392 (0,24) 0,335
(IFso)aLL 1,041 (0,41) 1,127 (0,51) 1,191 (0,57) 1,120
(SJR)rus 0,225 0,267 0,280 0,256
(SJR)all 0,531 0,570 0,596 0,566
r(IFWoS, ^ринц) 0,86 0,85 0,87 0,86
r(IFSc, ^ринц) 0,74 0,58 0,80 0,71
r(IFWoS, IFsc) 0,80 0,61 0,95 0,79
r(SJR, IFsc) 0,84 0,92 0,75 0,84
2.4. ПО ЧЕМУ РОССИЙСКИЕ ЖУРНАЛЫ ИМЕЮТ НЕВЫСОКИЕ ИМПАКТ-ФАКТОРЫ?
Перечислим некоторые причины в среднем низких рейтингов российских журналов.
1. Даже российские издания, выходящие на английском языке, по сути, не являются международными, поскольку редакционные коллегии состоят за редким исключением из российских ученых, постоянно работающих в России. Большинство наших журналов являются ведомственными, когда основная часть редколлегии работает в одном институте или университете, а российская организация, выпускающая научный журнал, почти всегда обеспечивает львиную долю публикаций. В ряде изданий отечественных университетов в правилах (!) указано на преимущественную публикацию своих авторов. В отечествен-
ных журналах, выходящих на английском языке, чрезвычайно редко публикуются иностранные авторы.
Только один пример даже не национального журнала, а университетского «Electronic Transactions on Numerical Analysis» (индексируется WoS, находится в бесплатном доступе), который издается Kent State University (США). Среди 40 членов редколлегии в Кентском университете работают 2 ученых. Среди 27 статей, опубликованных в журнале в 2012 году, нет подготовленных в Кентском университете. Среди авторов имеем ученых из разных стран и организаций (в скобках указано число статей): США (6), Германия (5), Италия (3), Франция (3), Австрия (2), Греция (1), Испания (2), Польша (2), Бельгия (1), Индия (1), Иран (1), Китай (1), Португалия (1), Финляндия (1), Швеция (1).
2. Довольно значительный процент изданий из списков WoS/Science бесплатны для чтения в интернете. Многие международные журналы открывают бесплатный доступ по прошествии определенного срока (2-3 года). Российские журналы, индексируемые в WoS/Scopus, практически недоступны в бесплатном виде в интернете. Цена одной статьи составляет 30-40 $, и она сохраняется независимо от года публикации. Представляет интерес оценить результаты такой политики. Университетские библиотеки, подписываясь на журналы, все чаще в качестве критерия отбора ориентируются на IF журнала. В случае издания с невысоким импакт-фактором только бесплатный доступ может дать читателя.
3. Длинный производственный цикл выхода статьи, включая долгое рецензирование. Ситуация начинает меняться с появлением отечественных электронных журналов, но среднее время выхода статьи в журналах MAIK выше, чем в зарубежных журналах сопоставимого объема. Увеличение интервала между датой подачи работы и ее выходом, очевидно, уменьшает IF (в предельном случае при сроке выхода в 3 года ни одна ссылка из такой статьи не будет учитываться при подсчете импакт-факторов журналов). Многие издания делают доступной электронную версию статьи сразу после ее принятия до выхода печатной версии и даже до присвоения
полных выходных данных. Такая практика для журналов из таблицы 1 нам не известна.
4. До сих пор встречаются ограничения на число рисунков и требование делать их черно-белыми. Подавляющее число читателей знакомятся со статьей за экраном компьютера, обходясь электронной версией, поэтому многие международные журналы сохраняют цветные иллюстрации для электронных версий работ. Здесь же следует отметить использование Word для подготовки издания вместо TeX.
5. Традиция писать очень краткие аннотации (объемом до 100 символов), часто основанные на двух предложениях: «В работе рассмотрено ... . Получено ... .». При современных объемах научной литературы качество аннотации часто определяет, будет ли прочитана данная статья.
6. Как правило, выполняется условие: чем меньше статей публикует журнал за год, тем меньше его импакт-фактор.
3. Научное индексирование российских ученых в различных базах данных
3.2. ОСОБЕННОСТИ ФОРМИРОВАНИЯ БАЗЫ ДАННЫХ E-LIBRARY
Подчеркнем, что РИНЦ и база данных системы e-library различаются, поскольку последняя помимо журналов, входящих в РИНЦ, содержит: 1) иные русскоязычные журналы (включая научно-популярные, рекламно-информационные); 2) непериодические издания на различных языках (монографии, учебники, пособия и т.п.); 3) зарубежные журналы на иностранных языках, издатели которых в обозримом будущем не планируют процедуру вхождения в РИНЦ. Зафиксируем, что e-library учитывает и ненаучную литературу. Хотя ее относительная доля может быть невелика, но известны примеры изменения индекса цитируемости в десятки и даже сотни раз.
Системы WoS/Scopus построены на данных жестко ограниченного списка изданий. Если ученый А имеет значение NWos, то мы знаем, сколько он имеет публикаций в журналах из строго
определенного перечня. В случае e-library на главной странице поиска «Авторский указатель» выдается общее число проиндексированных документов и ссылок на них из любых источников. В принципе, в результате дополнительных запросов можно получить данные по РИНЦ и списку ВАК, но в этом случае будут потеряны данные от зарубежных журналов.
На наш взгляд большой ошибкой является включение монографий, пособий, разовых сборников (фактически, любых текстов) в базу для расчета количества публикаций, цитирования, индекса Хирша. Такой подход противоречит международной практике, в частности, основанной на WoS, Scopus, Citation Database for Japanese Papers (CiNii, Япония), Chinese Science Citation Database, Chinese Sci-Tech Paper and Citation Statistical Database (Китай), Taiwan Humanities Citation Index, европейской Euro-Factor. Пожалуй, только Google Scholar учитывает документы помимо научных журналов, что связано со спецификой работы данного веб-сервиса.
3.3. СРАВНЕНИЕ ПОКАЗАТЕЛЕЙ ДЛЯ ВЫБОРКИ УЧЕНЫХ
Среди значительной части научного сообщества принято критиковать систему e-library с самых различных позиций.
Мы видели при сравнении WoS и Scopus (см. рис. 4), что значения импакт-факторов журналов, основанных на подсчетах числа цитирований, заметно разнятся. Неудивительно, что различаются соответствующие наукометрические показатели Nwos, Nso, Cwos, Cso, Hso, Hwos и для конкретного научного работника. Даже для ученых с первой публикацией после 1996 года (год полноты Scopus) имеем расхождения. Как правило, WoS дает более высокие показатели для фундаментальных дисциплин. В случае прикладных направлений параметры Scopus оказываются выше. Но это правило может нарушаться в каждом конкретном случае - расхождения могут быть значительными, например, отличаться в два раза.
Одна из проблем при расчете наукометрических показателей ученого связана с трудностями привязки конкретной статьи с данным лицом. Трудности обусловлены изменениями места
работы, одновременным наличием нескольких аффиляций и написаний фамилии и имени. В системе Scopus эта проблема решается лучше, чем в WoS (полнота с начала 60-х годов). Это обусловлено формированием списка ученых средствами самой поисковой системы.
Качество результата запроса в e-library (полнота с 2006 года) в первую очередь определяется наличием регистрации ученого и тем, насколько оперативно и добросовестно отнесся он к процедуре выбора своих работ и ссылок на них (например, фамилия Петров может потребовать анализа нескольких тысяч источников). Появление e-library имеет объективные основания, связанные с традицией писать научные тексты на родном языке. Аналогичные системы развивают в ряде стран (см. п. 3.2), например, в Китае имеется две базы данных Chinese Science Citation Database и Chinese Sci-Tech Paper and Citation Statistical Database [24].
Система e-library прошла стадию первичного накопления данных и можно начинать практику ее использования для получения наукомерических характеристик как ученого, так и отечественного журнала. Проверим, насколько данные e-library согласуются с данными Scopus. Следует выбрать ученых в рамках одного научного раздела, который был бы хорошо представлен в Scopus и e-library. Выберем астрономию, для которой имеется специальный раздел в e-library, что не потребует ручного выделения, как в случае других физических специальностей. Данное направление хорошо представлено в международных журналах на английском языке. Scopus индексирует основной массив международных астрофизических изданий, включая российские журналы из таблицы 1. Исключением является только Astrophysical Bulletin.
Из общего числа 1610 человек, находящихся в этом разделе, ограничимся 200 учеными, имеющими наибольшее число публикаций Nel. Дополним этот список теми, кто зарегистрирован в системе и имеет Nel > 20 и С^ > 100. Общее число персон в нашей выборке равно 263. Выбранный критерий обеспечивает и достаточно высокие значения NSc и CSc из базы данных Scopus.
Для этой выборки сравним параметры Nel, Cel, Hel по e-library с величинами NSc, CSc, HSc из Scopus для одного и того же ученого. Отдельно будем учитывать 84 ученых, зарегистрированных в системе e-library. На рис. 5 приведены значения параметров, показывающих, что число статей на одного ученого из выборки в e-library в среднем в два раза меньше, чем по Scopus. Система e-library также недооценивает цитируемость.
Рис. 5. Положения ученых на плоскости параметров (NSc, Nel) и (CSc, Cel) (красный цвет - полная выборка, черный - только зарегистрированные в e-library). Прямые линии - аппроксимация МНК. Для всей выборки r(Nel, NSc) = 0,83; r(Cel, CSc) = 0,81. Для Р.А. Сюняева и Д.Д. Соколова значения их параметров выходят за границы рисунков
Индекс Хирша в среднем по выборке слабо отличается в системах e-library и Scopus (рис. 6) при высоком уровне корреляции r(#el, Hsc) = 0,90.
Если сравнивать данные e-library и Scopus для авторов с малым числом публикаций и цитирований (Nel < 20 и Cel < 100), то корреляция существенно ухудшается. Предварительное сравнение для представителей других научных разделов по теоретической физике, физике твердого тела, химической физике, чистой математике (pure mathematics) показывают близкие результаты.
Рис. 6. Положения ученых на плоскости параметров (Щс, Не) (обозначения, как на рис. 2)
3.4. ДИНАМИКА НАУКОМЕТРИЧЕСКИХ ПОКАЗАТЕЛЕЙ
Структура мировой науки претерпевает быстрые и существенные изменения, легко отслеживаемые временными зависимостями наукометрических характеристик.
На рис. 7 показано изменение цитируемости за последние 15 лет для РФ в сравнении с некоторыми странами по данным Scopus (ресурс www.scimagojr.com). Отличительной особенностью России является отсутствие заметного роста CSc на протяжении всего интервала наблюдений Scopus. Такое поведение встречается преимущественно у слаборазвитых стран с CSc < 1000. Отметим, что Китай обогнал Россию в 1998 году и в 2011 году его цитируемость достигла 365 421, быстро приближаясь к показателю США - 471 524.
Рис. 7. Цитируемость CSc (тысяч ссылок) для различных стран в период 1996-2011 гг.
4. Заключение
Использование международных баз данных для определения наукометрических показателей в наибольшей степени способствовало бы сохранению потенциала отечественной науки. Однако поскольку WoS/Scopus охватывают 2-10 % от научных работников, то создание национальной базы данных РИНЦ на основе e-library, несмотря на все проблемы, связанные с неполнотой и способом формирования данных (индексирование из любых источников), является важным положительным шагом в сохранении российской науки.
Анализ перечней WoS/Scopus за разные годы показал заметные потери отечественных журналов в этих системах. Имеются примеры, когда потери произошли не в начале 90-х годов, а существенно позже. Например, Industrial Laboratory (Заводская лаборатория) в 2000 г вышла из WoS; «Membrane and Cell Biology» в 2001 г; журнал «Кардиоваскулярная терапия и про-
филактика» вошел в WoS в 2010 г с результатом IF = 0 и в 2011 г уже не индексировался.
Статистика импакт-факторов IF для выборки так называемых переводных отечественных журналов показала отставание в формировании данных e-library на 1 год. Величина IF журналов может сильно разниться при использовании разных баз данных. По нашей выборке журналов в среднем импакт-фактор Scopus в
2 раза ниже, чем по базе данных WoS, - этот эффект наблюдается и по всему массиву индексируемых журналов.
Импакт-фактор РИНЦ имеет в 2011 году значение в среднем ниже, чем в 2009 и 2010 годах. Для рассмотренной выборки журналов эта разница составляет примерно 20-25%, несмотря на значительное увеличение числа индексируемых источников в
2011 г. Этот эффект отсутствует в базах данных WoS и Scopus. На протяжении трех последних лет средние импакт-факторы IFWoS и IFSc по выборке российских журналов не изменились, что на фоне роста показателей других стран (см., например, рис. 7) представляется тревожным фактом. Имеется характерная статистическая особенность расположения журналов на плоскости параметров (IFWoS, ^РИНц): чем меньше рейтинг журнала по IFWoS, тем сравнительно выше у него ^РИНц. У журналов с высоким импакт-фактором WoS (IFWoS > 0,5), как правило, относительная разница между IFWoS и уменьшается.
Точка зрения о высоком уровне современной российской науки в целом не подтверждается на примере переводных журналов. Разумеется, имеются журналы и отдельные направления, сохраняющие высокий уровень.
Российские журналы, индексируемые WoS/Scopus, имеют импакт-факторы ниже в среднем в 2-3 раза по сравнению с показателями для всей выборки. По-видимому, за счет организационных решений можно сократить данное отставание. Отличительной особенностью наших журналов является их реальный немеждународный статус из-за небольшой доли зарубежных ученых в редколлегиях, практически отсутствия зарубежных авторов, пишущих только на английском языке. Не улучшает ситуацию, что большинство переводных журналов в интернете
доступно только на платной основе. Отметим, что журналы с высоким IF - «Успехи физических наук», «Astrophysical Bulletin», «Геотектоника», «Журнал экспериментальной и теоретической физики», «Геология и геофизика», «Успехи химии» -бесплатно доступны по крайней мере на русском языке, либо цена статьи в системе e-library в несколько раз дешевле, чем стандартная цена в 30-40 $. Безусловно, никакие организационные мероприятия не могут заменить высокое качество работ.
Необходимо особо указать на преимущество изданий, в которых статьи доступны в интернете на бесплатной основе. В качестве довода укажем на два факта. Электронные журналы, например, «Вычислительные методы и программирование», «Сибирские электронные математические известия», European Researcher показывают быстрый рост своих показателей в РИНЦ. Для международных электронных журналов этот вопрос требует отдельного рассмотрения, но быстрое (за 3-4 года) массовое вхождение в базы WoS/Scopus электронных изданий издательских домов «Hindawi Publishing Corporation», «WSEAS», «Academy Publisher», «Hikari Ltd», «Academic Journals» указывает на востребованность электронных журналов. Вторым является пример астрофизических журналов из таблицы 1, которые имеют сравнительно высокий импакт-фактор в немалой степени благодаря системе ADS (Astrophysics Data System), которая привязывает препринты из arXiv.org с соответствующими работами из журналов. В результате читателю доступны тексты даже в случае отсутствия подписки на журнал.
Состояние российского образования и, как следствие, науки, ухудшается на протяжении многих лет. С учетом сильной инерционности этих институтов (школа - вуз - наука) эта тенденция будет сохраняться определенное время при любых изменениях правил игры. Однако внедрение сверху количественных показателей будет способствовать повышению интенсивности научной работы, заканчивающейся публикацией в журнале, формированию сложных научных коллективов с участием зарубежных коллег, привлечению молодых людей в науку. Из опыта работы в университете видно, с каким энтузиазмом сту-
денты вовлекаются в исследование, которое в ближайшем будущем может привести к публикации в журнале, что в свою очередь даст возможность участвовать в заявках на гранты и т.п. Учет наукометрических показателей уже внедрен в системе РАН в рамках ПРНД (показатель результативности научной деятельности). В университетах эта работа только начинается.
Разумеется, требование публикаций приведет к дополнительной генерации к уже имеющемуся большому числу текстов низкого уровня, особенно, в педагогических и некоторых гуманитарных, информационных, социально-экономических областях. Решение проблемы отделения «зерен от плевел» потребует кропотливой и долгой работы повышения качества научных журналов.
Литература
1. АЛЕСКЕРОВ Ф.Т., КАТАЕВА ЕС., ПИСЛЯКОВ ВВ., ЯКУБА В.И. Оценка вклада научных работников методом порогового агрегирования // Управление большими системами. - 2013. - № 44 - С. 172-189.
2. ВОРОНИН А.А. Какая эффективность нужна российской науке // Управление большими системами. - 2013. - № 44 -С.56-66.
3. ДОБРОВ Г.М. Наука о науке. Введение в общее науковедение. - М.: Наука, 1966. - 271 с.
4. ДОБРОВ Г.М. Прогнозирование науки и техники. - М.: Наука, 1977. - 209 с.
5. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике) - М.: МЦНМО, 2011. -72 с.
6. КАПИЦА П.Л. Столетие «Журнала экспериментальной и теоретической физики» и роль журналов в развитии науки // Успехи физических наук. - 1973. - Т. 111, №11. -С. 535-543.
7. НАЛИМОВ В В., МУЛЬЧЕНКО З.М. Наукометрия. Изучение развития науки как информационного процесса. - Москва, 1969. - 192 с.
8. ОРЛОВ А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами. - 2013. - № 44 - С. 32-54.
9. ADLER R.J. The impact of impact factors // Bulletin IMS. -2007. - Vol. 36, №5. - P. 5.
10. ADLER R., EWING J., TAYLOR P. Citation Statistics // Statistical Science. - 2009. - Vol. 24, №1. - P. 1-14.
11. ANNIBALDI A., TRUZZI C., ILLUMINATI S., SCAR-PONI G. Scientometric analysis of national university research performance in analytical chemistry on the basis of academic publications: Italy as case study // Analytical and bioanalytical chemistry. - 2010. - Vol. 398, №1. - P. 17-26.
12. DIEM A., WOLTER S.C. The Use of Bibliometrics to Measure Research Performance in Education Sciences // Research in higher education. - 2013. - Vol. 54, №1. - P. 86-114.
13. EGGHE L. Theory and practice of the g-index // Scientometrics.
- 2006. - Vol. 69, №1. - P. 131-152.
14. FU H.-ZH., HO Y.-S. Independent research of China in Science Citation Index Expanded during 1980-2011 // Journal of informatics. - 2013. - Vol. 7, №1. - P. 210-222.
15. GARCIA-PEREZ M.A. An extension of the h index that covers the tail and the top of the citation curve and allows ranking researchers with similar h // Journal of informatics. - 2012. -Vol. 6, №4. - P. 689-699.
16. GLANZEL W. On reliability and robustness of scientometrics indicators based on stochastic models. An evidence-based opinion paper // Journal of informatics. - 2010. - Vol. 4, №3. -P. 313-319.
17. GOTTSCHALK CH.M., DESMOND W.F. Worldwide Census of Scientific and Technical Serials // American Documentation.
- 1963. - Vol. 14, №3. - P. 188-194.
18. HIRSH J.E. An index to quantify an individual’s scientific research output // Proc. National Academy of Sciences USA. -2006. - Vol. 102, №46. - P. 569-573.
19. JACSO P. Comparison of journal impact rankings in the SCI-mago Journal & Country Rank and the Journal Citation Reports databases // Online information review. - 2010. - Vol. 34, №4. - P. 642-657.
20. PISLYAKOV V., DYACHENKO E. Citation expectations: are they realized? Study of the Matthew index for Russian papers published abroad // Scientometrics volume. - 2010. - Vol. 83, №3. - P. 739-749.
21. SHAO, JU-FANG, SHEN HUI-YUN. Research assessment and
monetary rewards: the overemphasized impact factor in China // Research evaluation. - 2012. - Vol. 21, №3. -
P.199-203.
22. TATAVARTI R., SRIDEVI N., KOTHARI D P. Assessing the quality of university research - RT facto r // Current science. -2010. - Vol. 98, №8. - P. 1015-1019.
23. WINNIK S., RAPTIS D.A., WALKER J.H. From abstract to impact in cardiovascular research: factors predicting publication and citation // European heart journal. - 2012. - Vol. 33, №24. - P. 3034-3045.
24. WU Y., PAN Y., ZHANG Y., MA Z., PANG J., GUO H., XU B., YANG Z. China Scientific and Technical Papers and Citations (CSTPC): History, impact and outlook // Scientometrics. - 2004. - Vol. 60, №3. - P. 385-397.
SCIENTIFIC JOURNALS AND EFFICIENCY OF SCIENTIFIC WORK: SEARCH SYSTEMS AND DATABASES
Julia Savelieva, Volgograd State University, Volgograd (721987@bk.ru).
Alexander Khoperskov, Volgograd State University, Volgograd (khoperskov@volsu. ru).
Abstract: Problems of scientometric indicators application to research performance assessment are discussed. We compare the impact factors of Russian journals using the database of scholar search systems Scopus, Web of Science and e-library and show that they are two times lower in average than those for the full sample. We consider some reasons for such a poor average result of Russian journals. Statistical analysis shows that high values of researcher’s scientometric indicators in international bibliographic and reference databases correlates with high values of those indicators in e-library.
Keywords: scientometric indicators, statistical analysis of distributions, correlation, e-library, Web of Science, Scopus.
Поступила в редакцию 01.04.2013.
Опубликована 31.07.2013.
