CC BY
205
Сибирские исторические исследования. 2016. № 1
НАУКОМЕТРИЯ В ОЦЕНКЕ ТВОРЧЕСТВА
УДК 001.35
DOI: 10.17223/2312461X/11/2
НАУКОМЕТРИЯ В ОЦЕНКЕ КАЧЕСТВА ПУБЛИКАЦИЙ В СОЦИАЛЬНЫХ И ГУМАНИТАРНЫХ НАУКАХ*
Дмитрий Анатольевич Функ
Аннотация. В статье рассматриваются международная и российская практики использования количественных показателей в оценке публикационной активности ученых. Анализируются критерии оценки качества журналов и самих публикаций, включения их в признанные международные базы индексируемых научных изданий, а также (не)представленность российских научных журналов в базах ERIH PLUS и Scopus. Дается анализ публикационной активности российских ученых в РИНЦ. Указывается на отсутствие, в ряде случаев, критериев оценки качества или их неадекватность современным требованиям в отечественной практике и, как следствие, несоответствие российской наукометрической оценки качества научной работы международным стандартам. Подчеркиваются необходимость критического осмысления отдельных аспектов формирования и использования систем индексирования журналов и рейтингов для оценки научной продуктивности, а также важность комплексного подхода при такой оценке. Приводится ряд рекомендаций.
Ключевые слова: оценка научной деятельности, публикационная активность, наукометрия, Перечень ВАК, ERIH PLUS, Scopus, РИНЦ, Web of Science
В последние 5 лет российское научное сообщество охватила наукометрическая лихорадка: в попытке найти способ реформировать науку и усилить ее конкурентоспособность на мировом уровне внимание - в первую очередь, управленцев от науки - было обращено на существующие в ряде стран практики использования количественных показателей публикационной активности ученых. То, что не во всех странах есть такая практика или что она используется не столь прямолинейно (или и вовсе запрещена), замечено не было, в итоге получилось то, что я попытаюсь охарактеризовать ниже.
Основой для написания статьи послужил, прежде всего, собственный опыт работы (частично отраженный, напр., в Функ 2015: 38-44) с наукометрическими показателями, журнальными и иными базами дан-
* Исследование выполнено в рамках проекта «Общественный статус ученого и наукометрическая оценка научной деятельности» (при реализации проекта использовались средства государственной поддержки, выделенные в качестве гранта в соответствии с распоряжением Президента Российской Федерации от 01.04.2015 №79-рп и на основании конкурса, проведенного Фондом ИСЭПИ).
ных и системами индексирования журналов, а также в качестве автора и редактора (или члена редколлегии) ряда отечественных и зарубежных антропологических журналов. Я благодарен также руководству проекта «Общественный статус ученого и наукометрическая оценка научной деятельности» за предоставленную мне в 2015 г. возможность вернуться к осмыслению этой проблемы.
Списки «правильных» журналов
Попытки отслеживать качество журнальных публикаций стали активно предприниматься в России 15 лет назад путем составления так называемого Перечня Высшей аттестационной комиссии (ВАК) (см. Бюллетень ВАК. 2002. № 1). Список журналов, в котором соискателям ученых степеней следовало публиковать результаты своих исследований, постоянно менялся, однако критерии включения тех или иных журналов в данный перечень никогда не отличались особой строгостью и потому в нем всегда обильно были представлены местечковые университетские Вестники и Известия, представлявшие географию всей страны. Недавние устрожения правил подачи и рассмотрения заявок на включение журналов в Перечень ВАК коснулись, на мой взгляд, лишь формальной стороны оформления заявки и никак не затронули вопрос о качестве самих изданий. Чуть огрубляя реальное положение дел, можно говорить о том, что критерии качества журналов и качества публикуемых в нем материалов при формировании списка НЕ используются.
В Европе также существует оценка качества журналов, выражающаяся в итоге в создании перечней, но она все же совершенно иная по принципам отбора журналов. Впервые список (индекс) качественных журналов в области гуманитарных исследований был опубликован Европейским научным фондом (ESF) в 2008 г. В 2014 г. эта база была существенно расширена за счет журналов, публикующих статьи по социальным наукам, и стала называться The European Reference Index for the Humanities and the Social Sciences (ERIH PLUS). Минимальные требования к включению периодического издания в эту базу включают следующие пункты (https://dbh.nsd.uib.no/publiseringskanaler/erihplus/about/ criteria_for_inclusion):
1. Прозрачная процедура внешнего рецензирования (Explicit procedures for external peer review).
2. Научная редколлегия с членами, аффилированными с университетами или иными независимыми исследовательскими организациями (Academic editorial board, with members affiliated with universities or other independent research organizations).
3. Действительный ISSN код, подтвержденный включением в международный регистр ISSN (Valid ISSN code, confirmed by the international ISSN register).
4. Все оригинальные статьи должны сопровождаться резюме на английском и / или ином международном языке, важном для данной области исследования (All original articles should be accompanied by abstracts in English and / or another international language relevant for the field).
5. Наличие информации об аффилиации авторов и их адресах (Information on author affiliations and addresses).
6. Не более двух третей авторов, публикующихся в журнале, могут быть из той же самой организации (что и организация, к которой приписан журнал) (No more than two thirds of the authors published in the journal are from the same institution).
Последний пункт, пожалуй, является наиболее сложным для значительной части российских научных журналов, поскольку они нередко являются изданиями, приписанными и реально обслуживающими интересы какой-то одной определенной научной / учебной институции, и потому обычно вынужденно публикуют или даже осознанно стараются публиковать лишь «своих» авторов. Как результат (отчасти и результат невнимания к данной базе) - российских журналов в ней ничтожно мало.
Например, на сегодняшний день1 в разделе «история» из 1 220 журналов числится всего 9 российских (это всего 0,7%): Вопросы истории (Москва, РАН), Вестник древней истории (Москва, РАН), Исторический журнал: научные исследования (Москва, Nota-bene), Электронный научно-образовательный журнал «История» (Москва, ГАУГН / РАН), Современные проблемы сервиса и туризма (пос. Черкизово Моск. обл., изд-во РГУТиС), Вестник Томского государственного педагогического университета (Томск, ТГПУ), Вестник Новосибирского государственного педагогического университета (Новосибирск, НГПУ), Ученые записки Казанского университета. Серия Гуманитарные науки (Казань, КГУ) и Вестник Нижневартовского государственного университета (Нижневартовск, ун-т).
Один из худших результатов у наших журналов - в категории classical studies (297 журналов), где из российских представлены всего 2: это проходящий также в категории «история» Вестник древней истории (Москва, РАН) и Вестник Православного Свято-Тихоновского гуманитарного университета. Серия 3: Филология (Москва, ПСТГУ).
Аналогичная с «историей» картина с археологическими журналами. Из 491 журнала - лишь 3 российских (0,6%): Российская археология (Москва, РАН), Ученые записки Казанского университета. Серия Гуманитарные науки (Казань, КГУ) и Вестник Новосибирского государственного педагогического университета (Новосибирск, НГПУ).
Чуть лучше ситуация с антропологическими периодическими изданиями. Из 335 журналов по «антропологии» (антропология, этнология, этнография) в базе ERIH PLUS числятся 4 российских журнала (1,2%):
Этнографическое обозрение (Москва, РАН), Social evolution & history (Волгоград, изд-во «Учитель»), Философия и культура (Москва, Notabene) и Сибирские исторические исследования (Томск, ТГУ).
Поскольку база ERIH PLUS не является исключительно европейской (она ориентирована на весь журнальный академический рынок), то, думается, есть смысл рекомендовать и редакциям журналов, и вузам, и фондам ориентироваться как на включение в нее, так и - что даже более важно - на использование критериев этой базы в оценке своих научных изданий. Можно отметить, что внимание к данной базе было проявлено, по крайней мере, одним из российских фондов - РГНФ: в информации о публикациях руководителя и участников проекта количество публикаций в журналах из базы ERIH необходимо было указывать отдельной строкой.
Полагаю, что учет Высшей аттестационной комиссией хотя бы части требований базы ERIH PLUS при составлении списка рекомендуемых (=качественных) российских журналов помог бы существенно изменить подход к определению качественных журнальных площадок для обсуждения научных результатов в области гуманитарных исследований и социальных наук2.
Страсти по Scopus, или Какой журнал является «хорошим»?
Одной из наиболее известных в современном научном мире является база научных публикаций Scopus (www.scopus.com), функционирующая при поддержке издательского дома Elsevier. Порой даже среди экспертов встречается скепсис по этому поводу, поскольку издательство очевидно заинтересовано в продвижении своей продукции и потому-де в собственных рейтингах будет заведомо «подсуживать» своим изданиям. Так как доказательств этого пока не найдено, есть смысл исходить в представлении возможностей использования этой базы для оценки качества работы гуманитариев и исследователей в области социальных наук просто из анализа критериев отбора журналов в эту базу и критериев рейтинга журналов, предлагаемых Scopus (http://www.scimagojr.com).
Для представления ситуации в России начнем с простого подсчета. Из числа российских журналов, которые у нас в стране проходят по разделу «История. Исторические науки», лишь 8 индексируются в Scopus (рис. 1).
7 из них (за исключением Social Evolution & History) входят также в Перечень ВАК, а 6 (за исключением Ab imperio и Archaeology, Ethnology and Anthropology of Eurasia) числятся в базе РИНЦ. Надо заметить также, что журнал Санкт-Петербургского университета Studia Slavica et Balcanica Petropolitana, хотя и входит, наверное, в Scopus, но пока в этой базе еще не индексируется.
Что дает вхождение в эту (одну из заветных, наряду с Web of Science) базу? Как известно, Scopus осуществляет оценку ведущих мировых журналов в самых различных областях знания, используя разнообразные критерии оценки: научное влияние статей журнала (SJR индикатор), соотношение цитирования и самоцитирования за последние 3 года, соотношение цитируемых и нецитируемых публикаций, международное сотрудничество и др. Получаемый в итоге рейтинг Scopus распределяет все журналы в той или иной категории на 4 группы, от Q1 до Q4 (от первой до четвертой квартили).
да
Журнал
Вып. Публ.
Цит.
1.
2.
3.
5.
7.
8.
Q Ab imperio
□ Archaeology, Ethnology and Anthropology of Eurasia
МАИК "Нэукэ/Интерпериодикэ"
□ Social Evolution & History
Издательство "Учитель"
□ Studia Slavics et Bakanica Petropolitana
Санкт-Петербургский государственный университет
Былые годы. Российский исторический журнал
Сочинский государственный университет
□ Новый исторический вестник
ООО "Издательство Ипполитова"
□ Российская история
Академический научно-издательский, производственно-полиграфический и книгораспростргнительский центр Российской академии наук "Издательство "наука"
□ Этнографическое обозрение
Академический научно-издательский, производственно-полиграфический и книгораспространительский центр Российской академии наук "Издательство "Наука"
61 1353 d. 2222
56 562 J. 937
25 214 d. 696
15 252 d. 257
40 559 d. 1150
50 723 d. 1481
226 2756 d. 18009
255 2015 di 30618
Рис. 1. Российские журналы в категории «История. Исторические науки», включенные в базу Scopus (по данным eLIBRARY.ru на 10.03.2016 г.)
В качестве примера возьмем одну из социальных (sic!) наук - антропологию (этнологию / этнографию).
В этой категории из 276 журналов, индексировавшихся Scopus в 2014 г. (рис. 2), значились лишь 2 российских, и оба они находились лишь в 4-й квартили: Social Evolution & History (218-е место) и Этнографическое обозрение (275-е место). В целом по странам картина выглядит (для России, равно как и всего постсоветского пространства) весьма удручающе. Из 276 антропологических журналов 192 (70%) приходятся на долю всего 5 стран: США (96), Великобритании (65), Франции (11), а также Нидерландов и Германии (по 10).
Title Туре SJR H index Total Docs. (2014) Total Docs. (3years) Total Refc. Total Cites (3years) Citable Docs. |3years) Cites / Doc. (2years) Ref. / Doc. Country
1 Journal of Peasant ^ Studies 3,9B2 36 63 141 4.654 75B 130 5,21 73,B7 EH
^ Journal of Consumer . Research 3,9B0 109 B5 245 5.117 B96 234 3,43 60,20 Ш
3 American Ethnologist j Q 2,275 45 50 154 З.ОВ4 359 142 2,66 61,6B Ш
^ Human Communication . -. Research ■■ 2,137 54 36 6B 1.B34 176 65 2,26 50,94
5 Cultural Anthropology j Q 1,960 45 36 124 1.456 233 113 1,74 40,44 Hi
6 Current Anthropology j ^ 1,B62 67 114 26B 6.635 69B 219 2,67 55,20 m
Evolutionary Anthropology 1,73 a 62 43 101 1.200 252 7B 3,04 27,91 @г
^ Journal of Agrarian Change ^ ■■ 1,652 32 29 B2 1.714 131 31 2,40 59,10
n Annual Review of - --, 9 k L^J Anthropology 1,639 7B 32 91 3.962 29B 90 3,0fl 123,81 is
10 Social Networks j ^ 1,634 61 42 157 2.225 393 153 2,50 52,9B s
^ Journal of Marriage and ^ Family 1,542 107 71 249 3.B39 521 241 1,90 54,07 ЁН
Journal of the Royal 12 . i Anthropologicallnstitute ■■ 1,2B3 3fl 43 1B2 1.700 233 149 1,50 41,40 га
13Anthropological Theory j ^ 1,2B2 27 25 65 1.29B 99 63 1,3B 51,92 га
14 Social Forces j ^ 1,244 B6 46 1B3 2.956 321 17B 1,41 64,26 m
Journal of Cross-Cultural 15 j Psychology 1,175 74 102 24B 5.226 56B 240 2,03 51,24 Si
^ ^ Consumption Markets m and Culture ■■ 1,131 9 41 59 1.B49 92 56 1,44 45,10 m
17 Discourse Studies j ^ 1,123 27 34 115 1.550 13B 112 1,40 45,59
13 Human Nature j Q 1,090 47 44 75 2.439 171 73 2,36 55,43 m
.„American Journal of 19 ] Physical Anthropology 1,024 31 219 626 14.567 1.2B0 570 2,15 66,52 is
Рис. 2. Фрагмент первой страницы рейтинга индексируемых журналов в области антропологии (категория «Social Sciences»), по данным SciMago за 2014 г. (http://scimagojr.com)
Отмечу также, что включение журнала в Scopus не означает автоматически его индексирование. Для этого тексты журнала должны быть оформлены соответствующим образом и загружены в базу Scopus. Так, например, журнал Этнографическое обозрение, включенный в базу Scopus в 2011 г., именно по причине ненадлежащего оформления своих статей и непредставленности полных текстов в базе начал индексироваться лишь с 2014 г. (впрочем, в этом году сведения о его индексировании появились задним числом сразу за весь период пребывания в Scopus, начиная с 2012 г.).
Процесс отбора журналов для включения в Scopus - длительный и сложный. По собственному опыту и результатам опроса ряда коллег, подававших заявки в эту базу, могу сказать, что от момента подачи заявки до первого шага (Validated) на пути оценки журнала (всего этих
этапов / шагов - 6) может пройти от 5 до 12 месяцев, при том что в первом письме от Scopus - после направления им заявки - утверждается, что в среднем весь процесс оценки занимает от 6 до 12 месяцев (рис. 3).
SCOpUS TITLE eval ..ation Track l,:¡
Siberian Historical (2212--1&1X / Zill-IEIE]
5uhmii i ian Raciiirad
Enri: hmint in proflru ■
Cnri: hminL zamplatid
A
R.udv ta От ralaoi ad ta CSAE
é
Lindar г www bf the
О
R.«vÍBw = ampíate
О
Рис. 3. Отражение динамики оценки журнала в Scopus (на примере журнала Сибирские исторические исследования; по состоянию на 10.12.2015 г.)
Интерес к публикациям в журналах, индексируемых Scopus, растет в России, что хорошо видно по анализу динамики встречаемости названия этой библиографической базы на официальных сайтах российских вузов. По материалам коллег по проекту «Общественный статус ученого и наукометрическая оценка научной деятельности», наибольшие темпы роста интереса к этой базе в 2012-2015 гг. демонстрировал Томский государственный университет (по числу упоминаний - на 4-м месте среди 7 вузов, чьи данные подвергались анализу), на сайте которого встречаемость этого термина за рассматриваемый период выросла в 3,9 раза. Можно отметить и резкий количественный скачок в МГУ между 2014 и 2015 гг.: по этому показателю (на данном временном отрезке) университет безоговорочно лидировал на российском пространстве.
Ежегодно публикуемый рейтинг Scopus (www.scimagojr.com) служит важным подспорьем для исследователей, ориентированных на международное представление результатов своих работ, в идентификации наиболее значимых в научном мире журналов. Именно в редакции этих изданий отправляют они свои тексты в расчете на видимые «здесь и сейчас» дивиденды либо на отсроченную во времени пользу от признания тебя равным «небожителям» соответствующего (антропологического, например) Олимпа, что в итоге может привести, скажем, к получению post-doc или еще каким-то бонусам. Очевидно, что журналы из 1-й квартили являются более значимыми, чем журналы из 4-й. Однако здесь не все так просто. Порой высокое место в этом рейтинге не является залогом высокого качества или престижности журнала в научном сообществе, равно как и наоборот - «аутсайдеры» не всегда являются журналами средней руки (заведомо плохие журналы в Scopus встречаются редко, впрочем, они со временем либо становятся лучше, либо просто вылетают из этой базы как несоответствующие ее высоким требованиям). И это важно учитывать, особенно если речь идет о механическом подсчете числа публикаций некоего автора в журналах из 1-, 2-, 3- или 4-й квартилей.
Три примера.
Одним из самых, казалось бы, престижных в антропологическом сообществе должен быть официальный журнал Американской антропологической ассоциации (AAA) American Anthropologist. В рейтинге Scopus этот журнал идет на 31-м месте: он, безусловно, в 1-й квартили. Любопытно, однако, что на страницах этого журнала мы не обнаружим целого ряда топ-имен современной антропологии. Объяснения (кулуарные) этому - самые разные, но факт остается фактом: ответ на вопрос о престижности публикации в данном журнале каждый из антропологов ищет для себя сам.
Другой пример - индийский журнал Anthropologist из 2-й квартили (133-е место в 2014 г.). Это платный журнал, зарабатывающий также на special volumes, дополнительных выпусках журнала, которые форми-
руются из текстов участников конференций «обо всем», широко известных своей организацией в курортных местах. Публикацию в такого рода академическом издании, скорее, можно считать минусом в карьере начинающего ученого, нежели успехом.
И последний пример. Порой не только отсутствие индексирования какого-либо журнала, но и непредставленность его в базах Scopus или Web of Science не являются свидетельством его низкого научного уровня. Если посмотреть на место американского журнала Anthropology and Archeology of Eurasia (это журнал из core collection Web of Science) в рейтингах Scopus в сравнении с одним из основных «источников вдохновения» данного журнала (напомню, это переводной журнал), журналом Этнографическое обозрение, то окажется, что в 2013 г. оба они были в 4-й квартили, занимая, соответственно, 216-е и 261-е (последнее!) места, а в 2012 г. - 184-е (это позволяло журналу на английском языке входить в 3-ю квартиль) и 246-е (из 248). Если же принять во внимание тот факт, что порой оба номера Anthropology and Archeology of Eurasia состояли лишь из статей, изначально опубликованных на русском языке в журнале Этнографическое обозрение, то вывод будет очевидным - к рейтингу журналов следует подходить весьма осторожно.
Сам по себе - без знания академического контекста, без знания специфики журнала - рейтинг в той или иной базе не может служить надежным показателем качества журнала и, следовательно, престижности / научной значимости публикации в нем.
Тем не менее публикации в журналах, индексируемых Scopus, становятся в России одним из средств управления наукой, во всяком случае, через распределение грантовых средств, а в ближайшее время станут (и уже становятся) средством управления и бюджетными потоками в науку. С учетом этого абсолютно неудивительно стремление российских вузов максимально увеличить число таких публикаций, в том числе и за счет привлечения (путем софинансирования, например) под вузовский гриф журналов, уже включенных в Scopus. Из известных мне примеров - молдавский русскоязычный журнал Русин, выходящий теперь под грифом ТГУ (http://journals.tsu.ru/rusin).
Есть и иные способы резкого увеличения числа публикаций за счет административного ресурса. Так, в 2015 г. был реализован проект по размещению российских журналов из РИНЦ в Web of Science (так называемый Russian Science Citation Index).
В результате на первом этапе было отобрано 652 издания (на сайте http://eLIBRARY.ru в настоящее время можно найти сведения о 649 журналах). В Web of Science пока размещены публикации из 518 таких журналов. Страница РИНЦ с комментариями исследователей по поводу качества части отобранных журналов полна резких критических высказываний. Если сделать выборку журналов, которые публи-
куют (могут публиковать) статьи в области исторических наук (в российском понимании этого термина), то в ней окажутся, по данным РИНЦ, 23 издания3. В этом списке лишь треть составляют журналы, которые и до этого входили в международные базы Scopus и / или Web of Science: 6 - в Scopus, 1 (это академический журнал Вопросы истории) - в Web of Science и еще один (Российская история) - в обе названные базы4. 19 журналов входили в Перечень ВАК, но о качестве этого списка уже было сказано выше, причем среди таковых есть и но-минанты лишь 2015 г., например новый Томский журнал лингвистических и антропологических исследований. Из этого Перечня не дотягивают до 1 000 цитирований 8 журналов, а 6 из них - даже до 500. Значительная часть журналов (названный журнал ТГПУ или, например, Вестник Пермского университета. Серия: История) до включения в RSCI не могли похвастать даже тем, что входят в такие международные базы, как ERIH PLUS, EBSCO или DOAJ. Впрочем, надо признать, что в этом списке есть и действительно профессиональные академические периодические издания и ежегодники с давней историей.
Как скажется на качестве этих журналов включение в RSCI и насколько это повлияет на научный ландшафт российских гуманитарных и социальных наук, пока говорить сложно. Полагаю, что исследователи, регулярно и много публикующиеся за рубежом, по-прежнему будут публиковаться не в этих журналах, предпочитая быть услышанными (прочитанными) в англоязычном научном мире тому, чтобы издать что-то на родном языке в малоизвестном журнале, по каким-то причинам вдруг оказавшемся в RSCI.
Публикационная активность как способ измерения научной продуктивности
В представленных в ходе выполнения проекта «Общественный статус ученого и наукометрическая оценка научной деятельности» мате-риалах5 были продемонстрированы тенденции роста публикационной активности сотрудников российских вузов в базе данных Scopus. Данные по нескольким ведущим университетам - МГУ, СПбГУ, ДВФУ, КФУ, ТГУ, НИУ ВШЭ и НГУ - отчетливо свидетельствуют о неуклонном росте числа публикаций во всех названных вузах за период с 2012 по 2014 г. Вместе с тем в ряде вузов, в том числе и в МГУ, отсутствует принцип четко декларированной и осуществляемой на практике материальной заинтересованности в качественных публикациях в престижных академических журналах. Последнее, на мой взгляд, не только лишает активных исследователей дополнительного стимула заниматься наукой, но и поддерживает широко распространенный в российской профессорско-преподавательской среде взгляд на некую «особую роль»
именно вузовских ученых, для которых самое важное - это хорошо читать лекции (что в корне не согласуется с параметрами оценки ученого и в целом кафедры, скажем, в американской системе координат, где именно научная работа стоит на первом месте). Полагаю, что именно такой взгляд с успехом позволяет сохранять значительный процент научного балласта в наших университетах.
Есть смысл дополнительно проанализировать публикационную активность сотрудников российских вузов на фоне распределения числа публикаций в Scopus по вузам в «своих» (=приписанных к вузу) и в чужих, особенно высокорейтинговых зарубежных, журналах с простым алгоритмом оценки: чем больший процент текстов окажется в «своих» журналах, тем хуже, и, соответственно, чем больше текстов будет в «чужих» журналах из первой и второй квартилей, тем лучше.
Важные сведения о публикационной активности сотрудников вузов дает российская база РИНЦ (рис. 4).
70000 60000 50000 40000 30000 20000 10000 0
МГУ СПбГУ КФУ ТГУ НИУ ВШЭ ДВФУ НГУ
Общее число публикаций
Число публикаций в журналах ВАК
Число публикаций в журналах WoS/Scopus
Рис. 4. Число публикаций в журналах Перечня ВАК и в журналах из баз Web of Science / Scopus (2010-2014 гг.)
По данным за 2010-2014 гг., МГУ является безусловным лидером по числу публикаций в журналах Web of Science / Scopus (17 688 текстов) и при этом находится в группе середнячков (показатели у всех семи названных выше вузов примерно равны) по числу публикаций в отечественных журналах и, что печальнее всего, явно ориентируется на публикации в журналах, входящих в пресловутый Перечень ВАК (они составляют 45,3% от общего числа публикаций сотрудников МГУ). Имело
бы смысл точно в таком же виде представить данные по публикациям в гуманитарных и социальных науках. Думаю, что в гуманитарных науках резкий крен в сторону ориентации на местные журналы (из Перечня ВАК) будет еще более заметен.
Показательны данные и в целом о публикационной активности сотрудников университетов. Среди семи названных вузов по среднему числу публикаций в расчете на одного автора / сотрудника (4,69) (напомню, что речь идет о пятилетнем периоде) четко выделяются двое отстающих - это МГУ и НГУ. Как и в случае с публикациями вообще, здесь также имело бы смысл расширить картинку за счет анализа тех же показателей, но по факультетам / научным направлениям.
Кто они, эти успешные авторы?
До сих пор мы пытались рассуждать о том, какие же журналы (и почему) считаются качественными / престижными и насколько активно российские (вузовские) исследователи пытаются повысить свою публикационную деятельность в плане размещения текстов именно в журналах, индексируемых в признанных международных базах.
Некий итог публикационной деятельности исследователя оказывается виден в конце концов как в рецензиях на его монографии, так и в количестве цитирований его статей (или иных работ). Если книга рецензируется в ведущих профессиональных журналах мира и если ссылки на работы исследователя в большом количестве обнаруживаются в трудах других ученых, то это можно считать признанием научной важности цитируемых работ и, соответственно, вклада данного ученого в развитие науки.
В аналитических материалах моих коллег по проекту верно было отмечено абсолютное доминирование этнологов и археологов в категории РИНЦ «История. Исторические науки». Думается, это важный момент для оценки ситуации в исторических науках в стране в целом, хотя, мне думается, что высокие показатели цитируемости и, соответственно, высокий индекс Хирша именно у этнологов и археологов объясняются (по крайней мере, отчасти) не только научными параметрами их работы. Очень может быть, что сотрудники буквально пары академических институтов, чьи директора в той или иной ипостаси возглавляли отделение историко-филологических наук РАН, просто раньше других увидели в повышении институтских показателей некий ресурс и при этом раньше других получили доступ к редактированию своих данных в РИНЦ.
На момент завершения работы с текстом статьи в редакции из 100 российских «историков» с наиболее высоким индексом Хирша (разброс здесь от 15 до 53)6 16 чел., т.е. шестая часть, являются или являлись (если считать и умерших коллег) сотрудниками Института эт-
нологии и антропологии (ИЭА) РАН, но почти вровень с ними шли сотрудники академического института российской истории - 14, еще по 5 чел. представляли Институт археологии и этнографии Сибирского отделения (СО) РАН, МГУ (здесь из 5 лишь 2 археолога или этнографа), по 4 человека были из Института археологии РАН, Института славяноведения РАН и Института истории СО РАН, остальные организации представлены меньшим числом авторов (например, Институт всеобщей истории РАН, НИУ ВШЭ и Алтайский государственный университет - по 3, МГИМО, Институт истории и археологии УрО РАН, Тамбовский государственный технический университет - по 2 и т. д.). Индекс Хирша (по данным РИНЦ) выше 30 пока лишь у двух человек, и оба они - сотрудники ИЭА РАН.
Попутно отмечу, что я не затрагиваю здесь такую подоплеку высоких показателей, как административный ресурс, длительная и продуктивная в публикационном плане научная деятельность, наличие собственной научной школы (нескольких десятков аспирантов и докторантов) и проч., хотя это вполне могло бы стать предметом особого анализа. Кстати, наличие такого рода «стартовой площадки» или своего рода «социального капитала», ведущего - через высокие показатели в наукометрических базах - к умножению этого капитала, вполне можно рассматривать как частный вариант эффекта Матфея, давно известного в научном мире (см., напр., Merton 1968: 56-63).
Погоня за высокими показателями в РИНЦ была обусловлена во многом ожидаемыми реформами РАН (чем выше твои показатели, тем больше надежд, что тебя «не тронут» при сокращении), но также и обязательностью указания индекса Хирша при подаче заявок в различные российские научные фонды. Ситуация, правда, осложнилась тем, что практически одновременно с использованием этого показателя фонды стали запрашивать данные об индексе Хирша в системах Scopus и Web of Science. И именно здесь «вдруг» выяснилось, что местный iH, равный и 10, и 20, и 30 и более, на международном уровне может быть равным 1-2, редко выше. Иначе говоря, российская наукометрическая система оценки качества научной работы исследователей оказалась (хоть как-то) приложима лишь к внутрироссийской ситуации. Это не значит, что эта база плоха. Ее с успехом можно использовать, скажем, для анализа динамики исследовательских интересов, исследовательских сообществ, соавторств (как это было сделано недавно для антропологии С.В. Соколовским (2014: 143-188)). Но может ли лишь эта база служить основанием для оценки значимости научных публикаций исследователя? Очевидно, нет. В так называемых исторических науках, особенно это относится к антропологии (социальной науки по мировым стандартам), где не менее 90% всей теоретически важной продукции выходит на английском языке. Продолжать в такой ситуации мерить
себя по своим же меркам - значит продолжать курс на научный изоляционизм, загоняя себя при этом в такой тупик, из которого попытка вырваться на широкие просторы, боюсь, в следующий раз уже не удастся.
Чем чаще наши авторы будут публиковаться в хороших профессиональных журналах (а рейтинги и списки Web of Science, Scopus, ERIH PLUS однозначно свидетельствуют о том, что «наши» журналы пока составляют в них, по сути, каплю в море), тем больший вклад они смогут внести в существующие научные дискурсы.
Разумеется, вряд ли повышение индексов цитирования в указанных базах можно будет однозначно рассматривать как приобщение наших авторов к мировой науке, но вот НЕпредставленность их в этих системах (следовательно, публикаций в индексируемых и активно читаемых в мире журналах) можно будет однозначно расценивать как изоляцию российской науки.
В научных кругах активно и, надо признать, вполне справедливо обсуждается и вопрос о важности (а у гуманитариев - о большей важности) книг в сравнении с журнальными статьями. Спорить здесь особо не о чем. Важно лишь иметь в виду, что, скажем, индекс Хирша у тех, кто предпочитает писать книги, будет существенно ниже, чем у тех, кто активно печатает свои статьи в научных журналах. Цитируемость журнальных статей в течение какого-то времени также может быть выше, чем у монографий. Но при этом время научной жизни монографии (т.е. ее востребованности, оцениваемой через цитирование) может быть существенно более длительным в сравнении с журнальной статьей. Все имеет как свои минусы, так и свои плюсы.
РИНЦ изначально был ориентирован на включение и обсчет монографических работ, так же, как это сейчас делается и в Web of Science, где индексируются не только журнальные статьи, но и книги. Для гуманитариев это особо важно. Впрочем, не следует забывать и об оценке качества этих монографий - не только в количестве ссылок на них в других работах, но и в наличии позитивных рецензий в высокопрофессиональных журналах, выходящих в разных странах. Само по себе число книг, в отечественной «традиции» практически без исключений лишь с номинальным титульным редактированием и рецензированием, еще не говорит об их качестве.
Есть и еще одно общее соображение в связи с угадываемой тенденцией упрощения процедуры оценки успешности ученого (грозящей вскоре вылиться в принятие кадровых решений). Да, легко по одному-двум, да даже дюжине параметров, определить группу лидеров, которых в конце концов и оставить на лидирующих позициях с хорошими зарплатами в том или ином институте или университете. Но кто создал
этим лидерам их высокие показатели цитируемости? И как долго эти показатели будут оставаться высокими (и на каком фоне?), если из вузов и академии будут «вычищены» все, у кого соответствующие показатели пока не позволяют им быть конкурентоспособными? Без молодежи и среднего поколения исследователей не будет ни научных школ, ни этих пресловутых цифровых показателей. Если все же идти по пути такого рода реформ, то надо, видимо, перенимать лучший мировой опыт и применительно к организации исследований в целом, скажем, за счет конкурсного набора (со стипендиями и заработными платами по мировым стандартам) в аспирантуру и на ставки пост-док в разного рода научные программы и проекты. Такой опыт есть, например, в институтах общества Макса Планка в Германии. Можно попробовать пойти по этому пути. В чем-то это, безусловно, окажется продуктивнее нынешней пародии на аспирантуру в России... со стипендиями в 2,5 тысячи рублей в месяц.
Что такое качественная статья или рецензия?
В завершение начатого разговора я хотел бы сказать несколько слов о собственно научном произведении, которое, как предполагается, тот или иной ученый должен где-либо опубликовать. Коль скоро речь у нас шла о разного рода списках, базах или системах индексирования лучших / хороших журналов, то, следовательно, речь пойдет о том, что же это такое - «качественная / хорошая» публикация?
Однозначный, простой и краткий ответ на этот вопрос невозможен по многим причинам, но прежде всего потому, что критерии оценки «качества» различаются как в разных дисциплинах и их национальных или региональных «версиях», так и в разных академических журналах (не говоря уже о научных школах, которых в любой национальной или интернациональной традиции может быть великое множество). Подчеркну, что в данном случае речь идет не о поддающихся измерению показателях, а именно о качестве текстов.
В современной антропологии (понимаемой в соответствии с Боасов-ской тетрадой, т. е. с включением, помимо социокультурной антропологии, также биологической и лингвистической антропологии и археологии) отчетливо видна разница в качестве публикаций в наличии или отсутствии авторской рефлексии, в умении или нежелании формулировать исследовательский вопрос и гипотезу исследования, во включенности или невключенности авторского материала в некий философский тренд и современный дискурс, находящих выражение в том, что можно в целом назвать научным языком. В рамках российской антропологической традиции этот язык оказывается существенно различным на страницах журнала Этнографическое обозрение и, может быть, еще 4-5 каче-
ственных журналов, и в иных, в том числе практически во всех университетских журналах и публикациях материалов местных конференций.
Различие в качестве научных текстов порой хорошо видно и на страницах зарубежных журналов: практически все топ-журналы ориентированы на высокую степень аналитики и философских обобщений, которой часто (хотя и не всегда) бывают лишены публикации в журналах, входящих в 3-ю и особенно в 4-ю квартили.
Различается и культура, в том числе и стили, рецензирования новых книг. Значительная часть научных журналов в области гуманитарных и социальных наук, даже академических, в лучшем случае публикует 23 рецензии в номере. Рецензии эти в большинстве своем излишне подробно пересказывают содержание книг (обычный объем рецензий - до 0,5 а.л.), часто авторы их концентрируются на мелочах / недочетах и при этом даже не пытаются оценить работу на предмет ее важности в контексте современных научных дискурсов. Последнее особенно важно, но при этом и сложно, поскольку требует от рецензента как минимум не худшего знания обсуждаемого предмета (или хотя бы каких-то его аспектов), чем это представлено в рецензируемой книге. Отличия можно хорошо показать на примере рецензий в добротных антропологических журналах. Здесь и концентрированная аналитика (объем рецензий - 750 слов), как в журнале Европейской ассоциации социальных антропологов Social Anthropology1 (Великобритания), где в каждом номере публикуются 25-30 рецензий на самые современные и важные антропологические работы. И более развернутые рецензии - до 1 000 слов, как в Asian Ethnicity (США) или Asian Ethnology (Япония), или рецензии / обсуждения (в формате статьи) двух и более работ одновременно, как это принято в одном из самых теоретически ярких современных антропологических журналов Focaal (Нидерланды).
Написать и отправить свою статью или рецензию8 в любой журнал, даже топ-журнал, не составляет особой проблемы. Но надо быть готовым к тому, что даже в случае принятия текста в работу потребуется серьезная его доработка и что сам текст, если будет издан, увидит свет не ранее чем через год-полтора, а то и все два после принятия рукописи.
Можно и далее пытаться защищать свое «научное» пространство и право публиковать собственные творения на родном языке, но если хотеть, чтобы тебя читали, то... нет, не обязательно издаваться лишь и только на английском, но обязательно надо расширять круг своего чтения и надо учиться писать научные тексты так, как это принято в твоей научной дисциплине.
Как показала моя практика недавнего, с весеннего семестра 2013/14 учебного года, введения курса «Академический текст» для аспирантов, а позднее и для магистрантов кафедры этнологии на историческом факультете МГУ, буквально за год можно научить ребят пра-
вильно читать и интересно (на высоком уровне) рецензировать книги любых жанров - авторские и коллективные монографии, сборники архивных текстов или публикации фольклора. В итоге в 2015 г. лишь кафедральными аспирантами (я не говорю о сотрудниках) были изданы шесть рецензий на книги, опубликованные на английском, испанском и русском языках, в нескольких российских академических журналах.
Будучи вооруженными знаниями - как писать тексты для разных журналов, как общаться с редакциями журналов, как реагировать на замечания рецензентов, и умениями, апробированными для начала в качественных российских журналах, бывшие студенты смогут легко адаптироваться к требованиям научной среды в случае продолжения занятий наукой. Но в целом - это длительный процесс. И рецензированием книг научная практика не ограничивается. Нужно учиться писать развернутые научные тексты, а для этого надо учить студентов читать, думать, понимать, видеть и слышать иначе, порой кардинально иначе, в сравнении с тем, что казалось еще недавно вполне достаточным в местной / советской научной традиции.
Некоторые общие выводы / рекомендации
Учет, контроль, оценка качества работы ученого (лишь) через количественные показатели - неважно чего, публикаций, участия в конференциях и проч. - невозможны. Непродуктивно также заставлять исследователя печататься исключительно в журналах, входящих в ту или иную базу. Есть великолепные профессиональные журналы, по тем или иным причинам не числящиеся в РИНЦ или Перечне ВАК, не входящие в Scopus или Web of Science, но именно в них порой бывает важнее опубликовать свои результаты, чем в самом высокорейтинговом издании.
При всем при том и сами журнальные базы как средство получения доступа к более широкой читательской аудитории, и системы индексирования журналов как подсказка на пути постижения конфигурации научного мира и тенденций его изменения чрезвычайно важны. Если пока мы можем достаточно полно и качественно учитывать научную продукцию на русском языке, что делает РИНЦ / eLIBRARY.ru, то это уже следует считать положительным явлением.
Следует также активнее пропагандировать (на уровне вузов и институтов) образ качественного научного журнала и качественного научного текста. Это вполне можно делать и через вебинары, порой организуемые, скажем, РИНЦ, и через обязательные университетские курсы «Академический текст» или writing-up seminar, начиная с уровня магистрантов. Вузам следует серьезно задуматься над выработкой осознанной журнальной политики с непременным введением системы анонимного рецензирования, с представительным составом редакционных со-
ветов и коллегий, с отказом от местечковости в авторском представительстве, с расширением отдела рецензий и с обязательной организационной помощью в продвижении журналов в наиболее важные международные базы и включении в системы индексирования.
И, пожалуй, последнее. Если некий престижный / качественный журнал отказывает лично Вам в публикации Вашего текста, то... надо не искать в политике журнала некое заведомо отрицательное отношение к Вам как «представителю» некоего государства или этнической, языковой или, скажем, религиозной группы, а пытаться учиться анализировать собственные ошибки. которые порой, увы, являются системными.
Примечания
1 Здесь и далее (если не указано иное) данные приводятся по состоянию на 30.12.2015 г.
2 Уже после одноименного доклада, который был сделан на круглом столе, организованном на философском факультете МГУ 17.12.2015 г., и практически параллельно с завершением публикуемого сейчас текста в сети появилось заявление Совета по науке Минобрнауки России о Перечне ВАК (http://sovet-po-nauke.ru/info/22122015-declaration3), в котором говорится о необходимости перехода от нынешнего Перечня ВАК, который «содержит большое число изданий весьма невысокого научного уровня, не обеспечивающих проведения серьезной экспертизы публикуемых материалов», к списку RSCI с безусловным учетом тех журналов, «которые входят в международные базы данных и системы цитирования Web of Science, Scopus, MathSciNet и другие, перечисленные в действующем положении, а также журналы из перечня ERIH PLUS, важного для гуманитарных наук». (Все выделения полужирным в этой цитате -согласно первоисточнику. - Д.Ф.)
3 Фактически журналов в RSCI, публикующих работы по историческим наукам, больше. К их числу относятся также Вестник Российского гуманитарного научного фонда, Вестник Томского государственного университета, Известия Российского государственного педагогического университета им. А.И. Герцена и Известия Уральского федерального университета. Серия 2: Гуманитарные науки.
4 Сочинский журнал Былые годы в этот список не попал.
5 В данном разделе использованы отдельные результаты подсчетов, приведенные в аналитической записке В.В. Сидоровой «Анализ РИНЦ», хранящейся в базе данных вышеназванного исследовательского проекта. Подробно см. в статье В.В. Сидоровой далее.
6 География первых ста такова: Москва - 61 чел., Новосибирск - 13, Екатеринбург - 5, Барнаул и Санкт-Петербург - по 4, Ставрополь и Тамбов - по 2, Владивосток, Горно-Алтайск, Кемерово, Курск, Махачкала, Новочеркасск, Сыктывкар, Томск, Уфа - по 1 чел.
7 Этот топ-журнал, идущий в рейтинге антропологических журналов Scopus 2014 г. под № 33, до самого недавнего времени не входил ни в Web of Science, ни в базу Scopus.
8 Если, конечно, в правилах журнала есть пункт о принятии к рассмотрению незаказан-ных редакцией рецензий. Чаще обратное: журнал сам предлагает специалистам на рецензирование ту или иную работу и предоставляет потенциальному рецензенту бесплатный экземпляр книги.
Литература
Бюллетень Высшей аттестационной комиссии Министерства образования Российской
Федерации. 2002. № 1. Соколовский С.В. Зеркала и отражения, или Еще раз о ситуации в российской антропологии // Антропологический форум. 2014. № 1. С. 143-188. Функ Д.А. Об итогах и проблемах современных трансформаций этнологии / антропологии в России // XI Конгресс антропологов и этнологов России: Сб. материалов. Екатеринбург, 2-5 июля 2015 г. / Отв. ред.: В.А. Тишков, А.В. Головнёв. Москва; Екатеринбург: ИЭА РАН, ИИиА УрО РАН, 2015. С. 38-44. Merton, Robert К. The Matthew Effect in Science // Science. 1968. Jan. 5. № 159 (3810). P. 56-63.
Статья поступила в редакцию 3 февраля 2016 г.
Funk Dmitri A.
SCIENTOMETRICS AND EVALUATION OF PUBLICATIONS IN SOCIAL SCIENCES AND HUMANITIES
Abstract. The article discusses international and Russian practices of using quantitative indicators to evaluate scholars' publications. It analyzes quality evaluation criteria for journals and materials published in them, criteria for inclusion of these in influential international citation databases and the (non)presence of Russian scientific journals in ERIH PLUS and Scopus. The article studies Russian scholars' publications in the Russian Science Citation Index (RSCI). It points to the absence of quality evaluation criteria, in certain cases, in Russia or their irrelevance in the context of contemporary research developments in the world which results in discrepancies between international and Russian standards of research evaluation. The article shows that it is necessary to critically revisit certain aspects of the formation and use of citation indices and journal rankings and stresses the importance of an integrated approach to research evaluation. Finally, it offers a number of recommendations. Keywords: evaluation of research, publications, scientometrics, VAK (Higher Attestation Commission) index, ERIH PLUS, Scopus, RSCI, Web of Science
DOI: 10.17223/2312461X/11/2
References
Byulleten Vyisshey attestatsionnoy komissii Ministerstva obrazovaniya Rossiyskoy Federatsii [Bu lletin of the Highest certifying commission of the Ministry of Education of the Russian Federation], 2002, no 1. Sokolovskii S.V. Zerkala i otrazheniia, ili eshche raz o situatsii v rossiiskoi antropologii [Mirrors and reflections, or some more thoughts on the state of affairs in Russian anthropology], Antropologicheskii forum, 2014, no. 1, pp. 143-188. Funk D.A. Ob itogakh i problemakh sovremennykh transformatsii etnologii / antropologii v Rossii [On some results and issues of modern transformations in ethnology / anthropology in Russia], XI Kongress antropologov i etnologov Rossii: sb. materialov. Ekaterinburg, 25 iiulia 2015 g., Otv. red.: V.A. Tishkov, A.V. Golovnev [Proceedings of the XI Congress of anthropologists and ethnologists in Russia. Yekaterinburg, July 2-5, 2015. Ed. by V.A. Tishkov, A.V. Golovnev]. Moscow; Ekaterinburg: IEA RAN, IIiA UrO RAN, 2015, pp. 38-44.
Merton, Robert K. The Matthew Effect in Science, Science, 1968, no. 159 (3810), Jan. 5, pp. 56-63.
