CC BY
1ИНФОРМАЦИОННАЯ СРЕДА И ПРОБЛЕМЫ ЦИФРОВИЗАЦИИ
DIGITAL ENVIRONMENT AND PROBLEMS OF DIGITALIZATION
DOI: 10.19181/smtp.2024.6.2.11
Научная статья
EDN:OEURLH
Research article
ЖУРНАЛЬНЫЕ СПИСКИ И РЕЙТИНГИ РОССИЙСКИХ ИЗДАНИЙ: ПРОТИВОРЕЧИЯ И ВОЗМОЖНЫЕ ПУТИ ИХ УСТРАНЕНИЯ
Для цитирования: Мохначева Ю. В. Журнальные списки и рейтинги российских изданий: противоречия и возможные пути их устранения // Управление наукой: теория и практика. 2024. Т. 6, № 2. С.147-167. РО! 10.19181/эт*р.2024.6.2.11. ЕРЫ ОБШиН.
Аннотация. После ухода из России Web of Science и Scopus на повестке дня остро встал вопрос о максимальной сепарации от глобальных наукометрических систем. Роль российских научных журналов для информационного обеспечения науки принципиально возросла в современных условиях санкционной атаки. Задачей исследования являлось сравнение содержательного наполнения различных списков журналов, используемых для оценки научной деятельности в России, и поиск путей для разработки максимально взвешенной методики ранжирования научных изданий. Объектом исследования являлись российские периодические издания в информационных системах, включая Белый список, основной и дополнительный Перечни Высшей аттестационной комиссии (ВАК). Были собраны массивы российских изданий, проиндексированные в базах данных: Web of Science Core Collection, Scopus, Russian Science Citation Index. Методом наложения полученная информация об изданиях из перечисленных баз данных сравнивалась с Белым списком и Перечнями ВАК (основному и дополнительному). Была собрана информация о пересечениях российских изданий в перечисленных списках, позволившая сопоставить рейтинговые позиции одних и тех же журналов - по уровням Белого списка и категориям ВАК. Уровни и категории журналов дополнялись сведениями о процентилях рейтингового индекса Science Index (РИНЦ). Списки журналов были изучены с содержательной и качественной сторон. В результате исследования было обнаружено, что ни один из списков не удовлетворяет основным требованиям: 1) полноте охвата наиболее значимых изданий по максимальному кругу научных направлений без ущемления интересов хотя бы одного из них; 2) тщательной проработанности методологии рейтингования по категориям или уровням. Довольно
Í ^И» 1 Библиотека по естественным наукам РАН, Москва, Россия
Мохначева Юлия Валерьевна1
точное понимание качественного уровня журналов можно получить с помощью нового индикатора научных периодических изданий - процентилей журналов в рейтинге Science Index (РИНЦ).
Ключевые слова: Белый список журналов РЦНИ, Перечень журналов ВАК, Science Index (РИНЦ), уровни журналов, категории журналов ВАК, рейтингование журналов, российские научные журналы
LISTS OF JOURNALS AND RATINGS OF RUSSIAN PUBLICATIONS: INCONSISTENCIES AND POSSIBLE WAYS TO ELIMINATE THEM
Yuliya V. Mokhnacheva1
1 Library for Natural Sciences of the RAS, Moscow, Russia
For citation: Mokhnacheva Yu. V. Lists of journals and ratings of Russian publications: Inconsistencies and possible ways to eliminate them. Science Management: TheoryandPractice. 2024;6(2):147-167. (In Russ.). DOI 10.19181/smtp.2024.6.2.11.
Abstract. When Web of Science and Scopus ceased all commercial activity in Russia, the issue of maximum separation from global scientometric systems became acute and appeared on the agenda. Under the present-day conditions of sanctions, the role of Russian academic journals in information support of science has increased significantly. The purpose of this study was to compare the contents of various lists of journals used to evaluate research activity in Russia and to develop a most balanced approach to ranking scholarly publications. The object of the study was Russian periodicals indexed in information systems, including the White List, as well as the main and additional Lists of the Higher Attestation Commission (HAC). A collection of Russian periodicals was compiled using databases such as the Web of Science Core Collection, Scopus and the Russian Science Citation Index (RSCI). Using the overlay method, we compared information on publications from these databases with details taken from the White List and the Lists of the HAC (the main and additional ones). Information on the overlapping of Russian journals in these lists was collected. This made it possible to compare the positions of the same journals in the rankings in accordance with their levels in the White List and categories of the HAC. The levels and categories of journals were supplemented with information about the percentiles of the Science Index rating (RSCI). The lists of journals were analyzed from the informative and qualitative points of view. As a result of this study, it has been found that none of the lists meets the following basic requirements: 1) the completeness of coverage of the most significant journals in a wide range of academic fields without prejudice to any of them; 2) a careful examination of the methodology of ranking by categories or levels. A pretty accurate understanding of quality levels of academic journals can be achieved by using a new indicator of scholarly periodicals - percentiles of journals in the Science Index rating (RSCI).
Keywords: RCSI White List of journals, Higher Attestation Commission's List of journals, Science Index (RSCI), levels of journals, Higher Attestation Commission's categories of journals, journal ranking, Russian academic journals
ВВЕДЕНИЕ
0о 2022 г. в России научная отчётность в части публикационной активности была ориентирована на два базовых перечня научных журналов: Перечень рецензируемых научных изданий (Перечень ВАК) и знь Russian Science Citation Index. В июле 2022 г. была представлена и утверждена Методика [1] формирования рейтинга научных журналов, входящих в Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук. Согласно разработанной Методике, журналы перечня ВАК стали ранжироваться по категориям на основании интегрального наукометрического показателя «качества журнала» по каждой научной специальности ВАК [1; 2]. Каждый журнал из Перечня1,2, состоящего из 2906 наименований, теперь отнесён к одной из трёх категорий: К1, К2 и КЗ в соотношении: К1 — 25% от изданий основного Перечня ВАК, К2 - 50% и КЗ - 25%. К категории К1 относятся журналы-лидеры — первые 25% основного Перечня ВАК; К2 — устойчиво развивающиеся журналы — 50% (начиная с позиций 26—75% рейтинга основного Перечня ВАК) и КЗ - журналы, ориентированные на молодых учёных или требующие активного развития — 25% (с 76 по 100% рейтинга) [1].
К наиболее значительным недостаткам основного Перечня ВАК специалисты относят то, что в данный список попадает множество малоизвестных и откровенно слабых вестников и сборников научных трудов вузов и НИИ. Критике также часто подвергается непрозрачная процедура формирования Перечня и форма его предоставления [3; 4]. Помимо методологических неточностей и ошибок, есть вопросы к генерации разных по форме и содержанию версий списка. А именно: параллельно на сайте Высшей аттестационной комиссии3 предлагаются три списка:
1. Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук (по состоянию на 20.02.2024 г.) с указанием научных специальностей и датами включения в Перечень или исключения из него4.
1 Здесь и далее этот Перечень в статье упоминается как основной Перечень ВАК.
2 Итоговое распределение журналов Перечня ВАК по категориям К1, К2, КЗ в 2023 году // Высшая аттестационная комиссия при Министерстве науки и высшего образования Российской Федерации : [сайт]. URL: https://vak.minobrnauki.gov.ru/uploader/loader?type=19&name=92685697002&f=22459 (дата обращения: 02.04.2024).
3 Рецензируемые издания // Высшая аттестационная комиссия при Министерстве науки и высшего образования Российской Федерации : [сайт]. URL: https://vak.minobrnauki.gov.ru/documents#tab=_tab:editions~ (дата обращения: 20.04.2024).
4 Перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук (по состоянию на 20.02.2024 года) // Высшая аттестационная комиссия при Министерстве науки и высшего образования Российской Федерации : [сайт]. URL: https://vak.minobrnauki.gov.ru/uploader/loader ?type=19&name=91107547002&f=22243 (дата обращения: 20.04.2024).
2. Итоговое распределение журналов Перечня ВАК по категориям К1, К2, КЗ в 2023 г.
3. Справочная информация об отечественных изданиях, которые входят в международные реферативные базы данных и системы цитирования и в которых в соответствии с пунктом 5 правил формирования перечня рецензируемых научных изданий должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук, утверждённых приказом Минобрнауки России от 31 мая 2023 г. № 534, — такие издания считаются также включёнными в Перечень (по состоянию на 31.12.2023 г.)5.
Помимо Перечней ВАК все последние годы на государственном уровне продвигалась политика предпочтительного выбора для публикаций изданий, входящих в глобальные реферативные системы, — Web of Science Core Collection (WoS CC) и Scopus. О плюсах и минусах такого подхода в оценке научных трудов можно долго спорить, однако после февраля 2022 г. владельцы этих ресурсов приняли решение об уходе с российского рынка6, лишив возможности ориентироваться на данные, предоставляемые их продуктами — WoS CC и Scopus. После их ухода из России возникла острая необходимость в создании собственной национально-ориентированной системы, на базе которой можно было бы оценивать качественный уровень научных публикаций по различным наукометрическим индикаторам, включая импакт-фак-торы изданий с их аналогами и производными [5—7]. На повестке дня остро встал вопрос о максимальной сепарации от глобальных наукометрических систем. Таким образом, в 2022 г. был утверждён Белый список (БС) - перечень научных журналов, созданный в целях обеспечения мониторинга и оценки публикационной активности в России7. В итоге БС, поделённый на четыре уровня, оказался на поверку сведённым в один массив списком всё тех же изданий из WoS CC и Scopus. Справедливости ради стоит отметить, что список немного «разбавился» российскими изданиями из Russian Science Citation Index (RSCI) [8].
Отечественные научные журналы - ценное национальное достояние, которое необходимо не только сохранять, но и оказывать им всевозможную финансово-административную поддержку для повышения их качественного уровня как с точки зрения научного наполнения, так и со стороны полиграфии и маркетинга. Роль российских научных журналов для информационного обеспечения науки принципиально возросла в современных условиях санкционной атаки [9]. К сожалению, данное обстоятельство оказалось проигнорированным составителями БС, что вызвало у научно-педагогического сообщества множество вопросов и пожеланий [3-5]. К основному недостат-
5 Здесь и далее данный список упоминается как «дополнительный Перечень ВАК».
6 Elsevier condemns Russian invasion of Ukraine // Elsevier : [сайт]. 2022. March 25. URL: https://elsevier.com/ connect/elsevier-condemns-russian-invasion-of-ukraine (дата обращения: 02.04.2024); Clarivate to cease all commercial activity in Russia // Clarivate : [сайт]. 2022. March 11. URL: https://clarivate.com/news/clarivate-to-cease-all-commercial-activity-in-russia/ (дата обращения: 02.04.2024).
7 «Белый список» научных журналов // Российский центр научной информации : [сайт]. URL: https:// journalrank.rcsi.science/ru/ (дата обращения: 20.04.2024).
ку можно отнести существенное и необоснованное превалирование блока иностранных изданий над отечественными. В то же время, как отмечают специалисты [5], качество иностранных журналов часто оставляет желать лучшего: в БС встречаются «хищнические» журналы, публикующие статьи на платной основе без проведения должного рецензирования рукописей. Об отсутствии тщательной проработки критериев для отбора журналов свидетельствует наличие изданий, не отвечающих национальным интересам России [5].
На методологические ошибки при составлении БС обращается внимание в публикации [5]. Отмечается, что методология распределения журналов по уровням Белого списка (УБС) допускает смешение метрик из разных баз данных, в результате чего сопоставимые по научному уровню и статусу журналы оказываются в разных группах. Кроме того, по мнению автора статьи [3], к числу недостатков БС относится неоднозначность названия списка в контексте отнесения к «белым» или «чёрным», так как подобные термины всё чаще воспринимаются как расистские.
Тем не менее методика отбора журналов в БС постоянно дорабатывается, корректируется его качество и наполнение8, а интерфейс портала приобретает всё больше полезного функционала9.
В последнее время специалистами акцентируется внимание на том, что чрезмерная зависимость от глобальных мировых информационных ресурсов представляет угрозу для развития собственных национальных систем научной периодики, особенно в период геополитической турбулентности. По мнению экспертов, подчиняя научные издания и исследовательскую активность учёных иностранным базам, государство фактически утрачивает субъектность и собственную содержательную политику в области развития национальной сети научных журналов [9; 10]. Вопросом — «Почему за основу "Российской платформы научных изданий" нельзя взять РИНЦ?» — задаётся автор публикации [11]. Результаты исследования, представленные в данной статье, аргументируют положительное решение в отношении РИНЦ с разработанной ими рейтинговой системой Science Index.
Задача исследования — сравнение содержательного наполнения различных списков журналов, используемых для оценки научной деятельности в России, и выработка путей для создания максимально взвешенной методики ранжирования научных изданий на их основе.
Объект исследования — массивы российских периодических изданий в следующих информационных системах: WoS CC, Scopus, RSCI, Белый список РЦНИ и Перечни ВАК.
8 Методика категорирования российских и международных научных изданий «Белого списка». Утверждена 15 мая 2023 г. // Министерство науки и высшего образования Российской Федерации : [сайт]. URL: https:// minobrnauki.gov.ru/Методика_утвержденная.pdf (дата обращения: 20.04.2024).
9 См. сноску 7.
МЕТОДОЛОГИЯ И МЕТОДЫ ИССЛЕДОВАНИЙ
Для исследования были собраны массивы российских изданий, индексируемых в базах данных Web of Science Core Collection (WoS CC)10, Scopus11, RSCI12. Полученная информация об изданиях из перечисленных баз данных методом наложения сравнивалась с Белым списком и двумя Перечнями ВАК (основным и дополнительным). Таким образом, была собрана информация о пересечениях более чем 3600 российских изданий в перечисленных списках, позволившая сопоставить рейтинговые позиции журналов — по УБС, категориям ВАК и процентилям рейтинга Science Index (РИНЦ)13.
Ввиду того, что происходит постоянная корректировка и ротация журналов в перечисленных списках и базах данных, к моменту выхода данной публикации возможны некоторые расхождения с актуальной информацией. Однако данное обстоятельство не должно принципиально повлиять на результаты проведённого исследования.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Как уже упоминалось во введении, в настоящее время для оценки научной деятельности в России рекомендуется использовать два основных ресурса: Белый список журналов РЦНИ и Перечни ВАК (основной с разнесением журналов по категориям и дополнительный, включающий российские издания, которые индексируются в зарубежных глобальных реферативно-библиографических базах данных).
БЕЛЫЙ СПИСОК И ЕГО УРОВНИ
По состоянию на 22 марта 2024 г. БС включал в себя 29 573 издания, из которых 1355 (4,6%) — российские, по большей части индексируемые в базах данных WoS CC, Scopus и RSCI, из которых лишь 10 не отражены в перечисленных ресурсах. Распределение российских журналов БС, проиндексированных в базах данных WoS CC, Scopus и RSCI по УБС, представлено в табл. 1.
10 Перечень российских журналов, индексируемых WoS CC, получен из официального ресурса Clarivate по состоянию данных на январь 2024 г.: Web of Science Master Journal List // Clarivate : [сайт]. URL: https://mjl. clarivate.com/collection-list-downloads (дата обращения: 20.04.2024).
11 Перечень российских журналов, индексируемых в Scopus формировался на базе информации, представленной на сайте РЦНИ (https://journalrank.rcsi.science/ru/) по состоянию на январь 2024 г. с корректировкой согласно сведениям с сайта первоисточника: Sources // Scopus : [сайт]. URL: https://scopus.com/sources (дата обращения: 20.04.2024).
12 Список журналов, входящих в базу данных RSCI (27.07.2022) // eLIBRARY.RU : [сайт]. URL: https://elibrary. ru/projects/rsci/rsci.pdf (дата обращения: 20.04.2024).
13 О новом рейтинге журналов Science Index // eLIBRARY.RU : [сайт]. URL: https://elibrary.ru/projects/science_ index/ranking_info.asp (дата обращения: 20.04.2024).
Таблица 1
Распределение российских журналов БС, проиндексированных в базах данных WoS CC, Scopus и
RSCI по УБС
Table 1
Distribution of Russian journals indexed in WoS CC, Scopus and RSCI databases, grouped by levels
according to the RCSI White List
Группы изданий 1 уровень 2 уровень 3 уровень 4 уровень Всего
Российские издания, индексируемые как в WoS CC, так и в Scopus 58 136 106 20 319
Российские издания из RSCI, индексируемые в WoS CC и (или) Scopus 48 98 157 41 345
Российские издания из RSCI, не индексируемые в WoS CC и Scopus 25 133 225 212 595
Российские издания, индексируемые в Scopus, но не отражённые в WoS CC 19 74 158 110 361
Российские издания, индексируемые в WoS CC, но не отражённые в Scopus 4 15 35 21 75
Имеющие УБС, но не индексируемые в RSCI, WoS CC, Scopus 0 0 2 3 5
Всего 106 358 525 366 1355
Журналы БС можно сгруппировать по принципу наличия / отсутствия пересечений в двух и более ресурсах - WoS CC, Scopus и RSCI. Как показано в табл. 1, российские издания из БС делятся на пять групп:
1) пересекающиеся названия российских журналов в WoS CC и Scopus;
2) пересекающиеся названия российских журналов в RSCI c WoS CC и (или) Scopus;
3) не пересекающиеся издания из WoS CC со Scopus;
4) не пересекающиеся издания из Scopus с WoS CC;
5) не пересекающиеся названия российских журналов в RSCI c WoS CC и (или) Scopus.
Отдельной строкой в табл. 1 показано число названий изданий, которые не были проиндексированы ни в одной из перечисленных баз данных.
Как видно из табл. 1, к изданиям УБС-1 преимущественно относятся журналы, параллельно индексируемые в WoS CC и Scopus, - 58 названий. В группе журналов УБС-2 так же, как и в предыдущем случае, превалируют журналы, параллельно представленные в WoS CC и Scopus, — 136 названий, и практически такая же доля принадлежит журналам, входящим в RSCI, но не отражённых ни в WoS CC, ни в Scopus, — 133 журнала. В группе журналов УБС-3 наиболее широко представлены российские издания из RSCI, которые не индексируются в других системах, — 225 названий. К УБС-4 отнесено достаточно много журналов из Scopus, не представленных в WoS CC, — 110 названий, а наибольшая доля — у изданий, входящих в RSCI, не отражённых в других системах — 212 названий.
Если проранжировать журналы в соответствии с их индексацией в базах данных и сопоставить их с УБС, рейтинговое долевое распределение ресурсов будет выглядеть следующим образом (рис. 1).
Рис. 1. Долевое распределение российских журналов, индексируемых в WoS CC, Scopus, RSCI по УБС, %
Fig. 1. The share distribution of Russian journals indexed in WoS, Scopus and the RSCI by levels according to the White List, %
Распределение индексируемых в трёх базах данных российских журналов (рис. 1) показывает рейтинговое лидерство WoS CC: 54% проиндексированных этой системой журналов имеет УБС-1 и УБС-2 и лишь 10% — УБС-4. Далее следуют Scopus — 42% индексируемых системой изданий отнесены к первому и второму уровням. Замыкает рейтинг RSCI — 32% изданий отнесены к первому и второму УБС, а остальные 68% — к третьему и четвёртому уровням.
ПЕРЕЧНИ ВАК
Как уже отмечалось выше, по факту на сайте ВАК параллельно представлены три Перечня: две версии основного Перечня14 — 1) Перечень журналов рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук с указанием научных специальностей и датами включения в Перечень; 2) список журналов Перечня ВАК с распределением по категориям К1, К2, КЗ (основной Перечень) и 3) список отечественных изданий, которые входят в международ-
14 В статье анализируются актуальные на февраль 2024 г. Перечни ВАК, представленные на официальном сайте ВАК: https://vak.minobrnauki.gov.ru/ (дата обращения: 20.04.2024).
ные реферативные базы данных и системы цитирования... (дополнительный Перечень).
Журналы основного Перечня ВАК разделены на три рейтинговые категории, установленные ВАК согласно разработанной методики рейтинго-вания [1]. Что касается дополнительного Перечня, то пользователям представлена таблица-методика для самостоятельного разнесения журналов по категориям15. После применения данной методики издания дополнительного Перечня ВАК были распределены по категориям. В итоге после совмещения основного и дополнительного Перечней был сгенерирован список из 3488 названий журналов, распределившихся по категориям в следующих пропорциях: К1 - 37%; К2 - 43%; КЗ - 20%. При генерации сводного списка журналы учитывались во всех версиях — оригинальной и переводной, а дублетные записи об одних и тех же журналах в основном и дополнительном Перечнях исключались. При этом за истину принимались категории изданий, присвоенные ВАК, если имелась таковая информация. В остальных случаях категории присваивались на основании таблицы-методики ВАК.
Анализируя Перечни ВАК, мы столкнулись с рядом проблем и парадоксов. Прежде всего, возникает простой естественный вопрос: зачем параллельно созданы два списка, которые по сути выполняют одну и ту же функцию, и один является продолжением (дополнением) другого? Почему эти два списка не объединены в единый перечень, что было бы логичнее и не продуцировало бы массу противоречий, ошибок и недоразумений?
На некоторых парадоксах и противоречиях остановимся подробнее.
1. Выявлено довольно много случаев с русскоязычными изданиями, когда один и тот же журнал параллельно присутствует как в основном, так и в дополнительном Перечнях ВАК. При этом в основном Перечне журналу присвоена вторая категория (К2), а в дополнительном должна быть присвоена первая, согласно таблице-методике. Что в результате принять за истину? Ввиду того, что ВАК, являясь официальным органом, присвоил журналу в основном Перечне вторую категорию на основе довольно сложной разработанной методики рейтингования [1], логично за истину принять именно этот факт. Но зачем тогда этот же журнал фигурирует в дополнительном Перечне? Таких случаев довольно много: выявлено около 180 журналов.
Примеры:
■ «HORIZON. Феноменологические исследования», ISSN: 2226-5260, индексируется в Scopus (Q3), включён в Белый список (УБС-3), согласно таблице-методике должен быть отнесён к ВАК-К1, но т. к. параллельно присутствует в основном Перечне и отнесён к К2, окончательная категория журнала - К2;
■ «Известия Российской академии наук. Энергетика», ISSN: 00023310, индексируется в RSCI, Chemical Abstracts, Springer, включён в Белый список (УБС-4), согласно таблице-методике должен быть отне-
15 Таблица - Приравнивание научных журналов, входящих в наукометрические базы данных, к журналам Перечня ВАК с распределением по категориям // Высшая аттестационная комиссия при Министерстве науки и высшего образования Российской Федерации : [сайт]. иЯ1_: https://vak.minobrnauki.gov.ru/uploader/load er?type=19&name=92685697002&f=21727 (дата обращения: 20.04.2024).
сён к ВАК-К1, но т. к. параллельно присутствует в основном Перечне и отнесён к К2, окончательная категория журнала - К2; и т. д.
2. В дополнительном Перечне оригинальные и переводные версии российских изданий отражены параллельно. Казалось бы, довольно просто эти журналы разделить по категориям, воспользовавшись соответствующей таблицей-методикой16. Но в процессе категоризации журналов из дополнительного Перечня ВАК возникают специфические сложности из-за двойственности или даже тройственности возникающих ситуаций. Например, журнал представлен в дополнительном Перечне ВАК оригинальной (русскоязычной) и переводной версиями. При этом переводная версия входит в зарубежные реферативно-библиографические базы данных WoS CC / Scopus с Q4 (соответствует К2), а оригинальная — в RSCI (соответствует К1). Но всё-таки — это один и тот же журнал! К какой категории его следует отнести?
Примеры:
■ «Discrete Mathematics and Applications (Дискретная математика)», ISSN: 0924-9265, индексируется в WoS CC (ESCI), Scopus (Q4), входит в БС РЦНИ с УБС-3. Относится согласно таблице-методике ВАК ко второй категории журналов. Оригинальная версия этого журнала — «Дискретная математика», ISSN: 0234-0860 — входит в RSCI, поэтому имеет первую категорию ВАК.
■ «Solar-Terrestrial Physics (Солнечно-земная физика)», ISSN: 25000535, индексируется в WoS CC (ESCI), Scopus (Q4), входит в БС РЦНИ с УБС-2. Относится согласно таблице-методике ВАК ко второй категории журналов. Оригинальная версия этого журнала — «Солнечно-земная физика», ISSN: 2412-4737 — входит в RSCI, поэтому имеет первую категорию ВАК.
И ряд других примеров.
Получается, что оригинальная версия имеет более высокий рейтинг, чем переводная. Каковы причины? Как выйти из этого противоречия? Да и объективность отнесения журналов, индексируемых в глобальных авторитетных ресурсах, ко второй или третьей категории вызывает сомнения.
3. И, наконец, наиболее распространённый случай: журнал параллельно индексируется более чем в одной учитываемой системе (WoS, RSCI, Scopus, PubMed, MathSciNet, zbMATH, Chemical Abstract Service, GeoRef, Springer). Скорее всего, при рейтинговании журнала должна выбираться самая высокая категория из возможных, но об этом нигде в методике не сказано. Возможно, такое разъяснение где-то представлено, но на официальном сайте не удалось обнаружить такой информации.
Для проведения исследований при наличии перечисленных противоречий в качестве приоритетных принимались данные первоисточника — основного Перечня ВАК. При отсутствии таковых в дополнительном Перечне ВАК журналам присваивалась высшая из возможных категорий согласно рекомендованной таблице-методике: если журнал по одной базе данных соответствовал К2, а по другой — К1, выбирался максимальный из возможных
16 См. сноску 15.
рейтинг. Таким образом, к К2 были отнесены те издания, которые присутствовали только в одной системе — WoS CC или Scopus — и имели соответствующие квартили в этих ресурсах.
БЕЛЫЙ СПИСОК И ПЕРЕЧНИ ВАК: ЖУРНАЛЬНЫЕ ПЕРЕСЕЧЕНИЯ И СОПОСТАВЛЕНИЯ
Массив российских журналов БС более чем на 98% пересекается с изданиями из Перечней ВАК (основному и дополнительному), поэтому практически все издания, представленные в БС, отнесены к той или иной категории ВАК. На рис. 2 изображена диаграмма распределения различных категорий журналов основного и дополнительного Перечней ВАК по четырём УБС. При сопоставлении изданий учитывались как оригинальные, так и переводные версии. У переводных и оригинальных версий российских журналов УБС, как правило, идентичны. Отличия встречаются редко и в основном это касается журналов, входящих в составные переводные версии.
лпп ■
и
s ■35U = С- зпп ■
Ц JUU
s S inn
¡г s I
j 3 100 50 0
■
1
1-й уровень Белого списка. 2-й уровень Белого списка. 3-й уровень Белого списка. 4-й уровень Белого списка.
■ Журналы БАК К1 102 341 437 203
■ Журналы ВАК К2 3 12 72 154
■ Журналы ВАК КЗ 0 1 3 2
■ Вне Перечней ВАК 1 4 13 7
Рис. 2. Сопоставление пересекающихся журналов из Белого списка и Перечней ВАК (основного и дополнительного) по принципу: уровень / категории Fig. 2. Comparison of overlapping journals from the White List and the Lists of the Higher Attestation Commission (main and additional) according to the principle: level / categories
По данным рис. 2 видно, что трём журналам, отнесённым к «элитному» УБС-1, ВАК присвоил вторую категорию. Двенадцати журналам УБС-2 ВАК присвоил вторую, а одному - третью (нижнюю) категорию; 72 журнала УБС-3 отнесены ВАК ко второй категории, а три — к третьей. У группы журналов УБС-4: 203 журнала — К1 и 154 — К2 и два — КЗ по версии ВАК. Весьма странно, но обнаружена небольшая группа журналов из БС (1,7%), которая почему-то не представлена в Перечнях ВАК. Среди них: «Арктика и Север» (индексируется в RSCI); «Бюллетень Московского общества испытателей природы. Отдел биологический» (индексируется в RSCI); «Сенсорные системы» (индексируется в RSCI); «Современная герпетология» (индексируется в RSCI) и др.
Таким образом, большинство журналов, параллельно присутствующих в основных Перечнях ВАК и БС РЦНИ, имеют первую категорию ВАК (1083 названия, 80%). Однако есть довольно значительная доля журналов БС, отнесённая ВАК ко второй категории (241 название, 17,8%), и только шести изданиям (0,4%) присвоена третья нижняя категория ВАК, а 25 (1,8%) журналов БС оказались вне Перечней ВАК. Учитывая, что в БС вошли наиболее авторитетные российские издания, отнесение таких изданий ко второй, а тем более — к третьей категории ВАК выглядит спорно. Непонятно также, почему 25 журналов «выпали» из Перечней ВАК.
В ходе проведения исследования выявились противоречия, возникающие при параллельном включении оригинальной и переводной версий в рейтинговые списки: случаи отличающегося рейтингования у разных версий одних и тех же изданий. Скорее всего, корректнее учитывать только оригинальную версию изданий. Именно на таком подходе остановились разработчики рейтинга Science Index17 (РИНЦ). При расчёте показателей этого рейтинга учитывается цитирование обеих версий — оригинальной и переводной, а две версии одного и того же журнала объединяются под одним — как правило, оригинальным — названием.
РЕЙТИНГ SCIENCE INDEX ДЛЯ РЕШЕНИЯ ПРОТИВОРЕЧИЙ В РЕЙТИНГОВАНИИ ПЕРЕЧНЕЙ ВАК
Рейтинг Science Index обладает рядом методологических преимуществ на фоне БС и Перечней ВАК, т. к. строится на комплексной методике подсчёта с учётом ряда библиометрических показателей. Из пояснительной записки к рейтингу Science Index следует, что все библиометрические показатели, используемые при расчёте этого рейтинга, учитывают только цитирование из ядра РИНЦ. При этом оцениваемый журнал может и не входить в ядро, но ссылки на него берутся только из ядра. Важно, что в новой версии рейтинга Science Index учитываются только идентифицированные ссылки, т. е. привязанные к конкретной публикации в РИНЦ, что позволяет свести к
17 См. сноску 13.
минимуму вероятность ошибок при неправильной идентификации журнала в ссылке. Ещё одним очень значимым преимуществом нового рейтинга Science Index является нормировка на уровне отдельных статей без использования каких-либо тематических журнальных рубрикаторов, что позволяет «отвязаться» от весьма приблизительного классифицирования публикаций на уровне изданий. Разработчики заявляют, что значения комплексного показателя нового рейтинга Science Index рассчитаны для всех журналов за все годы. При этом, как уже упоминалось, если журнал имеет переводную версию на английском языке, то при расчёте показателей учитывается цитирование обеих версий рейтинга. Вся рейтинговая информация представлена на страницах анализа публикационной активности журнала, включающая: процентиль журнала; место в общем рейтинге Science Index за 2022 г.; место в рейтинге Science Index за 2022 г. по тематике; место в рейтинге по результатам общественной экспертизы.
Особенно информативным и поэтому перспективным выглядит индикатор «Процентиль журнала», рассчитанный на основе показателей нового рейтинга и определяемый путём разбиения ранжированного списка журналов на 100 равных по количеству журналов групп. Чем меньше процентиль, тем ближе журнал к началу рейтинга Science Index18. Данный показатель выглядит очень привлекательно для наиболее точного, а главное — взвешенного рейтингования журналов по самым разным тематическим направлениям.
На основе информации, представленной в новом рейтинге изданий Science Index, был проведён сравнительный анализ российских журналов из Перечней ВАК — основного и дополнительного по категориям (рис. 3), из БС — по УБС журналов в сочетании с процентилями рейтинга Science Index (рис. 5). Анализируемые журналы были сгруппированы аналогично квартилям по четырём процентильным диапазонам:
1) с процентилями от 1 до 25 (наиболее высокий рейтинг);
2) 26—50;
3) 51—75;
4) 76—100 соответственно.
Несомненно, сравнение по таким довольно широким диапазонам получается относительно грубым, но его достаточно, чтобы выявить явные перекосы в рейтинговании российских журналов в БС и Перечнях ВАК.
Важно: ввиду того, что в Science Index проблема параллельного рейтинго-вания разных версий одних и тех же изданий решена в пользу оригинальных версий, число журналов Перечней ВАК и БС, для которых указан процентиль Science Index, меньше общего количества.
На рис. 3 приведены результаты сравнения категорий ВАК для журналов из основного и дополнительного Перечней ВАК с процентилями рейтинга Science Index (РИНЦ).
18 См. сноску 13.
Рис. 3. Сравнение журналов по категориям основного и дополнительного Перечней ВАК с их
процентилями в рейтинге Science Index (РИНЦ)19 Fig. 3. Comparison of journals by categories of the main and additional Lists of the Higher Attestation Commission with their percentiles in the Science Index rating (RSCI)
На рис. 3 видно, что наибольшее число журналов — 807 названий с процентилями наивысшего диапазона 1—25 — отнесены ВАК к первой категории. Тем не менее 148 журналов этого же диапазона процентилей отнесены ко второй категории ВАК, а пять — к третьей (нижней) категории. Большинство журналов с процентилями диапазона 26—50 по версии ВАК отнесены ко второй категории - 601 название, частично к первой - 209 журналов, а 46 (!) изданий - к третьей. Кроме того, наблюдается и обратная картина: 5 журналов с самыми высокими значениями процентилей (наименьший рейтинг) отнесены ВАК к журналам первой (высшей) категории, а 170 (!) — ко второй.
В исследовании участвовали 2944 названия российских журналов, для которых были посчитаны процентили в рейтинге Science Index. Вне исследования оказались 544 издания, для которых данный индикатор не был представлен по таким причинам, как: переводные версия журналов, для которых показатель не рассчитывается; журнала нет в РИНЦ; у журнала низкие рей-
19 Процентиль журналов не посчитан в тех случаях, если журнал отсутствовал в рейтинге Science Index или в РИНЦ на момент сбора данных - январь / февраль 2024 г.
тинговые позиции и процентиль для него не рассчитан; журнал сравнительно новый для РИНЦ и поэтому показатель тоже пока не посчитан.
Издания Перечней ВАК поделены на три категории. Исходя из логики трёх категорий, если единый список, состоящий из журналов обоих Перечней, поделить на три части изданий, укладывающихся в диапазон, равный примерно 1/3 от 100 процентилей рейтинга Science Index, то мы получим перечень, где первой категории журналов будет соответствовать диапазон 1—33 процентилей; второй категории 34—67, а третьей нижней категории — 68—100. Кроме того, к нижней третьей категории можно также отнести издания Перечней ВАК, для которых индикатор не посчитан из-за низкого рейтинга, отсутствия или новизны в РИНЦ.
Таким образом, журналы Перечней ВАК распределились бы по категориям следующим образом: К1 — 1248 (38%); К2 — 1071 (33%); К3 — 935 (29%) изданий (рис. 4).
Рис. 4. Предлагаемое распределение российских журналов единого перечня ВАК по трём категориям в соответствии с их процентилями в рейтинге Science Index (РИНЦ) Fig. 4. Proposed distribution of Russian journals of the unified list of the Higher Attestation Commission into three categories in accordance with their percentiles in the Science Index rating (RSCI)
РОССИЙСКИЕ ЖУРНАЛЫ ИЗ БС И ИХ ПРОЦЕНТИЛИ В РЕЙТИНГЕ SCIENCE INDEX
Аналогично с журналами Перечней ВАК рассмотрим распределение российских журналов четырёх УБС по диапазонам процентилей рейтинга Science Index. Ещё раз отметим, что в БС как отдельные названия параллельно присутствуют оригинальные и переводные версии журналов, поэтому число изданий, аналогично журналам Перечней ВАК, отличается в меньшую сторону от общего количества названий российских журналов в БС (рис. 5).
Рис. 5. Сравнение журналов из БС: УБС / процентили рейтинга Science Index (РИНЦ) Fig. 5. Comparison of journals from the White List: levels according to the White List / percentiles of the
Science Index rating (RSCI)
Данные, представленные на рис. 5, показывают и доказывают, что в абсолютном большинстве в БС вошли высокорейтинговые российские издания: с диапазоном процентилей по версии рейтинга Science Index от 1 до 50 и только у одного журнала УБС-2 и у двух изданий УБС-4 диапазон процентилей 51-75. Кроме того, журналов диапазона процентилей 76-100 в БС нет вообще. Как показано на рис. 5, основная доля журналов БС - издания высокого уровня: 880 журналов Science Index имеет диапазон процентилей 1-25. В данном случае можно утверждать, что рейтинговые уровни журналов БС и рейтинги Science Index хорошо согласуются между собой.
Соответствия и несоответствия в рейтинговании российских журналов в системах ВАК (категории), БС (УБС), Science Index (процентили)
К соответствиям в рейтинговании журналов можно отнести случаи, когда уровни диапазонов процентилей Science Index согласовываются с уровнями категорий ВАК. В свою очередь, к несоответствиям относятся случаи, когда
W / W \ U W
высокий (низкий) рейтинг журнала в одной системе имеет противоположные характеристики в другом рейтинговом перечне.
В табл. 2 приведены примеры несоответствий в рейтинговании журналов ВАК и БС относительно рейтинга Science Index по индикатору «процентиль».
Таблица 2
Примеры заниженного рейтингования российских журналов в БС и Перечнях ВАК относительно значений их процентилей в рейтинге Science Index (РИНЦ)
Table 2
Examples of underestimated ratings of Russian journals in the White List and Lists of the Higher Attestation Commission regarding the values of their percentiles in the Science Index rating (RSCI)
Оригинальное название Уровень Белого списка ISSN Процентиль в рейтинге Science Index за 2022 г. Категория ВАК
Вопросы атомной науки и техники. Серия: Термоядерный синтез 3 0202-3822 5 К2
Достижения науки и техники АПК 1 0235-2451 5 К2
Горный журнал нет 0017-2278 6 К2
Цветные металлы нет 0372-2929 7 К2
Успехи прикладной физики нет 2307-4469 8 К2
Известия Российской академии наук. Энергетика 4 0002-3310 8 К2
Вестник Санкт-Петербургского университета. Прикладная математика. Информатика. Процессы управления 3 1811-9905 8 К2
Физические основы приборостроения 4 2225-4293 11 К2
Безопасность труда в промышленности 3 0409-2961 11 К2
Неизвестный Достоевский 1 2409-5788 11 К2
Стандарты и качество 4 0038-9692 12 К2
Обогащение руд 2 0202-3776 12 К2
Вестник Московского университета. Серия 15: Вычислительная математика и кибернетика 4 0137-0782 13 К2
Горные науки и технологии 4 2500-0632 13 К2
Растительные ресурсы 4 0033-9946 13 К2
Химическая физика и мезоскопия 4 1727-0227 14 К2
Российский сейсмологический журнал нет 2686-7907 16 К3
Вестник Московского государственного технического университета им. Н. Э. Баумана. Серия: Естественные науки 2 1812-3368 18 К2
Продолжение табл. 2
Сибирский лесной журнал нет 2311-1410 19 К2
Инженерная физика 4 2072-9995 19 К2
Геотехника нет 2221-5514 20 К2
Дифференциальные уравнения и процессы управления 3 1817-2172 21 К3
Физико-химические аспекты изучения кластеров, наноструктур и наноматериалов 3 2226-4442 22 К3
Историко-биологические исследования нет 2076-8176 22 К2
Человек 2 0236-2007 22 К2
Океанологические исследования нет 1564-2291 23 К2
Радиоактивные отходы нет 2587-9707 23 К2
Экологическая безопасность прибрежной и шельфовой зон моря нет 2413-5577 23 К2
Биотехнология и селекция растений нет 2658-6266 25 К3
Вопросы радиационной безопасности нет 1816-9643 25 К2
Защита и карантин растений нет 1026-8634 25 К2
Минералогия нет 2313-545Х 25 К2
Недропользование нет 2712-8008 25 К2
По примерам, приведённым в табл. 2, можно увидеть, что высокорейтинговые по версии Science Index журналы часто не входят в Белый список и по каким-то причинам отнесены ко второй или даже к третьей категориям ВАК. Характерно, что среди представленных названий много журналов по узким, часто прикладным научным направлениям. В таких областях знания специальных изданий немного, да и объём самих выпусков тоже невелик. Такая ситуация несёт в себе риск утери не только ценных научных изданий, но и целых научных направлений ввиду сужаемого круга рекомендуемых для публикаций изданий по ряду областей знания, по которым большое число достойных журналов остаётся за пределами рейтингов БС и ВАК. Особенно это касается узких прикладных научных областей, чья ценность на современном этапе особенно высока.
ЗАКЛЮЧЕНИЕ
В публикации проанализированы российские издания, включённые в приоритетные для публикаций списки: основной и дополнительный Перечни ВАК и Белый список журналов РЦНИ. Указанные списки изучены с содержательной и качественной стороны. В результате исследования обнаружено, что ни один из упомянутых списков не удовлетворяет двум основным требованиям:
1) полноте охвата наиболее значимых изданий по максимальному кругу научных направлений без ущемления интересов хотя бы одного из них;
2) тщательной проработанности методологии рейтингования по категориям или уровням.
Несовершенство методик и отсутствие взвешенного подхода справедливо вызывает множество вопросов к их создателям. Особенно много противоречий возникает при категорировании журналов основного и дополнительного Перечней ВАК. Если в основном Перечне ВАК наблюдается массовое несправедливое отнесение журналов к более слабым категориям, которых они явно не заслуживают, то методика отнесения журналов из дополнительного Перечня ВАК влечёт за собой риски ошибок при категоризации журналов. На этом фоне наблюдается также и обратная ситуация, когда журналам по каким-то причинам завышаются категории.
Довольно точное понимание качественного уровня журналов можно получить с помощью нового рейтинга научных периодических изданий РИНЦ -Science Index, а именно — индикатора «процентиль журнала». Прозрачность, взвешенный подход к определению ключевых наукометрических показателей, а также полная верификация учитываемых данных позволяет рекомендовать данный индикатор в качестве основного маркера при генерации приоритетных списков журналов вне зависимости от их тематической, ведомственной и языковой принадлежности.
СПИСОК ИСТОЧНИКОВ
1. Итоги рейтингования журналов, входящих в перечень рецензируемых научных изданий, в которых должны быть опубликованы основные научные результаты диссертаций на соискание учёной степени кандидата наук, на соискание учёной степени доктора наук, в 2023 году / С. И. Пахомов, Е. А. Логинова, И. Е. Ильина [и др.]. М. : IMG Print, 2023. 44 с. ISBN 978-5-6049546-5-2.
2. Куракова Н. Г., Цветкова Л. А. Категоризация Перечня ВАК и его место в национальной системе оценки эффективности исследований и разработок // Менеджер здравоохранения. 2022. № 10. С. 4-13. DOI 10.21045/1811-0185-2022-10-4-13. EDN PPRGII.
3. Кочетков Д. М. Белый список российских журналов: вопросы, ждущие ответа // Научный редактор и издатель. 2022. Т. 7, № 2. С. 185-190. DOI 10.24069/SEP-22-48. EDN HJMDNO.
4. Цветкова В. А., Мохначева Ю. В. Российские научные журналы в структуре оценок исследовательских процессов // Управление наукой: теория и практика. 2023. Т. 5, № 2. С. 77-88. DOI 10.19181/smtp.2023.5.2.5. EDN DLZDZU.
5. Третьякова О. В. Российский опыт составления национальных списков научных журналов: ошибки, задачи и перспективы // Terra Economicus. 2023. Т. 21, № 3. С. 102-121. DOI 10.18522/2073-6606-2023-21-3-102-121. EDN GPGNNF.
6. Ольга Кириллова: «Мы уже научились работать самостоятельно» // Университетская книга. 2023. № 9. С. 8-16. EDN AWMIDG.
7. Кириллова О. В., Тихонова Е. В. Критерии качества научного журнала: измерение и значимость // Научный редактор и издатель. 2022. Т. 7, № 1. С. 12-27. DOI 10.24069/ SEP-22-39. EDN WRRRTK.
8. «Белый список» научных изданий: альтернативная наукометрия // Университетская книга. 2023. № 8. С. 76-80. ЕБЫ
9. Семёнов Е. В. Национальная сеть научных журналов как система: проблемы до и после санкций // Мир России. Социология. Этнология. 2023. Т. 32, № 3. С. 145-166. Б01 10.17323/1811-038Х-2023-32-3-145-166. ЕБЫ IRPQKL.
10. Третьякова О. В. Национальные списки научных журналов: обзор мировой практики // Журнал институциональных исследований. 2023. Т. 15, № 3. С. 20-39. Б01 10.17835/2076-6297.2023.15.3.020-039. ЕБЫ LHLBQU.
11. Горелкин В. А. Регламентация издания научных журналов в России: проблемы и предложения // Научный редактор и издатель. 2022. Т. 7, № Б1. С. 6-15. Б01 10.24069/ БЕР-22-37. ЕБЫ НШКСВ.
REFERENCES
1. Pahomov S. I., Loginova E. A., Ilyina I. E. [et al.] The results of the ranking of journals that are included in the list of peer-reviewed research publications, in which the main academic results of dissertations for the degrees of Candidate of Sciences and Doctor of Sciences should be published in 2023 [Itogi reitingovaniya zhurnalov, vkhodyashchikh v perechen' retsenziruemykh nauchnykh izdanii, v kotorykh dolzhny byt' opublikovany os-novnye nauchnye rezul'taty dissertatsii na soiskanie uchenoi stepeni kandidata nauk, na soiskanie uchenoi stepeni doktora nauk, v 2023 godu]. Moscow : IMG Print; 2023. 44 p. (In Russ.). ISBN 978-5-6049546-5-2.
2. Kurakova N. G., Tsvetkova L. A. Categorization of the higher attestation commission list and its place in the national system for evaluating the effectiveness of research and development. Manager of Health Care=Manager Zdravoochranenia. 2022;(10):4-13. (In Russ.). DOI 10.21045/1811-0185-2022-10-4-13.
3. Kochetkov D. M. Russian Journal Whitelist: Questions to be answered. Science Editor and Publisher. 2022;7(2):185-190. (In Russ.). DOI 10.24069/SEP-22-48.
4. Tsvetkova V. A., Mokhnacheva Yu. V. Russian scientific journals in the structure of research process assessments. Science Management: Theory and Practice. 2023;5(2):77-88. (In Russ.). DOI 10.19181/smtp.2023.5.2.5.
5. Tretyakova O. V. Russian experience with national rankings of academic journals: Mistakes, challenges, and prospects. Terra Economicus. 2023;21(3):102-121. (In Russ.). DOI 10.18522/2073-6606-2023-21-3-102-121.
6. Olga Kirillova: "We have already learned how to work independently" [Olga Kirillova: «My uzhe nauchilis' rabotat' samostoyatel'no»]. University Book=Universitetskaya kniga. 2023;(9):8-16. (In Russ.).
7. Kirillova O. V., Tikhonova E. V. Journal quality criteria: Measurement and significance. Science Editor and Publisher. 2022;7(1):12-27. (In Russ.). DOI 10.24069/SEP-22-39.
8. The "white list" of academic publications: Alternative scientometrics [«Belyi spisok» nauchnykh izdanii: al>ternativnaya naukometriya]. University Book=Universitetskaya kniga. 2023;(8):76-80. (In Russ.).
9. Semenov E. V. A national network of academic journals as a system: Problems before and after sanctions. Universe of Russia. Sociology. Ethnology. 2023;32(3):145-166. (In Russ.). DOI 10.17323/1811-038X-2023-32-3-145-166.
10. Tretyakova O. V. National lists of academic journals: An overview of world practice. Journal of Institutional Studies. 2023;15(3):20-39. (In Russ.). DOI 10.17835/20766297.2023.15.3.020-039.
11. Gorelkin V. A. Regulation of scientific journals publishing in Russia: Problems and suggestions. Science Editor and Publisher. 2022;7(1 (Suppl)):6-15. (In Russ.). DOI 10.24069/SEP-22-37.
Поступила в редакцию/Received 02.04.2024. Одобрена после рецензирования/Revised 02.05.2024.
Принята к публикации /Accepted 03.06.2024.
СВЕДЕНИЯ ОБ АВТОРЕ
Мохначева Юлия Валерьевна [email protected]
Кандидат педагогических наук, ведущий научный сотрудник, заведующий отделом наукометрических исследований, Библиотека по естественным наукам РАН, Москва, Россия
ЭРИЧ-код: 2604-3839
INFORMATION ABOUT THE AUTHOR
Yuliya V. Mokhnacheva [email protected]
Candidate of Pedagogy, Leading Researcher, Head, Department of Scientometric Research, Library
for Natural Sciences of the RAS, Moscow, Russia
ORCID: 0000-0001-5780-485X
Scopus Author ID: 54880572900
Web of Science ResearcherlD: AAI-7181-2020
