CC BY
15
Формирование комплекса
библиометрических
показателей
для оценки университетов Беларуси и Украины^ИИШЯ
Резюме. Для оценки научно-исследовательской деятельности университетов Беларуси и Украины обоснован набор библиометрических индикаторов, отличающихся от применявшихся в этих странах ранее. С его помощью сравнивается соответствующая активность вузов двух государств, приводятся данные об университетах-лидерах. Показано, что чувствительность индикатора «средняя цитируемость одной статьи»(из опубликованных в 2011-2015 гг.) к оперативным изменениям научной деятельности и усредненность показателя «количество публикаций в 10% наиболее цитируемых публикаций аналогичной тематики» для различных областей знания обусловливают преимущество предложенного комплекса перед действующим в Украине и работавшим в Беларуси.
Ключевые слова: научно-исследовательская деятельность организации, эффективность, библиометрическая оценка, цитирование, цитируемость, количество публикаций, рейтинги университетов.
Владимир Лазарев,
заведующий сектором
программного
обеспечения
и технического
обслуживания
Научной библиотеки
БНТУ
J. ¿-л
t
Сергей Назаровец, Алексей Скалабан,
директор директор
Научной библиотеки Научной библиотеки
Национального БНТУ
университета
«Киево-Могилянская
академия»,
Украина
Вопросу применения библиометрических данных для построения рейтингов не только деятельности научных организаций, но и учреждений высшего образования посвящен специальный раздел в [1]. Как отмечено в нем, «в международных рейтингах университетов, таких как Academic Ranking of World Universities (ARWU, или Шанхайский рейтинг), Times Higher Education World University Ranking (THE WUR) и QS World University Ranking, показатели, связанные с публикационной
активностью, составляют от 20 до 60% от окончательного балла, что говорит о чрезвычайной важности научных публикаций для оценки всех сторон деятельности университета - образовательной и научной, а также международной составляющей» [1, с. 156]. Мало того, по Web of Science Core Collection строится Лейденский рейтинг, в числе характеристик которого только различные данные о цитируемости написанных в вузе статей и библиометрические сведения о самих статьях [1, с. 160].
Вообще при сравнении разнообразных аспектов функционирования вузов применяют самые различные и разнородные рейтинги, основанные и на данных, весьма далеких от библиометрии. Тем не менее представители министерств, высшего руководства вузов, безусловно, примут библиометрические данные к сведению и будут использовать в работе. Поэтому нет ничего необычного в практике сравнения между собой эффективности научной деятельности вузов по библиометрическим показателям. Так, Рейтинг учреждений образования Республики Беларусь и научно-исследовательских учреждений вузов по индексу Хирша в ознакомительных целях готовился с 2012 по 2016 г. Центральной научной библиотекой
В МИРЕ НАУКИ
НАН Беларуси (ЦНБ) и обновлялся на ее сайте [2]. А на веб-ресурсе http://osvita.ua был размещен Консолидированный рейтинг вузов Украины 2016 г. [3], также включающий ранжирование в соответствии с данными БД Scopus [4]. Кстати, их появление следует считать основанным на собственных методических платформах ответом на ограниченную представленность национальных вузов в престижных мировых университетских рейтингах, вызванным потребностью сравнительной оценки с возможностью охвата всех высших учебных заведений одной страны или стран СНГ.
В рейтингах, составлявшихся в ЦНБ в 20122016 гг., индикаторами были: число публикаций организации, отраженных в БД Scopus; число ссылок, зафиксированных в БД Scopus, на публикации организации; а также индекс Хирша, который авторы классификаторов явно считали главным, что следует как из названий рейтингов, так и из [5]. Однако в силу своей природы он «не может уменьшаться с течением времени... - и ученый может уже много лет находиться на пенсии и не писать научных трудов, однако h-индекс его будет не меньше, чем он был на пике карьеры». Точно так же университет может занимать высокое место за счет прошлых научных достижений, а в текущее время не иметь в штате активных авторов-ученых. «Поэтому для получения более осмысленного показателя следует, как и для любой библиометрической величины, задать публикационное окно. Например, можно рассматривать все статьи, вышедшие. за пятилетний промежуток, и учитывать ссылки, полученные этими статьями» [1, с. 103-104]. Однако в ознакомительных рейтингах, составлявшихся в ЦНБ, этого сделано не было. Кроме того, индекс Хирша обладает таким ограничением, как отсутствие какой-либо поправки на дисциплинар-ность: «сравнение абсолютных значений индекса у ученых, работающих в разных областях науки, невозможно; это не нормализованный по областям науки показатель» [1, с. 104]. Необходимость нормализации показателей совокупной цити-руемости по областям науки при подготовке библиометрического рейтинга научных учреждений еще более очевидна.
Известно, что «если одна из организаций существует 20 лет, а другая 5, или они осуществляют исследования в разных научных областях, или сильно отличаются по количеству ученых, то ни один из показателей напрямую не может использоваться, необходимы. нормирования, учитывающие как область науки, так
и количество авторов» [6, с. 313]. «Размер организации. учитывается путем нормирования показателей на количество преподавателей» [1, с. 161].
Сообщений о соблюдении этих условий при подготовке рассмотренных рейтингов Беларуси и Украины нами не найдено. Рейтинг [4] состоит абсолютно из тех же показателей, что и [2]: число публикаций организации, отраженных в БД Scopus; число ссылок, зафиксированных в Scopus, на эти публикации; индекс Хирша.
То, что h-индекс не подходит для рассматриваемой оценки, очевидно. Но какие же параметры целесообразно применять для объективного анализа научно-изыскательской деятельности учреждений высшего образования и научных организаций? В [7] приведены результаты изучения исследовательской активности университетов России в 2006-2010 гг. на основании шести характеристик, первыми тремя и важнейшими из которых являются именно «число публикаций 2006-2010 гг., отраженных в БД Web of Science: InCites»; «общее число ссылок в WoS на публикации 2006-2010 гг.» и «среднее число ссылок на документ (из публикаций 2006-2010 гг.) в Web of Science» [7, с. 239]. Эти три показателя, по нашему мнению, и следует считать обязательными для оценки эффективности научной деятельности организации: общее число ссылок указывает на документированное использование совокупного документального потока, созданного в ней за период времени, и, опосредованно, на его ценность [8]; среднее число ссылок на документ - на использование и ценность одной средней статьи из потока; число публикаций - ipso facto на продуктивность исследователей учреждения. При этом если соотносимость понятий ценности научных документов и эффективности научной деятельности как будто не подлежит сомнению, то сопоставимость понятий продуктивности исследователей и эффективности научной работы куда более дискуссионна: в данном индикаторе не отражается качество статей, и его применение стимулирует незрелые публикации, самоплагиат и т.п. Однако за счет использования таких БД, как Web of Science Core Collection и Scopus, ведущих жесткий отбор периодических изданий, статьи из которых в них отражаются, продуктивность рассматривается весьма избирательно: применительно исключительно к статьям из наиболее качественных мировых источников. Полученные таким образом данные обеспечивают лишь относительную сравнительную оценку продуктивности; но по существу
это не недостаток, а преимущество, так как при таком подходе в определенной мере учитывалось качество самих публикаций: их попадание именно в эти базы свидетельствовало о том, что оно превысило определенный порог.
Что до цитируемости, то в каждом отдельном случае равно интересно и важно знать общее число ссылок на работы организации и величину цитируемости одной средней работы. Но при сравнительной оценке разных учреждений - если невозможно провести нормализацию данных по числу сотрудников - показатель «средняя цитируемость одной статьи» приобретает действительно ключевое значение, поскольку «уравновешивает» и то неравенство цитирований, которое вызвано расхождениями в публикационной практике вследствие различного количества авторов в разных организациях. (Правда, нормализация показателей по областям науки, обусловленная различными традициями цитирования в разных областях, не будет выполнена и в этом случае.) Таким образом, из трех названных индикаторов реальную значимость приобретает лишь «средняя цитируемость одной статьи». Первый же и второй оказываются,
скорее, «сырьем» для его формирования. Кроме того, мы полагаем целесообразным использовать данные о количестве публикаций университета, относящихся к 10% самых цитируемых по сравнению с другими статьями того же года и той же отрасли, отражающие наличие в вузе изысканий незаурядной ценности.
Количество публикаций из числа 10% самых цитируемых может было получено с помощью интегрированной модульной платформы SciVal, анализирующей активность научно-исследовательских институтов на основе данных Scopus. При этом присутствует нормализация по областям науки; то есть, используя их наряду с предыдущими, мы соблюдаем еще одно условие корректной библиометрической оценки эффективности научной деятельности.
Для нашего прикладного исследования были взяты сведения БД Scopus на 30.09.2016 г. Учитывались показатели университетов Беларуси и Украины, имеющих не менее 20 документов, отраженных в Scopus за 2011-2015 гг. Так мы пытались оценить ситуацию в каждом вузе за конкретный период, близкий к текущему, а не с момента его основания.
Организация
Количество публикаций в 10% наиболее цитируемых публикаций аналогичной тематики (по сервису Бс№а!),
значение показателя / ранг1
Средняя цитируемость одной статьи, значение показателя / ранг1
Количество цитирований, 2011-2015 гг.
Количество публикаций (статьи, обзоры), 2011-2015 гг.2
Белорусский государственный университет 128 / 1 2,42 / 6 3475 1435
Белорусский национальный технический университет 26 / 2 2,69 / 3 652 242
Белорусский государственный университет информатики и радиоэлектроники 11 / 3 1,81 / 9 429 236
Гомельский государственный медицинский университет 7 / 4 4,47 / 1 206 46
Гродненский государственный медицинский университет 7 / 4 1,91 / 8 213 111
Белорусский государственный технологический университет 7 / 4 1,15 204 176
Белорусский государственный медицинский университет 6 / 7 2,57 / 4 193 75
Гомельский государственный университет им. Ф. Скорины 6 / 7 1,70 / 10 318 186
Брестский государственный университет им. А.С. Пушкина 4 / 9 3,89 / 2 113 29
Гомельский государственный технический университет им. П.О. Сухого 3 / 10 2,08 / 7 104 50
Гродненский государственный университет им. Я. Купалы 1 2,45 / 5 228 93
* Данные об общем количестве публикаций (последняя колонка) брались из БД Scopus в соотнесении с основными профилями вузов, представленными в БД;
данные о количестве публикаций из 10% наиболее цитируемых аналогичной тематики (вторая колонка) - из основных профилей университетов при наличии таковых в SciVal;
при их отсутствии сортировка белорусских публикаций по институциональной принадлежности осуществлялась вручную.
1 - указывается при нахождении в пределах первых десяти рангов,
2 - без учета материалов научных конференций
Таблица 1. Университеты Беларуси в соответствии с принятыми в исследовании показателями (по данным, полученным из Scopus*)
I
В МИРЕ НАУКИ
Таблица 2. Университеты-лидеры Украины в соответствии с принятыми в исследовании показателями (по данным, полученным из Scopus)
В табл. 1 представлена первая «десятка» белорусских университетов в соответствии со значениями названных ключевых характеристик; размещены они в порядке убывания значений в строке «Количество публикаций в 10% наиболее цитируемых публикаций аналогичной тематики (по сервису 8с1Уа1)». (На самом деле в таблице 11 учреждений, поскольку «первые десятки» в соответствии с параметрами «количество публикаций в 10% наиболее цитируемых.» и «средняя цитируемость одной статьи» различаются между собой на один вуз.) В целом финальные места большинства университетов существенно не изменились по сравнению с таковыми в [2] (с учетом и того, что в этом рейтинге НИИ в составе БГУ были вычленены в самостоятельные единицы). Однако в отношении двух вузов ощутимы отличия: Гомельский и Гродненский государственные медунивер-ситеты обосновались в первой десятке, чего не было в [2]. Мало того, ГГМУ, занимавший лишь 16-е место по индексу Хирша [2] (14-е, если учитывать трехкратное отражение в этом рейтинге БГУ как собственно университета и двух входящих в него научно-исследовательских учреждений), оказался по средней цити-руемости одной статьи 2011-2015 гг. на первом месте. Значения показателей табл. 1, полученные этими двумя вузами, свидетельствуют
об активизации работы их ученых в недавний период времени и наглядно демонстрируют полную непригодность индекса Хирша для оценки текущего (а не кумулятивного) состояния научной деятельности.
Заметим, что БГУ - признанный лидер (по данным [2]) - занимал всего 6-е место по значению средней цитируемости одной статьи, хотя его сотрудники и опубликовали в 2010-2015 гг. больше всего работ, которые затем были отражены в БД Scopus. 1-я же и 2-я позиции достались Гомельскому государственному мед-университету и Брестскому госуниверситету им. А.С. Пушкина, опубликовашим, соответственно, в 5 и 8 раз меньше трудов, чем БНТУ, занявший 3-е место.
Также для рейтингования были отобраны 95 вузов Украины, затем ранжированные в соответствии со значениями двух характеристик, признанных нами ключевыми. В табл. 2 - первые 10 университетов, получившие ранги с 1-го по 10-й по показателям «средняя цитируемость одной статьи» (из опубликованных в 2011-2015 гг.) и «количество публикаций в 10% наиболее цитируемых публикаций аналогичной тематики»; размещены они в порядке убывания значений последнего.
Места большинства украинских вузов также существенно не изменились. Тем не менее
Организация Количество публикаций в 10% наиболее цитируемых публикаций аналогичной тематики (по сервису БаУа!), значение показателя / ранг Средняя цитируемость одной статьи, значение показателя / ранг Количество цитирований, 2011-2015 гг. Количество публикаций (статьи, обзоры), 2011-2015 гг.1
Киевский национальный университет им. Т. Шевченко 297 / 1 2,56 / 3 9003 3518
Харьковский национальный университет им. В.Н. Каразина 99 / 2 2,29 / 4 3855 1685
Львовский национальный университет им. И. Франко 85 / 3 2,24 / 6 3040 1353
Одесский национальный университет им. И.И. Мечникова 54 / 4 3,18 / 1 1727 543
Национальный университет «Львовская политехника» 44 / 5 1,46 / 10 1109 757
Сумской государственный университет 40 / 6 2,28 / 5 1420 622
Национальный технический университет Украины «Киевский политехнический институт им. И. Сикорского» 35 / 7 1,65 / 9 1667 1011
Национальный технический университет «Харьковский политехнический институт» 35 / 7 1,8 / 8 909 504
Черновицкий национальный университет им. Ю. Федьковича 32 / 9 2,64 / 2 1397 530
Таврический национальный университет им. В.И. Вернадского 19 / 10 1,93 / 7 808 419
66
1 - без учета материалов научных конференций
вследствие использования описанной методики в десятку лучших высших учебных заведений страны попали Сумской государственный университет и Таврический национальный университет им. В.И. Вернадского. Это может указывать на активизацию там научно-исследовательской деятельности ученых в 2011-2015 гг., которая не была зафиксирована в других попытках оценки, осуществлявшихся без учета хронологических рамок и влиятельности результатов изысканий.
Несмотря на небольшое количество публикаций ученых Одесского национального университета им. И.И. Мечникова, в среднем каждая из них была процитирована трижды, и это лучший результат среди украинских вузов. В свою очередь, множество статей Национального технического университета «Киевский политехнический институт им. И. Сикорского» цитировались менее часто, что можно интерпретировать как сигнал о необходимости лучшей репрезентации результатов научных изысканий. Подобное замечание будет справедливым и в отношении публикационной активности Национального университета «Львовская политехника» (табл. 2).
Считаем, что главным препятствием для проведения наукометрического анализа деятельности учреждений Беларуси и Украины является низкое качество данных в их профилях - как в базах платформы Web of Science, так и в Scopus. Например, аналитический инструмент SciVal, использующий сведения из Scopus, распознает организации только за основными аффилиа-циями профилей в этой базе данных. Если же в публикациях ученых указано название учреждения, отличающееся от такового в основном профиле, то статьи попадают в «псевдо-профиль» Scopus и, соответственно, не отображаются в основном профиле учреждения, а также не будут учтены при построении рейтинга.
Один из оптимальных путей преодоления проблемы - редактирование и постоянный мониторинг присутствия организации в ведущих наукометрических продуктах, который будут осуществлять или специалисты самих учреждений (например, библиотекари), или же этот процесс удастся реализовать на государственном уровне и этим займутся специалисты Министерства образования сразу для всех организаций. В любом случае в каждом вузе должна проводиться разъяснительная работа о важности правильного указания названия учреждения в своих научных публикациях [9].
В авторитетных университетских рейтингах наукометрические показатели используются наряду с другими (опрос экспертов, количество профессорско-преподавательского состава, уровень финансирования и т.д.), предоставляя руководителям вузов достаточно информации о состоянии научно-исследовательской деятельности в их учреждениях. Наша методика опирается исключительно на выбранные библиометрические показатели, которых для комплексного анализа недостаточно, однако в целом данный набор индикаторов соответствует потребностям быстрого и бюджетного мониторинга.
Таким образом, в целях обеспечения оперативного отслеживания эффективности исследований в университетах естественно-научного и технического профиля стран бывшего СССР нами предложено использовать комплекс библиометрических показателей, наиболее значимая характеристика в котором -средняя цитируемость одной статьи при изучении таковой для публикаций вузов последних шести лет. Комплекс апробирован путем опыта рейтингования университетов Украины и Беларуси. Чувствительность индикатора «средняя цитируемость одной статьи» (из опубликованных в 2011-2015 гг.) к оперативным изменениям научной деятельности и усред-ненность индикатора «количество публикаций в 10% наиболее цитируемых публикаций аналогичной тематики» для различных областей знания обеспечивают их преимущество перед традиционными для Украины и Беларуси библиометрическими рейтингами. СИ
http://innosfera.by/2017/06/Bibliometric_indicators
ЛИТЕРАТУРА
1. Акоев М.А. Руководство по наукометрии: индикаторы развития науки и технологии: [монография] / М.А. Акоев, В.А. Маркусова, О.В. Москалева, В.В. Писляков; [под. ред. М.А. Ако-ева].- Екатеринбург, 2014.
2. Рейтинг учреждений образования Республики Беларусь и научно-исследовательских учреждений вузов по индексу Хирша, БД SCO PU S // http://csLbas-net.by/Web/Pages/ Periodicals/pdf/scopus-vuz.pdf.
3. Консол|дований рейтинг вузв УкраТни 2016 року // http://osvita.ua/vnz/rating/51741/.
4. Рейтинг уыверситетв за показниками Scopus 2016 року // http://osvita.ua/vnz/rating/51053/.
5. Березкина Н.Ю., Сикорская О.Н., Хренова Г.С. Использование баз данных цитирования для оценки научной деятельности организаций Беларуси // НТИ. Сер. 1. 2013, №10. С. 25-29.
6. Москалева О.В. Можно ли оценивать труд ученых по библиометрическим показателям? / О.В. Москалева // Управление большими системами. Спец. вып. 44: «Наукометрия и экспертиза в управлении наукой» /Ин-т проблем управления им.В.А. Трапезникова.- М., 2013. С. 308-331.
7. Маршакова-Шайкевич И.В. Роль библиометрии в оценке исследовательской активности науки // Управление большими системами. Спец. вып. 44: «Наукометрия и экспертиза в управлении наукой»/Ин-т проблем управления им.В.А.Трапезникова.- М., 2013. С. 210-247.
8. Лазарев В.С. Научные документы и их упорядоченные совокупности: цитируемость, использование, ценность // Международный форум по информации. 2017. Т. 42, №1. С. 3-16.
9. Скалабан А.В. Роль библиотеки в укреплении позиций университета в Webometrics // Университетская книга. 2013, №12. С. 60-63.
