CC BY
13
УДК 001.89:004:027.0221
«БЛЕСК И НИЩЕТА» КОЛИЧЕСТВЕННЫХ ПОКАЗАТЕЛЕЙ ДЕЯТЕЛЬНОСТИ НАУЧНЫХ УЧРЕЖДЕНИЙ И СОТРУДНИКОВ (НА ПРИМЕРЕ ГПНТБ СО РАН)
О.Л. Лаврик, И.А. Гузнер
Государственная публичная научно-техническая библиотека СО РАН, Новосибирск
[email protected], [email protected]
С.С. Гузнер
Сибирский государственный университет путей сообщения, Новосибирск
Приведены статистические системы, с которыми работает ГПНТБ СО РАН как научное учреждение России (АСУРИД, ISGZ.acnet, РИНЦ, Scopus, Web of Science) и как библиотека (6НК, ведомственная отчетность). Описаны противоречия, дублирование и проблемы в анализе формируемых и получаемых данных. Показано, какие количественные данные могут быть использованы для реальной качественной характеристики научно-производственной деятельности библиотеки и ее сотрудников.
Ключевые слова: количественные показатели, качественные показатели, показатели библиотечной деятельности, показатели научной деятельности.
DOI: 10.17212/2075-0862-2016-1.2-138-145
В настоящее время в условиях реформирования в стране системы образования и науки существенная роль отводится совершенствованию показателей оценки деятельности научных учреждений.
Академические библиотеки, входившие наряду с классическими научно-исследовательскими учреждениями в состав РАН, с одной стороны, выполняли многочисленные функции по информационному обслуживанию ученых и специалистов, с другой — являлись одновременно исследовательскими центрами [4, 6]. Это накладывало определенную специфику и на систему их отчетности.
В Российской академии наук многие годы применялась двойственная система оценки деятельности библиотеки: по специальным показателям, отражающим информационно-библиотечный аспект (разработана с учетом требований государственных стандартов на этот вид деятельности), и по общим, принятым в РАН для оценки научных учреждений. Ведомственная отчетность академических библиотек, которая, трансформируясь, используется уже на протяжении почти 50 лет, накопила гигантский статистический материал, обработка которого позволила бы сделать выводы о развитии информационно-
го обеспечения науки и понять, насколько быстро адаптировалась библиотека к вызовам времени. К сожалению, в настоящее время существуют определенные опасения относительно судьбы данного уникального информационного ресурса, связанные с общими процессами реорганизации Российской академии наук: под вопросом существование Информационно-библиотечного совета РАН, который на протяжении десятилетий осуществлял сбор статистической информации.
Параллельно уже около 10 лет продолжает действовать разработанная РАН для объективной оценки деятельности научных организаций (с целью последующего формирования эффективной системы учреждений науки) система АСУ РИД (Автоматизированная система учета результатов интеллектуальной деятельности), насчитывающая порядка 150 показателей, которую администрирует Институт проблем развития науки РАН (ИПРАН РАН). К положительным результатам ее внедрения можно отнести формирование базы данных, содержащей сведения об итогах оценки результативности деятельности научных организаций, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, в рамках которой, например, ГПНТБ СО РАН могла провести сравнительный анализ своей деятельности (через средний показатель) по отношению к другим академическим организациям, включенным в референтную группу «Научно-техническая информация, библиотеки»: БАН, БЕН, ИНИОН, ВИНИТИ, ЦНБ УРО РАН. В результате определялись «конкурентные» позиции библиотеки, ее сильные и слабые стороны.
Предложенная система показателей может служить достаточно объективной основой для самообследования и самооценки складывающихся в деятельности организации как положительных, так и отрицательных тенденций и принятия управленческих решений оперативного и стратегического характера [2, 3].
Кроме того, существенный блок отчетности ГПНТБ СО РАН связан с обязательным заполнением форм федерального государственного статистического наблюдения, относящимся к различным отраслям:
— культуры (Форма 6-НК «Сведения об общедоступной (публичной) библиотеке»);
— науки (Форма 2-наука «Сведения о выполнении научных исследований и разработок»);
— образования (Форма 1-НК «Сведения о работе аспирантуры и докторантуры»).
Заметим, что ГПНТБ СО РАН является единственной библиотекой в России, осуществляющей подготовку кадров высшей квалификации в аспирантуре и докторантуре.
Появление в структуре управления наукой Института ФАНО (Федеральное агентство научных организаций) с неизбежностью породило новый «всплеск отчетной волны», во многом дублирующий уже имеющиеся показатели текущей отчетности. В этой связи нельзя не согласиться с позицией директора Института экономики РАН академика Р.С. Гринберга, высказанной на круглом столе «Жизненный цикл РАН закончен?» (сентябрь 2015 г.): «Количество отчетов, количество критериев, на которые надо ориентироваться, количество форм, которые надо заполнять, — запредельно...». Что касается академических библиотек, то это пре-
жде всего проявляется в том, что наряду с сохраняющимися обязательной государственной отчетностью, отчетностью по научной деятельности в рамках отделений РАН (осуществляющих научно-методическое руководство организациями, подведомственными ФАНО), АСУ РИД, академической библиотечной статистикой (специальные показатели библиотек РАН, отражающие преимущественно информационно-библиотечный аспект), ведомственная статистика научной деятельности обогатилась статистической отчетностью в ФАНО России. Можно выделить четыре основных направления отчетности в рамках ФАНО (без учета отчетов по финансово-хозяйственной деятельности): отчеты по государственному заданию, по дорожной карте, по индикаторам и многочисленные отчеты «по требованию». Так, например, ГПНТБ СО РАН заполняет в различных отчетных формах свыше 400 показателей. Многие показатели в отчетах ФАНО дублируются с показателями АСУ РИД, некоторые показатели АСУ РИД и ФАНО должны корреспондироваться с аналогичными показателями обязательной государственной отчетности. Как показывает практика, хотя в разных формах отчетности используются показатели, отражающие различные аспекты одного и того же явления (например, «количество исследователей» и «количество научных сотрудников», а также связанные с ними удельные показатели), есть все основания полагать, что в процессе анализа они толкуются как идентичные.
Однако приходится констатировать, что многие количественные показатели мало востребованы и пока слабо используются при практической оценке эффективности деятельности библиотек как инфор-
мационных, так и научных учреждений. Следует отметить, что в решении этой проблемы в последнее время наметились определенные подвижки.
Наиболее востребованными являются показатели публикационной активности, используемые для определения научной результативности отдельных ученых и исследовательских организаций в целом. Отметим, что эти показатели стали для соответствующих ведомств чуть ли не главным и основным мерилом научной продуктивности [1]. Например, планируемым результатом деятельности научного учреждения в соответствии с государственным заданием является количество публикаций, индексируемых в РИНЦ, Scopus, Web of Science. Для ГПНТБ СО РАН, как и для всех гуманитарных институтов страны, основным показателем результативности научных исследований стало количество публикаций, индексируемых в РИНЦ.
Данные, предоставляемые РИНЦ, помимо требуемых сведений о количестве публикаций сотрудников организации и количестве ссылок на 100 публикаций, позволяют получить и «статистический портрет» любого исследователя. Ценность этих сведений заключается, как нам кажется, в том, что их можно использовать для сравнительного анализа с аналогичными данными известных специалистов в стране, проводить сопоставление научной продуктивности сотрудников организации и т. п., т. е. использовать для получения качественных выводов. Для получения «статистического портрета» исследователя можно предложить следующий подход.
Как известно, для характеристики публикационной активности каждого автора РИНЦ дает 31 показатель и 22 статистических отчета [1]. Прежде всего необ-
ходимо определиться с содержательной интерпретацией этих показателей. Выполненный анализ [5] дает основания утверждать, что с использованием этих показателей могут быть сделаны выводы относительно:
— научной продуктивности автора, интенсивности его труда на фоне наиболее известных специалистов в стране (на уровне страны) и всех авторов организации. И о реальной научной продуктивности автора, его идей: многие или одна статья цитируется — вывод напрашивается сам собой;
— наиболее продуктивных авторов, авторов в определенной возрастной группе, среди авторов с аналогичной степенью и званием;
— уровня научных исследований автора в определенном направлении: лидерстве, заметном вкладе, вторичности;
— вклада автора в развитие научных исследований в организации;
— широты распространения научных идей автора на основе процента цитирований: сотрудниками организации, где работает автор, аспирантами и докторантами автора, специалистами, работающими в регионе, стране, мире;
— реального научного вклада автора. Контент-анализ ссылок позволит определить характер цитирования: 1) положительная идея; 2) отрицательная идея (в случае критического анализа результатов цитируемой работы); 3) фактические данные, не имеющие отношения к выводам работы;
— общего научного потенциала автора (исключив самоцитирование и зная общее число публикаций автора в РИНЦ);
— продолжительности научной активности;
— наличия или отсутствия тематической связи с другими авторами и соавторами,
что покажет случайный или неслучайный характер совместной публикации. Это возможность выявить «подаренные» публикации, т. е. судить о реальном научном вкладе автора в публикацию;
— уровня научных коммуникаций (поскольку публикация в журнале, в отличие от сборника статей, более оперативно поступает в систему научных коммуникаций и шире распространяется);
— продвинутости идей автора в стране и мире;
— качественного уровня публикаций;
— качественного уровня публикаций и продвинутости идей автора среди ведущих специалистов в стране;
— актуальности, важности и «живучести» авторских идей и изложенных фактов;
— направлений исследований или практической деятельности автора: насколько он сосредоточен на определенном(-ых) направлении(-ях), «копает» вглубь или вширь. Широкий тематический разброс может свидетельствовать о том, что автор не нашел себя или является скорее администратором с широкими полномочиями, чем ученым-исследователем;
— доступности опубликования (если ученый публикуется только в журналах, учрежденных ведомством, организацией, в которой работает автор);
— качества работы (если автор публикуется в ведущих журналах по определенному тематическому направлению);
— уровня включенности в мировые научные коммуникации, оригинальности идей автора;
— общего количества публикаций и числа публикаций в журналах из списка ВАК — о стремлении автора распространить свои идеи среди коллег или о формальном характере публикаций;
— манеры работы автора: предпочитает творить в одиночку, в составе постоянной группы или его в силу различных причин включают в самые разнообразные научные коллективы;
— стабильности (нестабильности) работы автора;
— типовых предпочтений автора и, соответственно, уровня работы над публикацией.
Следующим (вторым) шагом для составления наукометрического портрета любого специалиста в любой научной области является формирование референтных групп в близкой для авторов области. Например, для библиотековедения следует провести поиск в РИНЦ по авторскому указателю по индексу ГРНТИ «Культура. Культурология»; для информатики — по индексу ГРНТИ «Информатика».
Далее (третий шаг) необходимо отобрать тех авторов, которые работают именно в том направлении, в котором трудится специалист. В нашем случае авторов в области культурологии было найдено 2874 специалиста, в области информатики — 1628 (данные на апрель 2015 г.). Соответственно, заметных авторов в области библиотековедения оказалось более 300, в области информационно-библиотечной деятельности — около 200.
Если необходимо составить портрет исследователя на фоне специалистов страны, то следует решать, какое их количество включить в группу для сравнения. Например, первая десятка. Тогда результаты поиска можно ранжировать по индексу Хирша (как интегрального показателя).
В нашем случае для изучения в первую десятку специалистов в области библиотековедения вошли следующие (табл. 1).
Таблица 1
Первая десятка специалистов РФ
в области библиотековедения (ранжирование по индексу Хирша)
№ ФИО Индекс Хирша
1 Соколов А. В. 14
2 Гендина Н. И. 9
3 Столяров Ю. Н. 8
4 Елепов Б. С. 8
5 Лаврик О. Л. 8
6 Шрайберг Я. Л. 7
7 Берестова Т. Ф. 7
8 Брежнева В. В. 7
9 Матлина С. Г. 6
10 Минкина В. А. 6
В области библиотечной информатики в первой десятки оказались следующие специалисты (табл. 2).
Таблица 2
Первая десятка специалистов РФ в области библиотечной информатики (ранжирование по индексу Хирша)
№ ФИО Индекс Хирша
1 Гиляревский Р. С. 13
2 Мазов Н. А. 9
3 Глухов В. А. 8
4 Каленов Н. Е. 7
5 Паринов С. И. 7
6 Черный А. И. 6
7 Арский Ю. М. 6
8 Антопольский А. Б. 6
9 Земсков А. И. 6
10 Плешкевич Е. А. 6
Четвертый, весьма трудоемкий, шаг — отобрать показатели для формирова-
ния портрета, рассчитать средние значения этих показателей для первой десятки и сформировать таблицу. В нее можно вне-
Пятый шаг — проведение реального сопоставления: составление наукометрического портрета исследователя на фоне ве-
Если необходимо составить наукометрический портрет исследователя не только на фоне ведущих специалистов страны, но и на фоне организации, тогда следует рассчитать средние значения этих показа-
сти (для сравнения) и данные лидера. Полученная таблица может выглядеть следующим образом (табл. 3).
дущих специалистов страны в определенной области. Можно составить аналогичную таблицу (табл. 4).
телей для первой десятки авторов организации и сформировать таблицу. В нее можно внести и данные лидера организации. Полученная таблица может выглядеть следующим образом (табл. 5).
Таблица 3
Средние значения показателей у лидеров и первой десятки авторов в области библиотековедения и информатики
№ Показатель в РИНЦ Значение показателя у лидера в области библиотековедения Среднее значение показателя у топ-10 авторов в области библиотековедения Значение показателя у лидера в области информатики Среднее значение показателя у топ-10 авторов в области информатики
1 Индекс Хирша 14 8 13 7,4
2 Число публикаций автора 206 101 90 75
3 Число цитирований публикаций автора 1613 580 1045 486
4 Число публикаций, процитировавших работы автора 1236 369 703 303.3
Таблица 4
Сравнительные значения показателей исследователя на фоне ведущих специалистов
страны в определенной области
№ Показатель Значение показателя Среднее значение показателя Показатель
в РИНЦ у лидера в области ... у топ-10 авторов в области ... персоны
Таблица 5
Сравнительные значения показателей исследователя на фоне авторов в определенной области и на фоне авторов организации
Показа- Значение Среднее значение Значение Среднее значение Пока-
№ показателя показателя показателя показателя
тель в у топ-10 авторов у топ-10 авторов затель
РИНЦ у лидера у лидера персоны
в области ... в области . организации организации
Для более наглядного представления сравнительных данных можно сделать гистограммы, что упростит проведение качественного сравнительного анализа и выведение портрета.
Обратим внимание, что значение показателей меняется в РИНЦ еженедельно. Поэтому даже при стабильной первой десятке изменение средних значений показателей может существенно отразиться на персональном портрете. Поэтому все данные для его составления необходимо собирать единовременно. Нельзя использовать один раз рассчитанные средние значения для сравнительного анализа с персональными данными авторов, например, «снятыми» в течение года и даже месяца.
Эти сравнительные данные могут лечь в основу различных управленческих решений и аттестаций: перевод на более высокий или более низкий уровень, перевод на часть ставки, поощрение и т. д.
Таким образом, можно утверждать, что система показателей РИНЦ предоставляет значительные возможности для формирования оценки деятельности исследователя. Но при оценке организации следует иметь в виду, что любая система показателей может быть эффективным инструментом только тогда, когда она действительно отражает истинное положение дел учреждения, давая возможность сравнивать его с другими аналогичными структурами. В этом случае она стимулирует научные ор-
ганизации к развитию, к разработке стратегий, ориентированных на достижение максимальных результатов, к реализации инновационной политики. Если же система показателей формальна, «забюрократизирована» в негативном смысле, то вряд ли можно ожидать сколь-либо существенных положительных сдвигов: учреждения просто начинают приспосабливаться к ней.
Литература
1. Арефьев П.Г. Публикационная активность: возможности роста за счет деятельности авторов // Университетская книга. — 2013. — № 9. - С. 80-86.
2. Гузнер И А.., Гузнер С.С. Научная деятельность ГПНТБ СО РАН в цифрах (20102012 гг.) // Труды ГПНТБ СО РАН. - Новосибирск, 2013. - № 5. - С. 10-19.
3. Гузнер ИА, Гузнер С.С. Оценка результативности деятельности академической библиотеки на основе системы индикаторов // Библи-осфера. - 2012. - № 4. - С. 3-7.
4. Каленов Н.Е. Об информационном сопровождении фундаментальных научных исследований // Научно-техническая информация. Серия 2: Информационные процессы и системы. - 2015. - № 4. - С. 1-5.
5. Лаврик О Л, Глухов В.А. Публикационная активность автора в РИНЦ: количественные данные как основа для качественного анализа // Труды ГПНТБ СО РАН. - Новосибирск, 2015. - Вып. 9. - С. 134-146.
6. Лаврик О Л., Гузнер И А. Академическая библиотека как научный институт // Вестник Российской академии наук. - 2015. - Т. 85, № 2. - С. 123-127.
«SPLENDOUR AND MISERY» OF QUANTITATIVE INDICATORS OF ACADEMIC INSTITUTIONS AND STAFF PERFORMANCE (CASE STUDY OF THE STATE PUBLIC SCIENTIFIC AND TECHNOLOGICAL LIBRARY OF THE SIBERIAN BRANCH OF THE RAS)
O.L. Lavrik, I.A. Guzner
State Public Scientific and Technical
Library of SB RAS, Novosibirsk
[email protected], [email protected]
S.S. Guzner
Siberian State University of Railway
Transport,
Novosibirsk
The article describes the statistical systems which are used by SPSTL SB RAS as an academic institution of Russia (ACS RID, ISGZ.acnet, RISC, Scopus, Web of Science) and as a library (6NK, departmental reporting). We describe the inconsistencies and problems of duplication in the analysis of data produced and received. The article shows which quantitative data can be used for actual qualitative characteristics of academic and other activities of the library and its staff.
Keywords: quantitative indicators, qualitative indicators, indicators of library activities, indicators of academic activity.
DOI: 10.17212/2075-0862-2016-1.2-138-145
References
1. Aref'ev P.G. Publikatsionnaya aktivnost': vozmozhnosti rosta za schet deyatel'nosti avtorov [Publication activity: growth possibilities due to authors' activities]. Universitetskaya kniga — University Book, 2013, no. 9, pp. 80-86.
2. Guzner I.A., Guzner S.S. [Scientific activities of SPSTL SB RAS in figures (2010-2012)]. Trudy GPNTB SO RAN [Proceedings of SPSTL of SB RAS], 2013, no. 5, pp. 10-19.
3. Guzner I.A., Guzner S.S. Otsenka rezul'tativnosti deyatel'nosti akademicheskoi biblioteki na osnove sistemy indi-katorov [The assessment of academic library activity results on the base of indicators system]. Bibliosfera — Bibliospere, 2012, no. 4, pp. 3-7.
4. Kalenov N.E. Ob informatsionnom sopro-vozhdenii fundamental'nykh nauchnykh issledova-
nii [The information support of basic research]. Nauchno-tekhnicheskaya informatsiya. Seriya 2: Infor-matsionnye protsessy i sistemy — Automatic Documentation and Mathematical Linguistics, 2015, no. 4, pp. 1—5. (In Russian)
5. Lavrik O.L., Glukhov VA. [An author's publication activity in RISC: quantitative data as the bases for a qualitative analysis]. Trudy GPNTB SO RAN [Proceedings of SPSTL of SB RAS], 2015, no. 9, pp. 134-146.
6. Lavrik O.L., Guzner I.A. Akademicheskaya biblioteka kak nauchnyi institut [An academic library as a research institute]. Vestnik Rossiiskoi aka-demii nauk — Herald of the Russian Academy of Sciences, 2015, vol. 85, no. 2, pp. 123—127.
