Оценка потенциала научной деятельности коллектива исполнителей при подаче заявок на участие в конкурсном отборе

Маркина Галина Леонидовна; Шлей Михаил Дмитриевич; Кузнецова Ольга Валерьевна; Мазур Яна Вадимовна; Маркина Татьяна Анатольевна; Леонтьева Виктория Дмитриевна

Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie.ru/

Том 9, №1 (2017) http://naukovedenie.ru/vol9-1.php

URL статьи: http://naukovedenie.ru/PDF/19EVN117.pdf

Статья опубликована 19.02.2017

Ссылка для цитирования этой статьи:

Маркина Г.Л., Шлей М.Д., Кузнецова О.В., Мазур Я.В., Маркина Т.А., Леонтьева В.Д. Оценка потенциала научной деятельности коллектива исполнителей при подаче заявок на участие в конкурсном отборе // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №1 (2017) http://naukovedenie.ru/PDF/19EVN117.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.

УДК 004.822

Маркина Галина Леонидовна

ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных

технологий, механики и оптики», Россия, Санкт-Петербург1 Начальник отдела информационного сопровождения открытых конкурсов для государственных и муниципальных нужд

E-mail: gleomarg@mail.ru РИНЦ: http://elibrary.ru/author profile.asp?id=782699

Шлей Михаил Дмитриевич

ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных

технологий, механики и оптики», Россия, Санкт-Петербург Начальник отдела информационной поддержки проектной деятельности

Кандидат технических наук E-mail: Mikhail.shlei@corp.ifmo.ru РИНЦ: http://elibrary.ru/author profile.asp?id=761228

Кузнецова Ольга Валерьевна

ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных

технологий, механики и оптики», Россия, Санкт-Петербург Ассистент кафедры «Проектирования и безопасности компьютерных систем»

Кандидат технических наук E-mail: ovkpbks@yandex.ru РИНЦ: http://elibrary.ru/author profile.asp?id=756548

Мазур Яна Вадимовна

ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных

технологий, механики и оптики», Россия, Санкт-Петербург Магистрант кафедры «Прикладной и компьютерной оптики»

E-mail: janamazur27@gmail.com

Маркина Татьяна Анатольевна

ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных

технологий, механики и оптики», Россия, Санкт-Петербург Доцент кафедры «Вычислительной техники» Кандидат технических наук E-mail: tmark812@mail.ru РИНЦ: http://elibrary.ru/author items.asp?id=827334

1 197101, Российская Федерация, Санкт-Петербург, Кронверкский пр., д. 49 Страница 1 из 9 http://naukovedenie.ru 19EVN117

Леонтьева Виктория Дмитриевна

ФГАОУ ВО «Санкт-Петербургский национальный исследовательский университет информационных

технологий, механики и оптики», Россия, Санкт-Петербург Магистрант кафедры «Маркетинга и коммуникаций» E-mail: viktorialeo113@gmail.com

Оценка потенциала научной деятельности коллектива исполнителей при подаче заявок на участие в конкурсном отборе

Аннотация. В данной статье приведены подходы для решения проблемы автоматизированной оценки квалификации коллектива исполнителей, при подаче заявок для участия в конкурсных отборах. В ходе исследования проанализированы существующие подходы для оценки авторской активности. В результате исследования авторами предложена методика оценки результатов научной деятельности коллектива исполнителей, при подаче заявки на участие в конкурсном отборе. Для автоматизации процесса оценивания результатов научной деятельности коллектива исполнителей были применены наукометрические показатели. В качестве основного показателя использовался показатель публикационной активности коллектива исполнителей. В ходе экспериментального исследования представлены результаты оценки публикационной активности научных коллективов Университета ИТМО, участвовавших в конкурсах в 2015-2016 годах. Также представлены зависимости оценки публикационной активности от количества участников коллектива исполнителей и от вида наукометрических показателей. Сделаны соответствующие выводы и представлены направления дальнейших исследований в данной области. Предложенные в работе решения успешно интегрированы в систему управления Университетом ИТМО и используются для оценки публикационной активности научных коллективов вуза участвующих в конкурсах, проектах, научных исследованиях.

Ключевые слова: публикационная активность; информационная система; информационные технологии; наукометрические показатели; заявка для участия в конкурсном отборе; автоматизация

Введение

На сегодняшний день используются различные способы оценки потенциала научной деятельности коллективов исполнителей, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы. Одним из способов является наукометрическая оценка основных результатов научной деятельности. Данный вид оценки проводится на основе анализа и сопоставления, определенных наукометрических показателей (далее НМП). В состав сведений о результатах деятельности научных организаций и университетов входят такие НМП, как: число публикаций организации индексируемых в базе «Российского индекса научного цитирования» (РИНЦ)2 и международных информационно-аналитических системах

2 Национальная информационно-аналитическая система Российский индекс научного цитирования [Электронный ресурс]. URL: http://eübrary.ru/projects/citation/cit index.asp (дата обращения 20.12.2016).

научного цитирования «Сеть науки» (Web of Science)3, Scopus4, количество созданных и оформленных результатов интеллектуальной деятельности (РИД), число статей, подготовленных совместно с зарубежными организациями, число научных конференций с международным участием и т.д. Использование НМП позволяет автоматизировать процесс оценивания результативности научной деятельности. Одним из НМП в наибольшей степени отражающим потенциал научной деятельности является общее количество публикаций в научных журналах. В данной статье не рассматриваются методы оценки цитирования статей, так называемые библиометрические показатели, так как данная оценка не всегда учитывается на этапе подаче заявок [1-5].

Существующие методы оценки авторской активности

Для оценки потенциала научной деятельности используется критерий «публикационная активность». Данный критерий учитывается при аттестации научных и научно-педагогических кадров, при лицензировании, аккредитации и оценке деятельности научных и образовательных учреждений, также этот критерий введен в качестве требований к экспертам различных государственных программ или иных форм государственной поддержки деятельности университетов, научных организаций. Он может быть использован для расчета индивидуального показателя результативности как для профессорско-преподавательского состава (1111С), так и для научных сотрудников. Например, в Институте физики Земли им. О.Ю. Шмидта РАН используется в оценки значимости отдельных видов научной деятельности, где для вида деятельности «Публикация статей» подвидами являются публикация статей в российских журналах и публикация статей в зарубежных журналах. Для расчета данного вида деятельности учитываются число статей, опубликованных в зарубежных научных журналах с высоким импакт-фактором, число авторских листов в монографии [6].

В настоящее время существуют различные методы оценки данного критерия, где идет деление на публикации, индексируемые в международных информационно-аналитических системах научного цитирования Web of Science и Scopus, а также в библиографической базе данных РИНЦ. Все эти базы дают представление о наукометрических показателях какой-либо публикации конкретного автора либо профиля организации, но не позволяют оценить коллективов авторов. Но это необходимо при оценки научного потенциала коллектива для проведения ранжирования коллективов при подаче проектов на гранты.

Эти показатели напрямую влияют на квалификацию коллектива исполнителей при подаче заявки на различные конкурсы. Различные организации для повышения количества и качества публикаций используют различные меры по стимулированию публикационной активности (доплаты, разовые премии, компенсации за публикации статей в зарубежных изданиях и т.д.). Например, главной задачей в Университете ИТМО является увеличение публикаций сотрудников вуза в высокорейтинговых журналах. Поэтому в Университете ИТМО применяется технология «портфолио» для стимулирования ППС и научных сотрудников, когда на основе анализа информации, представленной в электронных «портфолио» в ИСУ вуза проводятся выплаты за публикационную активность, размер которых зависит от того, в каком журнале опубликована статья. В Национальном исследовательском университете ВШЭ

3 Реферативная база научных публикаций Web of Science. [Электронный ресурс]. URL: https://apps.webofknowledge.com/WOS GeneralSearch mputdo?product=WOS&search mode=GeneralSearch&SID= R2ybqslbo1reWGJWVwm&preferencesSaved (дата обращения 20.12.2016).

4 Реферативная база данных «Scopus». [Электронный ресурс]. URL: https://www.scopus.com/ (дата обращения 20.12.2016).

существует три уровня надбавок: 1 - надбавка за академическую работу, куда входят монографии, учебники и учебные пособия, статьи в сборниках научных трудов, а также научные статьи и обзоры в научных журналах (российских и зарубежных), включая рецензируемые электронные научные журналы, 2 - надбавка за академические успехи и вклад в научную репутацию, 3 - надбавка за публикацию в зарубежном рецензируемом научном издании5. А также в Российском химико-технологическом университете имени Д.И. Менделеева была разработана наукометрическую база данных публикационной активности ученых. Данная система позволяет преподавателям и научным сотрудникам просматривать свои научные публикации (Scopus, Web of Science и РИНЦ), их цитируемость, индекс Хирша, фильтровать информацию по дате публикации, а также просматривать профили своих коллег. Разработанная наукометрическая база используется руководителями университета с целью общего рейтинга исследователей и поощрение их издательской деятельности [7].

Оценка публикационной активности коллектива

Для оценки публикационной активности коллектива авторами предложена методика оценки количества научных публикаций коллектива исполнителей.

Пусть коллектив состоит из N участников, Р¿ - общее множество публикаций у i-го участника (где i = 1 ...N). Оно определяется как:

Pi = Psci U Pwsi U Pvki U Prci,

где Psc., Pws., Pvk., Prc. - публикации i-го (где i = 1... N) участника индексируемые в базах данных Scopus, Web of Science, перечне ВАК6 и РИНЦ соответственно. Следует заметить, что: Pi < PSCi + P-wsi + Pvki + Pre.-Поскольку одна публикация может быть опубликована в журнале, который включен в перечень ВАК и включен в базу данных РИНЦ, либо как в базу данных Web of Science так и базу данных Scopus.

Определим общее множество публикаций всех участников коллектива, как Р. Данное множество не должно включать в себя дублирующихся публикаций:

N N

P = \JPi= UPSCiUPWSiUPvkiUPrc. i=l i=l

В данном случае также используется оператор объединения множеств, поскольку может быть ситуация, что два или более участника коллектива являются соавторами в одной публикации. Из этого следует, что:

N i=1

5 Положение об академических надбавках федерального государственного автономного образовательного учреждения высшего профессионального образования «Национальный исследовательский университет «Высшая школа экономики», утвержденного ученым советом НИУ ВШЭ протокол от 25.12. 2015 №12 [Электронный ресурс] URL: https://www.hse.ru/data/2016/01/27/1138233323/%D0%9F%D0%BE%D0%BB%D0%BE%D0%B6%D0 %B5%D0%BD%D0%B8%D0%B5%20%D0%90%D0%9D--2016.pdf (дата обращения 14.11.2016).

6 Высшая Аттестационная Комиссия [Электронный ресурс]. URL: http://vak.ed.gov.ru/87 (дата обращения 20.12.2016).

В ходе анализа документаций различных конкурсов и указанных требований к исполнителям в частности публикационной активности, были предложены следующие весовые коэффициенты для публикаций, с целью их ранжирования: ksc = 10, kws = 10, kvk = 4, кгс = 1. Данные коэффициенты зависят от индексирования публикации в базах данных. Публикации входящей в базу данных Scopus или Web of Science соответствует вес равный 10 и т.д.

Определим оценку публикационной активности рассматриваемого коллектива следующим образом:

••N

F =

%f=l(ksc x Ы + kws x l^wsj + kvk x l^vkil + кГс x l^rcj)

N

Данная оценка характеризует публикационную активность коллектива в целом, и зависит от того насколько у каждого участника много публикаций индексируемых в базах данных. В оценке также учитывается наличие дублирующихся публикаций у коллектива.

Рассмотрим пример использования данной оценки (рис. 1). Пусть в коллективе заявки участвует 3 сотрудника. У первого сотрудника 3 публикации в базе данных Scopus, у второго участника 2 публикации РИНЦ, у третьего участника одна публикация, написанная в соавторстве с первым участником.

Рисунок 1. Схема пользователей и их публикаций (разработано авторами) №1 = 1^С11=3, 1Р21 = 1Ргс21 = 2,1Р31 = 1Р5Сз1 = \.

Так статья третьего участника написана в соавторстве с первым, то в результате объединения двух множеств публикаций она будет учитываться один раз.

Р = РбС1 и РБС3 = РБС1

Общее множество публикаций в данном случае определяется как:

N

Р

= У PSCi и PrCi = PSCí и i=l

1ГС2

Определим оценку публикационной активности рассматриваемого коллектива,

F =

%i=i(kSc x Ы + kws x ^wsj] + kvk x lPVkil + krc x ^c^ 10 x3 + 1x2

N

3

= 10,67.

Данная оценка показывает то, что в среднем на каждого участника рассматриваемого коллектива из трех человек приходится по одной статье, индексируемой в БД Scopus, и одной

в РИНЦ, несмотря на то, что если считать по количеству авторов, то получается четыре статьи, одна из которых совместная.

На диаграммах (рис. 2, рис. 3) представлены зависимости публикационной активности от количества участников научного коллектива и от количества статей. Оценка публикационной активности научного коллектива зависит от того, в каких журналах представлены результаты научных исследований. Результаты, представленные в журналах, индексируемые в международных базах данных оцениваются выше. Например, если проанализировать два коллектива, в которых разное количество участников 10 и 4, и небольшая разница по общему количеству статей 272 и 247, то можно увидеть, что оценки публикационной активности отличаются друг от друга весьма значительно 183,5 и 574 соответственно (рис. 2). Четверо участников второго коллектива опубликовали меньше статей вместе, чем десять участников первого коллектива, но количество статей, опубликованных ими в международных базах данных Web of Science и Scopus - 223 больше, чем у участников первого коллектива - 156 (рис. 3).

Рисунок 2. Зависимость оценки публикационной активности от количества участников

коллектива (рисунок авторов)

Рисунок 3. Зависимость оценки публикационной активности от количества статей (рисунок авторов)

На основе предложенной методики были определены оценки публикационной активности коллективов исполнителей, которые подавали заявки от Университета ИТМО за 2015-2016 г. На рисунке 4 представлен график распределения оценок. Из графика видно, что

основная часть оценок попала в диапазон от 20 до 220. Средняя оценка публикационной активности заявок равна 120. Данная статистика говорит о том, что, как правило, у сформированного коллектива, подающего заявку на проект, имеется несколько публикации входящих в перечень ВАК или включенных в базы данных Scopus или Web of Science в среднем на человека.

Рисунок 4. График распределения оценок публикационной активности коллективов

исполнителей (рисунок авторов)

Заключение

Таким образом, оценка публикационной активности коллектива исполнителей на этапе подачи заявки для участия в конкурсном отборе является простым и естественным подходом для определения потенциала научной деятельности коллектива исполнителей. Это один из рациональных и наглядных показателей результативности как отдельного ученого и научного коллектива, так и научной организации в целом. Предложенная методика была успешно внедрена в Университете ИТМО и используется в информационной системе управления (ИСУ) для оценки публикационной активности научных коллективов вуза участвующих в конкурсах, проектах, научных исследованиях [8]. Ранее в ИСУ вуза были внедрены инструменты, позволяющие проводить статистический анализ поданных заявок в различные фонды [9, 10].

Так как в состав НМП входят не только количество публикаций, но и другие показатели, то в дальнейшем планируется дополнить разработанную методику еще рядом критериев. Например, осуществлять оценку РИД коллектива исполнителей, оценивать репутацию и квалификацию коллектива исполнителей, используя информацию, вносимую членами научного коллектива в ИСУ [11, 12]. Также планируется разработка программных алгоритмов для автоматизации процесса оценки подаваемых от вуза заявок и составления рейтинга коллектива исполнителей на этапе подготовки научных проектов.

Дальнейшее развитие средств автоматизации процесса оценки качества подаваемых заявок, систем анализа и визуализации потока научной деятельности, введение комплексных показателей будет способствовать объективизации оценки результативности научной деятельности.

ЛИТЕРАТУРА

1. Li, Zhi; Peng, Qinke; Liu, Che «Two citation-based indicators to measure latent referential value of papers» / SCIENTOMETRICS - Том: 108, Выпуск: 3 - 2016 - Стр.: 1299-1313 DOI: 10.1007/s11192-016-2000-8.

2. Cheang, B (Cheang, Brenda); Chu, SKW (Chu, Samuel Kai Wah); Li, CS (Li, Chongshou); Lim, A (Lim, Andrew) A Multidimensional Approach to Evaluating Management Journals: Refining PageRank via the Differentiation of Citation Types and Identifying the Roles That Management Journals Play / Journal of the association for information science and technology - Том: 65, Выпуск: 12, - 2014 - Стр.: 2581-2591 DOI: 10.1002/asi.23133.

3. Yan, E. (Yan, Erjia); Ding, Y (Ding, Ying); Sugimoto, C.R. (Sugimoto, Cassidy R.) PRank: An Indicator Measuring Prestige in Heterogeneous Scholarly Networks / Journal of the american society for information science and technology - Том: 62, Выпуск: 3 -2011 - Стр.: 467-477 DOI: 10.1002/asi.21461.

4. José M. Merigo, Alicia Nunez Influential journals in health research: a bibliometric study / Global Health - 12(1) - 2016 - стр. 46 doi: 10.1186/s12992-016-0186-4.

5. Wolfgang Glanzel Bibliometrics-aided retrieval: where information retrieval meets scientometrics / SCIENTOMETRICS - Том: 102, Выпуск: 3 - 2015 - Стр.: 2215-2222 DOI: 10.1007/s11192-014-1480-7.

6. Котляров И.Д. Управление продуктивностью научной работы профессорско-преподавательского состава / Вестник ИГЭУ. - Вып. 1. - 2010 г. - С. 1-6.

7. E.A. Vasilenko, V.I. Panfilov, D.Yu. Zhukov, D.V. Sivukha The development of a scientometric database for monitoring the publication activities of Russian scientists at the Mendeleyev University of Chemical Technology of Russia / Scientific and Technical Information Processing - Том: 40, Выпуск: 4 - 2013 - Стр.: 240-244 DOI: 10.3103/S0147688213040114.

8. И.А. Попова, Г.Ю. Громов Подходы к созданию эффективной информационной системы управления университетом // Труды XXI Всероссийской научно-методической конференция Телематика 2013 -2013. - Спб. - С. 155-156

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

9. Маркина Г.Л., Шлей М.Д. Организация принятия решений в научно -образовательной сфере на примере системы управления проектами // Компьютерные инструменты в образовании, 2016. №4. С. 19-32.

10. Шлей М.Д., Маркина Г.Л. Информационная система подготовки заявок в научные фонды // Фундаментальные исследования - 2016. - №5-2. - С. 289-293.

11. Вареников Д.А., Шлей М.Д., Муромцев Д.И. Построение научных профилей участников научно - образовательного процесса в информационной системе университета // Современные проблемы науки и образования - 2015. - №2-2. - С. 178.

12. Ефимов М.Н., Шлей М.Д., Вареников Д.А. Разработка системы формирования рекомендаций для пользователей корпоративного портала университета // Фундаментальные исследования - 2015. - №12-4. - С. 688-692.

Markina Galina Leonidovna