Научная статья на тему 'Международные критерии эффективности научно-исследовательской деятельности коллективов и отдельных ученых в области биологии и медицины'

Международные критерии эффективности научно-исследовательской деятельности коллективов и отдельных ученых в области биологии и медицины Текст научной статьи по специальности «Экономика и бизнес»

CC BY
588
149
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
БИБЛИОМЕТРИЧЕСКИЙ АНАЛИЗ / ИНДЕКС ХИРША / ОЦЕНКА ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ / БИОМЕДИЦИНА / BIBLIOMETRIC ANALYSIS / HIRSCH INDEX / EVALUATION OF RESEARCH ACTIVITY / BIOMEDICINE

Аннотация научной статьи по экономике и бизнесу, автор научной работы — Арчаков Александр Иванович, Карпова Елена Анатольевна, Пономаренко Елена Александровна

Представлены данные о сравнении результатов эффективности научно-исследовательских учреждений (НИУ) РАМН по международным и собственным критериям оценки научной деятельности институтов за 2011 г. Совпадение результатов международной и внутренней оценки отмечено у 21 (39%) НИУ для организаций-лидеров, и у 13 (24%) — в случае менее эффективных учреждений. Использование внутренних критериев оценки эффективности лишь усложняет объективную оценку положения России в международном научном рейтинге.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по экономике и бизнесу , автор научной работы — Арчаков Александр Иванович, Карпова Елена Анатольевна, Пономаренко Елена Александровна

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

International Criteria of the Research Activity of Groups and Individual Scientists in Biology and Medicine

Comparison data on results of efficiency of the research institutes (RI) of RAMS by international and own evaluation criteria of the research activity of above institutions in 2011 are presented. The consistency of international and own evaluation results was observed in 21RI (39%), the institutionsleaders found, and in 13 RI (24%) — less effective institutions. Thus, the use of own evaluation criteria only complicates the unbiased assessment of the Russia’s position in the international scientific rating.

Текст научной работы на тему «Международные критерии эффективности научно-исследовательской деятельности коллективов и отдельных ученых в области биологии и медицины»



РЕДАКЦИОННАЯ СТАТЬЯ

А.И. Арчаков, Е.А. Карпова, Е.А. Пономаренко

Научно-исследовательский институт биомедицинской химии имени В.Н. Ореховича РАМН, Москва, Российская

Федерация

Международные критерии эффективности научно-исследовательской деятельности коллективов и отдельных ученых в области биологии и медицины

Представлены данные о сравнении результатов эффективности научно-исследовательских учреждений (НИУ) РАМН по международным и собственным критериям оценки научной деятельности институтов за 2011 г. Совпадение результатов международной и внутренней оценки отмечено у 21 (39%) НИУ для организаций-лидеров, и у 13 (24%) — в случае менее эффективных учреждений. Использование внутренних критериев оценки эффективности лишь усложняет объективную оценку положения России в международном научном рейтинге.

Ключевые слова: библиометрический анализ, индекс Хирша, оценка эффективности научной деятельности, биомедицина.

4

Ф

Мировое научное сообщество для оценки результатов научно-исследовательской деятельности ученых, научных коллективов и организаций, работающих в области фундаментальных исследований, использует объективные библиометрические параметры, такие как число публикаций в рейтинговых журналах, общее число цитирований, импакт-фактор журнала, максимальное цитирование одной работы и индекс Хирша [Web of Science (далее WoS) — http://www.isiknowledge.com; Scopus — http://www.scopus.com, РИНЦ — http://elibrary.ru/]. Для России характерна разработка национальных критериев, отличных от международных: например, для оценки эффективности выполнения государственной программы РФ «Развитие науки и технологий на 2013—2020 гг.» разработан ряд целевых показателей и индикаторов, среди которых «Удельный вес исследователей в возрасте до 39 лет в общей численности исследователей», «Коэффициент изобретательной активности» и др. [1]. Для оценки эффективности научно-исследовательских учреждений (НИУ) предложены критерии (Приказ Минздравсоцраз-вития России от 26 августа 2010 г. № 738н), включающие 50 различных показателей, из которых лишь 3 совпадают

с международными критериями. В настоящее время наметился положительный сдвиг: уменьшение числа показателей эффективности реализации Программы фундаментальных научных исследований в рамках Российской академии медицинских наук с 20 в 2008—2012 гг. [2] до 6 в программе на 2013—2020 гг. [3] и появление критериев, соответствующих международным. В Программе фундаментальных научных исследований в Российской Федерации на долгосрочный период (2013—2020) только 6 целевых показателей, из которых 3 совпадают с международными критериями [4].

Перед российским научным сообществом Указом Президента РФ от 7 мая 2012 г. поставлена задача «увеличить к 2015 году долю публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, индексируемых “Web of Science”, до 2,44%» в сравнении с 1,77% в 2012 г.; 8 приоритетных направлений развития российской науки, в числе которых науки о жизни, и перечень критических технологий, состоящий из 27 пунктов, включающих геномные, протеомные и постгеномные технологии, клеточные технологии, нано-, био-, информационные технологии, биоинженерию и др.,

#

A.I. Archakov, E.A. Karpova, E.A. Ponomarenko

Orekhovich Institute of Biomedical Chemistry RAMS, Moscow, Russian Federation

International Criteria of the Research АсВуку of Groups and Individual

Scientists in Biology and Medicine

Comparison data on results of efficiency of the research institutes (RI) of RAMS by international and own evaluation criteria of the research activity of above institutions in 2011 are presented. The consistency of international and own evaluation results was observed in 21RI (39%), the institutions-leaders found, and in 13 RI (24%) — less effective institutions. Thus, the use of own evaluation criteria only complicates the unbiased assessment of the Russia’s position in the international scientific rating.

Key words: bibliometric analysis, Hirsch index, evaluation of research activity, biomedicine.

#

РЕДАКЦИОННАЯ СТАТЬЯ

которые соответствуют международным тенденциям, и их основная стратегическая цель — вступление России в международное научное сообщество и осуществление научных исследований на международном уровне.

Несмотря на то, что по показателю внутренних затрат на исследования и разработки в расчете на 1 исследователя Россия существенно отстает от развитых стран (в 2008 г. эти затраты равнялись в нашей стране 59,7 тыс. долларов США, в то время как в Швейцарии данный показатель составлял 394,7 тыс. долларов США, в США — 264,2 тыс. долларов США, в Германии — 254,9 тыс. долларов США, в Австрии — 244,9 тыс. долларов США), российские ученые должны быть ориентированы на международные критерии оценки, для которых к тому же разработаны удобные системы расчета и системы индексирования публикаций (http://www.isiknowledge.com, http://www.scopus.com, http://elibrary.ru/).

Необходимо отметить, что такие критерии, как число публикаций в рейтинговых журналах, общее число цитирований, импакт-фактор журнала, максимальное цитирование одной работы и индекс Хирша, относятся к оценке фундаментальных исследований по областям науки (биология, физика, фундаментальная математика, химия и т.д.). Для прикладных исследований и исследований, проводимых в закрытом секторе, необходимо использовать свои критерии, не рассматриваемые в данной работе. Более правильно, на наш взгляд, будет использование критериев и проведение оценки с учетом специфики исследований, которые можно объединить в 2 группы: фундаментальные, с одной стороны, и прикладные и инновационные — с другой. При этом всегда возникают трудности с формированием этих групп, несмотря на то, что они четко определены: фундаментальные исследования — это генерация научных знаний, прикладные исследования — создание предпосылок или самих новых продуктов.

К основным критериям оценки фундаментальных исследований можно отнести:

• общее число публикаций;

• общее число цитирований;

• импакт-фактор журнала;

• максимальное цитирование одной работы;

• индекс Хирша.

Эти критерии приводятся во всех 3 базах данных [WOS, Scopus, Российский индекс научного цитирования (далее РИНЦ)], т.е. все оценки уже сделаны и никаких дополнительных критериев создавать не нужно, поскольку они не будут значимы для международного сообщества и лишь исказят объективную картину.

Общее число публикаций — число опубликованных научных работ, исключая авторские свидетельства и патенты. Недостатком этого критерия является то, что не учитывается качество публикаций. К тому же, поскольку для расчета критериев используют электронные библиотеки, многие из ранних опубликованных и непроиндексированных работ остаются невостребованными.

Общее число цитирований отражает число ссылок на публикации ученого в реферируемых научных периодических изданиях. Высокий показатель цитирования служит официальным признанием конкретного ученого научным сообществом и подтверждением его приоритета. Наличие в научно-образовательных организациях ученых, обладающих высоким индексом цитирования, говорит о высокой эффективности и результативности деятельности организации в целом. К минусам использования данного критерия можно отнести то, что не учитывается общее число работ, т.е. этот показатель будет высоким даже при наличии лишь одной выдающейся

работы. Производным критерия является максимальное цитирование одной работы — показатель максимального числа источников, процитировавших одну публикацию.

Показатель цитируемости никоим образом не показывает, какая часть публикации была процитирована, а также каков вклад автора в данную публикацию. Учитывая разнообразие факторов, влияющих на уровень цитируемости, очевидно, что сам по себе показатель ци-тируемости не может служить критерием оценки качества научных работ.

Цитируемость работ во многом определяется им-пакт-фактором журнала, в котором опубликована работа.

Этот формальный показатель важности научного журнала ежегодно рассчитывается Институтом научной информации (ISI) на основе 3-летнего периода и равен отношению числа цитирований в отчетном году статей, опубликованных за 2 предшествующих года, к общему числу работ, опубликованных в журнале за эти 2 года.

В области биомедицины наиболее высокий импакт-фак-тор имеют такие зарубежные журналы, как «New Engl.

J. Med» (53,2), «Lancet» (38,2), «Nature» (36,2), «Cell»

(32,4) и «Science» (31,2, по данным ISI в 2012 г.). Среди российских журналов в этой области максимальное значение импакт-фактора у английской версии российского журнала «Биохимия» (1,058).

Существенная разница в импакт-факторах россий- 5

ских и международных журналов может объясняться тем, что многие журналы на русском языке не индексируются системой ISI. РИНЦ проводит индексацию русскоязычных журналов и, согласно данным этой системы, максимальный импакт-фактор среди изданий по физике — у журнала «Успехи физических наук» (2,3). В области химии наиболее популярным является журнал «Успехи химии»

(2,6). Импакт-фактор российских журналов по математике и биохимии не превышает 1, в то время как средний им-пакт-фактор биомедицинских журналов равен 0,5.

При оценке импакт-фактора журнала необходимо принимать во внимание и область знаний, в которой выполняется работа. Медианные импакт-факторы различаются не только в разы, но и на порядок. Если работать в области биологии и медицины и публиковаться в журнале с импакт-фактором 2, то это средние журналы, в то время как журналы с импакт-фактором 2 в области математики будут входить в десятку самых цитируемых математических журналов.

Журналы с высоким импакт-фактором предъявляют более высокие требования к качеству публикуемых научных статей, поэтому желательно ориентироваться на публикации именно в таких журналах.

В последние годы для оценки эффективности научной деятельности мировым сообществом все чаще используется индекс Хирша (h-индекс). Это интегральный показатель, связывающий число опубликованных работ ученого (или научного коллектива) с их цитируемостью, предложен в 2005 г. как альтернатива классическому индексу цитируемости [5, 6]. Критерий основан на учете числа публикаций исследователя и числа цитирований этих публикаций. Например, h-индекс =15 означает, что ученым было опубликовано не менее 15 работ, каждая из которых была процитирована 15 и более раз. Показатели, основанные на цитированиях, могут быть проблемой для начинающих ученых, поскольку высокие показатели цитирования зависят как от времени, прошедшего с момента опубликования первой работы, так и от области исследования. В идеале h-индекс должен использоваться для сравнения ученых с одинаковым академическим стажем и областями исследований, поскольку

#

ВЕСТНИК РАМН /2013/ № 5

механизмы цитирования в различных областях исследований могут существенно различаться. По определению, h-индекс основан на цитированиях, но он не отражает динамики цитирований. Например, если индекс содержит часто цитируемую статью, это не повлияет в дальнейшем на индекс, независимо от того, сколько дополнительных цитирований статья получит в ближайшие годы. Это означает, что ученому с ограниченным числом хороших статей трудно получить высокий h-индекс, и, более того, h-индекс не может «отличить» новаторские научные статьи от обычных научных работ [7].

Принято считать, что значение индекса Хирша зависит от возраста ученого. На примере научных сотрудников ФГБУ «ИБМХ» РАМН (табл. 1) видно, что в возрасте до 39 лет индекс Хирша очень низкий, затем, в период 40—50 лет, значение показателя возрастает, и к 60—70 годам стабилизируется. Группа ученых в возрасте старше 70 лет сравнительно небольшая, поэтому была исключена из рассмотрения как нерепрезентативная.

Таблица 1. Значение индекса Хирша по возрастным группам на примере ФГБУ «ИБМХ» РАМН

Число научных сотрудников по возрастным группам Индекс Хирша средний (по данным РИНЦ)

<39 лет, n =72 0,71

40-50 лет, n =13 3,85

51-60 лет, n =18 5,06

61-70 лет, n =25 5,08

Необходимо понимать, что каждый из перечисленных критериев имеет свои преимущества и недостатки, поэтому для оценки эффективности научной работы лучше использовать комплекс из всех 5 критериев.

Основные 3 системы — международные «Web of Science» (Thomson Reuters) и «Scopus» (Elsiever) и российская система РИНЦ — автоматически рассчитывают перечисленные выше критерии.

В системе WoS (http://www.isiknowledge.com) проиндексировано около 12 000 журналов, из которых доля российских журналов составляет лишь 0,01%. Блок естественных наук в WoS составляет 45%, из которых 15—18% — это науки о жизни, биология и медицина.

Реферативная база «Scopus» (http://www.scopus.com) индексирует около 18 000 научно-технических и медицинских журналов, в т.ч. и 235 российских (1,3%). Помимо журналов в базе содержится библиографическая информация о докладах на конференциях и книжных сериях. «Scopus» в отличие от WoS гораздо шире отражает естественные и технические науки (83%) и не включает издания по гуманитарным дисциплинам и искусству.

То, что основная часть публикаций в этих 2 базах представлена на английском языке, а журналы, издаваемые на национальных языках в данных системах не индексируются, послужило стимулом для создания национальных наукометрических баз данных: китайский индекс научного цитирования существует с 1987 г., японский индекс — с 1995 г., польский индекс — с конца 90-х гг., также создан испанский и латиноамериканский индекс и национальные индексы цитирования в Сербии, Турции, Иране, Индии. Это касается и России: в международных базах ISI проиндексировано не более 10% всех русскоязычных журналов, в то время как список ВАК включает

более 2000 русских научных изданий (http://vak.ed.gov.ru/ от 25.05.2012). Еще одной причиной создания национального индекса является попытка простимулировать редакции научных журналов к опубликованию качественных и потому цитируемых статей [8].

РИНЦ (http://elibrary.ru/) был создан в 2005 г. и представляет собой информационно-аналитическую систему, включающую около 2 млн публикаций российских авторов и информацию о цитировании этих публикаций более чем из 7000 российских журналов. С 2011 г. между кураторами РИНЦ и разработчиками системы «Scopus» заключено соглашение об индексации системой РИНЦ данных издательства «Elsevier». Вследствие этого наукометрические показатели по данным РИНЦ в настоящее время практически соответствуют аналогичным в системе «Scopus», с той разницей, что у авторов, публикующихся преимущественно в российских изданиях, наукометрические показатели по данным РИНЦ не занижены. По аналогии с системой «Scopus», около 75% всех индексируемых в РИНЦ журналов — журналы по фундаментальным естественным и техническим наукам.

Согласно аналитическому отчету компании «SCImago»* [1], сделанному по данным «Scopus» на 01.02.2013 г., Россия в общем научном рейтинге за период 1996—2011 гг. заняла 12-е место из 238 (табл. 2), а процент числа российских публикаций к общему числу публикаций во всем мире составил 2,1%.

Интересно отметить, что за 15-летний период (1996— 2011) доля российских публикаций неуклонно снижалась: в 1996 г. она составляла 2,69%, в 2001 — 2,36%, в 2006 — 1,81%. При анализе данных только за 2011 г. доля российских публикаций была равна 1,67%, что сопоставимо с показателями таких стран, как Тайвань и Нидерланды. Сохранение этой тенденции вызывает сомнения в возможности выполнить Указ Президента без каких-либо кардинальных изменений в этой области.

В целом за указанный период (1996—2011) проиндексировано более 527 тыс. российских публикаций, и h-индекс России составил 308. Практически все работы (98,9%) цитировались как минимум 1 раз, при этом общее число ссылок на российские работы за этот период составило около 3 млн (~837 тыс. — самоцитирование). Среднее число цитирований 1 статьи, написанной российскими исследователями, составляет 5,49. Это минимальное среднее число цитирований 1 работы среди стран, вошедших в ТОП-15 по числу публикаций. Максимально — около 20 раз — в среднем цитируются статьи, написанные в США, Нидерландах и Канаде. Китай, несмотря на 2-е место в рейтинге по числу публикаций, также имеет невысокий уровень средней цитируемости 1 работы (около 6 цитирований) и сравнимый h-индекс (353); h-индекс США отличается более чем в 4 раза и составляет 1305.

Таким образом, согласно оценке по мировым критериям, положение России в мировой науке весьма слабое. Отмечается и противоречие по приоритетности исследований: если в мире биомедицинская наука занимает лидирующие позиции — число публикаций неизменно растет (рис. 1), то в России оно существенно падает (рис. 2). Наибольшее число публикаций по медицинской тематике характерно для США, схожая ситуация наблюдается практически для всех развитых стран (Германия, Великобритания и др.) [9]. Следствием малого числа публикаций по биомедицинской тематике в международных базах

#

* SCImago (2007). SJR — SCImago Journal & Country Rank. Retrieved February 01, 2013, from http://www.scimagojr.com

#

РЕДАКЦИОННАЯ СТАТЬЯ

Таблица 2. ТОП-15 стран согласно числу опубликованных работ (по данным «SCImago» на 01.02.2013 за период 1996—2011 гг.)

№ Страна Число статей Доля от общего числа статей в мире, % Число цитируемых статей Число ссылок Среднее число цитирований одной статьи Индекс Хирша (h-индекс)

1 США 6 149 455 24,0 5 738 593 114 546 415 20,51 1 305

2 Китай 2 248 278 8,8 2 226 529 9 288 789 6 353

3 Великобритания 1 711 878 6,7 1 550 373 27 919 060 18,03 802

4 Япония 1 604017 6,3 1 563732 18 441 796 12,09 602

5 Германия 1 581 429 6,2 1 490 140 23 229 085 16,19 704

6 Франция 1 141 005 4,4 1 073 718 16 068 688 15,58 646

7 Канада 885 197 3,5 836 836 13 928 114 18,19 621

8 Италия 851 692 3,3 803 004 11 279 167 15 550

9 Испания 665 977 2,6 623 236 7 640 544 13,66 448

10 Индия 634 472 2,5 602 868 3 860 494 7,71 281

11 Австралия 592 533 2,3 551 667 8 180 664 16,65 481

12 Россия 527 442 2,1 521 993 2811862 5,49 308

13 Южная Корея 497 681 1,9 487 459 3 988716 10,32 309

14 Нидерланды 487 784 1,9 457 933 8 928 850 20,82 545

15 Бразилия 391 589 1,5 378 540 2 884 793 9,96 285

Ф

1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009

Сельскохозяйственные науки Биология и биохимия Химия

Клиническая медицина Вычислительная наука Экономика и бизнес Техника

Окружающая среда/Экология

Науки о Земле

Иммунология

Материаловедение

Математика

Микробиология

Молекулярная биология и генетика Междисциплинарные Неврология и поведение Фармакология и токсикология Физика

Растениеводство и животноводство Психиатрия/Психология Социальные науки, общие Космическая наука

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Рис. 1. Предметная структура глобальной науки по числу публикаций в «Web of Science». 45 000 ----

Сельскохозяйственные науки Биология и биохимия Химия

Клиническая медицина Вычислительная наука Экономика и бизнес Техника

Окружающая среда/Экология

Науки о Земле

Иммунология

Материаловедение

Математика

Микробиология

Молекулярная биология и генетика Междисциплинарные Неврология и поведение Фармакология и токсикология Физика

Растениеводство и животноводство Психиатрия/Психология Социальные науки, общие Космическая наука

1985 1987 1989 1991 1993 1995 1997 1999 2001 2003 2005 2007 2009

Рис. 2. Предметная структура науки в России по числу публикаций в «Web of Science».

7

#

#

ВЕСТНИК РАМН /2013/ № 5

Таблица 3. Значения индекса Хирша научно-исследовательских учреждений РАМН (по данным РИНЦ, январь 2013 г.)

Категория ОМБН (п =9) ОКМ (п =11) ОПМ (п =7) СЗО (п =2) СО (п =23)

НИУ 1-й категории 6 (5) 9 (6) 5 (3) 1 (1) 16 (5)

НИУ 2-й категории 3 (0) 2 (1) 2 (1) 1(1) 7 (0)

Примечание. ОМБН — отделение медико-биологических наук; ОКМ — отделение клинической медицины; ОПМ — отделение профилактической медицины; СЗО — учреждения Северо-Западного отделения РАМН; СО — учреждения Сибирского отделения РАМН; n — число НИУ в составе отделения. В скобках указано число НИУ, h-индекс которых >15.

Ф

8

данных являются низкие рейтинги российских научноисследовательских и учебных учреждений.

Для повышения конкурентоспособности и инвестиционной привлекательности российской медицинской науки необходимо поддерживать именно приоритетные направления исследований.

Чтобы сопоставить, как соотносятся внутренние российские критерии эффективности научной работы с международной оценкой, на примере НИУ РАМН по базе РИНЦ была проведена оценка h-индекса этих учреждений, и значения соотнесены с результатами внутренней оценки деятельности НИУ РАМН в 2012 г. (Приложение к Постановлению Президиума РАМН от 12 декабря 2012 г. № 265, протокол № 18, § I). Критерии оценки эффективности деятельности НИУ РАМН включали свыше 90 показателей (Приложение к типовой методике оценки результативности деятельности научных организаций, подведомственных Российской академии медицинских наук, выполняющих научно-исследовательские, опытно-конструкторские и технологические работы гражданского назначения, утвержденной Постановлением Президиума РАМН от 09.06.2010 г. № 160). Согласно внутренней оценке, все НИУ РАМН были классифицированы на 2 категории: НИУ 1-й категории — научные организации-лидеры, и НИУ 2-й категории — стабильные научные организации, демонстрирующие удовлетворительную результативность (табл. 3).

70

■ Всего НИУ иНИУсГтиндексом >15

60

М

52

50

СО

g40

О.

о

§30

о

20

10

0

II ■ ■ ■ ■

ОБ и ОФМ РАМН РАМН без СО МЗ РФ Вузы MЗРФ РАН (81%) (44%) (62%) (26%) (21%)

Ведомственная принадлежность

Рис. 3. Гистограмма распределения организаций различной ведомственной принадлежности в зависимости от h-индекса (по данным РИНЦ, январь 2013 г.). В системе РАН были проанализированы только 2 отделения: отделение биологии (ОБ) и отделение физиологии и фундаментальной медицины (ОФМ). В скобках указан процент НИУ с h-индексом >15.

Примечание. НИУ — научно-исследовательское учреждение; РАМН — Российская академия медицинских наук; СО — Сибирское отделение РАМН; МЗ РФ — Министерство здравоохранения Российской Федерации; Вуз — высшее учебное заведение.

Если считать в соответствии с международными критериями, что организация-лидер — это НИУ, h-индекс которого равен или превышает 15, то в процентном отношении наиболее эффективным отделением является отделение клинической медицины, 7 из 11 организаций имеют h-индекс более 15, что составляет 64%. СевероЗападное отделение не показательное, поскольку в его составе всего 2 НИУ. В отделении медико-биологических наук и профилактической медицины доля эффективных НИУ с международной точки зрения составляет более 55%. К Сибирскому отделению РАМН относится наибольшее число НИУ — 23, однако только 5 организаций имеют высокие показатели эффективности по международной оценке. Для остальных организаций h-индекс менее 12.

Многие организации-лидеры, установленные при внутренней оценке эффективности НИУ РАМН, не являются таковыми при оценке согласно международным критериям: так, 17 организаций-лидеров (около 30% от общего числа организаций РАМН) имеют h-индекс менее 15, т.е. не являются эффективными по этому критерию. Существуют и обратные примеры: 2 организации (в составе отделения клинической и профилактической медицины) при h-индексе 30 и 19, соответственно, признаны, согласно внутренней оценке, лишь «демонстрирующими удовлетворительную эффективность». Совпадение результатов международной и внутренней оценки наблюдалось для 21 (39%) НИУ в случае выявления организаций-лидеров, и для 13 (24%) менее эффективных организаций. Этот анализ наглядно демонстрирует, насколько отличаются результаты оценки с помощью собственных критериев при сравнении с общепризнанной мировой практикой. Таким образом, наличие внутренних стандартов эффективности, не соответствующих мировой практике, лишь усугубляет отставание России на международной научной арене.

Всего в составе РАМН установлено 23 организации, чей h-индекс более 15, что составляет 44% всех организаций РАМН.

На рис. 3 приведены данные по h-индексу организаций различной ведомственной принадлежности. Максимальная эффективность, согласно международным критериям, — у НИУ в составе РАН (проанализированы данные 37 организаций РАН, относящихся к отделению физиологии и фундаментальной медицины и отделению биологических наук). Практически 81% этих организаций имеет h-индекс более 15, при этом у 15 институтов РАН индекс превышает 40. НИУ РАМН, согласно этой оценке, находятся на 2-м месте, поскольку у 23 (44%) из 52 НИУ h-индекс более 15, из них у 4 НИУ РАМН он превышает 40. Если рассматривать только 29 учреждений РАМН, входящих в отделение клинической медицины, отделения медико-биологических наук, отделения профилактической медицины и Северо-Западного отделения без институтов Сибирского отделения, то 62% учреждений имеет h-индекс более 15, при этом у 9 институтов h-индекс превышает 30. Таким образом, Сибирское отделение существенно снижает в целом оценку НИУ РАМН.

#

#

РЕДАКЦИОННАЯ СТАТЬЯ

Среди научных организаций Министерства здравоохранения РФ (проанализированы данные 58 организаций) существует 15 организаций (26%), чей h-индекс превышает 15, из них у 4 НИУ индекс более 40. Высшие учебные заведения МЗ РФ (анализировали данные по 47 организациям) показывают такую же низкую эффективность. Лишь 10 организаций (21%) имеют h-индекс более 15 и только у одного вуза МЗ РФ — Первого МГМУ им. И.М. Сеченова — h-индекс больше 40.

Среди всех проанализированных организаций РАН по критерию «h-индекс» лидируют следующие: ИБХ РАН (73), ИМБ РАН (71) и Институт белка РАН (60). Максимальные значения h-индекса среди организаций РАМН зарегистрированы у РОНЦ им. Н.Н. Блохина (62), Института полиомиелита и вирусных энцефалитов им. М.П. Чумакова (49), ИБМХ им. В.Н. Ореховича (42) и Научного центра неврологии (42). Российский кардиологический НПК, НИИ онкологии им. Н.Н. Петрова, НИИ вирусологии им. Д.И. Ивановского и НИИ гриппа лидируют по значению h-индексов среди организаций МЗ РФ: 60, 42, 41 и 41, соответственно. Среди вузов МЗ РФ максимальные h-индексы у Первого МГМУ им. И.М. Сеченова (43), РНИМУ им. Н.И. Пирогова (36) и Санкт-Петербургского медицинского университета им. акад. И.П. Павлова (28).

Все описанные выше аналитические подходы применимы в той же степени для оценки научной эффективности конкретного ученого.

Авторы исследования видят несколько способов, которые помогут преодолеть неуклонное снижение доли публикаций российских работ в мире.

Во-первых, это использование при оценке ученых и коллективов международных, а не собственных критериев. Причем число критериев в фундаментальных

исследованиях по биологическим наукам не должно превышать 6—8 показателей. При большем числе критериев смысл их размывается, и во многом мировая оценка деятельности организации (ученого) теряет всякий смысл.

В то же время использовать эти критерии необходимо с поправочными коэффициентами для разных групп российских ученых:

• живущих в России;

• живущих в России, но имеющих опыт работы за рубежом;

• работающих за границей.

Например, h-индекс, равный 10, у ученого, прожившего всю жизнь в России, может быть сопоставим с h-индексом, равным 15, у ученого, работавшего за границей в течение 3—5 лет.

Во-вторых, для того, чтобы статьи, публикуемые в русских журналах, были проиндексированы основными наукометрическими системами (Scopus и WoS), необходимо осуществлять их перевод на английский язык и достигать соглашения с этими базами о добавлении российских журналов. Таким образом, если увеличится доля российских индексируемых журналов, автоматически, согласно международным оценкам, увеличится и доля научных работ, выполненных в России и доступных международному сообществу.

Третьим способом является развитие международного 9

сотрудничества, что влечет за собой совместные публикации с иностранными научными лидерами.

И, в-четвертых, международные критерии должны быть приняты на государственном уровне. Каждый ученый должен сам отслеживать оценку своей работы международным сообществом, при необходимости корректируя библиографическую информацию о своих публикациях.

ЛИТЕРАТУРА

1. Приложение № 2 к государственной программе Российской Федерации «Развитие науки и технологий». URL: http:// минобрнауки.рф/документы/2966/файл/1533/12.12.20-Госпрограмма-Развитие_науки_и_технологий_2013-2020.рдб

2. Приложение № 10 к Программе фундаментальных научных исследований государственных академий наук на 2008— 2012 гг. URL: http://www.ramn.ru/index.php?option=com_conte nt&view=article&id=116&Itemid=196

3. Приложение № 10 к Программе фундаментальных научных исследований государственных академий наук на 2013—2020 гг. URL: http://government.rU/media/2012/12/7/53841/file/2237.doc

4. Приложение № 1 к Программе фундаментальных научных исследований в Российской Федерации на долгосрочный период (2013—2020 гг.). URL: ЫДр://правительство.рф/ docs/22180

5. Hirsh J.E. An index to quantify an individual’s scientific research output. PNAS. 2005; 102 (46): 16569-16572.

6. Иванова О.А. Индекс Хирша — критерий оценки научной продуктивности. Биомед. химия. 2008; 54 (1): 5-11.

7. Gaster N., Gaster M. A critical assessment of the h-index. Bioassays. 2012; 34: 830-832.

8. Писляков В.В. Зачем создавать национальные индексы цитирования? Научн. и технич. библиотеки. 2007; 2: 65-71.

9. Стародубов В.И., Куракова Н.Г., Цветкова Л.А., Арефьев П.Г., Кураков Ф.А. Мировой уровень конкурентноспособности национальных исследований в области клинической медицины. Менеджер здравоохранения. 2012; 4: 31-41.

КОНТАКТНАЯ ИНФОРМАЦИЯ

Арчаков Александр Иванович, доктор биологических наук, профессор, академик РАМН, вице-президент РАМН, директор ФГБУ «Научно-исследовательский институт биомедицинской химии имени В.Н. Ореховича» РАМН Адрес: 119121, Москва, ул. Погодинская, д. 10, стр. 8, тел.: (499) 246-69-80, e-mail: [email protected] Карпова Елена Анатольевна, кандидат химических наук, ученый секретарь ФГБУ «Научно-исследовательский институт биомедицинской химии имени В.Н. Ореховича» РАМН

Адрес: 119121, Москва, ул. Погодинская, д. 10, стр. 8, тел.: (499) 246-30-38, e-mail: [email protected] Пономаренко Елена Александровна, кандидат биологических наук, заведующая лабораторией ФГБУ «Научноисследовательский институт биомедицинской химии имени В.Н. Ореховича» РАМН Адрес: 119121, Москва, ул. Погодинская, д. 10, стр. 8, тел.: (499) 245-27-53, e-mail: [email protected]

#

i Надоели баннеры? Вы всегда можете отключить рекламу.