CC BY
8НАУКА В ЗЕРКАЛЕ НАУКОМЕТРИИ
DOI: 10.19181 /smtp.2023.5.1.7
тш EDN: QILPCP
БРУТТО-ОЦЕНКА РАННЕЙ СТАДИИ
НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ
АКТИВНОСТИ
Арынгазин Аскар Канапьевич12
1 Sustainable Innovation and Technology Foundation, Астана, Казахстан
2 Национальная академия образования им. И. Алтынсарина, Астана, Казахстан
Для цитирования: Арынгазин А. К. Брутто-оценка ранней стадии научно-исследовательской активности // Управление наукой: теория и практика. 2023. Т. 5, № 1. С.104-127. Р01 10.19181/эт*р.2023.5.1.7. ЕРЫ ОПРСР
АННОТАЦИЯ
Индексы широко вошли в инструментарий современной наукометрии. Однако нет надёжного числового критерия для проведения различий между оценкой уровня различных кандидатских или PhD диссертационных работ, несмотря на огромные отличия, иногда в сотни раз, в индикаторе влияния журналов, в которых опубликованы работы различных диссертантов. В статье в более широком дискурсе обсуждается брутто-оценка на ранней стадии научно-исследовательской деятельности на примере простого наукометрического индекса автора: ab-индекса. Приведён пример его расчёта, произведён анализ его особенностей, изучены роль в стимулировании и обеспечении охвата, связь с импактом исследований, сравнение с индексом Хирша, а также даются рекомендации по его применению. Мы приводим факты, данные, основания, приглашаем к обсуждению и иллюстрируем, что у некоторых индексов есть полезная рекомендательная функция, только если обозначить их статус, деликатно очертить круг их применимости, указать место в общей структуре и процессах, исключить дискриминацию по признаку той или иной величины индекса и развернуть соответствующие компенсационные или трансформационные меры для развития научно-технологической экосистемы, а не заниматься производством очередных показателей как механизма подавления знаний, технологий и компетенций.
КЛЮЧЕВЫЕ СЛОВА:
публикация, наукометрия, индекс, импакт
БЛАГОДАРНОСТИ:
Автор благодарен проф. д. п. н. К. М. Арынгазину за обсуждения смысловой, ценностно и профессионально ориентированной педагогики, которые привели к определению значимости аЬ-индекса в образовательно-научном процессе. Статья подготовлена в рамках грантового финансирования научных исследований Комитета науки Министерства образования и науки Республики Казахстан на 2021-2023 гг. по проекту программно-целевого финансирования научно-технической программы ОЯ 11465474 «Научные основы модернизации системы образования и науки».
ВВЕДЕНИЕ
Индексы широко вошли в инструментарий современной наукометрии. Большая часть из них основана на индексе цитирования научной публикации. Ставший популярным наукометрический индекс Хирша авторов и журналов выделяется среди них как кросс-фактор индекса цити-руемости статей и публикационной активности исследователей.
Для учёта особенностей ранней стадии научно-исследовательской активности, когда индекс Хирша может оказаться нерепрезентативным, мы рассматриваем ab-индекс, понимаемый как индекс публикационной активности и яркости (activity and brightness index или, коротко, ab-index) и определяемый по следующей несложной формуле в виде суммы произведений:
.
Здесь, Pk — количество научных статей, опубликованных одним автором (единолично или в соавторстве) в журнале со значением индикатора влияния IF, одним из таких, как Impact Factor, Rank Indicator, CiteScore журнала, равного числу IFk на календарный год их публикации, из официального списка журналов, публикуемых какой-либо одной рейтинговой организацией; k=1,2,...N, где N — суммарное число публикаций автора. Этот индекс можно отнести к известному виду «совокупного импакт-фактора» [1]. Индикатор IFk выступает здесь в качестве публикационной яркости, показывая средневзвешенное число цитирований, в то время как количество публикаций Pk — в качестве публикационной активности.
Приведём пример расчёта, взяв доступные открытые данные о рангах журналов SCImago Journal Rank за 2021 год в области физики и астрономии, равных средневзвешенному числу ссылок на один документ в данном журнале за последние 3 года. Пусть автором, единолично или в соавторстве, по состоянию на 2021 год в одной области науки опубликовано всего 3 статьи в журналах с IF =0,0, 2 статьи в журнале с IF = 0,179 (Eurasian Journal of Physics and Functional Materials, Q4, SJR), 1 статья в журнале с IF = 0,660 (Journal of Applied Physics, Q2, SJR) и 1 статья в журнале с IF =2,302 (Materials Today Physics, Q1, SJR). Тогда ab-индекс автора дается выражением
аЬ = 3 X 0,0 + 2 X 0Д79 + 1 X 0,663 + 1 X 2,302
>
так что аЬ-индекс автора 7 статей, из которых 4 статьи опубликованы в журналах с ненулевым /К, равен
аЬ = 3,328.
ПРИМЕНЕНИЕ AB-ИНДЕКСА И РЕКОМЕНДАЦИИ
аЬ-индекс может применяться для комбинированной оценки публикационной активности и потенциального среднего индекса цитируемости результатов научных исследований индивидуума в одной области науки, например, проведённых им на момент защиты или утверждения учёной степени — РИБ, кандидата наук, доктора наук — по этой тематике. аЬ-индекс может быть вспомогательным наукометрическим [1] критерием для аспирантов, РИБ-докторантов, пост-РИБ докторантов [2] и других публикующихся участников научных исследований, стимулирующим к росту различных аспектов научной результативности.
Как вывод из нашего многолетнего опыта работы в экспертной комиссии профильного министерства по присуждению учёных степеней и званий, аЬ-индекс особенно может быть рекомендован к использованию для диссертационных советов и подразделений министерств для статистических целей при анализе совокупности диссертационных работ, деятельности диссертационных советов, аспирантов, РИБ-докторантов и их научных руководителей, а также пост-РИБ докторантов. Нами было замечено, что не имеется надёжного критерия для проведения количественных отличий между оценками уровня различных диссертационных работ, несмотря на имеющиеся явные большие отличия, иногда в десятки раз, в уровне (/К) журналов, в которых опубликованы работы различных диссертантов в одной области науки. При более широком поле сравнения, включающем другие области наук, следует учитывать различие в среднем уровне /К групп журналов разных областей науки и применять нормировку /К для достижения справедливости их сравнений.
аЬ-индекс автора не может быть рекомендован как критерий научной значимости статьи, диссертации автора, критерий при приёме автора на работу или как дискриминационный критерий [3]. Цель достижения высоких значений аЬ-индекса не может быть заменой или отвлечением от цели научных исследований.
ОБОСНОВАНИЕ ДЛЯ РАННЕЙ СТАДИИ НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ АКТИВНОСТИ И СРАВНЕНИЯ
Часто результаты научных исследований в рамках аспирантуры, РИБ-докторантуры или пост-РИБ докторантуры (их общий признак — это непостоянные позиции, занимаемые обычно от 1 до 5 лет) имеют характер накопления и постепенного прогресса, особенно в области естественных наук.
Это выражается в виде серии научных публикаций по одной или близким тематикам исследований с изложением результатов по мере их получения или по мере переходов от одного этапа научно-исследовательской работы к последующему.
С другой стороны, оценочная значимость результатов также часто возрастает по мере продвижения исследований по одной тематике. Это даёт основания для направления со временем авторами подготовленных рукописей в журналы со всё более высоким Ш в определённой области науки. Так что рукописи, полученные такими журналами, подвергаются всё более специфичному отбору рецензентами по критериям редакций журналов и рецензентов, включающих, как правило, степень влияния на сектор и область науки, а также степень новизны. Чем выше значение № журнала, тем, как правило, сложнее опубликовать в нём научную статью в силу сложившихся критериев отбора по сравнению с журналами с низким значением Ш.
Таким образом, как публикационная активность, так и Ш журнала, в котором публикуется результат научного труда, имеют важное значение для интегральной характеристики работы аспирантов, РИБ-докторантов или пост-РИБ докторантов, а именно возможностей её а) влияния и б) потенциальной значимости для других учёных и научного сообщества в целом. Например, во многих странах отчёт о пост-докторантском проекте, длящемся от 3 до 5 лет, заключается в предоставлении сведений об опубликованных научных статьях и презентациях на научных конференциях [2].
Хороший уровень аспирантуры/РИБ-докторантуры признаётся особо важным элементом развития науки. Например, она стала одним из объяснений успеха развития американской науки в период с 1940-х годов [4, с. 15]. Для выявления отличий характеристик выборки исследователей в начале своей исследовательской карьеры, на котором делается акцент в настоящей работе, мы провели основанное на данных исследование из первых источников для странового кейса.
В целях выявления особенностей уровня владения исследователями в начале своей исследовательской карьеры научными методами, методами планирования исследований, академическим письмом (на английском языке), влияющими на качество и публикационную активность, нами было проведено анкетирование, состоящее из 23 пунктов, более 800 научных сотрудников из 17 университетов и 20 научно-исследовательских институтов Казахстана. Для всех категорий возрастов в среднем владение научными методами составило 80%, методами планирования — 77%, английским языком — 50%, удельное количество англоязычных публикаций — 20%, удельное количество англоязычных курсов — 16%, поддержка академического письма — 36%. Выявлены незначительные отличия для периода ранней стадии научно-исследовательской карьеры (выборка возрастов исследователей до 35 лет) в сравнении со старшими возрастами (свыше 35 лет) во владении научными методами (77% против 81% для институтов и 83% против 80% в университетах), методами планирования исследований (70% против 80% для институтов и 77% против 78% в университетах). В то же время выявлены выраженные отличия для использования сотрудниками поддержки
улучшения академического письма на английском языке (40% против 33% для институтов и 42% против 34% в университетах), как и степенью владения английским языком (57% против 45% для институтов и 62% против 46% в университетах). Последнее коррелирует с уровнем публикационной активности на английском языке по отношению к общему числу (26% против 21% для институтов и 21% против 12% в университетах). Исследование не выявило значительных отличий в усреднённых показателях между естественно-техническим и социально-гуманитарном профилями исследователей. Реализованное стремление исследователей, находящихся на ранней стадии научной карьеры, к публикациям на английском языке, несмотря на языковый барьер, означает понимание ими значимости охвата большего круга читателей ввиду текущего широкого использования английского языка в научных периодических изданиях различных стран. Кроме того, это рассматривается как расширение возможности для опубликования работ в так называемых «престижных» журналах, понятие и критерии которых мы рассматриваем ниже. Мы подчёркиваем, что этот аспект деятельности не связан с качественными характеристиками результатов и методов научно-исследовательской работы, с научным содержанием публикаций и диссертаций.
РИНЦ является национальной библиографической базой данных научного цитирования, аккумулирующей более 12 миллионов публикаций авторов, а также информацию о цитировании этих публикаций из более чем 6000 российских журналов. Она предназначена не только для оперативного обеспечения научных исследований актуальной справочно-библиографи-ческой информацией, но декларируется также как мощный аналитический инструмент, позволяющий осуществлять оценку результативности и эффективности деятельности научно-исследовательских организаций, учёных, а также уровня научных журналов.
Общеизвестная система Web of Science (Clarivate) включает в себя данные около 12000 изданий на английском и отчасти на немецком языках (с 1980 г.), имеющих значительный импакт. Она поставляет несколько баз данных: Science Citation Index Expanded (естественные науки), Social Sciences Citation Index (социальные науки) и Arts and Humanities Citation Index (искусство и гуманитарные науки), Book Citation Index (книги), Conference Proceedings Citation Index (труды конференций), и с 2015 года ввела индикатор Emerging Sources Citation Index, охватывающий 7800 журналов. В них 25-27% - технические и прикладные науки, 30% — социальные, гуманитарные науки, 43-45% - естественные науки.
Эти и другие базы дают возможность исследований документов в различных аспектах. В. С. Лазарев подводит к выводу о том, что более плодотворным в методологическом отношении, нежели поиск различий между тремя «метриями» — наукометрией, библиометрией и информетрией, — может быть их объединение на основании их принципиально общих черт [5; 6; 7]. В частности, как известно, а) распределение многих видов данных не является гауссовским, а при расчёте IF берётся среднее значение этих данных, б) прямое применение IF для сравнения журналов из разных областей науки,
очевидно, не является справедливым и в) как хорошо известно, первоначальное предназначение индекса цитирования по Ю. Гарфилду [8] заключалось в том, чтобы помочь библиотекарям определить, на какой журнал стоит подписываться.
Тем не менее IF журнала признаётся сейчас многими хотя и противоречивой при использовании, включая возможные манипуляции, но важной наукометрической характеристикой, и его применимость в одной и той же области науки выглядит обоснованной. Хотя замечен эффект, когда «хвост виляет собакой»: одна статья со сверхвысокой цитируемостью привела к многократному увеличению IF журнала. Также наблюдался быстрый рост IF некоторых журналов по взрывной тематике SARS-Cov-2. В основе этих феноменов лежит прямая зависимость IF журнала от числа (резко возросших) цитирований некоторых востребованных публикаций на фоне исторически сложившегося уровня цитируемости остальных. Учитывая, что условный рейтинг так называемой «престижности» большинства международных журналов, основанный на экспертных обзорах, хотя и не строго, но в средней степени коррелирует с их IF, ниже мы принимаем прямое соответствие между величиной IF журнала и степенью «престижности» журнала.
По открытой базе SCImago Journal Rank 2021, IF журналов (индикатор SJR) в области социальных наук при охвате 7300 журналов распределены приблизительно следующим образом:
Мах: IF = 25,045,
5%: IF > 1А, 20%: IF = 0,5 ... 1,4, 50%: IF = 0Д4... 0,5, 25%: IF = 0,1 ...0,14.
Из этих данных следует, что отношение наибольшего к наименьшему из значений IF журналов составляет около 250 (25,045/0,1). Если взять область физики и астрономии по SCImago Journal Rank 2021, то это отношение составляет около 212 (21,151/0,1) при охвате 1188 журналов, разделённых на 4 равноколичественных квартиля Q1, Q2, Q3, Q4 по ранжированному списку с уменьшающимся значением индикатора SJR. По базе РИНЦ такое отношение в 2021 году с охватом 4377 журналов составило соответственно около 570 (5,7/0,01) для двухлетних импакт-факторов РИНЦ (все области).
Такие существенные количественные различия между журналами, когда один журнал цитируется в среднем в сотни раз больше, чем другой, ведут к естественной мере для стратификации журналов по престижности и репутации, которую следует учитывать как состоявшееся явление.
Отметим, что практикуемое равномерное деление списков журналов на квартили Q1, Q2, Q3, Q4, когда самыми «престижными» считаются публикации в первом квартиле Q1, не даёт адекватной картины стратификации, так как распределение IF является выраженно экспоненциально убывающим, нежели почти прямолинейным.
SCImago Journal Rank
25
it
20 15
i
Рис. 1. Величины SCImago Journal Rank 1188 журналов в области физики и астрономии в порядке убывания слева направо, по открытым данным SCImago Journal Rank, 2021.
На рис. 1 представлена равномерная ранжировка от высшего значения SJR 21,151 до низшего значения 0,1 из списка 1188 журналов, взятая из открытой базы данных SCImago Journal Rank 2021 (область науки: физика и астрономия). Можно увидеть, что первые 5% всех журналов можно отнести к одному страту по признаку отклонения даже от экспоненциальной зависимости, и это около 50 топовых по SJR журналов.
В то же время квартиль Q1 (область науки: физика и астрономия), вмещая в себе 297 топовых журналов как 1/4 часть от 1188, не делает отличий между журналами с SJR 0,7 и 12,750, отличающимися друг от друга в более чем 18 раз. Это серьёзный недостаток, если в решениях или выводах опираться на квартили журналов.
В этом общем списке журналов особо выделяется журнал с SJR 21,151 (Reviews of Modern Physics), который можно отнести к исключению, так как этот журнал содержит только обзоры и почти 2-кратно превышает SJR журнала, находящегося на 2-м месте (12,750). На рис. 1 хорошо заметно его отдельное от общего массива положение. В отличие от квартильного подхода к оценке потенциальной значимости публикаций, ab-индекс использует прямые значения журналов, не внося искажений в стратификацию, учитывающую существенные особенности поведения кривой на рис. 1. Однородные группы журналов здесь можно идентифицировать по логарифмической шкале импакт-факторов, что явно выделяет 3 условные группы: журналы со 2 по 50 (SJR от 12,75 до 2,6, большой наклон прямой аппроксимации, 75о к горизонтальной оси), с 51 по 200 (SJR от 2,6 до 1, средний наклон, 45о) и 201 по 1188 (SJR от 1 до 0,1, малый наклон, 25о). Аналогичные закономерности могут быть установлены и для других областей науки.
Проведённый нами анализ открытых данных показывает, что в 1168 журналах, входящих в квартили Q1-Q4 списка SJR в области физики и астрономии, в 2021 г. было опубликовано 325484 документа, при этом в первом квартиле Q1 (297 журналов) было опубликовано 151841 документов (46,7% от общего числа), в то время как в четвертом квартиле Q4 (300 журналов) — 27589 (8,5% от общего числа, 18,2% от Q1), а в области социальных наук в 7300 журналах во всех квартилях было опубликовано 342165 документов, в первом квартиле Q1 (2018 журналов) было опубликовано 174727 документов (51,1% от общего числа), в то время как в четвертом квартиле Q4 (1664 журнала) - 33877 (9,9% от общего числа, 19,4% от Q1). Эти факты свидетельствуют о значительном превышении количества высококачественных работ в сравнении с менее качественными по критериям рецензентов и редакторов журналов. Для дальнейшего анализа требуются данные по проценту отказов журналов в публикации присланных рукописей и сравнительный анализ порогов отказа.
Большое значение стратификации придаёт ускоренное развитие новых журналов, включая открытого доступа (Open Access Journals), у которых IF низок и быстро эволюционирует со временем. Как отмечается в Докладе ЮНЕСКО по науке 2021 года, по состоянию на 2020 год более 12500 журналов перечислены в Справочнике журналов открытого доступа с 3900 открытыми репозиториями для журнальных статей. Однако пять коммерческих издателей отвечают за более чем 50% всех опубликованных статей и около 70% научных публикаций пока недоступны в открытом доступе [9, p. 13]. Для понимания стратификации журналов также отметим, что выделен специальный рейтинг Nature Index, который основан на одной достоверности: доле статей в 82 журналах особо важных научных исследований [10].
Ввиду зависимости ab-индекса от значения IF, размах которого достигает сотен раз, он является весьма чувствительным критерием, позволяя проводить значимые отличия между результатами публикационной активности и видимости работ аспирантов, PhD-докторантов и пост-PhD докторантов. Это также делает его ценным. Относительный «вес» одной статьи в «высокопрестижном» журнале может дать доминирующий вклад в ab-индекс в сравнении с весом даже десятка статей в менее «престижных» журналах (хотя престиж сам зависит от интегральных характеристик публикаций в нём). В вышеуказанном примере расчёта вклад одной статьи в журнале с SJR 2,302 (Materials Today Physics, Q1) составляет 69% от общего вклада всех 7 статей в ab-индекс.
IF журнала является брутто приближением к престижности журнала, и является, как это следует из многолетней практики, довольно устойчивой величиной, за исключением редких случаев, в то время как число публикаций за определённый период времени является мерой интенсивности исследовательской работы и её результативности. Эти факторы, несомненно, сильно варьируется от одной научной области к другой и зависят от множества иных известных в наукометрии признаков, таких, например как а) характер журнала, б) количество обзорных статей в журнале или в) среднее число ссылок в статьях журнала.
Кроме того, корреляция научной значимости или иного содержательного аспекта публикации и высокого IF журнала не может быть установлена ни на малом, ни на большом числе публикаций. Это, возможно, одна из причин Сан-Францисской декларации по оценке исследований [11], которая, в частности, гласит:
«Общая рекомендация
1) Следует избегать использования журнальных метрик, таких как им-пакт-фактор, для оценки качества отдельных научных статей, вклада конкретного учёного или принятия решений о найме, продвижении по службе или финансировании исследований».
К 2021 году её подписали более 2100 организаций из более чем 89 стран, включая известные редакции Science и PNAS (США). Из Российской Федерации её подписали 8 организаций: Брянский государственный технический университет, Международный научный журнал "Studia Humanitatis", Институт современных гуманитарных исследований, электронное приложение к «Российскому юридическому журналу», «Бюллетень науки и практики», электронный научный журнал «Медиамузыка», Психологический журнал университета «Дубна», журнал «Стресс-физиологии и биохимии», из Казахстана — 2 организации: центр исследований «Сандж» Центральноазиатский журнал медицинских гипотез и этики.
ab-индекс не рекомендуется для оценки научной значимости или исследовательских способностей конкретной публикации или её автора, то есть его применение не должно, по нашему убеждению, противоречить Сан-Францисской декларации.
В целом, чем выше ab-индекс, тем более в публикационном аспекте активен аспирант, PhD-докторант, пост-PhD докторант и/или большую вероятность цитирования своих опубликованных научных работ по результатам завершения аспирантуры, PhD-докторантуры или пост-PhD докторантуры он имеет. Чем выше IF журнала, тем выше усреднённая степень интереса научного сообщества к нему. ab-индекс является также косвенной оценкой уровня диссертации по шкале потенциального размаха влияния результатов проведённых исследований, вошедших в диссертацию, на международное научное сообщество за счёт публикаций.
Сделаем несколько замечаний о связи политики в научной области и наукометрии. Опытные исследователи знают нюансы репутации и престижа того или иного журнала каждый в своей области. Однако усреднённый, равномерный, количественный подход, такой как квартильный или основанный на индексе Хирша, облегчая общее восприятие метрик для широкой публики, стирает существенные отличия, что приводит к неверным интерпретациям и выводам, которые, накладываясь на однобокое «метрическое» понимание опорных точек стратегии развития науки и технологий, дают своего рода эффект двойного кривого зеркала. Такой эффект, во-первых, не даёт выяснить настоящую причину искривлений и, во-вторых, подводит политику к исправлению результирующей картины, которое способно исказить настоящую первоначальную.
1. СРАВНЕНИЕ С ДРУГИМИ НАУКОМЕТРИЧЕСКИМИ ИНДЕКСАМИ
ab-индекс является, наверное, одним из самых простых наукометрических (библиографических) индексов для автора, как для самостоятельного вычисления, так и для сторонней публикационной метрической оценки его научного труда.
Другие наукометрические индексы, такие как популярный индекс Хирша (h-index), вариации индекса Хирша (original h-index, PoP variation), а также реже применяемые g-index, h2-index, e-index, m-index, m-Quotient, r-index, ar-index, hw-index, hg-index, q2-index [12; 13], основаны на прямой цитиру-емости и, в отличие от ab-индекса, не включают в себя IF журнала.
ab-индекс может быть также кумулятивной наукометрической характеристикой на протяжении всей карьеры индивидуума, как и широко известный индивидуальный наукометрический индекс Хирша, который также в конечном счёте основан на индексе цитируемости множества статей и публикационной активности автора, однако с другим известным алгоритмом расчёта. Этот алгоритм исключает из рассмотрения и наукометрического учёта некоторое, иногда весьма большое, число публикаций автора. Тем самым индекс Хирша является усечённым наукометрическим индексом. В отличие от этого, ab-индекс является полным индексом и имеет значение, линейно зависящее от IF журналов и количества публикаций. Для расчёта ab-индекса потребуется знание IF журналов в ретроспективе на год авторской публикации, что является доступными сведениями.
Эта проблема инклюзивности замечена нами в Казахстане по сведениям о результативности в виде публикаций для реализованных научных проектов за 2018-2020 годы, которые составили 15616, в том числе в зарубежных изданиях 6916 (44%), которые представлены в 3417 изданиях, в том числе в 2780 журналах, из которых 2034 (73,2%) имеют IF [14, р. 23]. Таким образом, оставшиеся здесь по меньшей мере 26,8% казахстанских публикаций — вне известных индексов цитирования. Причины перехода российских авторов в зарубежные журналы, который хотя и стимулирован значимостью величины IF, но вызывает «утечку» авторов из местных журналов, рассматриваются в работе В. Н. Гуреева, Н. А. Мазова и Д. В. Метелкина [15].
Если учесть сведения SCImago Journal Rank, включая вышеприведенные данные IF журналов, основанные на усреднённой цитируемости, из которых следует, что во многих областях науки в среднем около 40% статей вообще не цитируются или имеют только 1—2 цитирования, 45% — цитируются мало и только 5% имеют большое количество цитирований, то попытка поставить во главу оценки всей национальной или региональной системе наукометрию по индексу цитирования, включая широко распространённый индекс Хирша, вызывает серьёзные сомнения не только в целесообразности самой по себе, но даже в репрезентативности принятой сравнительной основы. Более того, публикации, которые являются некорректными, могут вести к большому статейному импакт-фактору [16]. К тому же, такое применение наукометрии не учитывает настоящую и тем более будущую ценность содержания научных публикаций для различных групп заинтересованных сторон. Критические
недостатки такого вида имеются у всех упрощённых наукометрических показателей.
Проведённое выявление отличий и неподходящего применения ab-ин-декса, как и любого другого наукометрического или библиографического индекса, необходимо для его характеризации и обоснования полезности их применения. Эта проблема настойчиво отмечается многими исследователями и организациями, в частности, Европейской ассоциацией научных редакторов EASE и редакцией журнала Nature [17]. Ниже мы рассматриваем наиболее значимые на наш взгляд аспекты этого вопроса, а также роль индекса в стимулировании деятельности.
В. Лазарев провёл недавно обширный анализ и тщательное сравнение методов наукометрии, библиометрии и информетрии, подчёркивая, что каких-либо специфичных методов у какой-либо одной их них не создано, и отметив, что эконометрия и социометрия пользуются общенаучными методами [18].
Применение некоторых методик оценки деятельности или её результатов на официальном или неофициальном государственном уровне без валидации является одним из примеров не очень научного отношения к управлению наукой. Особенно учитывая тот факт, что большинство публикаций в настоящее время реактивны, а не проактивны.
Е. В. Семёнов в своих работах объективно отмечает целый ряд проблем, когда под давлением производства показателей происходит трансформация науки из производства знаний в производство информационного шума [19]. Автор пишет о проблемах ручного управления научно-технологическим комплексом, потере традиции научного представления объекта управления, сумбурности используемой понятийной системы, подчёркивает необходимость возрождения духа рационализма [20], а также констатирует, что вертикали-зация управления наукой с её формальными нормативами вместо содержательных целей и имитационной отчётностью, вместо реальной поддержки приоритетов и качества всей научной среды заблокировала процесс циркуляции идей между управленческим и научным сообществами, подавила инициативность и самоорганизацию научного сообщества [21].
Эти наблюдения и выводы подтверждаются исследованиями М. Лаунонена и Ю. Виитанена, проведшими обширный анализ передовой мировой практики. Они выражают полную уверенность, что географическая близость, возможности для экспериментальной деятельности вместе с другими субъектами, а также представления о передаче и использовании неявных знаний настолько убедительно подтверждаются практикой, что нет необходимости даже начинать оспаривать ключевую роль местных исследовательских и деловых платформ, научно-технологической инфраструктуры (часто в парках) и/или передовых кластерных программ в региональных экосистемах. Ускорение темпов изменений в инновационной среде и практике требует более дальновидного стиля управления, при котором основные узловые организации должны взять на себя хотя бы частичную ответственность за сканирование технологий, отраслевое прогнозирование и поиск технологий. Авторы также выражают «точку утечек»: многие смогли сделать первые
шаги, опираясь на достаточное количество местных ресурсов, действующих лиц и талантов, но им не хватает возможности проследить весь процесс и добиться окончательных практических результатов [22].
Анализ зарубежного опыта А. Б. Гусева и др. [23] показал, что в настоящее время проводится активное реформирование подходов к оценке результа-
и и ТЛ
тивности научной и научно-технической деятельности. В отличие от индекса Хирша, аЬ-индекс основан не на фактической цитируемости публикаций выделенного автора, которая может расти со временем, а на Ш журнала в год публикации, который в свою очередь основан на усреднённом индексе цитируемости публикаций всех авторов в выпусках журнала за некоторое число предыдущих лет, обычно двух лет.
аЬ-индекс, таким образом, даёт возможность перспективной оценки, в отличие от индекса Хирша, который даёт фактическую, то есть состоявшуюся к некоторому моменту времени, оценку публикаций в аспекте интереса или влияния за счёт их цитируемости. Недостатки индекса Хирша, включая опасность его отождествления с научной продуктивностью, отмечает в своей недавней работе М. Ф. Черныш [24].
аЬ-индекс не является, как и любой другой наукометрический индекс, оценкой научной значимости результатов научных исследований автора, например таких, как достоверности результатов, степени инновации, степени влияния на сектор или область науки, общепринятой редакционными коллегиями в высокорейтинговых международных журналах. Несомненно, для этого требуются дополнительные критерии, включая критерии качественного характера, опубликованный обзор результатов со стороны других авторов, специализирующихся в этом же секторе науки. аЬ-индекс не является мерой фактической цитируемости статей автора.
аЬ-индекс также не оценивает консолидацию или целостность результатов, так как группа взаимосвязанных научных результатов может быть опубликована автором в виде одной статьи или разбита на две или более статей в том же журнале.
2. СТИМУЛИРОВАНИЕ НАУЧНОЙ АКТИВНОСТИ
Метрики, введённые в практику использования, так или иначе оказывают воздействие на тех, кто их использует, или на тех, к кому они применяются с целью прямого управления или анализа, который ведёт к рекомендациям или снова к управленческим решениям. Здесь достаточно вспомнить известный «закон Гудхарда».
Стремление к более высокому значению аЬ-индекса может стимулировать авторов к публикации статей с «наименьшим возможным» по своей весомости результатом. Ограничением здесь выступает только мнение редактора и рецензентов, которые могут отметить относительную малозначительность результатов и отказать в публикации. В то время как группа таких результатов даёт большее убеждение в весомости публикуемой работы. Кроме того, временная ограниченность пребывания в аспирантуре, РИБ-докторантуре или пост-РИБ докторантуре приводит к экономии времени на написание на-
учных статей и стремлению к повышению шанса их публикации. Это ведёт к пониманию того, что написание научной статьи с разумной консолидацией множества полученных результатов даёт больший шанс публикации ввиду её большей весомости и целостности.
ab-индекс важен и может оказаться полезен для оценок потенциала в начальный период научной карьеры. Например, в случае, когда небольшой период времени с момента публикации до момента защиты учёной степени часто не даёт возможности публикациям, особенно более поздним по дате публикации, быть процитированными относительно значимое число раз. Индекс Хирша для автора может быть подсчитан к моменту защиты диссертации, однако он страдает от «незрелости», так как за несколько месяцев после публикации научные статьи могут не получить ни одной или только одну ссылку в других опубликованных работах, если не считать самоцитирований, в то время как через некоторый временной период, например, через пять-десять лет, их могут быть десятки.
Кроме того, индекс Хирша не включает в себя оценку интегральной активности автора, учитывая лишь некоторое число статей из числа всех опубликованных автором. Как мы отмечали выше, нередко подавляющее число публикаций авторов остаётся вне современного состояния наукометрии, основанной только на индексе Хирша.
Согласно работе В. Колтуна и Д. Хафнера [25], по базам данных Scopus, включившей анализ 1,3 млн статей и 102 млн цитирований, и Google Scholar, включившей анализ 2,6 млн статей и 221 млн цитирований, в областях физики, биологии, компьютерных наук и экономике эффективность шести различных наукометрических мер, включая индекс Хирша, резко упала, например, для области физики - с 0,35 в 2010 году до 0,0 в 2019 году по корреляции с существенным научным признанием в виде научных наград. Авторы делают вывод о том, что индекс Хирша в оценке индивидуального научного влияния должен быть теперь пересмотрен. Точнее было бы сказать, что в области физики и в других областях науки, где эта корреляция равна 0,0, индекс Хирша должен быть теперь отброшен, когда речь идёт об оценке научного влияния исследователя.
Стремление к более высокому значению аЬ-индекса может быть одним из стимулов для начинающих исследователей к более глубокому пониманию роли IF журналов, поиску авторов, организаций и издательств в интересующем секторе науки, идентификации журналов, имитирующих классические научные журналы, высокому академическому качеству публикаций и повышению публикационной активности, и в конечном счёте статистически - к повышению брутто уровня и степени влияния результатов проведённых автором научных исследований.
С одним из пониманий общей текущей ситуации наукометрии, её применимости и использовании в этом аспекте можно ознакомиться также в Лейденском манифесте для исследовательских метрик [26].
Профессиональная подготовка аспиранта, PhD-докторанта и пост-PhD докторанта должна иметь не просто научно-информационный характер, развивать умения и навыки для повышения квалификации научного работника
[2], но и ценностно-ориентированный, осмысленный характер [27], что ведёт к важности измеримости результатов труда в перспективном аспекте, особенно на наиболее уязвимой, но обещающей стадии начального периода научной активности, которую обеспечивает ab-индекс в отличие от других распространённых наукометрических индексов.
3.СРАВНИТЕЛЬНЫЙ ИНДЕКС
Отметим, что соотношение текущего индекса Хирша h к ab-индексу, обозначаемого нами как c-индекс (сравнительный индекс, comparative index или, коротко, c-index)
также может оказаться интересным критерием, несмотря на временную задержку его проявления. Он может служить мерой отношения фактической значимости группы работ по фактическому индексу цитирования к формальной значимости всех работ автора по среднему ожидаемому индексу цитирования.
Для вышеуказанного примера расчёта 7 публикаций, из которых значимыми по IF являются 4, так что ab-индекс равен 3,328, обоснованно ожидается индекс Хирша h= 1. А именно, две статьи с вероятностью цитирования 0,179, одна статья с высокой вероятностью цитирования 1 раз и ещё одна статья с высокой вероятностью цитирования 2 раза, итого максимум 1 статья с вероятностью цитирования 2 и более. Так что максимально вероятное ожидаемое значение c-индекса c =1/3,320 = 0,301. Фактическое отклонение от этого значения является сигналом к анализу причин. Например, h = 3 и c = 3/3,320 = 0,901 означает, что по меньшей мере три статьи значительно превысили средние ожидаемые значения цитирования. Как индекс Хирша, так и соответственно c-индекс может быть равен нулю на момент защиты диссертации, что исключает возможность его значимого применения как критерий на таких коротких промежутках времени с начала научной карьеры (публикаций).
ВЛИЯНИЕ ИССЛЕДОВАНИЙ И НАУКОМЕТРИЧЕСКИЕ ИНДЕКСЫ
Оценка значимости аЬ-индекса не может быть, по нашему мнению, отделена от оценки влияния исследований в более широком поле. Когда исследователей просят продемонстрировать влияние своего исследования, они создают утверждения, которые имеют причинно-следственную структуру. А. Бонакорси и др. [28], отмечают, что, поскольку эти утверждения по своей природе имеют историческое значение, их достоверность находится под вопросом. Исторические утверждения обладают подлинной причинной силой только при определённых условиях. Авторы выводят эти условия из теории исторической причинно-следственной связи и применяют их к заявлениям о влиянии в двух областях: Наука, Технология, Инженерия и Математика —
Science, Technology, Engineering and Mathematics (STEM) и Общественные и Гуманитарные Науки - Social Sciences and Humanities (SSH) в Research Excellence Framework. Затем они обрабатывают корпус с помощью новой методологии интеллектуального анализа текста, называемой семантическими гиперграфами. Они определяют причинную структуру утверждений и обнаруживают, что она аналогична между STEM и SSH, но SSH систематически использует большее количество участников. Делать достоверные заявления в SSH сложнее, чем в STEM. Авторы выводят следствия для политики оценки воздействия и политики исследований.
В попытке оценивания исследования важно провести различия между статистическими данными и метриками с одной стороны и эффектами, влиянием, потерями, выгодами и воздействием (употребляется термин «импакт») с другой стороны. Даже простой обмен информацией является важным влиянием. Также следует проводить различие между различными заинтересованными сторонами (клиентами) исследований, а также между фокусами этих сторон.
Малоцитируемые публикации могут оказать значительное воздействие на одних клиентов, например, производить большой внешний социально-экономический импакт, в то время как небольшая цитируемость может означать небольшой академический импакт, то есть слабое воздействие на других клиентов. Оба вида клиентов важны в социологическом аспекте.
Заметим, что в цитировании работ исследователей участвуют только сами исследователи, в то время как другие заинтересованные стороны науки (заказчики, потребители результатов, а если брать шире, то человек, экономика, общество) не имеют возможности или инструмента массового цитирования публикаций, которые, по их мнению, оказали влияние или эффект, по той простой причине, что они не проводят исследования и не публикуют научные статьи в журналах. Как результат, практикуемое цитирование научных публикаций является весьма усечённой оценкой общего социального импакта, представляющего конечную ценность. Часто термин «импакт» ассоциируется с воздействием исследования вне академической среды. В этом смысле ab-индекс способен оценить значимость исследований автора вне зависимости от цитируемости его работ, опираясь на среднюю оценку академической значимости работ других авторов в этом же журнале.
Масштабная попытка практически разобраться в качестве, импак-те и обеспечении была проведена в Великобритании. Research Excellence Framework (REF), "Assessment framework and guidance on submissions", как новая система оценки качества исследований в высших учебных заведениях Великобритании, определяет «импакт» (impact) следующим образом: влияние, изменение или выгода для экономики, общества, культуры, государственной политики или услуг, здоровья, окружающей среды или качества жизни за пределами академических кругов [29]. В 2010-2014 гг. рамочный проект REF за период около 1 года оценили 154 университета Великобритании, которые сделали 1911 отчёт за период с января 2008 г. по декабрь 2013 г. (статьи, монографии, главы в книгах, дизайны, показы и выставки), и включали 52 061 научного работника, 191 150 результатов
исследований, 6975 изучений примеров импакта [30]. Проводилась оценка по трём элементам:
качество результатов, с весом в оценке 65%,
социальный, экономический и культурный импакт, который был введён впервые, с весом 20%,
исследовательское окружение, с весом 15%.
Критериями качества выступили оригинальность, значимость и строгость. Критериями изучений примеров импакта служили охват и значение. Критериями исследовательского окружения служили жизнеспособность и устойчивость. Обзор и оценку делали 36 подкомитетов (в таких областях, как история, математические науки, химия, образование и другие) в 4 основных комитетах, состоящих из 898 исследователей и 259 пользователей исследований (что весьма примечательно как канал обратной связи вне академических цитирований), включая 25 специалистов-советников.
Общее качество отчётов при этом было оценено также в следующих терминах: мирового лидерства — world-leading, 4* (30%), международного уровня — internationally recognized, 3* (46%), международной узнаваемости — recognized internationally, 2* (20%) и национальной узнаваемости — recognized nationally, 1* (3%). Здесь в скобках приведены полученные проценты усреднённо по всем 154 университетам. Например, в разрезе университетов University of Cambridge получил следующие оценки в подкомитете «9. Физика»: 38% — 4*, 53% — 3*, 9% — 2*, 0% — 1*, 0% — не классифицировано. Для сравнения, в разрезе «Физика» были получены следующие оценки усреднённо по соответствующим университетам Великобритании, подавшим отчёты: 28% — 4*, 60% — 3*, 11% — 2*, 0% — 1*, 0% — не классифицировано. Преимущества по физике University of Cambridge на фоне средних значений видны только в секторе мирового лидерства (38% против 28%). Отметим здесь высокую значимость качества результатов (выбранный для качества вес составляет 65% в общей оценке), которое косвенно характеризуется IF журналов, в которых опубликованы результаты, на основе ранее упомянутой выявленной связи «престижности» журнала и его IF , входящего в ab-индекс.
Пример оценки влияния был предпринят А. Ибраевым и др. [31], которые устанавливают связь результатов исследований с развитием местных инду-стрий и, в частности, считают, что компании без официального формализма и принуждения начнут инвестировать в науку, когда оптимизация затрат путём внедрения новых технологий станет для них по-настоящему выгодной.
Контекст понятия «импакт исследования», включая эффекты, которые трудно предвидеть и которые трудно оценить, изменение импакта со временем, а также огромная вариация временных промежутков между исследованием и импактом, обычно занимающих от 10 до 25 лет, обсуждались в работе Т. Пенфилд и др. [32].
Это и вышеуказанные наблюдения и оценки подчёркивают значимость ab-индекса, который, давая не усечённое, а полное отражение совокупности всех работ автора, опубликованных в журналах, для которых рассчитан IF, уменьшает тем самым неопределённость статистической корреляции между исследованиями и их импактом. Действительно, проблемы, отмеченные в
этой работе, простираются до такой степени, что часто невозможно оценить импакт, например, в фундаментальных исследованиях или чистой математике [32]. Или происходит так, что одни результаты исследований сначала влияют на другие результаты и области исследований, прежде чем дать импакт.
Тем не менее признаётся, что скачки в познании и понимании происходят благодаря погружению в фон интеллектуального мышления, при котором «можно увидеть дальше, стоя на плечах гигантов».
ОБСУЖДЕНИЕ И ЗАКЛЮЧЕНИЕ
В настоящей работе предпринята попытка фокусирования на практическом вопросе статистического метрического оценивания ранних стадий научных исследований, результаты которых собраны в статистически значимом количестве диссертационных работ на присуждение учёной степени кандидата науки или РИБ, а также в период пост-РИБ докторантуры исследователями в начале научной карьеры.
Поставленная проблема состоит в том, что, несмотря на замеченные имеющиеся огромные отличия в статистически значимом уровне, а именно № журналов, в которых опубликованы работы различных диссертантов одной области науки, решение сводится только к двум вариантам: присуждению или неприсуждению искомой учёной степени.
Однако хорошо известно, что именно «место защиты» часто является определяющим критерием «уровня» кандидатской или РИБ диссертации. Здесь и обнаруживается эта имплицитная проблема, исследования по которой мы не обнаружили в литературе и частичное раскрытие которой предпринято в настоящей работе. Популярный индекс Хирша на таких ранних стадиях карьеры, очевидно, не является репрезентабельным для проведения различий. Однако ценность уже создана. Рассматриваемый простой аЬ-индекс охватывает все публикации и опирается на Ш журналов, признаваемые как достаточно устойчивая мера их «престижности», чтобы выступить возможно единственным подходящим индексом для начинающих исследователей и открыть возможность делать полезные выводы из наукометрии.
Попутно ставится проблема усечённого, кроссового характера индекса Хирша и учёта при помощи аЬ-индекса всех публикаций в журналах, для которых рассчитан № в контексте снижения неопределённости в статистической корреляции научных достижений и их импакта.
Дилемма между полезностью или импактом содержания результатов и методов научных исследований, с одной стороны, и управляющей функцией статистического наукометрического инструментария для оценки полезности или импакта, с другой стороны, является, как подчёркивается многими авторами, ложной. Недоверие к ранее введённым в обиход или очередному новому наукометрическому показателю возникает в результате поднятия этих, по сути вспомогательных средств и результатов анализа в нашем технизированном социуме, на уровень ни много ни мало видения и стратегического планирования развития национальной или региональной научно-техноло-
гической системы. В аспекте как академического, так и особенно экономического измерения это ложные ценности.
Незрелая бюрократия часто проводит свою повестку и свои собственные ценности, хотя не является истинным клиентом научно-технологических организаций. Такая бюрократия, проявляемая в обществе и учреждениях, часто отождествляет саму себя с обществом (организацией) и принимает всё то, что сама производит за продукт всего общества (организации) для всего общества (организации). Н. А. Григорян приводит следующую цитату о полузнании в управлении: «В 1863 г., накануне введения нового университетского устава, сыгравшего важную роль в осуществлении университетской реформы, официальный печатный орган Министерства народного просвещения признавал: "Главный недуг нашего общества заключается в недостатке знания (...) А в последнее время (...) не менее гибельный — это полузнание, со всеми неизбежными своими спутниками, как-то: самонадеянностью, заносчивостью, неосновательностью и вместе с тем резкостью суждений, неуважением к науке, непризнанием "факта"» [33, с. 101]. Такая политика не следует ценностно-смысловому подходу [27], который ярко обозначает себя в образовании, где студент всегда является активным действующим лицом, будучи оценщиком ценностей, но который ретушируется и даже искажается, когда научные публикации, оторванные от создавших их исследователей, становятся пассивными объектами для манипуляций.
Технологии и инновации требуют значительных специальных знаний, погружённых в живых людей, а не только в виде записанных ими текстов и графиков с новыми результатами — научных публикаций и патентов. Это очевидное обстоятельство, когда знания передаются, применяются и влияют, а также проявляется опыт, научное критическое мышление при непосредственной ежедневной работе в контакте с другими участниками экосистемы, в некоторых странах постоянно игнорируется при разработке политики науки и технологий. Общественные выгоды состоят в том, что исследовательские способности, полученные в результате участия в исследовательской работе, нужны для понимания, интерпретации и оценки знаний как прикладных, так и фундаментальных, более информированного выбора и перехода в технологическое сообщество. Высокие наукометрические индексы, как и другие отличные результаты, являются автоматическим побочным продуктом активного участия в исследованиях. Поэтому мы уделяем большое внимание изучению и формулировке детальных условий и ограничений применения, а также возможной индивидуальной мотивации, на примере расчета аЬ-ин-декса. По этой же причине мы привели обширный дискурс по сопоставлению значимости этого индекса и импакта исследований.
Мы иллюстрируем тем самым, что у некоторых индексов есть полезная рекомендательная функция, только если обозначить их статус, деликатно очертить круг их применимости, указать место в общей структуре и процессах, исключить дискриминацию по признаку той или иной величины индекса и развернуть соответствующие компенсационные или трансформационные меры для развития научно-технологической экосистемы, а не заниматься производством очередных показателей, справедливо охарактеризованных
Е. В. Семёновым как, нередко практикуемый, «механизм подавления знаний, технологий и компетенций» [19]. Требуются методики для проблемы адекватного метрического анализа в области научного творчества.
Государственная политика и политика внутри организаций в области науки и технологий должна включать полноценное и адекватное понимание, а не обогащённое модернистской риторикой, часто просто заимствованной из зарубежных источников, полупонимание или ложное понимание действительных интересов и ценностей сообществ и в целом общества в области науки и технологий.
ЛИТЕРАТУРА
1. Москалева О. В. Наукометрия: немного истории и современные российские реалии / О. В. Москалева, М. А. Акоев // Управление наукой: теория и практика. 2019. Т. 1, № 1. С. 135-148. DOI 10.19181/smtp.2019.1.1.5. EDN UVPJBE.
2. Жарекешев И. Х. Постдокторантура как этап повышения квалификации научного работника // Вестник Российской академии наук. 2013. Т. 83, № 12. С. 1104-1107. DOI 10.7868/S0869587313120141. EDN RPATIP.
3. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библи-ометрике). М. : МЦНМО, 2011. 72 с. EDN SDSGDB.
4. Наука по-американски: Очерки истории / Пер. с англ. ; сост. и науч. ред. Д. Александров. М. : Новое литературное обозрение, 2014. 624 с.
5. Лазарев В. С. Библиометрия, наукометрия и информетрия. Часть 1. Возникновение и предыстория // Управление наукой: теория и практика. 2020. Т. 2, № 4. С. 133-163. DOI 10.19181/smtp.2020.2.4.6. EDN VGVELO.
6. Лазарев В. С. Библиометрия, наукометрия и информетрия. Часть 2. Объект // Управление наукой: теория и практика. 2021. Т. 3, № 1. С. 80-105. DOI 10.19181/ smtp.2021.3.1.5. EDN XIWVEC.
7. Лазарев В. С. Библиометрия, наукометрия и информетрия. Часть 3. Объект (окончание) // Управление наукой: теория и практика. 2021. Т. 3, № 2. С. 99-136. DOI 10.19181/smtp.2021.3.2.5. EDN VSFUR.
8. Garfield E. Science Citation Index-A new dimension in indexing science // Science. 1964. Vol. 144, № 3619. Р. 649-654. DOI 10.1126/science.144.3619.649.
9. UNESCO Science Report: The Race Against Time for Smarter Development. Ed. by S. Schneegans, T. Straza and J. Lewis. Paris : UNESCO Publishing, 2021. 739 p. URL: https://unesdoc.unesco.org/ark:/48223/pf0000377433 (дата обращения: 27.01.2023).
10. Nature Index Annual Tables 2022: China's research spending pays off // Nature : [сайт]. 2022. June 16. URL: https://www.nature.com/articles/d41586-022-01669-07utm_ source=Nature+Briefing&utm_campaign=b8357a4f35-briefing-dy-20220621&utm_ medium=email&utm_term=0_c9dfd39373-b8357a4f35-47184296 (дата обращения: 15.07.2022).
11. The Declaration on Research Assessment // Dora : [сайт]. URL: http://www.ascb. org/dora/ (дата обращения: 27.11.2022).
12. Стерлигов И. Наукометрический минимум для учёного / И. Стерлигов, А. Еникеева // Академическая среда. 2015. № 06.
13. Цыганов А. В. Краткое описание наукометрических показателей основанных на цитируемости // Управление большими системами: сборник трудов. 2013. № 44. С. 248-261. EDN RDQBNT.
14. Национальный доклад по науке. Нур-Султан ; Алматы, 2021. 250 с. // Национальная академия наук Республики Казахстан : [сайт]. URL: https://nauka-nanrk. kz/ru/about/nac-doc.html (дата обращения: 27.11.2022).
15. Гуреев В. Н. О некоторых причинах перехода российских авторов в зарубежные журналы / В. Н. Гуреев, Н. А. Мазов, Д. В. Метелкин // Управление наукой: теория и практика. 2022. Т. 4, № 3. С. 20—34. DOI: 10.19181/smtp.2022.4.3.2. EDN: ANHDRW.
16. Hamrick T. Assessing What Distinguishes Highly Cited from Less-Cited Papers Published in Interfaces / T. Hamrick, R. Fricker, G. Brown // Interfaces. 2010. Vol. 40. P. 454—464.
17. On impact // Nature. 2016. Vol. 535. P. 466.
18. Лазарев В. С. Библиометрия, наукометрия и информетрия. Часть 4. Методы // Управление наукой: теория и практика. 2022. Т. 4, № 1. С. 180—214. DOI 10.19181/ smtp.2022.4.1.10. EDN LQVAER.
19. Семёнов Е. В. Производство показателей как механизм подавления производства знаний, технологий и компетенций // Управление наукой: теория и практика. 2020. Т. 2, № 1. С. 69—93. DOI 10.19181/smtp.2020.2.1.4. EDN XPOPJR.
20. Семёнов Е. В. Опыты с ручным управлением научно-технологическим комплексом в постсоветской России // Наука. Инновации. Образование. 2013. Т. 8, № 1. С. 7—32. EDN RBPJWF.
21. Семёнов Е. В. О научной политике в условиях новой ненормальности // Управление наукой: теория и практика. 2022. Т. 4, № 3. С. 10—11. EDN ZRMBJW.
22. Launonen M. Hubconcepts. The global best practice for managing innovation ecosystems and hubs / M. Launonen, J. Viitanen. Helsinki : Hubconcepts, 2011. Р. 331—333.
23. Мониторинг и оценка результатов научно-технической деятельности: зарубежный опыт и Российская практика / А. Б. Гусев, Е. Г. Доронина, И. В. Вершинин, В. А. Малахов // Наука. Инновации. Образование. 2018. Т. 13, № 1. С. 65—91. EDN YTBVXZ.
24. Черныш М. Ф. Рецензирование в современной российской науке // Управление наукой: теория и практика. 2022. Том 4, № 1. С. 18—39. DOI 10.19181/smtp.2022.4.1.1 EDN DNMNXE.
25. Koltun V. The h-index is no longer an effective correlate of scientific reputation / V. Koltun, D. Hafner // PLoS ONE. 2021, Vol. 16 (6): e0253397. DOI 10.1371/journal. pone.0253397.
26. Bibliometrics: The Leiden Manifesto for research metrics / D. Hicks, P. Wouters, L. Waltman [et al.] // Nature. 2015. Vol. 520. P. 429—431.
27. Арынгазин К. М. Введение в смысловую педагогику. Караганда : Изд-во КРУ, 2005. 407 с.
28. The credibility of research impact statements: A new analysis of REF with Semantic Hypergraphs / A. Bonaccorsi, N. Melluso, F. Chiarello, G. Fantoni // Science and Public Policy. 2021. Vol. 48, Is. 2. P. 212—225. DOI 10.1093/scipol/scab008.
29. Research Excellence Framework // REF 2014 : [сайт]. URL: https://www.ref. ac.uk/2014/ (дата обращения: 27.11.2022).
30. REF 2014: The results // REF 2014 : [сайт]. URL: https://www.ref.ac.uk/2014/ pubs/201401/ (дата обращения: 27.11.2022).
31. Финансовое, кадровое обеспечение научно-технических программ в Республике Казахстан и их результативность (по материалам государственной регистрации научно-технических программ в 2014 г.). Аналитический доклад / А. Ж. Ибраев, Ю. Г. Кульевская, Д. Ш. Чултурова, Г. Г. Улезько. Алматы, 2015.
32. Assessment, evaluations, and definitions of research impact: A review / T. Penfield, M. J. Baker, R. Scoble, M. C. Wykes // Research Evaluation. 2014. Vol. 23, iss. 1. P. 21-32, DOI: 10.1093/reseval/rvt021.
33. Григорьян Н. А. Великие русские учёные о реформе образования и науки // Вестник РАН. 1993. Т. 63, № 2. С. 101-108.
Статья поступила в редакцию 02.12.2022. Одобрена после рецензирования 19.01.2023. Принята к публикации 31.01.2023.
СВЕДЕНИЯ ОБ АВТОРЕ
Арынгазин Аскар Канапьевич [email protected]
Доктор физико-математических наук, директор, Sustainable Innovation and Technology Foundation; ведущий научный сотрудник, Национальная академия образования им. И. Алтынсарина, Астана, Казахстан
AuthorID РИНЦ: 201770 Scopus Author ID: 6603534980 ORCID: 0000-0001-8329-4072
DOI: 10.19181/smtp.2023.5.1.7
BRUTTO ASSESSMENT OF THE EARLY STAGE OF RESEARCH ACTIVITY
Askar K. Aryngazin1,2
1 Sustainable Innovation and Technology Foundation, Astana, Kazakhstan
2 Y. Altynsarin Education Academy, Astana, Kazakhstan
For citation: Aryngazin, A. K. (2023). Brutto Assessment of the Early Stage of Research Activity. Science Management: Theory and Practice. Vol. 5, no. 1. P. 104-127. DOI 10.19181/ smtp.2023.5.1.7
Abstract. Indices are widely included in the tools of modern scientometrics. However, there is no reliable numerical criterion for distinguishing between the assessment of the level of various candidate or PhD dissertations, despite the huge differences, sometimes hundreds times, in impact indicators of journals in which work of different doctorates is published. The article discusses brutto evaluation at an early stage of research activity in a wider discourse using the example of a simple scientometric index of publications, ab-index. Case of its calculation, analysis of its features, role in stimulating and ensuring coverage, connection with research impact, comparison with Hirsch index, and recommendations for its use are given. We provide facts, data, reasons, invite to discussion, and illustrate that some indexes have a useful advisory function only if their status is indicated, their scope of applicability is delicately outlined, their place in the overall structure and processes is indicated, discrimination based on one or another index value is eliminated, and appropriate compensatory or transformational measures are deployed to development of scientific and technological ecosystem, instead of
engaging in the production of more indicators, characterized as a mechanism for suppressing knowledge, technologies, and competencies.
Keywords: publication, scientometrics, index, impact
Acknowledgement: The author is grateful to Prof. Dr.Sc. in Pedagogics K.M. Aryngazin for discussions of semantic, value-oriented and professionally oriented pedagogy which led to determination of significance of the ab-index in educational and scientific process. The article was prepared within the framework of grant funding for scientific research of the Science Committee of the Ministry of Education and Science of the Republic of Kazakhstan for 20212023. under the project of program-targeted financing of the scientific and technical program OR 11465474 "Scientific foundations for the modernization of the education and science system".
REFERENCES
1. Moskaleva, O. V. and Akoev, M. A. (2019). Scientometrics: a little bit of history and modern Russian realities. Science Management: Theory and Practice. Vol. 1, no. 1. P. 135-148. DOI 10.19181/smtp.2019.1.1.5 (In Russ.).
2. Zharekeshev, I. Kh. (2013). Postdoktorantura kak etap povysheniya kvalifikatsii nauchnogo rabotnika [Postdoctoral studies as a stage of advanced training for a researcher]. VestnikRAN. Vol. 83, no. 12. P. 1104-1107. DOI 10.7868/S0869587313120141. (In Russ.).
3. Igra v tsyfir', ili kak teper' otsenivayut trud uchenogo (sbornik statei o bibliometrike). [The game of numbers, or how the work of a scientist is now evaluated (collection of articles about bibliometrics)] (2011). Moscow: MTsNMO publ. (In Russ.).
4. Naukapo-amerikanski: Ocherki istorii [American Science: Essays on History] (2014). Transl. from Eng.; ed. by D. Aleksandrov. Moscow: Novoe literaturnoe obozrenie. 624 p. (In Russ.).
5. Lazarev, V. S. (2020). Bibliometrics, Scientometrics and Informetrics. Part 1. Emergence and background. Science Management: Theory and Practice. Vol. 2, no. 4. P. 133-163. DOI 10.19181/smtp.2020.2.4.6 (In Russ.).
6. Lazarev, V. S. (2021). Bibliometrics, Scientometrics and Informetrics. Part 2. Object. Science Management: Theory and Practice. Vol. 3, no. 1. P. 80-105. DOI 10.19181/ smtp.2021.3.1.5 (In Russ.).
7. Lazarev, V. S. (2021). Bibliometrics, Scientometrics and Informetrics. Part 3. Object (Ending). Science Management: Theory and Practice. Vol. 3, no. 2. P. 99-136. DOI 10.19181/smtp.2021.3.2.5 (In Russ.).
8. Garfield, E. (1964). Science Citation Index-A new dimension in indexing science. Science. Vol. 144, no. 3619. P. 649-654. DOI: https://doi.org/10.1126/ science.144.3619.649.
9. UNESCO Science Report: The Race Against Time for Smarter (2021). Ed. by S. Schneegans, T. Straza and J. Lewis. Paris: UNESCO Publishing. 739 p. URL: https:// unesdoc.unesco.org/ark:/48223/pf0000377433 (accessed 27.01.2023).
10. Nature Index Annual Tables 2022: China's research spending pays off (2022). Nature. June 16. URL: https://www.nature.com/articles/d41586-022-01669-07utm_ source=Nature+Briefing&utm_campaign=b8357a4f35-briefing-dy-20220621&utm_ medium=email&utm_term=0_c9dfd39373-b8357a4f35-47184296. (accessed 15.07.2022).
11. The Declaration on Research Assessment. Dora. URL: http://www.ascb.org/dora/ (accessed 27.11.2022).
12. Sterligov, I. and Anikeeva, A. (2015). Naukometricheskii minimum dlya uchenogo [Scientometric minimum for a scientist]. Akademicheskaya sreda. No. 6. (In Russ.).
13. Tsiganov, A. V. (2013). Brief rewiev of main scientometric indices based on citations. Large-Scale Systems Control. No. 44. P. 248-261 (In Russ.).
14. Natsional'nyi doklad po nauke [National Science Report] (2021). Nur-Sultan; Almaty. 250 p. National Academy of Sciences of the Republic of Kazakhstan. URL: https:// nauka-nanrk.kz/ru/about/nac-doc.html (accessed 27.11.2022). (In Russ.).
15. Gureev, V. N., Mazov, N. A. and Metelkin, D. V. (2022). On some reasons for the transition of Russian authors to foreign journals. Science Management: Theory and Practice. Vol. 4, no. 3. P. 20-34. DOI 10.19181/smtp.2022.4.3.2. (In Russ.).
16. Hamrick, T., Fricker, R. and Brown, G. (2010). Assessing What Distinguishes Highly Cited from Less-Cited Papers Published in Interfaces. Interfaces. Vol. 40. P. 454-464.
17. On impact (2016). Nature Vol. 535. P. 466.
18. Lazarev, V. S. (2021). Bibliometrics, Scientometrics and Informetrics. Part 4. Methods. Science Management: Theory and Practice. Vol. 4, no. 1. P. 180-214. DOI 10.19181/smtp.2022.4.1.10 (In Russ.).
19. Semenov, E. V. (2020). Production of indicators as a mechanism for suppression of production of knowledge, technology and competencies. Science management: theory and practice. Vol. 2, no. 1. P. 69-93. DOI 10.19181/smtp.2020.2.1.4 (In Russ.).
20. Semenov, E. V. (2013). Opyty s ruchnym upravleniem nauchno-tekhnologicheskim kompleksom v postsovetskoi Rossii [Experiments with manual control of a scientific and technological complex in post-Soviet Russia]. Science. Innovations. Education. Vol. 8, no. 1. P. 7-32. (In Russ.).
21. Semenov, E. V. (2022). O nauchnoi politike v usloviyakh novoi nenormal'nosti [On Science Policy in the New Abnormality]. Science Management: Theory and Practice. Vol. 4, no. 3. P. 10-11. (In Russ.).
22. Launonen, M. and Viitanen, J. (2011). Hubconcepts. The global best practice for managing innovation ecosystems and hubs. Helsinki: Hubconcepts Inc. P. 331-333.
23. Gusev, A. B., Doronina, E. G., Vershinin, I. V. and Malakhov, V. A. (2018). Monitoring i otsenka rezul'tatov nauchno-tekhnicheskoi deyatel'nosti: zarubezhnyi opyt i rossiiskaya praktika [Monitoring and evaluation of the results of scientific and technical activities: foreign experience and Russian practice]. Science. Innovations. Education. Vol. 13, no 1. P. 65-91. P. 65-91. (In Russ.).
24. Chernysh, M. F. (2022). Peer Reviewing in Contemporary Russian Science. Science Management: Theory and Practice. Vol. 4, no. 1. P. 18-39. DOI 10.19181/smtp.2022.4.1.1.
25. Koltun, V. and Hafner, D. (2021). The h-index is no longer an effective correlate of scientific reputation. PLoS ONE. Vol. 16 (6): e0253397. DOI 10.1371/journal. pone.0253397.
26. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. and Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature. Vol. 520. P. 429-431.
27. Aryngazin, K. M. (2005). Vvedenie v smyslovuyu pedagogiku [Introduction to semantic pedagogy]. Karaganda: KRU publ. 407 p. (In Russ.).
28. Bonaccorsi, A., Melluso, N., Chiarello, F. and Fantoni, G. (2021). The credibility of research impact statements: A new analysis of REF with Semantic Hypergraphs. Science and Public Policy. Vol. 48, is. 2. P. 212-225. DOI 10.1093/scipol/scab008.
29. Research Excellence Framework (2014). REF 2014. URL: https://www.ref. ac.uk/2014/ (accessed 27.11.2022).
30. REF 2014: The results (2014). REF 2014. URL: https://www.ref.ac.uk/2014/ pubs/201401/ (accessed 27.11.2022).
31. Ibraev, A. Zh., Kul'evskaya, Yu. G., Chulturova, D. Sh. and Ulez'ko, G. G. (2015). Finansovoe, kadrovoe obespechenie nauchno-tekhnicheskikh programm v Respublike Kazakhstan i ikh rezul'tativnost' (po materialam gosudarstvennoi registratsii nauchno-tekhnicheskikh programm v 2014 g.) [Financial, staff provision of scientific and technical programs in the Republic of Kazakhstan and their effectiveness (based on the state registration of scientific and technical programs in 2014)]. Analiticheskii doklad. Almaty. (In Russ.).
32. Penfield, T., Baker, M. J., Scoble, R. and Wykes, M. C. (2014). Assessment, evaluations, and definitions of research impact: A review. Research Evaluation. Vol. 23, iss. 1. P. 21-32. DOI 10.1093/reseval/rvt021.
33. Grigor'yan, N.A. (1993). Velikie russkie uchenye o reforme obrazovaniya i nauki ["Great Russian scientists about the reform of education and science"]. Bulletin of the Russian Academy of Sciences. Vol. 63, no. 2. P. 101-108. (In Russ.).
The article was submitted on 02.12.2022.
Approved after reviewing 19.01.2023. Accepted for publication 31.01.2023.
INFORMATION ABOUT THE AUTHOR
Askar K. Aryngazin [email protected]
Doctor of Physical and Mathematical Sciences, Director, Sustainable Innovation and Technology Foundation; Senior Researcher, Y. Altynsarin National Education Academy, Astana, Kazakhstan AuthorlD RSCI: 201770 Scopus Author ID: 6603534980 ORCID: 0000-0001-8329-4072
