CC BY
16
СОЦИОЛОГИЯ
УДК 316
Статистический критерий манипуляции индексом Хирша и его применение в управлении наукой
Statistical criterion of manipulation of the Hirsch index and its application in the management of science
Миненко В.Г., Кубанский государственный технологический университет, [email protected]
Хорошун К.В., Кубанский государственный технологический университет, [email protected]
Романов Д.А., Кубанский государственный технологический университет, [email protected]
Шапошников В.Л., Краснодарский кооперативный институт (филиал) Российского университета кооперации, [email protected]
Minenko V., Kuban State Technological University, [email protected] Khoroshun K., Kuban State Technological University, [email protected] Romanov D., Kuban State Technological University, [email protected]
Shaposhnikov V., Krasnodar Cooperative Institute (branch) Russian University of Cooperation, [email protected]
DOI: 10.51379/KPJ.2023.158.1.034
Ключевые слова: индекс Хирша, научный работник, статистический критерий, манипуляция, управление наукой.
Keywords: hirsch index, researcher, statistical criterion, manipulation, science management.
Аннотация. В настоящее время общепризнанный наукометрический показатель - индекс Хирша -подвергают всё более жёсткой критике, а в ряде случаев и вовсе предлагают отказаться от него. Но известно, что управление наукой, как и любой другой сферой человеческой деятельности, требует измерений. Для авторов настоящей статьи, очевидно, что ущербен на сам по себе индекс Хирша, а методика его применения в управлении наукой. Кроме того, в условиях цифровой экономики (информационного общества) появляются возможности для алгоритмического исключения погрешностей из результатов измерений. Важнейший источник систематических погрешностей в измерении продуктивности научной деятельности -манипулирование индексом Хирша путём искусственного «повышения» цитируемости публикаций. Авторами настоящей статьи обоснованы критерии недостоверности индекса Хирша научного работника, предложен метод алгоритмического исключения погрешностей из результатов измерения указанного показателя. Методы исследования: анализ научной литературы и передового опыта управления научной деятельностью в университетах (бенчмаркинг), методы теории множеств, методы квалиметрии и экспертных оценок, методы математической статистики, в том числе метод каменистой осыпи. Методологические основы исследования: системный, социологический, информационно-когнитивный, квалиметрический и вероятностно-статистический подходы.
Abstract. Currently, the universally recognized scientometric indicator - the Hirsch index - is being subjected to increasingly harsh criticism, and in some cases it is even proposed to abandon it altogether. But it is known that the management of science, like any other sphere of human activity, requires measurements. For the authors of this article, it is obvious that the Hirsch index itself is flawed, but the methodology of its application in the management of science. In addition, in the conditions of the digital economy (information society), there are opportunities for algorithmic exclusion of errors from measurement results. The most important source of systematic errors in measuring the productivity of scientific activity is the manipulation of the Hirsch index by artificially "increasing" the citation of
289
publications. The authors of this article substantiate the criteria for the inaccuracy of the Hirsch index of a researcher, and propose a method for algorithmically excluding errors from the measurement results of this indicator. Research methods: analysis of scientific literature and best practices in the management of scientific activities at universities (benchmarking), methods of set theory, methods of qualimetry and expert assessments, methods of mathematical statistics, including the method of rocky scree. Methodological foundations of the research: systemic, sociological, informational-cognitive, qualimetric and probabilistic-statistical approaches.
Введение. Нет необходимости доказывать, что манипулирование наукометрическими
показателями, особенно индексом Хирша, давно превратилось в социальное бедствие [1;2;4;5;11]. Искусственное «улучшение» индекса Хирша -типичное проявление известного закона Гурхарда в наукометрии и управлении наукой (если некий показатель становится целевым, то он перестаёт быть хорошим показателем). Нет необходимости и перечислять последствия, к которым приводит указанная манипуляция.
В то же время, очевидно, что в любой сфере деятельности без критериев (количественных показателей) обойтись невозможно. Управление невозможно без измерений [2;3;6;7;10;12]; в нашем случае речь идёт об управлении научной деятельностью, в том числе в университетах. С точки зрения авторов настоящей статьи, полный отказ от индекса Хирша в управлении научной деятельностью (как это предлагают некоторые современные специалисты) не является выходом из сложившейся ситуации (её наиболее печальный аспект - имитация научной деятельности [4;5]).
Во-первых, сам по себе индекс Хирша обоснован и признан во всём мире. Напомним, что индекс Хирша основан на цитируемости. Но ведь на цитируемости основаны практически все наукометрические показатели. Например, на цитируемости основан импакт-фактор журналов, однако авторы настоящей статьи не нашли призывов отказаться от него. Одним из современных специалистов (в работе [4]) отмечено, что некоторые учёные считают индекс Хирша «нелепым показателем». Но любой показатель не лишён недостатков (курьёзов). Например, наиболее очевидный курьёз импакт-фактора следующий: нет разницы, каким образом распределены цитаты на публикации журнала. Одна высокоцитируемая публикация может «вытянуть» журнал, в то время как другие публикации не получают признания (совершенно не востребованны, даже самими авторами). Не целесообразнее ли ввести для журналов такой показатель, как доля публикаций с нулевой цитируемостью?
Цитаты (ссылки на публикации) отражают признанность научным сообществом некоего результата исследовательской деятельности, отражённого в научной публикации. Формально
теоретическую значимость результатов исследовательской деятельности можно отразить только в виде показателей, основанных на цитируемости. А ведь теоретическая значимость результатов исследовательской деятельности, помимо научной новизны и прикладной значимости, - их важнейший аспект. Не будет лишним напомнить и о том, что измерение индекса Хирша основано на применении передового статистического метода каменистой осыпи, который является «шагом вперёд» по сравнению с традиционным эмпирическим усреднением (именно на основе указанного метода вычисляли и по-прежнему вычисляют среднее число цитат на публикации научного работника, а данным показателем манипулировать отнюдь не труднее, чем индексом Хирша).
Во-вторых, отказ от индекса Хирша потребует его замены другим показателем. Где «гарантия», что новым показателем не будут манипулировать? Более того, авторы настоящей статьи уверены в обратном: любым показателем, который пришёл бы на смену традиционному (т.е. индексу Хирша), точно так же манипулировали бы научные работники, не отличающиеся добросовестностью.
В-третьих, в вышеуказанном социальном бедствии «виноват» не сам показатель, а неправильная методика его применения в управлении наукой; в более широком смысле, причиной является управленческий примитивизм. Безусловно, сам по себе индекс Хирша не лишён недостатков (как и любой показатель в любой сфере деятельности). Но авторы настоящей статьи считают дозволительным привести известные слова Сенеки: не нож убивает, а рука, его ведущая. Научную деятельность, как и многие другие сферы, калечит управленческий примитивизм, а не интегративный показатель. Любой критерий - инструмент, который необходимо адекватно использовать. Дефицит объёма статьи не позволяет привести огромное число печальных примеров, когда управленческий примитивизм, заключающийся в неадекватном использовании показателей (зачастую адекватных самих по себе), приводил к губительным последствиям. В-четвёртых, индекс Хирша имеет великое множество вариаций. Например, индекс Хирша по ядру Российского
индекса научного цитирования (РИНЦ) -значительно более труднодостижимый показатель, чем индекс Хирша в РИНЦ. Как ни странно, в управлении научной деятельностью не используют такой показатель, как индекс Хирша по ядру РИНЦ, хотя манипулировать им значительно труднее, чем индексом Хирша в РИНЦ. А ведь индекс Хирша по ядру РИНЦ отражает, в какой мере научный работник или коллектив (например, кафедры или университета) интегрирован в элитарное научное сообщество. Например, индекс Хирша научного работника по РИНЦ может быть равен 16, а по ядру РИНЦ - 0.
Забегая вперёд, отметим: в своё время один из авторов настоящей статьи предлагал такой показатель, как индекс Хирша без учёта самоцитирований и цитирований со стороны соавторов, т.е. с учётом только «истинно внешних» цитат. Даже если речь идёт о таком виде нечестности (мошеннической схеме), как взаимное цитирование, то «договориться» легче именно с соавтором публикаций, чем с научным работником, который таковым не является. Например, индекс Хирша научного работника может быть равна 20, без учёта самоцитирований - 16, а без учёта цитирований соавторами (т.е. с учётом только истинно «внешних цитат») - лишь 10. Отметим, что в современном РИНЦ для научных работников вычисляют индекс Хирша с учётом и без учёта самоцитирований.
Ещё раз напомним, что индекс Хирша целиком и полностью основан на цитируемости. Но известно: с точки зрения математической теории множеств, научная цитата -несимметричное отношение между двумя публикациями (цитирующей и цитируемой). Научная цитата в наукометрической базе данных может появиться лишь при одновременном соблюдении двух условий: не должна быть исключена из наукометрической базы цитируемая публикация, а также цитирующая публикация должна быть индексирована. Иначе говоря, цитирующая публикация должна «увидеть свет». Отсюда неизбежно следует вывод о принципиально важной роли изданий, ответственных за появление цитирующих публикаций.
С точки зрения прикладной математики, измерение индекса Хирша - обработка первичной информации, а именно - массива чисел. Напомним, что основные этапы измерения индекса Хирша - сортировка массива в порядке убывания (по числу цитат на публикации), поиск наибольшего номера публикации, значение которого не превышает её цитируемости. Несмотря на широкий спектр возможностей,
представляемых современными математическими методами, по-прежнему результаты измерений индекса Хирша не оценивают на достоверность. Проблема исследования - вопрос: каким образом оценить достоверность измерения индекса Хирша научного работника? Цель исследования -обоснование статистического критерия манипуляции индексом Хирша. Объект исследования - измерение индекса Хирша, предмет исследования - статистический критерий манипуляции индексом Хирша.
Материалы и методы исследования. Применявшиеся методы исследования: анализ научной литературы и передового опыта управления научной деятельностью в университетах (бенчмаркинг), методы теории множеств, методы квалиметрии и экспертных оценок, методы математической статистики, в том числе метод каменистой осыпи. Методологические основы исследования: системный подход (рассматривает оценку наукометрических показателей как
составляющую мониторинга исследовательской деятельности, а мониторинг - как информационный механизм управления наукой [5]), социологический подход (рассматривает научное сообщество как социальную среду, публикации - как «единицы» результатов научной деятельности, научное цитирование -как механизм коммуникации внутри научного сообщества [1;3;6-10]), информационно-когнитивный подход (рассматривает развитие науки и научную деятельность как информационные процессы [5;14]),
квалиметрический подход (провозглашает необходимость многокритериальной оценки исследовательской деятельности [2;5;12]) и вероятностно-статистический подход
(рассматривает оценку наукометрических показателей как статистическое измерение, основанное на обработке первичной информации [5;9;11;13;14]).
Результаты исследования. Пусть N - число публикаций научного работника, А -отсортированный по убыванию массив, в котором а! - цитируемость ьй публикации. Очевидно следующее: чем выше значение индекса Хирша научного работника, тем выше вероятность, что его необходимо оценивать на достоверность; особенно это верно, если его значение выше 9. Для меньших значений оценивать достоверность не имеет смысла, т.к. подобные результаты редко учитывают в управлении научной деятельностью. Например, в ряде университетов в рамках «эффективного» контракта не выплачивают премии (т.е. выплаты «стимулирующего»
характера) за текущее значение индекса Хирша по РИНЦ менее 8. Указанную вероятность можно
Н
выразить простой формулой: р =-, где Н -
Н +1
значение индекса Хирша.
С точки зрения авторов настоящей статьи, основным критерием недоверия к значению индекса должна случить конечно-разностная
величина
К = 8 = ан - а
ЛН+1'
где
Н -
порядковый номер элемента массива, совпадающий с индексом Хирша. Очевидно: чем выше значение 8, тем выше вероятность, что индекс Хирша сфабрикован. Иначе говоря, если значение 8 велико, то можно делать вывод: первые Н публикаций были тенденциозно отобраны для «достижения» заданного уровня цитируемости. Если на графике, отражающем цитируемость публикаций, идёт резкий спад после точки с номером Н, то это отражает «отобранность» первых Н публикаций для «накрутки» цитирований. Если значение 8 мало (или вообще равно нулю), то ответить на ключевой вопрос однозначно не получится; требуется дополнительное расследование для определения достоверности фактического
значения индекса Хирша. Иначе говоря, верен негативный диагноз: малое значение 8 не гарантирует достоверности значения индекса Хирша у анализируемого научного работника; наоборот, высокое значение 8 - «гарантия» его сфабрикованности. В то же время, у публикации с номером, равным индексу Хирша, может быть «лишнее» качество, поэтому более корректен другой критерий недостоверности:
К =8' = Н - ан+1.
Приведём пример. На рисунке 1 представлены графики, отражающие
цитируемость публикаций двух гипотетических научных работников (по оси абсцисс - номер публикации, по оси ординат - цитируемость). У обоих работников индекс Хирша равен 18. Однако у первого работника 8 = 6 (цитируемость девятнадцатой публикации равна 12, что на 6 меньше, чем цитируемость восемнадцатой публикации и индекс Хирша), и этот факт однозначно отражает сфабрикованность индекса Хирша. У второго работника 8 = 1, поэтому для определения достоверности его индекса Хирша требуется дополнительное расследование.
Рисунок 1. - Пример явно сфабрикованного индекса Хирша (график, отражённый сплошной толстой линией) и относительно достоверного (график, отражённый тонкой пунктирной линией)
В то же время, очевидно, что меньший индекс Хирша (при одной и той же степени тенденциозности) в меньшей степени искажает картину научной деятельности. Например, индекс Хирша 10, даже если он явно сфабрикован (по
критерию 8'), меньше искажает результативность исследовательской
деятельности, чем индекс Хирша, равный 18. Поэтому интегративный критерий
недостоверности К2 = О = Н ■8'.
В то же время, низкое значение величины 8' - не гарантия достоверности индекса Хирша, особенно с высоким численным значением. Приведём пример. Пусть цитируемость публикаций научного работника 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 5, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0. Индекс Хирша равен 18. На первый взгляд, нет никакой
тенденциозности, т.к. 8' = 1, 8 = 2, цитируемость девятнадцатой и двадцатой публикации равна 17 (не на много меньше, чем 18). Однако более внимательный анализ показывает, что после двадцатой публикации идёт резкий спад цитируемости (на девять единиц, а это весьма существенно). Есть основания предполагать, что в ближайшей «перспективе» - новая «цель»: «улучшение» индекса Хирша до 20.
Авторы настоящей статьи предлагают следующий критерий недостоверности индекса Хирша, необходимый в случае дополнительного расследования: К3 = Н — Н1.
Показатель н ' вычисляют следующим образом. Из массива мысленно убирают первые Н элементов (т.е. публикаций, детерминирующих индекс Хирша). Далее для усечённого массива вычисляют индекс Хирша, т.е. величину Н'. Чем она меньше она отличается от фактического индекса Хирша Н, тем меньше вероятность, что показатель сфабрикован (не «целесообразнее» ли было бы «улучшить» фактическое значение?).
Приведём пример, см. таблицу 1. Пусть цитируемость публикаций первого научного
работника 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0; второго 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19, 17, 17, 14, 14, 12, 12, 12, 11, 10, 10, 10, 8, 7, 5, 4, 4, 1, 1, 1, 0, 0, 0, 0, 0, 0. Индекс Хирша обоих работников равен 18. Усечённый массив для первого научного работника: 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н1 = 6, т.е. значительно меньше 18. Вероятность того, фактический индекс Хирша сфабрикован, выше среднего. Усечённый массив для второго научного работника: 17, 17, 14, 14, 12, 12, 12, 11, 10, 10, 10, 8, 7, 5, 4, 4, 1, 1, 1, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н' = 10, т.е. меньше 18, но не в такой мере, как у первого научного работника. Вероятность того, фактический индекс Хирша сфабрикован, ниже среднего. Второму научному работнику было бы значительно «целесообразнее» «улучшить» цитируемость работ с шестнадцатой по двадцать вторую, для «достижения» Н = 22, однако им этого сделано не было.
Таблица 1. - Сравнение картины цитируемости двух гипотетических научных работников
Характеристики Научный работник
№ 1 № 2
Цитируемость публикаций 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19, 17, 17, 14, 14, 12, 12, 12, 11, 10, 10, 10, 8, 7, 5, 4, 4, 1, 1, 1, 0, 0, 0, 0, 0, 0
Цитируемость, детерминирующая индекс Хирша 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19
Индекс Хирша 18 18
Усечённый массив цитируемости 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0 17, 17, 14, 14, 12, 12, 12, 11, 10, 10, 10, 8, 7, 5, 4, 4, 1, 1, 1, 0, 0, 0, 0, 0, 0
Индекс Хирша по усечённому массиву 6 10
Разница с фактическим индексом Хирша 12 8
Общий вывод: вероятность того, что у второго научного работника индекс Хирша сфабрикован, значительно ниже, чем у первого
Авторы настоящей статьи предполагают алгоритм исключения систематических погрешностей из измерения индекса Хирша научного работника (систематические погрешности обусловлены «накруткой» показателя). Данный алгоритм авторы рекомендуют применять, если индекс Хирша научного работника не менее 10. Его суть в следующем. Для массива цитируемости вычисляют величины Н и Н ' , а также разницу между ними. Если разница более 2, то выполняют следующее. Величину Н уменьшают на 1, и
количество элементов в усечённом массиве на 1 больше. Для усечённого массива вычисляют Н1, а также Н — Н1. Действия повторяют, пока Н — Н1 > 2 (с точки зрения информатики, это цикл с постусловием). Истинным (а не сфабрикованным) значением индекса Хирша научного работника считают величину Н, оставшуюся после итераций (повторений).
Приведём пример, см. таблицу 2. Пусть цитируемость публикаций научного работника 41, 38, 34, 34, 33, 32, 32, 30, 29, 29, 28, 26, 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0,
0, 0. Индекс Хирша, вычисленный наукометрической системой, равен 18. Усечённый массив для научного работника: 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н' = 6, различие с величиной Н равно 12. Принимаем величину Н = 17, тогда усечённый массив для научного работника: 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н1 = 6, тогда Н-Н' =11 > 2. Принимаем величину Н = 16, тогда усечённый массив для научного работника: 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н' = 6, тогда Н - Н' = 10 > 2 . Принимаем величину Н = 15, тогда усечённый массив для научного работника: 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н' = 6, тогда Н - Н' = 9 > 2 . Принимаем величину Н = 14, тогда усечённый массив для научного работника: 23, 21, 20, 19, 17,
17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н = 7, тогда Н - Н' = 7 > 2. Принимаем величину Н = 13 , тогда усечённый массив для научного работника: 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого массива воображаемый индекс Хирша Н = 8, тогда Н - Н = 5 > 2. Принимаем величину Н = 12, тогда усечённый массив для научного работника: 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0,
0, 0, 0, 0, 0, 0. Для усечённого массива
воображаемый индекс Хирша Н' = 8, тогда
Н - Н1 = 4 > 2. Принимаем величину Н = 11, тогда усечённый массив для научного работника: 26, 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1,
1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Для усечённого
массива воображаемый индекс Хирша Н1 = 9,
тогда Н - Н1 = 2. Условие прекращения цикла (итераций) выполнено. Принимаем значение индекса Хирша, равно 18, сфабрикованным, а равное 11 - истинным.
Таблица 2. - Сравнение картины цитируемости двух гипотетических научных работников
№ итерации Результаты итерации
1. Урезанный индекс Хирша: 17. Усечённый массив цитируемости: 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 6. Разница с урезанным: 11 >2
2. Урезанный индекс Хирша: 16. Усечённый массив цитируемости: 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 6. Разница с урезанным: 10>2
3. Урезанный индекс Хирша: 15. Усечённый массив цитируемости: 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 6. Разница с урезанным: 9>2
4. Урезанный индекс Хирша: 14. Усечённый массив цитируемости: 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 7. Разница с урезанным: 7>2
5. Урезанный индекс Хирша: 13. Усечённый массив цитируемости: 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 8. Разница с урезанным: 5>2
6. Урезанный индекс Хирша: 12. Усечённый массив цитируемости: 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 8. Разница с урезанным: 4>2
7. Урезанный индекс Хирша: 11. Усечённый массив цитируемости: 26, 26, 26, 23, 21, 20, 19, 17, 17, 8, 6, 6, 6, 3, 2, 2, 1, 1, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0. Индекс Хирша по усечённому массиву: 9. Разница с урезанным: 2 (критерий окончания итераций)
Общий вывод: истинный индекс Хирша равен 11
Дефицит объёма статьи не позволяет привести технологию мониторинга
исследовательской деятельности (да и её обоснование выходит за рамки настоящей статьи). Тем не менее, представим ряд мер, применение которых позволит снизить искажение истинной картины исследовательской деятельности научных работников и коллективов.
Во-первых, целесообразно в управлении наукой применять такой показатель, как индекс Хирша по ядру РИНЦ. Достоинства данного показателя: отражает влияние публикаций субъекта (научного работника или коллектива) на элитную научную деятельность (цитаты из ядра РИНЦ - на публикации из ядра РИНЦ); большая трудность манипулирования данным
показателем, по сравнению с индексом Хирша по РИНЦ; учёт публикаций и цитат, индексируемых в признанных международных системах (т.е. Scopus и Web of Science).
Во-вторых, необходимо усиление социального контроля за цитированиями. И здесь ничего не поделать: без тщательного рецензирования рукописей публикаций, включающего оценку обоснованности цитирований, победить социальное бедствие невозможно. При рецензировании статьи следует оценивать не только традиционные параметры (актуальность и направленность, новизну, научную и прикладную значимость, обоснованность выводов), но и обоснованность пристатейных источников. Напомним, что цитата может появиться только в том случае, если цитирующая публикация «увидела свет», а цитируемая - сохранилась в библиографическом списке. Безусловно, это потребует большего объёма трудозатрат рецензента, но это -необходимость.
Отметим, что в ряде российских журналов имеется положительный опыт социального контроля. Так, например, в ряде журналов имеет место совершенно обоснованное требование - не более 10% самоцитирований. Другой положительный пример: в журналах, издаваемых издательским домом «Хорс» (город Краснодар), запрещено в пристатейных списках литературы цитировать более одного источника одного и того же автора (если цитирований одного и того же автора несколько, то они убираются как необоснованные). И это совершенно обоснованно: нет и не может быть, чтобы в крупнейшей стране лишь один автор был специалистом в проблематике, соответствующей рецензируемой статье. Ещё раз напомним: чтобы цитирования отражали коммуникации в научном сообществе, они должны быть обоснованными.
Представляется обоснованным и требование некоторых журналов, не входящих в ядро РИНЦ, что пристатейные списки должны обязательно содержать источники на иностранном языке (действительно, наука - интернациональное явление).
В-третьих, один из авторов настоящей статьи ранее предлагал новые наукометрические показатели. Это, прежде всего, индекс Хирша без учёта самоцитирований и цитирований соавторами, а также индекс качества-продуктивности: он равен Q, если у анализируемого научного работника не менее чем Q публикаций имеют качество не менее чем Q каждая [5]. Дефицит объёма статьи не позволяет представить рекуррентную методику вычисления качества публикаций. Отметим лишь, что идея учёта «веса» цитирующих публикаций давно зреет в международном научном сообществе [5]. Кроме того, в той же работе был предложен такой показатель, как индекс географической широты цитируемости публикаций научного работника или коллектива [5].
В-четвёртых, необходимо с инженерной точностью проектировать такой процесс, как учёт показателей в управлении наукой. Так, например, в Кубанском государственном технологическом университете квартальные премии выдают за текущее значение индекса Хирша от 8 до 26 (5 премиальных баллов, 10, 15, ..., 40, 45 и 50); за значения индекса Хирша свыше 26 выдают премии, как за значение 26. И это также представляется обоснованным:
недобросовестный научный работник лишён смысла «накручивать» до «бесконечности» общепризнанный показатель. В то же время, статья в Web of Science оценивают в 90 премиальных баллов, статью в первом квартиле -в 130 баллов. И это совершенно обоснованно: статья в Web of Science отражает интернационализацию научной деятельности, статья в первом квартиле - высокое качество, отличные шансы на цитирование в признанной наукометрической системе, т.е. интеграцию научного работника в международное научное сообщество. В то же время, почему бы не ввести премиальные баллы за индекс Хирша по ядру РИНЦ (например, с порогового значения, равного 3)?
В-пятых, во всевозможных конкурсах (не только на замещение вакантной должности, но особенно в конкурсах грантов и целевых субсидий) необходимо учитывать, в первую очередь, порфтолио научного работника или коллектива (т.е. перечень публикаций и их «вес»), а при прочих равных условиях - индексы Хирша
работника или коллектива. В данном случае полезно перенять советский опыт конкурсного отбора в вузы: в первую очередь учитывали оценки по результатам вступительных испытаний, при прочих равных условиях - иные показатели. Ещё раз напомним, что источником социальных бедствий являются не сами показатели, а неадекватная методика (технология) их применения. Также напомним: измерения в социальных системах, в том числе в управлении наукой, сталкиваются с огромным количеством трудностей, но это является стимулом к совершенствованию методик и технологий, а не к отказу от измерений.
Заключение. С любым социальным бедствием, в том числе «Хиршаманией», бороться возможно и нужно. Однако при этом необходимо искать, прежде всего, коренные причины, а в данном случае таковой является управленческий примитивизм. Авторы настоящей статьи считают дозволительным напомнить известные слова публициста и критика Д.И. Писарева: требовать правды, оставляя нетронутыми те условия, которые порождают ложь, - значит требовать, чтобы на немощеной улице не было грязи, когда идёт дождь.
Авторами настоящей статьи предложены алгоритмические методы выявления нечестности
в «достижении» высоких значений индекса Хирша, т.е. методы обработки первичной числовой информации о цитируемости публикаций научного работника. Безусловно, наиболее достоверно на ключевой вопрос (действительно ли значение индекса Хирша анализируемого научного работника отражает его продуктивность?) можно ответить лишь путём экспертизы - тщательного анализа цитат на его публикации, однако это требует знания всех мошеннических схем «повышения»
интегративного наукометрического показателя. Но очевидно: если даже поверхностный анализ массива цитируемости отражает
тенденциозность, то это однозначно свидетельствует о нечестности научного работника.
Результаты исследований имеют прямое отношение к социологии науки: научное сообщество - крупный социум, а индекс Хирша -показатель, применяемый в оценке деятельности всех научных работников.
Перспективы дальнейших исследований -разработка информационно-вероятностных моделей, отражающих добросовестность достижения научным работником
наукометрических показателей.
Литература:
1. Зборовский Г.Е. Научно-педагогические работники как социальная общность в меняющихся условиях академического развития / Г.Е. Зборовский, П.А. Амбарова // Образование и наука. - 2022. - Т. 24. -№ 5. - С. 147-180.
2. Маркеева А.В. Большие данные как исследовательская технология: возможности и ограничения применения в современной управленческой практике / А.В. Маркеева, О.В. Гавриленко // Общество: социология, психология, педагогика. - 2021. - № 12(92). - С. 94-103.
3. Огородников А.Ю. Институциональные возможности и границы профессиональной самореализации научных работников в условиях инновационной перестройки российской науки / А.Ю. Огородников, Е.Ю. Руппель // Образование и наука. -2019. - Т. 21. - № 8. - С. 130-163.
4. Осипов П.Н. Индекс Хирша как стимул публикационной активности / П.Н. Осипов // Казанский педагогический журнал. - 2022. - № 6. - С. 714.
5. Романов Д.А. Современные модели и методы диагностики исследовательской деятельности в образовательных учреждениях: монография / Д.А. Романов, А.Н. Дроздов. - Краснодар: КубГТУ, 2018. -210 с.
6. Сергодеева Е.А. Коллективные
характеристики научного творчества: когнитивные и социальные аспекты / Е.А. Сергодеева // Общество: философия, история, культура. - 2018. - № 11. - С. 1315.
7. Троцук И.В. Корпоративная культура как инструмент повышения конкурентоспособности вуза / И.В. Троцук, Д.В. Суховердова // Высшее образование в России. - 2018. - Т. 27. - № 11. - С. 44-54.
8. Bonaccorsi, A. and Secondi, L. (2017) "The determinants of research performance in European universities: a large scale multilevel analysis", Scientometrics, 112, pp. 1147-1178.
9. Khor, K. A., & Yu, L. G. (2016) "Influence of international coauthorship on the research citation impact of young universities", Scientometrics, 107, pp. 1095-1110.
10. Klaic A., Burtscher M.J., Jonas K. (2020) Fostering Team Innovation and Learning by Means of Team-centric Transformational Leadership: the Role of Teamwork Quality. Journal of Occupational and Organizational Psychology. Vol. 93. No. 4: 942-966.
11. Onodera N., Yoshikane F. (2015) Factors Affecting Citation Rates of Research Articles. Journal of the Association for Information Science and Technology. Vol. 66. No. 4: 739-764.
12. Reyes, G.E., Govers, M. and Ruwaard, D. (2018) "A Mathematical and Conceptual Model Regarding Social Inclusion and Social Leverage", Mediterranean Journal of
Social Sciences, Vol. 9, No 3, pp. 9-16.
13. Thelwall M. (2016). Are There Too Many Uncited Articles? Zero Inflated Variants of the Discretised Lognormal and Hooked Power Law Distributions. Journal of Informetrics. Vol. 10. No. 2: 622-633.
1. Zborovsky G.E. Scientific and pedagogical workers as a social community in the changing conditions of academic development / G.E. Zborovsky, P.A. Ambarova // Education and science. - 2022. - Vol. 24. - № 5. - Pp. 147180.
2. Markeeva A.V. Big data as a research technology: possibilities and limitations of application in modern management practice / A.V. Markeeva, O.V. Gavrilenko // Society: sociology, psychology, pedagogy. - 2021. - № 12(92). - Pp. 94-103.
3. Ogorodnikov A.Yu. Institutional opportunities and boundaries of professional self-realization of researchers in the conditions of innovative restructuring of Russian science / A.Yu. Ogorodnikov, E.Yu. Ruppel // Education and science. - 2019. - Vol. 21. - № 8. - Pp. 130-163.
4. Osipov P.N. Hirsch index as a stimulus for publication activity / P.N. Osipov // Kazan Pedagogical Journal. - 2022. - № 6. - Pp. 7-14.
5. Romanov D.A. Modern models and methods of diagnostics of research activities in educational institutions: monograph / D.A. Romanov, A.N. Drozdov. - Krasnodar: KubSTU, 2018. - 210 p.
6. Sergodeeva E.A. Collective characteristics of scientific creativity: cognitive and social aspects / E.A. Sergodeeva // Society: philosophy, history, culture. - 2018. -№ 11. - Pp. 13-15.
7. Trotsuk I.V. Corporate culture as a tool for improving the competitiveness of the university / I.V. Trotsuk, D.V. Sukhoverdova // Higher education in Russia. - 2018. - Vol. 27. - № 11. - Pp. 44-54.
14. Wan, X., & Liu, F. (2014a) "Are all literature citations equally important? Automatic citation strength estimation and its applications", Journal of the Association for Information Science and Technology, 65, pp. 19291938.
ces:
8. Bonaccorsi, A. and Secondi, L. (2017) "The determinants of research performance in European universities: a large scale multilevel analysis", Scientometrics, 112, pp. 1147-1178.
9. Khor, K. A., & Yu, L. G. (2016) "Influence of international coauthorship on the research citation impact of young universities", Scientometrics, 107, pp. 1095-1110.
10. Klaic A., Burtscher M.J., Jonas K. (2020) Fostering Team Innovation and Learning by Means of Team-centric Transformational Leadership: the Role of Teamwork Quality. Journal of Occupational and Organizational Psychology. Vol. 93. No. 4: 942-966.
11. Onodera N., Yoshikane F. (2015) Factors Affecting Citation Rates of Research Articles. Journal of the Association for Information Science and Technology. Vol. 66. No. 4: 739-764.
12. Reyes, G.E., Govers, M. and Ruwaard, D. (2018) "A Mathematical and Conceptual Model Regarding Social Inclusion and Social Leverage", Mediterranean Journal of Social Sciences, Vol. 9, No 3, pp. 9-16.
13. Thelwall M. (2016). Are There Too Many Uncited Articles? Zero Inflated Variants of the Discretised Lognormal and Hooked Power Law Distributions. Journal of Informetrics. Vol. 10. No. 2: 622-633.
14. Wan, X., & Liu, F. (2014a) "Are all literature citations equally important? Automatic citation strength estimation and its applications", Journal of the Association for Information Science and Technology, 65, pp. 19291938.
5.4.4. Социальная структура, социальные институты и процессы
Сведения об авторах:
Миненко Вячеслав Геннадьевич (г. Краснодар, Россия), кандидат технических наук, доцент, доцент кафедры физики Института фундаментальных наук, Кубанский государственный технологический университет, e-mail: [email protected]
Хорошун Кристина Вячеславовна (г. Краснодар, Россия), кандидат педагогических наук, доцент, доцент кафедры экономики и финансов Института экономики, управления и бизнеса, Кубанский государственный технологический университет, e-mail: [email protected]
Романов Дмитрий Александрович (г. Краснодар, Россия), кандидат педагогических наук, доцент, доцент кафедры физики Института фундаментальных наук, Кубанский государственный технологический университет, e-mail: [email protected]
Шапошников Валерий Леонидович (г. Краснодар, Россия), кандидат физико-математических наук, доцент кафедры бухгалтерского учёта и информационных технологий, Краснодарский кооперативный институт (филиал) Российского университета кооперации, e-mail: [email protected]
