CC BY
4
Модель классификации ученых как мера значимости научных объединений, мероприятий и изданий
А.В. Пруцков
Аннотация—Значимость научных объединений, мероприятий и изданий определяется значимостью их участников. Значимость ученого определяется значимостью проведенных им исследований. Выяснить значимость научных исследований без их экспертной оценки не всегда бывает возможно. Однако значения значимости необходимы для выявления направлений ее повышения. Предлагается мера значимости научных объединений, мероприятий и изданий через модель классификации ученых. Модель классификации предполагает определение факторов, влияющих на отнесение ученого к классу, и классов с допустимыми значениями правил факторов. Для меры определены операции сравнения и сложения. Предложена конкретизация модели классификации. Факторами, влияющими на отнесение ученого к классу, являются обширность знакомств в научной среде; количество авторов, процитировавших публикации ученого за последние 3-5 лет; членство в национальных и отраслевых академиях в качестве академика или члена-корреспондента; известность или ограниченная известность своими научными открытиями широкой общественности. Выделены 8 классов: ученый, ученый с обширными знакомствами в научной среде, сверх- и высокоцитируемый ученый, член-корреспондент и академик национальной академии наук, известный и ограниченно известный ученый. Проведено три эксперимента по измерению значимости: объединения - профессорско-преподавательский состава факультета вуза, мероприятия - участников научной конференции, издания - авторов работ, процитировавших статьи научного журнала. Полученные значения показали применимость меры для измерения значимости научных объединений, мероприятий и изданий. Предложена методика расчета значимости научного журнала заключающаяся в суммировании мер значимости редакционных совета и коллегии, авторов статей и авторов работ, процитировавших статьи в научном журнале. Обоснованы воспроизводимость, адекватность и трудоемкость предложенной меры.
Ключевые слова—Значимость, классификация, ученый, научная конференция, научный журнал, индекс Хирша, индекс цитирования, РИНЦ.
Статья получена 15 января 2024 г.
Пруцков Александр Викторович, Рязанский государственный радиотехнический университет имени В. Ф. Уткина, 390005, Российская Федерация, Рязань, ул. Гагарина, 59/1; Рязанский государственный медицинский университет имени академика И. П. Павлова, 390026, Российская Федерация, Рязань, ул. Высоковольтная, 9; Липецкий государственный педагогический университет имени П. П. Семенова-Тян-Шанского, 398020, Российская Федерация, Липецк, ул. Ленина, 42 (e-mail: [email protected]).
Нельзя контролировать то, что не можешь измерить.
Т. ДеМарко. [1]
I. ТЕРМИНОЛОГИЯ
Результативность научных исследований - это степень соответствия запланированного и полученного научного результата. Значимость научного исследования - это степень важности исследования для развития научной теории и практики.
Значимость ученого определяется значимостью проведенных им научных исследований, значимость научных объединений, мероприятий и изданий определяется значимостью их участников.
Введем еще два термина, чтобы уточнить уже введенные выше.
Активность ученого (объединения ученых) - это количество результатов научной деятельности: методов, алгоритмов, статей, книг, патентов и т. п. Производительность ученого (объединения ученых) -это его активность за определенный промежуток времени. Производительность ученого учитывается в отчетах о деятельности диссертационных советов, рейтингах преподавателей, при избрании преподавателей на должности.
II. Наукометрия и экспертная оценка
Существует два подхода оценки приведенных выше терминов: (1) наукометрический - оценка через вычисление параметров научной деятельности; (2) экспертная оценка. Эти подходы оценки рассматриваются в различных аспектах в [2-4].
Предпочтительным подходом является экспертная оценка. Однако этот подход рационален не во всех случаях, например, когда затраты ресурсов на экспертную оценку выше, чем на оцениваемую деятельность. В таких случаях применяется наукометрический способ.
Рассмотрим наукометрические подходы к оценке результативности научной деятельности и значимости. Под результативностью авторы рассматриваемых публикаций чаще всего понимают активность в терминологии этой статьи.
III. Наукометрические подходы к оценке
РЕЗУЛЬТАТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ И НАУЧНОЙ ЗНАЧИМОСТИ
A. Результативность научных организаций Типовая методика оценки результативности деятельности научных организаций утверждена приказом Мино-брнауки РФ № 161 от 05.03.2014 г. Другие подходы к оценке результативности научной деятельности организаций анализируются в [5].
B. Результативность научной деятельности ученых Результативность научной деятельности ученых может определяться следующим:
• публикационной активностью (см. например [6]);
• цитируемостью (см. например [7]); здесь же сделан вывод: «ключевым показателем эффективности научной деятельности является число цитирований. А не другие наукометрические (число публикаций, индекс Хирша) или экспертные (ученые степени, звания, должности, членство в академиях) показатели»; авторы оговариваются, что под эффективностью понимается результативность; в [8] обосновывается неадекватность индекса цитирования как показателя результативности научной деятельности;
• сочетанием публикационной активности и цитиру-емости (см. например [9]);
• тремя группами критериев: (1) влиянием на научное направление; (2) влиянием на другие научные направления; (3) рациональностью использования ресурсов [10].
Х. Хирш [11] предложил свой индекс для оценки значимости и актуальности научных исследований ученого за определенное количество лет.
C. Значимость научных журналов
Кроме импакт-фактора, разработанного Ю. Гарфилдом [12] «как инструмент в помощь библиотекарям при оценке и отборе достойных изданий для подписки и комплектования фондов библиотек» [13], существуют следующие способы оценки значимости научных журналов.
Научные журналы из перечня ВАК при Минобр науки РФ (далее ВАК) были разделены по категориям с использованием методики. Методика включает две составляющие (см. письмо ВАК № 02-1198 от 06.12.2022 г.):
• Количественные (наукометрические) показатели: 1) Science Index; 2) индекс Херфиндаля-Хиршмана; 3) индекс Джинни; 4) средний индекс Хирша авторов; 5) 10-летний индекс Хирша издания; 6) среднее число просмотров с среднем на одну статью за год.
• Качественные показатели: 1) качество научных статей; 2) уникальность научных статей; 3) уровень авторитетности авторов; 4) качество организации рецензирования; 5) организация-учредитель.
В [14] предложено оценивать научные журналы также по числу и среднему индексу цитирования высококачественных статей. Высококачественной считается статья имеющая индекс цитирования более порогового. Индекс цитирования зависит от числа цитирований автором, его соавторами и других исследователей.
В [13] анализируются качественные критерии значимости журнала и приводятся результаты анкетирования выбора наиболее важных. Наиболее важными критериями являются академический вклад в область знаний, качество статей и их соответствие предметному полю журнала.
Обзор мер значимости научных журналов приведен в [15].
D. Значимость научных конференций
В [16] предложено оценивать результативность научной конференции по следующим составляющим: (1) по составу участников; (2) коммуникативной; (3) финансовой; (4) научной; (5) инновационной; (6) организационной. Для каждой составляющей предложены показатели.
В [15] введен индекс научной респектабельности (представительности) конференций, форумов, симпозиумов. Индекс зависит от количества участников с ученой степенью доктора наук и числа представленных ими работ.
E. Ранжирование и классификация ученых
В [17] предложен ранговый алгоритм для ученых. Предварительно была построена сеть на основе цитирования работ в 407 236 статьях, опубликованных в 18932006 гг. в журналах, входящих в собрание Physical Review. Ранговый алгоритм аналогичен алгоритму PageRank [18] для определения веса веб-страниц.
В [19] ученые ранжируются на основе модификации индекса Хирша.
В [20] предлагается ранжирование ученых и подразделений, в которых они работают. В этой работе обсуждается противоречие, заключающееся в том, что при определенных условиях ученые, имеющие меньший индекс Хирша, могут обеспечивать больший индекс Хирша подразделения, чем другие подразделения, в которых работают ученые, имеющие больший индекс Хирша.
Подходы к классификации ученых с исторической точки зрения упоминаются в [21-22].
F. Наукометрические подходы
Начать знакомство с наукометрией лучше с [23]. И смотреть на наукометрию лучше через призму этой книги.
Упомянутые и другие современные подходы к наукометрии подробно рассмотрены в [21, 24-25].
Цитируемость не может считаться показателем значимости ученого по следующим причинам:
• рассмотрение цитируемости как основного показателя значимости ученого является значительным упрощением; значимость также определяется и другими проявлениями, например, членством в научных объединениях в широком смысле: национальных и отраслевых академиях (НОА), редакционных советах и коллегиях, программных и организационных комитетах конференций;
• цитируемость определяется не только значимостью научного исследования, но и другими факторами: (1) возможностью у автора исследования опублико-
вать его результаты (по разным причинам: секретность исследования, доступность научных журналов и прочее); (2) возможностью найти опубликованное исследование другими учеными; в [14] утверждается, что «основная проблема современной науки -всеобщее невежество научных работников»; утверждение обосновывается сопоставлением количества публикаций по любой научной специальности с возможностями восприятия человека. Проведенный анализ показал, что простого в измерении и универсального показателя значимости научных объединений, мероприятий и изданий не существует. Такой показатель значимости научных объединений, мероприятий и изданий необходим их руководителям, которые желают повысить эту значимость.
IV. ЦЕЛЬ РАБОТЫ
Целью работы является повышение эффективности контроля деятельности научных объединений и изданий, проведения научных мероприятий за счет введения новой меры значимости на основе модели классификации ученых.
V. СТРУКТУРА СТАТЬИ
Материалы исследования излагаются далее по следующему плану: (1) введение абстрактной модели классификации ученых и меры на ее основе; (2) конкретизация модели с указанием факторов и их правил; (3) описание экспериментов по измерению научных объединений, мероприятий и изданий, их результатов; (4) обсуждение итогов исследования.
VI. МОДЕЛЬ КЛАССИФИКАЦИИ
Предлагается модель классификации значимости ученых (далее классификация ученых).
Пусть имеются ученые 51( б2 ,..., бП5 , объединенные в множество:
5 = , Б2,..., зп5}.
Ученых необходимо подразделить на классы
^0, ^1 , ..' , ^ПС :
5 = ... иСпс.
На отнесение ученого к классам влияют различные факторы f2,..., /п/:
Р = {Г.1, ¡2...../„/}.
Фактор включает правило, ставящее в соответствие ученому значение из множества допустимых значений Ц, и это множество:
П = (п(5),V) ф) еъ, зе Б, I = 1,2.....П/.
Класс определяется допустимыми значениями правил факторов:
С^{Уи, .....упи }, уи I = 1,2.....пс,
1 = 1,2.....п/.
Будем говорить
5 е с1, если
(з) е Уи),
тогда
з е Со = Л™ ¿Б £ с)
Для С1
= х у2Л Х...Х упгл , а для Cj, ] = 1,2,..., пс,
М1 = уи X ^ Х...Х упГ} , тогда
УМ1УМ]((1 Ф ]) А (М1 П М] = 0)), следовательно
ззУСуС]^ ф у) а (Бе С1) а (Бе с)),
I = 0,1,..., пс, ] = 0,1,..., пс, или
ЧС1ЧС]((1 Ф ]) А (С1 П С) = 0)).
Для конкретизации модели необходимо:
• выявить факторы правила и множества их значений;
• выделить классы и определить для каждого класса допустимые значения правил факторов.
VII. МЕРА ЗНАЧИМОСТИ НАУЧНЫХ МЕРОПРИЯТИЙ
И изданий на основе классификации ученых А. Определение
Предлагается применять классификацию ученых для измерения значимости научных объединений, мероприятий и изданий.
Пусть в научном объединении, мероприятии или издании участвовали к^ = |С/|, С' £ ученых класса , I = 0,1,., пс. Мерой значимости Ъ этого объединения, мероприятия или издания будем называть выражение:
^ ^ПС^ПС^ПС — 1^ПС—1 .." Со^о.
Здесь С0, С1,., Спс являются обозначениями соответствующих классов. Примеры представлений значения меры в классово-разрядном виде С45С316С20С17Со56 при пс = 4 или в табличном виде (таблица 1).
Таблица 1. Значение меры значимости в табличном виде
Q Сз С2 Cl Со
5 16 0 7 56
Если значения меры для некоторых классов несущественно, то их можно опустить:
B. Сравнение
Пусть даны два значения меры:
Ь1 = СпскпсЛСпс-1кпс-ц ... Соко,1.
Ь2 = ^пс^пс,2^пс-1^пс-1,2 ..• Соко,2. Определим операции сравнения: Ь1 < Ь2, если
(кПс,1 < кпс^У^К^+пс^л = к¡,2)Л(]11,1 < ^1,2)')■> I = 0,1,.,пс - 1.
Ь1 = Ь2, если кц = к12, I = 0,1,...,пс.
C. Сложение
Определим операцию сложения для значения меры:
Ь1 + Ь2 = Спскпс,+ Спс-1кпс-1+ ... Соко+, где к1л = \С'л и С [л\.
Следовательно, если ученый 5 учитывался в значении Ь-1 и значении Ъ2, то в суммарном значении он будет учтен только один раз.
Значения меры можно рассматривать как (пс + 1)-
разрядные числа, которые можно сравнивать (а значит, и сортировать) и складывать.
Б. Преимущества
Предложенная мера имеет следующие преимущества:
• единство единиц измерения исходных и производных значений меры;
• проверяемость вычислений.
Е. Область применения
Мера может применяться в следующих областях:
• рейтинги научных объединений, мероприятий и изданий;
• контроль значимости научных объединений, мероприятий и изданий.
Мера не может применяться для оценки результативности научной деятельности.
VIII. Конкретизация модели
Конкретизация отражает видение ее автора мира ученых. Разные авторы конкретизируют модель по своему.
Основным принципом предлагаемой конкретизации является человекоцентричность: значимость должна определяться людьми. Конкретизируем модель.
Таблица 2. Факторы, их параметры
IX. Выявление факторов, правил и множества
их ЗНАЧЕНИЙ
А. Список факторов
Определить значимость ученого по значимости проведенных им исследований чаще всего невозможно. Поэтому определим значимость ученого с помощью следующих факторов:
1) обширность знакомств в научной среде;
2) количество авторов, процитировавших публикации ученого за последние 3-5 лет;
3) членство в НОА в качестве академика или члена-корреспондента;
4) известность или ограниченная известность своими научными открытиями широкой общественности.
Рассмотрим эти факторы и предложим правила. Источником исходных данных является, главным образом, Российский индекс научного цитирования (РИНЦ), поэтому выразим правила факторов через эти данные.
Для каждого фактора выделены множество значений и правило соответствия ученого и значения фактора (таблица 2).
и используемые источники данных
i Название фактора VI П М Источник данных
1 Обширность знакомств в научной среде Да, Нет • Да, если б входит в редколлегии более 1 научного журнала или является главным редактором хотя бы одного научного журнала; • Нет в остальных случаях РИНЦ
2 Количество авторов, процитировавших публикации ученого за последние 3-5 лет Сверхвысокое, Высокое, Невысокое • Сверхвысокое, если количество авторов не меньше 5 000 за все годы публикационной активности; • Высокое, если количество авторов не меньше 1 000 и меньше 5 000 за все годы публикационной активности; • Невысокое в остальных случаях РИНЦ
3 Членство в академиях в качестве академика или члена-корреспондента Академик, Член-корреспондент, Не является • Академик, если 5 является академиком; • Член-корреспондент, если 5 является членом-корреспондентом; • Не является в остальных случаях Данные национальных и отраслевых академий
4 Известность своими научными открытиями широкой общественности Известный, Ограниченно известный, Неизвестный Определение через упоминание 5 в средствах массовой информации (СМИ) СМИ, опросы
В. Обширность знакомств в научной среде Обширность знакомств является признанием значимости научных исследований, хороших деловых качеств ученого.
Обширные знакомства проявляются в следующем:
1) участии в редакционных советах или коллегиях научных журналов;
2) редактировании научных журналов;
3) организации научных конференции;
4) членстве в программных или организационных комитетах научных конференций
5) оппонировании диссертаций.
В РИНЦ доступны данные только по редактированию журналов и участию в редакционных советах или колле-
гиях. Полные данные по оппонированию начали появляться после проведения исследования. Данные по организации конференции и членстве в их в программных или организационных комитетах в РИНЦ недоступны.
Будем характеризовать обширность знакомств в научной среде двумя первыми проявлениями.
С. Количество авторов, процитировавших публикации ученого за последние 3-5 лет
Следующим фактором является количество авторов, процитировавших публикации ученого за последние 3-5 лет. Подобный подход использован в [26]. Выбор такого параметра позволяет достичь следующего:
• устранить многочисленное недобросовестное цитирование работ одними и теми же авторами;
• учитывать недавние цитирования;
• соблюсти принцип человекоцентричности.
Однако такой параметр в РИНЦ отсутствует. Наиболее близким к нему является параметр «Распределение цитирующих публикаций по соавторам», который также содержит количество авторов всех публикаций. Параметр имеет следующие особенности:
• включает самого ученого и всех его соавторов;
• один автор может учитываться несколько раз из-за различной транслитерации его фамилии;
• рассчитывается за все годы публикационной активности.
D. Членство в национальных и отраслевых академиях в качестве академика или члена-корреспондента
Значимость ученого влияет на членство в НОА. Членство в НОА определяется людьми, то есть принцип че-ловекоцентричности соблюдается.
E. Известность своими научными открытиями широкой общественности
Еще одним фактором отнесения ученого к классу является известность ученого своими научными открытиями широкой общественности, а не только научной. Известность может быть ограниченной.
Такой известностью обладали следующие ученые:
• Ж.И. Алферов после получения Нобелевской премии по физике за разработку полупроводниковых гетероструктур;
• Г.Я. Перельман после доказательства гипотезы Пуанкаре;
• А.К. Гейм и К.С. Новоселов после получения Нобелевской премии по физике за передовые опыты с графеном.
Однако их известность уменьшалась и со временем стала ограниченной.
F. Итоговые замечания
Вычисление меры значимости авторов, процитировавших публикации ученого за последние 3-5 лет, не рассматривалось из-за усложнения итерационных расчетов.
Преимуществом предложенной конкретизации модели являются следующие:
• простота расчета значения меры; расчет может быть реализован запросом на языке SQL;
• доступность исходных для расчета данных; все исходные данные есть в РИНЦ.
Таблица 3. Классы и доп
X. Выделение классов и определение для каждого
КЛАССА ДОПУСТИМЫХ ЗНАЧЕНИЙ ФАКТОРОВ Выделим следующие классы ученых: fi(esearcher) - ученый; класс С0.
7(ast contact researcher) - ученый с обширными знакомствами в научной среде. H(ighly cited researcher) - высокоцитируемый ученый. (e)X(tremely-highly cited researcher) - сверхвысокоцити-
руемый ученый. C(orresponding member) - член-корреспондент НОА. Academician) - академик НОА.
¿(ocally known researcher) - ограниченно известный ученый.
F(amous researcher) - известный ученый.
Для каждого класса определены допустимые значения факторов (таблица 3).
Назовем эту конкретизацию модели по обозначениям классов мерой FLACXHVR.
XI. Эксперименты A. План экспериментов
Целью экспериментов является проверка применимости меры для измерения значимости научных объединений, мероприятий и изданий.
Измерим предлагаемой мерой значимость следующих объектов:
• объединение - профессорско-преподавательский состав факультета вычислительной техники (ВТ) Рязанского государственного радиотехнического университета имени В.Ф. Уткина (РГРТУ);
• мероприятие - участники Всероссийской научно-практической конференции с международным участием «Информационный обмен в междисциплинарных исследованиях II» (ИОМИ II);
• издание - авторы работ, процитировавших статьи научного журнала «Вестник РГРТУ» 2017 г.
Данные по факультету ВТ и конференции ИОМИ II были получены из РИНЦ 29.09.2023 г. Данные по авторам работ, процитировавшим статьи журнала «Вестник РГРТУ» 2017 г., были получены из РИнЦ 05.10.2023 г.
значения факторов
Класс Обширность Количество авторов, процити- Членство в НОА в качестве Известность своими науч-
знакомств в ровавших публикации ученого академика или члена- ными открытиями широ-
научной среде за последние 3-5 лет корреспондента кой общественности
V Да Невысокое Не является Неизвестный
H Любое Высокое Не является Неизвестный
X Любое Сверхвысокое Не является Неизвестный
С Любое Любое Член-корреспондент Неизвестный
А Любое Любое Академик Неизвестный
L Любое Любое Любое Ограниченно известный
F Любое Любое Любое Известный
В. Измерение значимости факультета вычислительной техники РГРТУ
Факультет ВТ включает пять кафедр: (1) вычислительной и прикладной математики (ВПМ);
(2) информационной безопасности (ИБ);
(3) космических технологий (КТ); (4) систем автоматизированного проектирования вычислительных систем (САПР ВС); (5) электронных вычислительных машин (ЭВМ).
Мера РЬАСХНУЯ для кафедр и факультета ВТ
Таблица 5. Значение меры значимости основного сборника конференции «Информационный обмен
в междисциплинарных исследованиях II»
Раздел F L А с X H V R
Программный коми- 0 0 0 0 0 4 3 6
тет
Организационный 0 0 0 0 0 1 1 10
комитет
Информационный 0 0 0 0 0 0 1 1
обмен в междисци-
плинарных исследо-
ваниях II
Психологическая 0 0 0 0 1 7 0 31
устойчивость лично-
сти в сложных соци-
альных условиях
Художественно- 0 0 0 0 0 1 1 2
творческая деятель-
ность как фактор
исцеления и разви-
тия
Медицина 0 0 0 0 0 0 0 12
Образование 0 0 0 0 0 1 0 7
Информационные 0 0 0 0 0 0 0 8
технологии
Информационные 0 0 0 0 0 0 1 10
технологии и без-
опасность
Автоматическая 0 0 0 0 0 0 0 5
обработка текстов
Информационно- 0 0 0 0 0 0 1 1
поисковая система
Е1а8ЙС8еагсЬ
Основной сборник 0 0 0 0 1 13 7 80
ИОМИ II
РГРТУ имеет следующие значения (таблица 4). Списки преподавателей взяты с веб-сайта РГРТУ.
Каждый ученый учитывается в мере один раз, поэтому в этой и следующих таблицах итоговый результат в последней строке может быть не равен сумме вышестоящих значений в этом столбце.
Таблица 4. Значения меры значимости факультета
вычислительной техники РГРТУ
Подразделение F L А С X H V R
Кафедра ВПМ 0 0 0 0 0 1 1 20
Кафедра ИБ 0 0 0 0 0 0 0 9
Кафедра КТ 0 0 0 0 1 2 1 12
Кафедра САПР ВС 0 0 0 0 0 2 1 20
Кафедра ЭВМ 0 0 0 0 0 1 1 24
Факультет ВТ 0 0 0 0 1 6 5 83
С. Измерение значимости конференции «Информационный обмен в междисциплинарных исследованиях II»
14.04.2023 г. была проведена конференция ИОМИ II [27-28]. По ее итогам были изданы два сборника трудов: основной и специальный, названный «Взгляд начинающих ученых».
Мера РЬАСХНУЯ имеет следующее значения для основного сборника, программного и организационного комитетов, секций (таблица 5).
Вычислены значения меры РЬАСХНУЯ для специального сборника (таблица 6, строка 3) и для всей конференции ИОМИ II (таблица 6).
Б. Измерение значимости авторов работ, процитировавших статьи научного журнала «Вестник РГРТУ» 2017 г.
Измерим значимость авторов работ, процитировавших статьи научного журнала «Вестник РГРТУ» 2017 г. (таблица 7). В этот год было издано четыре номера журнала: 71-74.
Е. Сводка мер значимости примеров научных объединений, мероприятий и изданий
Сведем результаты измерения значимости факультета вуза, конференции и авторов работ, процитировавших статьи научного журнала (таблица 8). По результатам экспериментов можно сделать вывод о том, что предложенная мера РЬАСХНУЯ применима к измерению научных объединений, мероприятий и изданий.
Е. Статистические показатели и аномалии Исходные данные, использованные в экспериментах, имеют следующие статистические показатели (таблица 9). Из данных этой таблицы были сделаны следующие выводы:
• показатель 2 - фактор количества авторов, процитировавших публикации ученого, не влияет на класс
V;
• показатели 3-5 - чтобы стать ученым класса Н или X не обязательно быть ученым класса V.
В исходных данных были выявлены две аномалии (таблица 10) - ученые, у которых количество авторов, процитировавших их работы, гораздо больше цитирований и публикаций с этими цитированиями. Причины этих аномалий в работе не выяснялись.
Таблица 6. Значение меры значимости конференции «Информационный обмен в междисциплинарных
исследованиях II»
Таблица 7. Значение меры значимости авторов работ, процитировавших статьи научного журнала «Вестник РГРТУ» 2017 г.
XII. Методика расчета значимости
НАУЧНОГО ЖУРНАЛА
По результатам экспериментов предлагается мера значимости научного журнала:
Ь] = ъе + ъа + ъс,
Ъе - мера значимости редакционных совета и коллегии;
Сборник F L А С X H V R
Основной сборник 0 0 0 0 1 13 7 80
ИОМИ II
Взгляд начинаю- 0 0 0 0 0 1 1 60
щих ученых
ИОМИ II
Конференция 0 0 0 0 1 14 8 139
ИОМИ II
Номер журнала F L А С X H V R
71 0 0 0 0 0 3 1 105
72 0 0 0 0 0 1 0 18
73 0 0 0 0 0 2 0 29
74 0 0 0 0 1 5 0 23
Цитирование жур- 0 0 0 0 1 11 1 162
нала «Вестник
РГРТУ» 2017 г.
Ъа - мера значимости авторов статей; Ъс - мера значимости авторов работ, процитировавших статьи в научном журнале. Мера значимости Ъу могут вычисляться за определенный период.
Таблица 8. Значение меры значимости примеров научных
объединений, мероприятий и изданий
Объект измерения F L А С X H V R
Факультет ВТ 0 0 0 0 1 6 5 83
Конференция 0 0 0 0 1 14 8 139
ИОМИ II
Цитирование журнала «Вестник 0 0 0 0 1 11 1 162
РГРТУ» 2017 г.
Таблица 9. Значение меры значимости конференции «Информационный обмен в междисциплинарных исследованиях II»
№ Показатель Значение
п/п
1 Количество ученых 414
2 Минимальное количество авторов, процитировавших публикации ученого класса V 198
3 Количество ученых класса Н 28
4 Количество ученых класса X 3
5 Количество ученых классов и , которые не относятся к классу без учета количество авторов, процитировавших публикации ученого (ученые с высокой и сверхвысокой цитируемостью без обширных знакомств в научной среде) 10
Таблица 10. Ученые с аномальным соотношением параметров
Ученый AuthorlD Количество публикаций (1) Число публикаций, с цитированиями работ ученого (2) Количество цитирований (3) Количество авторов, процитировавших публикации ученого (4) Соотношение (4)/(2)
Канаев А.К. 336743 272 387 588 2354 6,1
Ковалев Ю.А. 20961 98 2240 3295 8264 3,7
XIII. Воспроизводимость, адекватность и трудоемкость предложенной меры
Измерение обладает тремя характеристиками: (1) воспроизводимость; (2) адекватность;
(3) трудоемкость [29].
Все объекты измерения, использованные в экспериментах, а также данные РИНЦ доступны в свободном доступе. Проведенные эксперименты могут быть воспроизведены. однако значения факторов ученых могут изменяться со временем, что приведет и к изменению класса, к которому ученые отнесены.
Предложенная конкретизация модели может быть не адекватна. Адекватность конкретизации модели может быть повышена привлечением экспертов для выделения факторов и классов.
Трудоемкость вычисления меры больше трудоемкости расчета индекса Хирша, но гораздо меньше трудоемкости расчета категории научного журнала по методике ВАК. Вычисление меры может быть полностью автоматизировано. Проведенные эксперименты потребовали у автора статьи не более 7 часов ручного сбора данных и их обработку в табличном процессоре.
XIV. Обсуждение
1. Предложенная мера комбинирует экспертную оценку и наукометрию: эксперты конкретизируют модель, а затем значения меры рассчитываются по исходным данным автоматически.
2. Фактор должен быть основным для не более двух классов.
3. Факторы и классы необходимо периодически пересматривать.
4. Факторы являются опосредованными проявлениями значимости учеными.
5. Правила факторов должны учитывать значимость ученого за последнее время, а не за весь срок его научной деятельности (за исключением членства в
НОА). Это необходимо, чтобы классы не становились кастами.
6. Чтобы исключить недобросовестное изменение параметров, используемых в правилах факторов, необходимо выбирать классы так, чтобы переход ученого из одного класса в другой требовал значительного промежутка времени (минимум 3-5 лет).
7. Значение меры значимости научного издания можно размещать на его обложке. Это позволит читателю точно знать, что он найдет внутри издания.
XV. Заключение
В работе получены следующие результаты:
1. Выполнен обзор литературы с описанием подходов к оценке результативности научной деятельности и научной значимости. Сделан вывод о том, что простого в измерении и универсального показателя значимости научных объединений, мероприятий и изданий не существует. Показатель необходим руководителям научных объединений, мероприятий и изданий, которые желают повысить их значимость.
2. Предложена модель классификации ученых. Модель предполагает выделение факторов, влияющих на отнесение ученых к классам, и самих классов. Фактор включает правило отнесения ученого к классу и множество его значений. Класс определяется допустимыми значениями правил факторов. Ученый может относиться только к одному классу.
3. Предложена мера значимости научных мероприятий и изданий на основе классификации ученых. Для меры определены операции сравнения и сложения. Преимуществами меры являются единство единиц измерения исходных и производных значений меры, проверяемость вычислений.
4. Предложена конкретизация модели. Выделены факторы фактора: (1) обширность знакомств в научной среде; (2) количество авторов, процитировавших публикации ученого за последние 3-5 лет; (3) членство в НОА в качестве академика или члена-
корреспондента; (4) известность или ограниченная известность своими научными открытиями широкой общественности. Для каждого фактора определены правило отнесения ученого к классу и множество его значений. Выделены 8 классов. Основным принципом конкретизации является то, что значимость должна определяться людьми. Полученная мера названа мера FLACXHVR по первым буквам названий классов.
5. Проведены эксперименты по измерению значимости профессорско-преподавательский состав факультета ВТ РГРТУ, участников конференции ИОМИ II, авторов работ, процитировавших статьи научного журнала «Вестник РГРТУ» 2017 г. В каждом эксперименте определены меры этих объектов. Эксперименты показали применимость меры FLACXHVR для измерения научных объединений, мероприятий и изданий.
6. Предложена методика расчета значимости научного журнала, заключающаяся в суммировании мер значимости редакционных совета и коллегии, авторов статей и авторов работ, процитировавших статьи в научном журнале.
7. Обоснованы воспроизводимость, адекватность и трудоемкость меры FLACXHVR.
Проведенное исследование добавило еще одно функциональное описание мира [30]. Описание позволило понять, в каком состоянии находится конференция ИОМИ II, было ли издание специального сборника трудов целесообразно и в каком направлении необходимо повышать ее значимость в дальнейшем.
Библиография
[1] DeMarco T. Controlling Software Projects: Management, Measurement and Estimation. Yourdon Press, 1982.
[2] Шепелев Г.В. О подходах к экспертной оценке эффективности научных исследований // Управление наукой: теория и практика. 2022. Т. 4. № 4. С. 25-47. DOI: 10.19181/smtp.2022.4.4.2.
[3] Филиппов И.С. Как ученые гуманитарного профиля оценивают наукометрию // Сибирские исторические исследования. 2016. № 3. С. 6-27. DOI: 10.17223/2312461X/13/1.
[4] Берлявский Л.Г., Власов А.И. Наукометрия против экспертизы: правовые аспекты // Юридическое образование и наука. 2023. № 4. С. 3-12.
[5] Яковлева А.Ф. Об основных подходах к оценке результативности научных исследований в России // Измерение философии. Об основаниях и критериях оценки результативности философских и социогуманитарных исследований. М.: ИФРАН, 2012. С. 144156.
[6] Фурсов К., Рощина Я., Балмуш О. Факторы результативности научной деятельности: микроуровневый анализ // Форсайт. 2016. Т. 10. № 2. С. 44-56, DOI: 10.17323/1995-459X.2016.2.44.56.
[7] Лойко В.И., Луценко Е.В., Орлов А.И. Современные подходы в наукометрии. Краснодар: КубГАУ, 2017. 532 с.
[8] Баксанский О.Е. Показатели результативности научной деятельности: Блеск и нищета индекса цитирования // Психология и психотехника. 2013. № 6 (57). С. 591-599, DOI: 10.7256/20708955.2013.6.7716.
[9] Zerem E. The Ranking of Scientists Based on Scientific Publications Assessment // Journal of Biomedical Informatics. 2017. Vol. 75. Pp 107-109, DOI: 10.1016/j.jbi.2017.10.007.
[10] Проничкин С.В. К вопросу об определении результативности научной деятельности // Национальные интересы: приоритеты и безопасность. 2019. Т. 15. № 2. С. 258-272, DOI: 10.24891/ni.15.2.258.
[11] Hirsch J.E. An Index to Quantify an Individual's Scientific Research Output // In Proc. of the National Academy of Sci. of the United States of America. 2005. Vol. 102. No. 46. Pp. 16569-16572, DOI: 10.1073/pnas.0507655102.
[12] Garfield E. Citation Analysis as a Tool in Journal Evaluation // Science, 1972, Vol. 178. Pp. 471-479.
[13] Кириллова О.В., Тихонова Е.В. Критерии качества научного журнала: измерение и значимость // Научный редактор и издатель. 2022. Т. 7. № 1. С. 12-27, DOI: 10.24069/SEP-22-39.
[14] Лойко В.И., Романов Д.А., Попова О.Б. Современные методы оценки значимости научных журналов // Научный журнал КубГАУ. 2015. № 110 (06).
[15] Миронов В.В. Расчет индекса респектабельности научных журналов на основе сведений об ученых степенях авторов статей // НТИ. Сер. 2. Информ. процессы и системы. 2023. N° 5. С. 13-20.
[16] Павель Е.В., Банная Е.В. О результативности университетских научных конференций // Науковедение. 2017. Т. 9. № 6.
[17] Radicchi F. et al. Diffusion of Scientific Credits and the Ranking of Scientists // Physical Review E. 2009. Vol. 80. No. 5. P. 056103.
[18] Brin S., Page L. The Anatomy of a Large-scale Hypertextual Web Search Engine // Proc. of the 7th Int. World Wide Web Conf. 1998. Pp. 107-117.
[19] Dorogovtsev S.N., Mendes J.F.F. Ranking Scientists // Nature Physics. 2015. Vol. 11. No. 11. Pp. 882-883, DOI: 10.1038/nphys3533.
[20] Bouyssou D., Marchant T. Ranking Scientists and Departments in a Consistent Manner // Journal of the American Society for Information Science and Technology. 2011. Vol. 62. No. 9. Pp. 1761-1769, DOI: 10.1002/asi.21544ff.ffhal-00606931 ff.
[21] Осипов Г.В., Климовицкий С.В., Садовничий В.А. Наукометрия. Индикаторы науки и технологии. 2-е изд. М.: Юрайт, 2018. 202 с.
[22] Родный Н.И. Очерки по истории и методологии естествознания. М.: Наука, 1975. 424 с.
[23] Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.
[24] Sugimoto C., Lariviere V. Measuring Research. What Everyone Needs to Know. Oxford University Press, 2018.
[25] Waltman L. A Review of the Literature on Citation Impact Indicators // Journal of Informetrics. 2016. Vol. 10. No. 2. Pp. 365-391.
[26] Katsaros D. et al. The f Index: Quantifying the Impact of Coterminal Citations on Scientists' Ranking // Journal of the American Society for Information Science and Technology. 2009. Vol. 60. No. 5. Pp. 1051-1056.
[27] Пруцков А.В. Научная конференция «Информационный обмен в междисциплинарных исследованиях» // Информационный обмен в междисциплинарных исследованиях: сб. тр. Всерос. науч.-практ. конф. с междунар. участием. Рязань: РГРТУ, 2022. С. 1114.
[28] Кузнецов М.И. Вторая всероссийская научно-практическая конференция с международным участием «Информационный обмен в междисциплинарных исследованиях» // Прикладная юридическая психология. 2023. № 2 (63). С. 154-156.
[29] Хайтун С.Д. Наукометрия. Состояние и перспективы. М.: Наука, 1983. 344 с.
[30] Пруцков А.В. Современные проблемы систем искусственного интеллекта // Cloud of Science. 2020. T. 7. № 4. С. 897-904.
Model of classification of scientists as a measure of the significance of scientific associations, events and publications
Alexander Prutzkow
Abstract—The significance of scientific associations, events and publications is determined by the significance of their participants. The significance of a scientist is determined by the significance of his research. Determining the significance of scientific research without peer review is not always possible. However, significance values are necessary to identify directions for its increase. A measure of the significance of scientific associations, events and publications is proposed through a model of classification of scientists. The classification model involves identifying factors that influence the assignment of a scientist to a class, and classes with acceptable values of factor rules. Comparison and addition operations are defined for the measure. A specification of the classification model is proposed. Factors influencing the classification of a scientist into a class are the extent of acquaintances in the scientific community; the number of authors who cited the scientist's publications over the past 3-5 years; membership in the NAS as an academician or corresponding member; fame or limited fame for his scientific discoveries to the general public. There are 8 classes: researcher, vast contact researcher, highly and extremely-highly cited researcher, corresponding member and academician of the National Academy of Sciences, famous and local famous researcher. We carry out three experiments to measure the significance: associations - the teaching staff of the university faculty, events - participants in a scientific conference, publications - authors of works who cited articles in a scientific journal. The experiments results show the applicability of the measure for measuring the significance of scientific associations, events and publications. We introduce a method for calculating the significance of a scientific journal, which consists of summing up the measures of significance of the editorial board, authors of articles and authors of publications who cited articles in a scientific journal. The reproducibility, adequacy and labor intensity of the proposed measure are substantiated.
Keywords—Significance, classification, scientist, scientific conference, scientific journal, Hirsch index, citation index, RSCI.
References
[1] DeMarco T. Controlling Software Projects: Management, Measurement and Estimation. Yourdon Press, 1982.
[2] Shepelev G.V. O podkhodakh k ekspertnoj otsenke effektivnosti nauchnykh issledovanij [On approaches to expert assessment of the effectiveness of scientific research]. Upravlenie naukoj: teorija i praktika, vol. 4, no. 4, pp. 25-47, 2022. [In Rus], DOI: 10.19181/smtp.2022.4.4.2.
[3] Filippov I.S. Kak uchenye gumanitarnogo profilja otsenivajut nau-kometriju [How humanities scientists evaluate scientometrics], Sibir-skie istoricheskie issledovanija, no. 3, pp. 6-27, 2016. [In Rus], DOI: 10.17223/2312461X/13/1.
[4] Berljavskij L.G., Vlasov A.I. Naukometrija protiv ekspertizy: pravovye aspekty [Scientometrics versus expertise: legal aspects]. Ju-ridicheskoe obrazovanie i nauka, no. 4, pp. 3-12, 2023. [In Rus].
[5] Jakovleva A.F. Ob osnovnykh podkhodakh k otsenke rezul'tativnosti nauchnykh issledovanij v Rossii [On the main approaches to assessing the effectiveness of scientific research in Russia]. In Izmerenie filoso-fii. Ob osnovanijakh i kriterijakh otsenki rezul'tativnosti filosofskikh i sotsiogumanitarnykh issledovanij. IFRAN, 2012, pp. 144-156 [In Rus].
[6] Fursov K., Roschina Ju., Balmush O. Faktory rezul'tativnosti nauch-noj dejatel'nosti: mikrourovnevyj analiz [Factors of effectiveness of scientific activity: micro-level analysis]. Forsajt, vol. 10, no. 2, pp. 44-56, 2016. [In Rus] DOI: 10.17323/1995-459X.2016.2.44.56.
[7] Lojko V.I., Lutsenko E.V., Orlov A.I. Sovremennye podkhody v nau-kometrii [Modern approaches in scientometrics]. Krasnodar: Kubgau, 2017. [In Rus].
[8] Baksanskij O.E. Pokazateli rezul'tativnosti nauchnoj dejatel'nosti: Blesk i nischeta indeksa tsitirovanija [Indicators of the effectiveness of scientific activity: The brilliance and poverty of the citation index. Psikhologija i psikhotekhnika, no. 6(57), pp. 591-599, 2013. [In Rus], DOI: 10.7256/2070-8955.2013.6.7716.
[9] Zerem E. The Ranking of Scientists Based on Scientific Publications Assessment. Journal of Biomedical Informatics, vol. 75, pp. 107-109, 2017. DOI: 10.1016/j .jbi.2017.10.007.
[10] Pronichkin S.V. K voprosu ob opredelenii rezul'tativnosti nauchnoj dejatel'nosti [On the issue of determining the effectiveness of scientific activity]. Natsional'nye interesy: prioritety i bezopasnost', vol. 15. no. 2. pp. 258-272, 2019. [In Rus], DOI: 10.24891/ni.15.2.258.
[11] Garfield E. Citation Analysis as a Tool in Journal Evaluation. Science, vol. 178, pp. 471-479, 1972.
[12] Hirsch J.E. An Index to Quantify an Individual's Scientific Research Output. Proc. of the National Academy of Sci. of the United States of America, vol. 102, no. 46, pp. 16569-16572, 2005 DOI: 10.1073/pnas.0507655102.
[13] Kirillova O.V., Tikhonova E.V. Kriterii kachestva nauchnogo zhur-nala: izmerenie i znachimost' [Criteria for the quality of a scientific journal: measurement and significance]. Nauchnyj redaktor i izdatel', vol. 7, no. 1, pp. 12-27, 2022. [In Rus], DOI: 10.24069/SEP-22-39.
[14] Lojko V.I., Romanov D.A., Popova O.B. Sovremennye metody otsenki znachimosti nauchnykh zhurnalov [Modern methods for assessing the significance of scientific journals]. Nauchnyj zhurnal Kubgau, no 110 (06), 2015. [In Rus].
[15] Mironov V.V. Raschet indeksa respektabel'nosti nauchnykh zhur-nalov na osnove svedenij ob uchenykh stepenjakh avtorov statej [Calculation of index of scientific respectability of scientific journals based on data of scientific degree of articles authors]. NTI. Ser. 2. Inform. protsessy i sistemy, no. 5, pp. 13-20, 2023. [In Rus].
[16] Pavel' E.V., Bannaja E.V. O rezul'tativnosti universitetskikh nauch-nykh konferentsij [On the effectiveness of university scientific conferences]. Naukovedenie, vol. 9, no. 6, 2017. [In Rus].
[17] Radicchi F. et al. Diffusion of Scientific Credits and the Ranking of Scientists. Physical Review E, vol. 80, no. 5, p. 056103, 2009.
[18] Brin S., Page L. The Anatomy of a Large-scale Hypertextual Web Search Engine. In Proc. of the 7th Int. World Wide Web Corf., 1998, pp. 107-117.
[19] Dorogovtsev S.N., Mendes J.F.F. Ranking Scientists. Nature Physics, vol. 11, no. 11, pp. 882-883, 2015. DOI: 10.1038/nphys3533.
[20] Bouyssou D., Marchant T. Ranking Scientists and Departments in a Consistent Manner. Journal of the American Society for Information Science and Technology, vol. 62, no. 9, pp. 1761-1769, 2011. DOI: 10.1002/asi .21544ff.ffhal-00606931 ff.
[21] Osipov G.V., Klimovitskij S.V., Sadovnichij V.A. Naukometrija. Indikatory nauki i tekhnologii [Scientometrics. Science and technology indicators]. 2th eds. Moscow, Jurajt, 2018. [In Rus].
[22] Rodnyj N.I. Ocherki po istorii i metodologii estestvoznanija [Essays on the history and methodology of natural science]. Moscow, Nauka, 1975. [In Rus].
[23] Nalimov V.V., Mul'chenko Z.M. Naukometrija. Izuchenie razvitija nauki kak informatsionnogo protsessa [Scientometrics. Studying the development of science as an information process]. Moscow, Nauka, 1969. [In Rus].
[24] Sugimoto C., Lariviere V. Measuring Research. What Everyone Needs to Know. Oxford University Press, 2018.
[25] Waltman L. A Review of the Literature on Citation Impact Indicators. Journal of Informetrics, vol. 10, no. 2, pp. 365-391, 2016.
[26] Katsaros D. et al. The f Index: Quantifying the Impact of Coterminal Citations on Scientists' Ranking. Journal of the American Society for Information Science and Technology, vol. 60, no. 5, pp. 1051-1056, 2009.
[27] Prutzkow A. Nauchnaja konferentsija "Informatsionnyi obmen v mezhdistsiplinarnykh issledovaniyakh" [The Information Exchange in Interdisciplinary Studies Scientific Conference]. In Informatsionnyj obmen v mezhdistsiplinarnykh issledovanijakh: sb. tr. Vseros. nauch.-prakt. konf. s mezhdunar. uchastiem. Rjazan': RGRTU, 2023, pp. 1114 [In Rus].
[28] Kuznetsov M.I. Vtoraja vserossijskaja nauchno-prakticheskaja konferentsija s mezhdunarodnym uchastiem "Informatsionnyj obmen v mezhdistsiplinarnykh issledovanijakh" [Second All-Russian scientific and practical conference with international participation "Information exchange in interdisciplinary studies"]. Prikladnaja juridicheskaja psikhologija, no. 2 (63), pp. 154-156, 2023. [In Rus].
[29] Khajtun S.D. Naukometrija. Sostojanie i perspektivy [Scientometrics. Status and prospects]. Moscow, Nauka, 1983. [In Rus].
[30] Prutzkow A.V. Sovremennye problemy sistem iskusstvennogo intel-lekta [Modern problems of artificial intelligence systems]. Cloud of Science, vol. 7, no. 4, pp. 897-904, 2020. [In Rus].
About the author
Alexander Prutzkow is with the Ryazan State Radio Engineering University, 390005, Gagarin str., 59/1, Ryazan, Russia, with Ryazan State Medical University, 390026, Vysokovoltnaja str., 9, Ryazan, Russia, and with Lipetsk State Pedagogical University, 398020, Lenin str., 42, Lipetsk, Russia (e-mail: [email protected]).
