CC BY
149
Марвин Сергей Владимирович
кандидат физико-математических наук, доцент кафедры вычислительных методов и уравнений математической физики института радиоэлектроники и информационных технологий — Ртф
уральского федерального университета им. первого Президента России Б. н. Ельцина, Екатеринбург, Россия; e-mail: s. v.marvin@yandex.ru
удк 001.893+519.248
нормированный показатель публикационной активности, учитывающий количество соавторов научных публикаций
Проанализирована величина, равная среднему числу научных публикаций конкретного вида по конкретной или собирательной тематике, приходящихся на одного автора за пятилетний период. Показано, как эту величину следует использовать при оценке публикационной активности ученого, если учитывать количество соавторов в публикациях. Предложен нормированный публикационный показатель, вычисляемый для каждой отдельно взятой научной работы автора; этот показатель учитывает специфику научного направления, вид данной конкретной публикации, а также число авторов. определена модификация индекса хирша, при вычислении которой используется нормированные публикационные показатели.
Ключевые слова: наукометрия, публикационная активность, соавторство, индекс хирша.
введение
в настоящее время в практике управления высшими учебными заведениями и научно-исследовательскими институтами широко используются показатели публикационной активности. Публикационная активность, которую также можно назвать интенсивностью появления публикаций (и которая определяется количеством публикаций, вышедших в свет в определенный промежуток времени), оценивается как для отдельных преподавателей и научных сотрудников, так и для подразделений или организаций в целом. в частности, в различных отчетных и аттестационных документах необходимо указывать количество и вид изданных научных трудов за отчетный период. в общем списке публикаций следует особо выделять статьи, отмеченные каким-либо формальным знаком качества или престижа: статьи в журналах из перечня вАк (высшей аттестационной комиссии), или статьи и тезисы конференций, проиндексированные в базах данных Scopus или WoS (Web of Science).
Последние несколько лет в средствах массовой информации широко обсуждаются требования различных ведомств к публикационным показателям научно-исследовательских организаций и порядок премирования за научные публикации [Пшеничников, 2016; Чеботарев, 2013]. также освещаются требования руководителей высших учебных заведений, предъявляемые к публикационным показателям преподавателей; поднимаются вопросы о корректности и обоснованности этих
требований, отмечаются негативные последствия участия в публикационной гонке [Цирлина, 2016; Циопа, 2016; ясавеев, 2015]. однако следует заметить, что и до оптимизационных реформ, касающихся высшего образования и науки, показатели публикационной активности играли немалую роль в институтах и университетах (например, при конкурсах на замещение вакантной должности или при защитах диссертаций). Причем публикуемость всегда имела более существенное значение, чем, например, цитируемость. Поэтому отдельной актуальной наукометрической проблемой является правильная оценка публикационной активности исследователей (даже без учета их цитируемости).
Ранее неоднократно отмечалось, что публикационная активность, как и цитируемость, зависит от тематики исследований [ушаков, Юревич, Гаврилова, Го-лышева, 2015; Гуртов, Щеголева, 2014]. Это обстоятельство нашло отражение, в частности, в нормативных документах ВАК (Положение о присуждении ученых степеней): для защиты диссертации в области искусствоведения, культурологии, социально-экономических, общественных и гуманитарных наук требуется в полтора раза большее количество публикаций, чем в остальных областях. Конечно, это очень грубое разделение: в рамках указанных областей исследования встречаются подобласти с существенно различающейся публикационной активностью (особенно это касается «остальных областей»). Зависимость публикационной активности от тематики научных публикаций объясняется, в частности, тем обстоятельством, что наряду с науками, не требующими постановок каких-либо экспериментов, есть сугубо экспериментальные науки, причем для разных экспериментальных наук типична различная продолжительность экспериментов (перед получением публикуемого результата). Также на публикационную активность, характерную для исследователей в данной конкретной тематике, влияют такие очевидные факторы, как количество журналов по этой тематике и частота их выхода в свет.
один из важных выводов заключается в том, что в любых наукометрических оценках необходимо учитывать соавторство в публикациях (при наиболее реализуемом подходе — просто учитывать количество соавторов); причем это следует делать, как при оценке цитируемости, так и при оценке публикационной активности [Чеботарев, 2013; Михайлов, 2013].
в данной статье будет установлено, какой величиной следует охарактеризовать среднюю публикационную активность в конкретной или собирательной области исследований, если принимать во внимание соавторство в публикациях. также будет показано, как с помощью этой величины оценивать публикационную активность отдельных ученых; приведен пример вычисления среднего показателя публикационной активности по конкретной тематике, а также пример численной оценки публикационной активности конкретного автора; предложена альтернатива индексу Хирша, учитывающая специфику публикационной активности в разных научных тематиках.
Нормированный показатель публикационной активности
В более ранней работе [Марвин, 2016] предлагалось при оценке цитируемости конкретной публикации сравнивать число ее цитирований с цитируемостью публикаций того же года издания, той же тематической направленности и того же вида
(оригинальная статья, обзорная статья, монография и т. д.). Если тематика у работы собирательная, то для сравнения предлагалось объединять все публикации того же года и вида по всем тематикам, затронутым в работе. Ориентировочно тех же принципов мы будем придерживаться при оценке публикационной активности, причем, как и в более ранней работе, будем учитывать соавторство.
Если статья имеет n авторов, то наиболее естественно будет предполагать, что каждый автор выполнил одну n-ю долю работы, то есть применительно к данной статье ненормированный публикационный показатель одного автора равен 1/n.
Также известны варианты более мягкого учета соавторства путем деления не на n, а на -Jn [Чеботарев, 2013]; в качестве обоснования такой точки зрения утверждается, что статья, написанная в соавторстве, является более ценной и значимой для науки, содержит более сильные и существенные результаты, по сравнению со статьей, написанной единолично [там же, 2013]: «...каждый автор добавляет в работу свои опыт, талант, систему знаний. Поэтому осмысленнее считать «вклад» автора обратно пропорциональным корню квадратному из числа авторов». Эта гипотеза опровергалась, в частности, приведением примеров написания статей в формальном соавторстве, но без фактического участия одного или нескольких авторов [Михайлов, 2013].
однако наиболее убедительное опровержение должно заключаться в следующем: наукометрия располагает достаточным количеством формальных критериев, определяющих научную значимость публикации, причем логически гораздо более близких к истиной оценке, чем «призовое» умножение на yfn . Наукометрические критерии основаны, преимущественно, на цитировании. текущая научная весомость статьи соответствует импакт-фактору журнала, в котором статья опубликована (к сожалению, нет ничего аналогичного для научных монографий; хотя можно было бы предложить нечто вроде импакт-фактора издательства, а если издательство многопрофильное, как, например, университет, следовало бы ввести импакт-фак-торы издательства по различным научным направлениям). Конечно, значимость журнала может устанавливаться и экспертными оценками. так появляется, например, перечень ВАК. Кроме того, издания, включенные в базы данных Scopus и WoS, регулярно подвергаются экспертизе (это сопровождается периодическим исключением некоторых журналов). тогда научная весомость статьи определяется не конкретным числом (импакт-фактором журнала), а несколько менее точно: самим фактом опубликования в журнале из определенного набора. Со временем значимость публикации определяется числом ее цитирований.
Утверждая связь между научной весомостью публикации и ее цитируемостью, конечно, следует иметь в виду существующие в науке проблемы, связанные с некорректной цитируемостью или некорректным ее учетом: «договорное» цитирование; «отрицательные» ссылки, учитываемые как ссылки обычные.
На данный момент не предложено никаких хорошо обоснованных методов машинной блокировки договорного цитирования. Предлагались различные варианты исключения или частичного уменьшения некорректного цитирования: блокировка самоцитирований; исключение повторного цитирования одним и тем же автором одной и той же публикации другого автора [Штовба, Штовба, 2013]; ранжирование ссылок по наличию или отсутствию у цитирующего и цитируемого автора общих работ в прошлом [Михайлов, 2016] и умножение количества цитирований бывши-
ми соавторами на понижающий коэффициент [Романов, Попова, Носова, 2015]. Исключение самоцитирования применяется на практике в РИНЦ (Российском индексе научного цитирования): у каждого автора отдельным показателем рассчитывается индекс Хирша без учета самоцитирований. Однако перечисленные варианты исключения некорректных ссылок представляются в какой-то степени искусственными и не решают самой основной проблемы: «договорное» цитирование может происходить и не между бывшими соавторами, причем при таком цитировании ссылки могут идти от одного и того же автора и приходить на разные публикации другого автора. Вариант же полной блокировки ссылок одного автора после первого же цитирования другого автора представляется чрезмерно жестким. Так что на данный момент уместность того или иного цитирования может определяться только экспертными методами, то есть на этапе рецензирования публикации.
Что касается «отрицательных» ссылок, их, несомненно, можно учитывать на этапе подачи публикации в издательство (как-либо обозначая такие ссылки в списке литературы), а затем — при отправке в электронную базу данных. Пункты в списке литературы, которые в основном тексте публикуемой научной работы упоминаются исключительно в контексте замечаний к ошибкам, в библиографическом описании работы должны присутствовать с какими-либо специальными отметками, а ссылки на них должны блокироваться базой данных.
Итак, располагая некоторым небогатым набором средств для правильной оценки значимости публикации, каждому автору научной работы следует ставить в соответствие ненормированный публикационный показатель 1/п, а не 1Д/п . Теперь определимся с величиной, на которую следует нормировать (делить) данный публикационный показатель.
Предположим, что в рассматриваемый отрезок времени по данной конкретной или собирательной тематике было написано М научных работ данного конкретного вида; если /-я работы написана п авторами, то по принятой договоренности будем считать, что каждый из п. авторов работы написал одну п.-ю долю работы. Следовательно, общее количество работ, написанных всеми авторами за рассматриваемый период, определяется следующим образом:
1 1 1
— п1 + — п2 +... +--пм = 1 + 1 +... + 1 = М , (1)
П1 П2 ПМ М слагаемых
то есть это общее количество публикаций, вычисляемое обычным способом.
Тогда для нахождения среднего количества публикаций данной тематики и данного вида, приходящихся на одного ученого за рассматриваемый публикационный период, необходимо М разделить на общее количество ученых, задействованных в данной области науки. Возникает вопрос, как по наукометрической базе учесть тех авторов, которые публикации данного вида в рассматриваемый публикационный период не писали, но которые, тем не менее, имеют отношение к рассматриваемой области научных исследований. Принимать во внимание таких авторов необходимо, в первую очередь, для правильной оценки вклада научных монографий в общую публикационную картину.
Научная монография зачастую пишется единолично и представляет собой огромный труд далеко не рядового ученого, достигшего многочисленных и существенных результатов в области своих научных интересов (монография эти
результаты объединяет). Если, выбрав разумную продолжительность публикационного периода, число монографий разделить на число авторов, их написавших, в результате получится одна монография на ученого (или около того, так как встречаются немногочисленные монографии, написанные в немногочисленном соавторстве). Это будет очевидной бессмыслицей: далеко не каждому ученому суждено написать монографию, причем не только за период усреднения, но и за всю жизнь.
Принимая в расчет ученых, работающих в рассматриваемой области исследований, но не имеющих публикаций рассматриваемого вида в выбранный период усреднения, необходимо придерживаться некоторых ограничений: авторы научных работ, ранее публиковавшиеся по рассматриваемой тематике, впоследствии могли перейти в другую тематику. таких авторов не следует учитывать при усреднении: они публикуются, но по другим тематическим направлениям. Некоторые авторы могли вообще прекратить заниматься научной работой, как, например, студенты или аспиранты, публиковавшиеся со своими научными руководителями, но затем покинувшие науку. то есть по наукометрической базе необходимо определить список авторов, соответствующий данной тематике, причем так, чтобы этот список был актуален на данный момент времени. С этим связан выбор продолжительности периода усреднения, а также выбор видов публикаций, которые будут учитываться при определении выборки авторов.
При прохождении конкурса на замещение вакантной должности преподавателя или научного сотрудника требуется представить публикации за пять лет работы. Причем публикационный период продолжительностью именно в пять лет нередко используется и для расчета наукометрических показателей, связанных с цитируемо-стью, в частности для вычисления индекса Хирша: так возникает понятие индекса Хирша не за все время работы исследователя, а за пять лет [Цыганов, 2013]. Кроме того, очевидно, что даже для тематических направлений, в которых публикации относительно редки, пятилетний отрезок времени достаточно продолжителен, чтобы любой реально работающий ученый опубликовал в этот период, как минимум, статью в рецензируемом журнале по своей тематике (единолично или в соавторстве). Конечно, возможны варианты и более существенных достижений: патенты, диссертации, справочники, монографии.
таким образом, можно сделать вывод, что пять лет составляют самую оптимальную продолжительность периода усреднения: за это время ученые, имеющие реальное отношение к данной конкретной или собирательной области научных исследований, непременно проявят себя статьей в рецензируемом журнале, патентом, диссертацией, монографией или справочником. Это и определит количество ученых, на которое следует делить общее количество публикаций рассматриваемого вида по рассматриваемой тематике. Итак, если первый год исследуемого публикационного периода — Т, то последний год этого периода — Т + 4. Среднее число публикаций рассматриваемого вида -,т т +4, ,приходящееся на одного автора, определяется формулой
где N — общее количество авторов, у которых в рассматриваемом отрезке времени есть статья в рецензируемом журнале, патент, диссертация, монография или справочник. Заметим, что в формуле (1), а значит, и в формуле (2) в полной мере учтено явление соавторства. Проиллюстрируем это на следующем простом примере.
- _ м
-т+4]- N
(2)
Предположим, что данные N авторов, разбившись на соавторские коллективы по n человек, написали M оригинальных статей (то есть N = n ■ M). Тогда каждый из этих авторов написал 1/n статьи, и вычисляемая средняя величина, естественно, должна принять именно такое значение (среднее от одинаковых чисел должно быть равно каждому из этих чисел). По формуле (2) получается, что
_ = м = м = 1
+4] = N ~ n ■ M ~ n '
то есть формула (2) приводит к верному результату. Заметим, что в приведенном примере среднее количество статей, вычисляемое обычным способом, привело бы к одной статье на автора.
Следовательно, _[Ti;Ti+4] не имеет ранее отмечавшегося недостатка обычно использующихся средних публикационных показателей (Ушаков, Юревич, Гаврило-ва, Голышева, 2015): при вычислении m^+4] публикация, написанная в соавторстве, не засчитывается каждому автору как единолично написанная работа.
При оценке публикационной активности конкретного автора за отрезок времени [TT + 4] необходимо рассмотреть по отдельности каждую его научную публикацию. Если публикация данного вида и данной тематики, написанная рассматриваемым автором, имеет, в общей совокупности, n авторов, то нормированный и, следовательно, универсальный публикационный показатель этого автора, соответствующий данной публикации, определяется формулой
1 1
v=-: mr +41=—=-, (3)
n rTlTl 1 n ■ _,ттп
\TiTi +41
где _[tt+4] вычисляется по той же тематике для того же вида публикаций; если тематика у публикации собирательная, то, как отмечалось выше, для вычисления _[T T+4] следует объединить все публикации данного вида по всем затронутым тематикам.
также следует заметить, что если речь идет не просто о статье в рецензируемом журнале, а статье в журнале из списка ВАК, Scopus или WoS, то в формулу (2) в качестве M нужно подставить не общее количество статей в рецензируемых журналах, а количество статей, опубликованных, соответственно, в журналах ВАК, Scopus, WoS. Затем на полученную величину _[Ti.Tl+4] нужно будет делить в формуле (3). уменьшение количества M журнальных статей по некоторым дополнительным признакам качества или вхождения в наукометрические базы мирового уровня приведет к уменьшению _[ Ti+4] и, соответственно, к увеличению авторского показателя v , что будет в полной мере соответствовать здравому смыслу.
Если за рассматриваемый отрезок времени автор написал несколько научных работ, то следует вычислить по формуле (3) показатели v для каждой из этих работ, а затем их сложить, получив в результате суммарный показатель публикационной
активности v СуММ :
1 1 1
^ сумм =V1 +V2 +... +vt =-_-+-_-+... +-_- , (4)
n1 ' m1,[T1,T1 +4] n2 ' m2,[T1,T1 +4] nk ' mk,[Ti,Ti +4]
где к — общее количество работ, написанных данным автором; п. и —^т+4] — соответственно, число авторов и среднее число публикаций, приходящихся на одного автора, соответствующее /-й работе.
Расчет V сумм по формуле (4) позволяет сравнивать публикационную активность ученых, работающих в разных научных направлениях. Кроме того, оценка публикационной активности по формуле (4) применима и к ученому, который сам по себе публикуется в разных научных тематиках или является автором научных публикаций разного вида (просто для каждой отдельной публикации требуется вычислить свою величину т+4]).
виды научных публикаций, принимаемые во внимание при оценке публикационной активности
Выше было отмечено, что общее количество ученых N, на которое следует делить общее количество публикаций М, определяется за пятилетний период по наукометрической базе статьями в рецензируемых журналах, патентами, диссертациями, справочниками и монографиями. однако в РинЦ также включены материалы конференций, депонированные рукописи и отчеты по ниР (научно-исследовательской работе). Разъясним, почему не все публикации из РинЦ следует принимать во внимание при расчетах по формулам (2)—(4).
Прием тезисов или статей в сборники материалов российских конференций не сопровождается каким-либо рецензированием специалистами. Доклад может быть отклонен оргкомитетом только в случае очень сильного несоответствия тематике конференции. Вероятно, статья или тезисы доклада также будут отклонены, если в названии или тексте будут содержаться явные и очень грубые ошибки, противоречащие каким-либо фундаментальным научным принципам или законам (но на практике такая ситуация, по всей видимости, никогда не встречается). Во всем остальном качество и содержательность материалов конференций полностью зависят от авторов. Этот относительно резкий вывод можно позволить себе как самостоятельное умозаключение (ввиду его полной очевидности), хотя можно и со ссылкой на других авторов, упоминавших указанную проблему прямо или «по касательной» [Чеботарев, 2013; Фрадков, 2015]. Конечно, автор тезисов невысокого уровня может быть основательно раскритикован при устном или стендовом докладе, когда ему будут заданы вопросы. Но, во-первых, к моменту доклада тезисы, как правило, уже напечатаны (а процедура отзыва тезисов не предусмотрена); во-вторых, формат современных российских конференций допускает и заочное участие. Вообще, можно высказать предположение, что наукометрическая база немного потеряет, если будет наполняться не всеми подряд научными публикациями, а только теми работами, которые прошли через какой-либо фильтр качества (именно по таким публикациям нужно оценивать публикационную активность ученых).
Выше было отмечено, что в наукометрии значимость научной работы, в конечном счете, определяется ее цитируемостью, причем корректность той или иной библиографической ссылки может контролироваться только на этапе рецензирования. К сожалению, следует констатировать факт, что даже наличие рецензирования в журнале не во всех случаях обеспечивает корректное цитирование: замечалось,
что определенные журналы, у которых формально есть процедура рецензирования, фактически пропускали грубо «накрученные» ссылки [Фрадков, 2015]. Но у ссылок из материалов конференций такого средства контроля, как рецензирование, вообще нет.
Необходимо отметить еще одну важную особенность публикаций в материалах российских конференций: от этих публикаций никогда не требуется научной новизны по сравнению с более ранними публикациями автора; кроме того, автору позволяется, чтобы результаты, тезисно представленные на конференции, развернуто излагались в более поздних журнальных статьях (и тем более в последующих конференциях). Дублирование же материалов между журнальными статьями не допускается и служит непременным основанием для отказа в публикации на этапе подачи статьи в редакцию [Фрадков, 2012]; при более позднем выявлении дублирования материалов — основанием для отзыва статьи и упреков в самоплагиате [Котляров, 2011]. То есть, автор может за счет конференций добиться того, чего невозможно добиться за счет журнальных статей: искусственно увеличить свои публикационные показатели, отправляя на конференции одинаковые или малоразличающиеся материалы [Чеботарев, 2013], не нарушая при этом никаких формальных запретов.
В отличие от российских конференций, в зарубежных конференциях нередко требуется существенная новизна представляемых материалов, а в зарубежных журналах — существенная новизна по сравнению с другими публикациями, включая материалы конференций [Фрадков, 2012]. Конечно, такое положение вещей вызывает скорее недоумение, чем одобрение, и представляется противоречащим самой сути научных конференций. Идея конференций такова, что автор может докладывать научному сообществу свой результат сколько угодно раз, вовлекая в круг знаний о своем достижении все большее число ученых.
Следует заметить, что если указанное требование новизны материалов конференций распространить и на российские реалии, то будет существенно усложнена работа диссертантов: публикация результатов в журнале из списка ВАК (обязательное условие для защиты диссертации) лишит возможности их апробации (тоже обязательное условие для диссертанта); обратно, апробация будет мешать публикации в журналах ВАК.
то есть, можно сделать вывод, что требование новизны и недублируемости для материалов конференций, как отсутствовало раньше, так и в дальнейшем должно отсутствовать. Но при анализе публикационной активности и цитируемости труды конференций не должны приниматься во внимание: как было замечено выше, цитирование из материалов конференций вообще не контролируется; что касается цитирований самих материалов конференций, то совсем не ясен их практический смысл. Если научные результаты, изложенные в тезисах доклада, опережают статью или идут вслед за статьей, где эти результаты излагаются развернуто, то гораздо более уместным представляется цитирование статьи, а не тезисов, тем более что объем тезисов редко позволяет научные результаты как следует обосновать (например, привести доказательство нетривиальной теоремы). Если же научная ценность материалов, доложенных на конференции, настолько невелика, что не стала основой для статьи в рецензируемом журнале, то тем более не понятно, зачем ссылаться на такие материалы и учитывать их в оценке научной работы автора.
Говоря об отсутствии новизны в материалах конференций, не следует умалять научную значимость многих других публикаций, в которых научной новизны тоже
нет: обзорные статьи, диссертации, справочники и монографии, хотя и пишутся на основе результатов, ранее изложенных в оригинальных статьях, все же носят обобщающий и систематизирующий характер. В этом заключается их немалая научная ценность. Ничего подобного нельзя сказать про материалы конференций.
По всей видимости, периодическое участие в конференциях (хотя бы заочное) должно быть обязательным условием для ученого, но выполнение этого условия не должно увеличивать показатели публикационной активности (подобно тому, как для диссертантов обязательна апробация результатов, которая никогда не зачтется взамен публикации статей). Что касается зарубежных конференций, которые предусматривают и рецензирование, и научную новизну представляемых материалов, к публикациям в рамках таких конференций нужно относиться как к полноценным журнальным статьям.
В отличие от участия в конференциях, депонирование рукописей не является обязательным и хоть сколько-нибудь актуальным занятием для современного российского ученого (хотя в советское время депонирование было весьма популярной формой публикации статей). Кроме того, депонированная рукопись не засчитается диссертанту в качестве публикации в журнале из списка ВАК, даже если депонирование произойдет по решению редакционной коллегии такого журнала (Положение о присуждении ученых степеней). Причем современная практика работы редакционных коллегий такова, что решение о депонировании научной работы является, по существу, невозможным: чересчур узкая специализация статьи и, как следствие, нецелесообразность ее тиражирования влечет за собой отказ в публикации, но не решение о депонировании. Так что крайне редкое депонирование статей происходит только по решению ученых советов институтов и университетов, но не редакций.
неактуальность депонирования приводит к тому, что публикационный показатель автора депонированной работы, вычисленный по формуле (3), принимает неоправданно большое значение. Если для статей, патентов, диссертаций, монографий и справочников невысокое количество публикаций определенного вида, приходящихся на одного автора, означает существенную научную значимость таких публикаций, то для депонированных рукописей эта закономерность сильно нарушается. Депонированные рукописи появляются намного реже монографий; число депонированных рукописей, приходящихся на одного ученого, существенно меньше аналогичного «удельного» числа монографий. Однако, очевидно, это обстоятельство не означает большую научную ценность депонированной рукописи по сравнению с монографией: причина заключается в непопулярности депонирования.
Кроме того, следует заметить, что среди немногочисленных депонированных рукописей, появлявшихся в последние годы, большая часть не подвергалась какому-либо рецензированию, причем в полном соответствии с правилами депонирующих организаций: из всех организаций, осуществляющих депонирование, рецензию требует только ИНИОН (Институт научной информации по общественным наукам). Для депонирования рукописи в ВИНИТИ (Всероссийский институт научной и технической информации) достаточно решения ученого совета организации. На этапе принятия такого решения рецензия специалиста может потребоваться, но может и не потребоваться: все зависит от ученого совета. Ввиду малозначимости и неактуальности такой публикации, как депонированная рукопись, рецензия для депонирования, вероятнее всего, не нужна ни в одном научно-исследовательском институте и ни в одном высшем учебном заведении. Для депонирования рукописи
в РГБ (Российской государственной библиотеке) не требуется ни рецензии, ни решения ученого совета.
Заметим также, что депонирование может предшествовать более поздней публикации идентичных материалов в рецензируемом журнале.
В качестве депонированных рукописей в РИНЦ фигурируют и статьи в открытых архивах. По всей видимости, каждая из таких статей имеет, как минимум, один из перечисленных недостатков рукописей, депонированных в традиционном смысле: неактуальность такого способа опубликования; нерецензируемость; возможность дублирования материалов.
Что касается отчетов по НИР, то они очень слабо подходят под понятие научной публикации: это просто отчетные документы.
Пример вычисления публикационного показателя автора
Приведем конкретный пример применения формулы (2): вычисление среднего показателя публикационной активности за 2008—2012 годы по тематике «Математические модели электродинамики и оптики»; код ГРНТИ (Государственный рубрикатор научно-технической информации): 27.35.33.
Для вычисления N сначала с помощью функции расширенного поиска elibrary.ru были найдены журнальные статьи по рассматриваемой тематике за рассматриваемый промежуток времени (242 статьи). Затем в отдельные клетки первого столбца таблицы Excel вводились фамилии и инициалы авторов. Попутно по названиям статей исключались персоналии и редакционные заметки информационного характера; авторы таких статей в таблицу не вносились. впоследствии при более тщательном изучении списка были выявлены обзорные статьи: их авторы не исключались из выборки (обзорные статьи, несомненно, являются видом научной публикации), но обзоры следовало найти в общем списке, чтобы не включать их в число оригинальных статей. В конечном счете осталось 220 оригинальных статей и 3 статьи обзорного характера. Все журналы — из перечня ВАК.
затем в отдельном поиске были найдены книги по указанной тематике, и подробным исследованием небольшого списка (16 пунктов) было исключено несколько сборников трудов конференций, приобщенных в РИНЦ к книгам. Оставшиеся книги являлись научными монографиями, и их авторы дополнили первый столбец составлявшейся таблицы Excel.
затем была найдена одна диссертация по рассматриваемой тематике; патентов же по этой тематике, судя по elibrary.ru, в рассматриваемый промежуток времени не было.
Отдельные статьи и тезисы конференций были исключены из рассмотрения по причинам, изложенным выше. Что касается депонированных рукописей и отчетов по НИР, то по указанной тематике за рассматриваемый отрезок времени о публикациях такого вида в РИНЦ вообще нет никаких сведений (хотя такие публикации, в любом случае, были бы исключены из проводимого исследования).
После того как первый столбец таблицы Excel с фамилиями и инициалами был заполнен, во втором столбце с помощью функции «СЧЕТЕСЛИ» напротив каждой фамилии с инициалами из первого столбца было рассчитано количество раз,
которое эта фамилия с инициалами встречается в общем списке авторов. в третьем столбце рассчитывались обратные величины к соответствующим числам второго столбца. затем обратные величины были просуммированы с помощью функции «сумм». Получившееся число показало общее количество авторов без повторений, то есть, количество различных авторов, опубликовавших научные работы по рассматриваемой тематике в рассматриваемый отрезок времени. заметим, что изложенный способ подсчета авторов с исключением повторений является применением стандартного алгоритма подсчета количества уникальных значений среди повторяющихся в программе Excel.
общее количество авторов оказалось равным 308. следовательно, для оригинальных статей по рассматриваемой тематике в рассматриваемый отрезок времени
m[2008;2012] = 200 ~ 0,7143.
оценим по этому показателю публикационную активность автора, который с 2008 по 2012 годы опубликовал 4 оригинальные статьи со следующим количеством соавторов: 1; 1; 3; 1 (речь идет о количестве соавторов, не включающем самого автора). тогда, согласно формуле (4),
1111
V =-1-+-1-+-1-+-1-* 2,450
сумм 2-0,7143 2-0,7143 4-0,7143 2-0,7143
заметим, что в данной сумме дробь 1/0,7143 можно вынести за скобки как общий множитель (здесь сказывается то обстоятельство, что статьи были написаны по одной и той же тематике, и поэтому в каждом слагаемом происходит деление на одно и то же значение т[2008;2012]). таким образом, vсумм представляет собой отношение общего количества статей автора (которое с учетом соавторства равно 1/2+1/2+1/4+1/2=1,75) к среднему числу статей, приходящихся на одного автора. то есть, можно сделать вывод, что публикационная активность автора более чем в два раза выше средней.
возможная дробная модификация индекса хирша, учитывающая публикационную активность в разных научных тематиках
Предложив некоторые показатели, оценивающие публикационную активность ученых, разберем, как с их помощью можно, в конечном счете, провести совокупную оценку публикационной активности и цитируемости. Покажем, как можно модифицировать индекс хирша, чтобы полученной модификацией учитывалось значение v каждой отдельной публикации.
При обычном определении индекса хирша публикации ранжируются в порядке убывания числа их цитирований. «ядро хирша» образуют h научных публикаций автора, которые цитируются не менее h раз, когда остальные публикации цитируются менее h раз. Публикации, не входящие в ядро хирша, образуют «периферию». количество h публикаций в ядре хирша определяет значение индекса хирша [Hirsch, 2005].
На графике, иллюстрирующем определение обычного индекса Хирша, цити-руемость статей откладывается по оси ординат, а номер статьи в ранжированном списке — по оси абсцисс. То есть абсцисса точки графика, соответствующая любой конкретной статье, всегда представляет собой целое (натуральное) число: 1, 2, 3...
В ранее предлагавшихся модификациях индекса Хирша, учитывающих число соавторов отдельных публикаций или нормирующих цитируемость и соавторство, число цитирований каждой научной работы на что-либо умножалось или делилось [Akhabue, Lautenbach, 2010; Hagen, 2013; Марвин, 2015; Марвин, 2016; Михайлов, 2014; Михайлов, 2015]. Геометрически это приводило к изменению ординат точек на графике цитируемости, то есть их перемещению вверх или вниз (с возможной перестановкой этих точек в порядке невозрастания ординаты). Однако абсциссы точек на графике цитируемости при всех прежних подходах к модификации индекса Хирша всегда оставались целочисленными.
Если нормировать публикационную активность предложенным выше способом и задаться целью отразить это на графике цитируемости, необходимо будет отказаться от обязательной целочисленности абсцисс точек, изображающих публикации. При нормировании публикационной активности ответы на вопросы «Сколько публикаций у автора?» или «Сколько публикаций автора входят в ядро Хирша?» могут даваться и дробными числами.
Обратим еще раз внимание на то обстоятельство, что публикационный показатель v в полной мере учитывает соавторство. Поэтому соавторство уже никак не должно сказываться на ординатах точек графика цитируемости (оно будет сказываться на абсциссах). Следовательно, по оси ординат мы будем откладывать нормированную недолевую цитируемость:
с -С,
погт,г 9
Сг
где С — число цитирований /-й публикации; С — среднее число цитирований, рассчитанное для / -й публикации, то есть средняя цитируемость научных работ того же года издания, того же вида и той же тематической направленности (конкретной или собирательной).
Упорядочим публикации по признаку невозрастания Спот .; в получившемся порядке по оси абсцисс отложим друг за другом у то есть, нормированные публикационные показатели научных работ рассматриваемого автора; примем договоренность, что при одинаковых Спотш . в первую очередь, на графике цитируемости нужно отметить публикацию с большим значением у..
Таким образом, получаются следующие абсциссы точек на графике цитируемости: х1 = у1; х2 = у1 + у2; х3 = у1 + у2 + у3;...; хк = у1 + у2 + у3 + ... + ук (то есть каждое значение х{ представляет собой суммарный показатель публикационной активности, связанный с написанием работ с 1-й по /-ю).
Заметим, что при полной оценке публикационной активности и цитируемости автора годы опубликования его работ могут не уложиться в один пятилетний период. А существенно различающееся время опубликования может привести к существенно различающейся средней публикационной активности в соответствующей научной тематике и, как следствие, к разной роли автора в общей картине научных публикаций. Примем договоренность, что для каждой отдельной работы нужно
взять пятилетний отрезок времени, середина которого приходится на год опубликования этой работы. Для сильно перекрывающихся пятилетних периодов это, вероятнее всего, не приведет к существенным различиям т^ Т +4]; однако для двух пятилетних отрезков времени, сильно отдаленных друг от друга, различие в значениях +4] может оказаться большим.
Соединим точки с координатами (х; Спогт .) ломаной; кроме того, первую точку ломаной соединим горизонтальным отрезком с осью ординат; если у последней публикации Спогт . > 0, последнюю точку ломаной соединим вертикальным отрезком с осью абсцисс (рис. 1).
Проведем прямую ^погт = V (эта прямая определяет границу между «ядром» и «периферией»). Наличие первого горизонтального и последнего вертикального звена у ломаной гарантирует пересечение прямой и ломаной при любых значениях V. и Спогт . Абсцисса точки пересечения может служить новым вариантом определения йпогт — универсального показателя публикационной активности и цитируе-мости автора, безотносительного к области исследований и виду публикаций. Этот показатель может составить некоторую альтернативу ранее предлагавшемуся йпогт [Марвин, 2016]. п0ГШ
доказано, что индекс, определяемый таким геометрическим способом, при увеличении показателей цитируемости статей (ординат вершин ломаной) либо возрастает, либо не меняется; соответственно, при уменьшении цитируемости индекс либо уменьшается, либо остается неизменным [Марвин, 2015]. То есть йпогт должным образом зависит от цитируемости.
На рис. 1 проиллюстрировано, как может меняться йпогт при изменении показателей публикационной активности. Если V 1 у автора увеличить (при неизменных Спогт .), график растянется вправо (крупный пунктир на рис. 1), точка пересечения прямой и ломаной переместится вправо и вверх, что приведет к увеличению
индекса hnorm. Если же vt уменьшить, график переместится влево (мелкий пунктир на рис. 1), точка пересечения прямой и ломаной переместится влево и вниз, что приведет к уменьшению h . В случае, если прямая N = v изначально пересекает
norm norm
горизонтальное или вертикальное звено ломаной, возможна ситуация, что при перемещении графика влево или вправо hnorm не изменится. В любом случае, значение hnorm должным образом связано с публикационной активностью автора.
Формула для вычисления hnorm легко выводится из общих формул аналитической геометрии [там же]. Необходимо найти публикацию, для которой N ^ x и при этом N ... < x.,,. Тогда
^ norm, г+1 г+1 ^
(Cnorm,i — Cnorm,i+1 ) + Cnorm,i (Xi +1 — Xi ) norm si si
Cnorm,i — Cnorm,i+1 + Xi+1 — Xi
Заключение
Предложенный способ оценки публикационной активности ученых сопряжен с составлением выборки авторов и публикаций за пять лет, причем выборка должна быть составлена для всевозможных направлений научных исследований. Особую трудность для формирования таких выборок представляет наличие собирательных научных тематик у многих научных публикаций. Если проводить совокупную оценку публикационной активности и цитируемости ученых с помощью предложенной модификации индекса Хирша, для расчетов нужно будет рассматривать всевозможные, в том числе и перекрывающиеся пятилетние периоды. Конечно, это будет представлять немалую проблему для вычислительных мощностей наукометрической базы. И здесь открывается направление для дальнейших исследований, появляются новые актуальные задачи по разработке необходимого программного обеспечения и подходящих программных алгоритмов. Попутно выявляется недостаток РИНЦ, особенно остро проявляющий себя при исследовании собирательных тематик: «мультидисциплинарность» немалого числа научных работ оказывается преувеличенной.
В данный момент открытые библиографические описания многих публикаций, включенных в РИНЦ, содержат указания на одну рубрику ГРНТИ второго уровня (соответствует четырехзначному коду ГРНТИ). Также указывается нормированная (нормализованная) цитируемость по направлению, хотя направление понимается в более широком смысле, чем рубрика ГРНТИ. Например, рубрика ГРНТИ: «Математика/Математические модели естественных наук. Уравнения математической физики» (код ГРНТИ: 27.35, второй уровень рубрикатора), тематическое направление: Mathematics (соответствующий код ГРНТИ: 27, первый уровень рубрикатора).
однако большинство публикаций, проиндексированных в РИНЦ, имеют дополнительные рубрики ГРНТИ, не показанные в открытом описании. В качестве иллюстрации к этому утверждению можно, используя функцию расширенного поиска, определить методом проб и ошибок коды ГРНТИ публикаций нескольких случайным образом выбранных авторов, задавая в поле «Тематика» относительно подходящие рубрики [Марвин, 2016]: одни и те же научные работы окажутся в результатах поиска по разным кодам ГРНТИ. опыт показывает, что число различных
рубрик у журнальных статей может доходить до пяти (в качестве рубрики ГРНТИ в открытом библиографическом описании указывается, по всей видимости, основная рубрика). Причем одной из пяти рубрик может оказаться рубрика первого уровня без какой-либо конкретизации (например, просто «Машиностроение», код ГРНТИ: 55); и после прочтения статьи может выясниться, что эта рубрика, если и имеет отношение к статье, то самое отдаленное. При огромном числе публикаций и авторов по тематике, соответствующей коду ГРНТИ первого уровня, самостоятельные наукометрические расчеты по приведенной выше схеме оказываются физически невозможными; вероятно, они будут весьма затруднительными и при использовании вычислительных мощностей библиометрической базы.
Для корректных наукометрических исследований и выводов необходимо, конечно, учитывать все тематические направления у каждой научной публикации. Однако в целях той же корректности, а также для экономии ресурсов наукометрической базы следует несколько ограничить число рубрик, которые присваиваются отдельной публикации при внесении в РИНЦ, а также исключить чрезмерную общность указываемых тематических направлений.
Литература
Akhabue E., Lautenbach E. Equal contributions and credit: An emerging trend in the characterization of authorship // Annals of Epidemiology. 2010. Vol. 20. № 11. P. 868-871.
Hagen N. T. Harmonic coauthor credit: A parsimonious quantification of the byline hierarchy // Journal of Informetrics. 2013. Vol. 7. № 4. P. 784-791.
Hirsch J. E. An index to quantify an individual's scientific research output // Proceeding of Nacional Academy of Sciences of the USA. 2005. Vol. 102. № 46. P. 16 569-16 572.
Гуртов В. А., Щеголева Л. В. Публикационная активность членов диссертационных советов при вузах России // Высшее образование в России. 2014. № 8-9. С. 16-26.
Котляров И. Д. Самоплагиат в научных публикациях // Научная периодика: проблемы и решения. 2011. № 4. С. 6-12.
Марвин С. В. Альтернативная дробная модификация индекса Хирша, учитывающая количество авторов цитируемых статей // Управление большими системами. 2015. Вып. 56. С. 108-122.
Марвин С. В. нормированная долевая цитируемость как универсальная характеристика научной публикации // Социология науки и технологий. 2016. T. 7. № 1. С. 95-108.
Михайлов О. В. Размышление об оценке научной деятельности // Управление большими системами. 2013. Вып. 44. С. 144-160.
Михайлов О. В. О возможной модификации индексов Хирша и Эгга с учетом соавторства // Социология науки и технологий. 2014. Т. 5. № 3. С. 48-56.
Михайлов О. В. Новая версия h-индекса с учетом числа соавторов и порядка их перечисления в научной публикации // Социология науки и технологий. 2015. Т. 6. № 2. С. 24-32.
Михайлов О. В. РИНЦ: первые 10 лет развития //Социология науки и технологий. 2016. T. 7. № 1. С. 86-94.
Положение о присуждении ученых степеней: утверждено постановлением Правительства Российской Федерации 24 сентября 2013 г. № 842 URL: http://vak.ed.gov.ru/docs; jsessionid=QjN 3mhPtg-IGn+70TiLciUMC.
Пшеничников И. А. Вертикаль власти и кривая Лотки: в поисках пересечения // Троицкий вариант — Наука. Рубрика: Бытие науки. 19.04.2016. № 202. С. 1-2.
Романов Д. А., Попова О. Б., Носова Ю. С. Современные методы оценки продуктивности исследовательской деятельности // Политематический сетевой электронный научный
журнал Кубанского государственного аграрного университета. 2015. № 108. URL: http:// ej.kubagro.ru/2015/04/pdf/54.pdf
Ушаков Д. В., Юревич А. В., Гаврилова Е. В., Голышева Е. А. Публикационная активность и цитируемость ученых: различия научных областей и возрастных когорт // Социология науки и технологий. 2015. Т. 6. № 1. С. 16—28.
фрадков А. Л. Научные конференции по управлению: цель или средство? // Автоматика и телемеханика. 2012. № 9. С. 149-158.
Фрадков А. Л. РИНЦ учит врать? // Троицкий вариант — Наука. Рубрика: Бытие науки. 06.10.2015. № 189. С. 5.
Цирлина Г. А. «Среди совсем чужих пиров и слишком ненадежных истин» // Троицкий вариант — Наука. Рубрика: Образование. 06.10.2015. № 189. С. 4, 15.
Циопа А. М. Преподаватели и студенты потребовали отставки руководства СПбГУ // BBC. Русская служба. 23.05.2016. URL: http://www.bbc.com/russian/russia/2016/05/160522_ spbgu_rally_university_petersburg
Цыганов А. В. Краткое описание наукометрических показателей, основанных на цитиру-емости // Управление большими системами. 2013. Вып. 44. С. 248-261.
Чеботарев П. Ю. Наукометрия: как с ее помощью лечить, а не калечить? // Управление большими системами. 2013. Вып. 44. С. 14-31.
Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. 2013. Вып. 44. С. 262-278.
Ясавеев И. Г. Метаморфоза университета // Троицкий вариант — Наука. Рубрика: Образование. 08.09.2015. № 187. С. 2.
Normalized index of publication activity, taking into account the amount of co-authors of a scientific publication
Sergey V. Marvin
associate professor of the department of numerical methods and mathematical physics in the Institute of radioelectronics and information technologies — RtF, the Ural federal university named after the first President of Russia B. N. Yeltsin,
Yekaterinburg, Russia; e-mail: s. v.marvin@yandex.ru
The value, which describes the average number of scientific publications with a specific type and a particular or collective subject per the author for a period of five years, is analyzed. It is shown, how this value should be used when a publication activity of a scientist is evaluating, taking into account an amount of co-authors of publications. The normalized index, which calculated for each author's scientific publication, is proposed; this index takes into account the specificity of scientific subject, type of the publication and the amount of authors. The modification of the Hirsch index, a calculation of which must to use the normalized index of a publication activity, is defined.
Keywords: scientometrics, publication activity, co-authorship, Hirsch index.
References
Akhabue E., Lautenbach E. (2010) Equal contributions and credit: An emerging trend in the characterization of authorship // Annals of Epidemiology. Vol. 20. № 11. P. 868—871.
Hagen N. T. (2013) Harmonic coauthor credit: A parsimonious quantification of the byline hierarchy // Journal of Informetrics. Vol. 7. № 4. P. 784-791.
Hirsch J. E. (2005) An index to quantify an individual's scientific research output // Proceeding of Nacional Academy of Sciences of the USA. Vol. 102. № 46. P. 16 569-16 572.
Gurtov V. A., Shchegoleva L. V. (2014) Publikatsionnaya aktivnoct' chlenov dissertatsion-nykh sovetov pri vuzakh Rossii [Publication activity of members of dissertation councils at universities in Russia] // Vyssheye obrazovaniye v Rossii [Higher Education in Russia]. № 8-9. P. 16-26 (in Russian).
Kotlyarov I. D. (2011) Samoplagiat v nauchnykh publikatsiyakh [Plagiarism in scientific publications] // Nauchnayaperiodika:problemy i resheniya [Scientific periodicals: problems and answer]. № 4. P. 6-12 (in Russian).
Marvin S. V. (2015) Al'ternativnaya drobnaya modifikatsiya indeksa Khirsha, uchityvayushchaya kolichestvo avtorov tsitiruyemykh statey [Alternative fractional modification of hirsch index to care for authors' count in article cited] // Upravleniye bol'shimi sistemami [Large-scale systems control] Vyp. 56. P. 108-122 (in Russian).
Marvin S. V. (2016) Normirovannaya dolevaya tsitiruyemost' kak universl'naya kharakteristika nauchnyh publikatsiy [Normalized shared citation as a universal characteristic of a scientific publication] // Sotsiologiya nauki i tekhnologiy [Sociology of science and technology]. T. 7. № 1. P. 95-108 (in Russian).
Mikhaylov O. V. (2013) Razmyshleniya ob otsenke nauchnoy deyatel'nosti [Reflections on scientific activity evaluation] // Upravleniye bol'shimi sistemami [Large-scale systems control]. Vyp. 44. P. 144-160 (in Russian).
Mikhaylov O. V. (2014) O vozmozhnoy modifikatsii indeksov Khirsha i Egga s uchetom soav-torstva [About of possible modification of Hirsch's and Egg's indexes taking into account the co-authorship] // Sotsiologiya nauki i tekhnologiy [Sociology of science and technology]. T. 5. № 3. P. 48-56 (in Russian).
Mikhaylov O. V. (2015) Novaya versiya h-indeksa s uchetom chisla soavtorov i poryadka ikh perechisleniya v nauchnoy publikatsii [The new version of the h-index taking into account the amount of co-authors and order of their enumeration in a scientific publication] // Sotsiologiya nauki i tekhnologiy [Sociology of science and technology]. T. 6. № 2. S. 24-32 (in Russian).
Mikhaylov O. V. (2016) RINTS: pervyye desyat' let razvitiya [RISC: The first 10 years of development] // Sotsiologiya nauki i tekhnologiy [Sociology of science and technology]. 2016. T. 7. № 1. P. 86-94 (in Russian).
Polozheniye o prisuzhdenii uchenykh stepeney: utverzhdeno postanovleniem Pravitel'stva Ros-siyskoy Federatsii 24 sentyabrya 2013 g. № 848 [Regulations on the awarding of scientific degrees: approved by the decree of the Government of the Russian Federation 24 september 2013 year № 842]. URL: http://vak.ed.gov.ru/docs; jsessionid=QjN 3mhPtg-IGn+70TiLciUMC (in Russian).
Pshenichnikov I. A. (19.04.2016) Vertikal' vlasti i krivaya Lotki: v poiskakh peresecheniya [The vertical of governance and the Lotka curve: searching intersection] // Troitskiy variant — Nayka. Rubrica: Bytiye nauki [Troitsk variant — science. Rubric: Being of science]. № 202. P. 1-2 (in Russian).
Romanov D. A., Popova O. B., Nosova Yu.S. (2015) Sovremennyye metody otsenky produk-tivnosti issledovatel'skoy deyatel'nosti [Modern methods of evaluating the productivity of the research activity] // Politematicheskiy setevoy electronnyy nauchnyy zhurnal Kubanskogo gosudarstvennogo agrar-nogo universiteta [Polythematic online scientific journal of kuban state agrarian university] № 108. URL: http://ej.kubagro.ru/2015/04/pdf/54.pdf (in Russian).
Ushakov D. V., Yurevich A. V., Gavrilova E. V., Golysheva E. A. (2015) Publikatsionnaya ak-tivnost' i tsitiruemost' uchenykh: razlichiya hauchnykh oblastey i vozrastnykh kogort [Publication
activity and scientists citedness: differences of scientific domains and age cohorts] // Sotsiologiya nauki i tekhnologiy [Sociology of science and technology]. T. 6. № 1. P. 16-28 (in Russian).
Fradkov A. L. (2012) Nauchnyye konferentsii po upravleniyu: tsel' ili sredstvo? [Scientific conferences about control: the purpose or the means?] // Avtomatika i telemekhanika [Automation and remote control]. № 9. P. 149-158 (in Russian).
Fradkov A. L. (06.10.2015) RINTS uchit vrat'? [Does RISC teach to lie?] // Troitskiy variant — Nayka. Rubrica: Bytiye nauki [Troitsk variant — science. Rubric: Being of science]. № 189. P. 5. (in Russian).
Tsiopa A. M. (23.05.2016) Prepodavateli i studenty potrebovali otstavki rukovodstva SPbGU [Professors and students have demanded the resignation of the administration of the St. Petersburg State Universit] // BBC. Russkaya sluzhba [BBC Russian]. URL: http://www.bbc.com/russian/rus-sia/2016/05/160522_spbgu_rally_university_petersburg (in Russian).
Tsirlina G. A. (06.10.2015)«Sredi sovsem chuzhikh pirov i slishkom nenadezhnykh istin» [«At alien peers and too unreliable truths»] // Troitskiy variant — Nauka. Rubrica: Obrazovaniye [Troitsk variant— science. Rubric: Education]. № 189. P. 4, 15 (in Russian).
Tsyganov A. V. (2013) Kratkoye opisaniye naukometricheskikh pokazateley, osnovannykh na tsitiruyemosti [Brief rewiev of main scientometric indices based on citations] // Upravleniye bol'shimi sistemami [Large-scale systems control]. Vyp. 44. P. 248-261 (in Russian).
Chebotarev P. U. (2013) Naukometriya: kak s eye pomoshch'yu lechit' a ne kalechit' [The use of scientometrics: how to help, not hurt?] // Upravleniye bol'shimi sistemami [Large-scale systems control]. Vyp. 44. P. 14-31 (in Russian).
Shtovba S. D., Shtovba Ye.V. (2013) Obzor naukometricheskikh pokazateley dlya otsenki pub-likatsionnoy deyatel'nosti uchenogo [A survey on scientometric indicators for assessment of researcher's publication activity] // Upravleniye bol'shimi sistemami [Large-scale systems control]. Vyp. 44. P. 262-278 (in Russian).
Yasaveyev I. G. (08.09.2015) Metamorfoza universiteta [Metamorphosis of university] // Troitskiy variant — Nauka. Rubrica: Obrazovaniye [Troitsk variant — science. Rubric: Education]. № 187. P. 2 (in Russian).
