CC BY
129
НАУКОМЕТРИЧЕСКИЕ МЕТОДЫ
Сергей Владимирович Марвин
кандидат физико-математических наук, доцент департамента информационных технологий и автоматики Института радиоэлектроники и информационных технологий — РТФ Уральского федерального университета имени первого Президента России Б. Н. Ельцина
Екатеринбург, Россия; доцент кафедры гуманитарных и естественно-научных дисциплин
Технического университета УГМК Верхняя Пышма, Россия e-mail: s. v.marvin@yandex.ru
УДК: 001.893+519.248 DOI: 10.24411/2079-0910-2019-12006
Показатели публикационной активности организаций с учетом соавторства и неоднозначности аффилиации
Предложен метод оценки публикационной активности образовательных и научных организаций, учитывающий явление соавторства в статьях, возможную аффилированность разных соавторов одной и той же статьи с разными организациями, а также возможную аффилированность одного и того же автора статьи с двумя или большим количеством организаций. Предложенный способ оценки публикационной активности организаций напрямую связан с предлагавшимися ранее методами оценки публикационной активности отдельных ученых, когда было учтено соавторство в публикациях. Разобран пример, показывающий, как влияет на показатели публикационной активности организации учет соавторства и неоднозначности (неединственности) аффилиации у статей, включаемых организацией в свои отчеты. Ключевые слова: наукометрия, соавторство, публикационная активность, аффилиация, библиографические базы.
Введение
Ранее неоднократно отмечалось, что при оценке публикационной активности и цитируемости ученых необходимо учитывать явление соавторства в публикациях [Марвин, 2015; Марвин, 2016; Михайлов, 2013; Михайлов, 2014]. Наиболее простой и наиболее естественный метод заключается в равном делении статьи на количество ее авторов, если речь идет об оценке публикационной активности, и в равном
делении количества ссылок на всех соавторов, если речь идет об оценке цитируе-мости [Марвин, 2015; Марвин, 2016; Михайлов, 2013; Михайлов, 2014; Цыганов, 2013; Штовба, 2013].
C задачей оценки публикационной активности и цитируемости отдельных преподавателей и научных работников сопряжена другая проблема: проблема правильной оценки научных достижений организаций в целом. Однако в статьях по наукометрии вопрос оценки публикационной активности образовательных и научно-исследовательских организаций рассматривался, как правило, очень коротко и бегло.
Самое острое (местами очень эмоциональное) упоминание проблемы было в сетевых и печатных средствах массовой информации, а также в иных изданиях, в которых наиболее активно обсуждалось реформирование РАН (Российской академии наук). Отмечалось, в частности, крайне неприятное и во многом ложное противопоставление научных достижений высших учебных заведений в противовес научным достижениям институтов РАН [Садовский, 2018]; обсуждалась некоторая «накрученность» показателей публикационной активности и рейтингов отдельных университетов [Крушельницкий, 2014; Орлов, 2017; Экономов, 2015]. Одна из ложных и «накрученных» составляющих этих рейтингов заключалась в следующем обстоятельстве: в некоторых университетах — лидерах государственного финансирования — очень многие сотрудники, поднимавшие университетские публикационные показатели, в действительности были для этих учреждений высшего образования сторонними совместителями, занимавшими очень несущественную долю ставки, и, как следствие, были не сильно отягощены учебной работой, располагали достаточным временем для написания большого количества статей. В то же время основное место работы этих преподавателей-совместителей, позволявшее им активно заниматься наукой, было не иначе как в научно-исследовательских институтах РАН [Садовский, 2018; Экономов, 2015]. Также приводились примеры, когда формально основным (а фактически — единственным) местом работы сотрудника-совместителя был зарубежный университет [Крушельницкий, 2014]. Во всех случаях авторы-совместители, продвигавшие вузы в отечественных и мировых рейтингах, указывали две или большее число аффилиаций в своих статьях.
В ситуации, когда университет не создает никаких условий для собственной научно-исследовательской работы (таких как уменьшение учебной нагрузки, создание должной материальной базы и т. п.), указанная практика не идет на пользу преподавателям, для которых такой университет является основным местом работы: средние показатели публикационной активности по вузу могут существенно возрасти за счет совместителей-сотрудников научно-исследовательских институтов, и обычные преподаватели до средних показателей могут не дотянуть; как следствие, у них возникают трудности с отчетностью по публикациям (трудности, которые никак нельзя назвать обоснованными).
В большинстве случаев авторы-совместители из научно-исследовательских институтов по своему основному месту работы отчитываются своими публикациями наравне с сотрудниками, указывающими в своих публикациях только одно место работы. Иногда описанная практика повышения публикационных показателей вузов вызывает открытое недовольство у директоров институтов РАН, становится поводом для упреков в адрес подчиненных, публикующихся с неединственной аф-филиацией. Однако цель предлагаемой статьи заключается отнюдь не в том, чтобы
эти упреки полностью и безоговорочно поддержать, тем более что данная статья является результатом работы автора в двух учреждениях (хотя не научно-исследовательских, а образовательных).
Ситуация, когда преподаватель или научный сотрудник не только формально, но и реально работает в двух организациях, встречается нередко. И в обеих организациях ему нужно отчитываться публикациями (естественно, аффилированными с организациями, в которых он работает). И когда такой автор публикует свои рассуждения и умозаключения, он является сотрудником обеих организаций, в каждой из них у него запланировано время на научно-исследовательскую работу, и зачастую есть какие-то нормативы по количеству публикаций. В такой ситуации запрет на двойную аффилиацию (со стороны журнала или со стороны руководства) нельзя будет назвать справедливым. Не самой удачной представляется альтернатива написать две или большее количество статей, часть аффилировав с одной организацией, а часть — со второй: для многих областей науки средние показатели публикационной активности таковы, что исследователь за период между двумя конкурсными переизбраниями с трудом опубликует даже одну статью [Марвин, 2016]. Тем более что во многих вузах и научно-исследовательских институтах по инициативе руководства периоды между двумя переизбраниями резко сократились: от максимальных пяти лет до трех, двух и даже до одного года между двумя конкурсами.
Поэтому нельзя утверждать, что явление неединственности аффилиации само по себе порочно: это не так. Просто необходимо правильно оценивать (например, при конкурсном отборе или при стимулирующих выплатах) публикационные показатели конкретного сотрудника в ситуации, когда его публикации аффилированы с двумя или большим числом организаций. И при оценке публикационных показателей организации необходимо по-разному учитывать работы, аффилированные только с данной организацией, и работы, авторы которой аффилированы не только с оцениваемой, но и с другими организациями. В этой статье предложена соответствующая методика.
Показатели публикационной активности автора и организации с учетом соавторства и аффилированности
В наукометрической базе РИНЦ (Российский индекс научного цитирования), Scopus или WoS (Web of Science), указав в параметрах поиска организацию, вид публикации и годы опубликования, можно найти все аффилированные с данной организацией публикации конкретного вида за указанный период времени. Несложный анализ показывает, что данная конкретная публикация оказывается привязанной к данной организации, если хотя бы один из ее авторов указал организацию в качестве хотя бы одной из своих аффилиаций. Все такие публикации наукометрической базой суммируются, и результат выдается как число публикаций организации заданного вида в заданный период времени. Очевидно, именно такие числовые показатели используются при расчете рейтингов организаций.
Причем публикации, аффилированные не только с данной конкретной организацией, при расчете публикационных показателей учитываются наукометрической базой так же, как и публикации, имеющие единственную аффилиацию.
Основная идея статьи заключается в том, что это принципиально неправильный способ подсчета публикаций организации. Ранее уже был сделан вывод, что работы, написанные в соавторстве, нельзя засчитывать каждому автору так же, как единолично написанные [Марвин, 2016]. Аналогично, работы, аффилированные одновременно с двумя или большим числом организаций, нельзя записывать в достижения каждой из этих организаций наравне с работами, имеющими единственную аффилиацию.
Ранее отмечалось [Марвин, 2016], что если у работы n авторов, то естественно будет полагать, что каждый из них написал одну п-ю часть работы и связанный с данной
1
конкретной работой публикационный показатель каждого автора равен —. Теперь
n
предположим, что автор работы с номером i указал k аффилиаций, одна из которых — с данной конкретной организацией. Тогда естественно полагать, что количественный показатель данной конкретной организации, связанный с данным конкретным авто-
1
ром и данной конкретной публикацией, равен т (то есть, публикационный поП ' kl
казатель автора делится поровну между всеми его аффилиациями). Именно эта дробь должна фигурировать в отчетах автора в каждой из аффилирующих организаций. Если в рассматриваемой работе несколько авторов указали данную организацию как одну из своих аффилиаций, то для организации в целом дробные показатели отдельных авторов, посчитанные по указанному принципу, должны складываться; это будет полный количественный показатель данной конкретной организации, связанный с данной конкретной публикацией.
Заметим, что в многочисленных учреждениях высшего образования практикуется стимулирование публикаций в зарубежных изданиях, при котором на сумме поощрительных выплат сказывается импакт-фактор журнала, количество соавторов-сотрудников, но никак не учитывается наличие двух или большего числа аффилиаций. Такой порядок стимулирования наиболее удален от правильной оценки публикационной активности сотрудников, но находится в логическом соответствии с принятым порядком вычисления публикационных показателей организаций: для профиля организации в Scopus и WoS никаких корректировок на неединственность аффилиации не делается.
В некоторых университетах сумма стимулирующей выплаты делится на количество аффилиаций, а в рамках данной конкретной аффилиации — на количество авторов (авторов, работающих в организации и аффилировавшихся с ней). Таким образом, если в работе указано k организаций, а c данной организацией номер j аффилировались п. авторов, то авторский вклад каждого из этих авторов опреде-1j
ляется дробью -.-. Такого рода стимулирование тоже находится в логическом
k' n.
i
соответствии с принятым порядком вычисления публикационных показателей организаций, когда всем аффилирующим организациям работа засчитывается в рейтингах одинаково; только этот порядок вычисления публикационных показателей рассматривается в соревновательном ключе. И конечно, такой порядок стимулирования противоречит предложенному выше методу определения авторского вклада, связанного с конкретной организацией: результат деления на число авторов, а затем на количество аффилиаций конкретного автора, в общем случае,
отличается от результата деления на полное число аффилиаций с последующим делением на авторов внутри аффилиации. Причем различие может оказаться достаточно существенным. Приведем реальный пример, не разглашая фамилии авторов и названия организаций.
Есть публикация, у которой пять авторов. Первые четыре автора аффилиро-вались с организацией A, пятый автор аффилировался с организациями A и B. Вычислим по методике, предложенной в данной статье, публикационный показатель пятого автора, связанный с рассматриваемой публикацией и работой в организации B — то есть делим на число авторов, а затем на число аффилиаций конкретного автора. Авторский вклад пятого автора для данной конкретной публикации
1 1 1 равен з ; часть этого вклада, связанная с организацией B, равна з-, то есть — .
5 5•2 10
Теперь рассчитаем авторский вклад пятого автора в согласии с порядком стимулирования, когда сначала происходит деление на число аффилиаций, а затем на число авторов внутри аффилиации. Аффилиации две; следовательно, доля каж-
1
дой аффилиации равна ^ . С аффилиацией B связан только рассматриваемый пятый автор; следовательно, полученная дробь далее уже ни на что не делится. И, в соответствии с указанным порядком стимулирования, автор получает в организации B половину от суммы стимулирующей выплаты, а не одну десятую ее часть.
Однако логичнее было бы считать, что рассматриваемая публикация имеет гораздо большее отношение к организации A: ее доля — девять десятых, если прибегать к наиболее естественным оценкам. И только на одну десятую статья имеет отношение к организации B (благодаря ее пятому автору).
Пример расчета публикационных показателей организации
В качестве примера рассмотрим вычисление публикационных показателей одного из реальных университетов. Речь будет идти не о полном наборе публикаций вуза: для расчетов возьмем статьи, аффилированные с этой организацией в базах данных Scopus и WoS, за 2016, 2017 и 2018 гг. Заметим, что на момент проведения исследований выгрузка данных за 2018 г. в указанные наукометрические базы еще в полной мере не прошла. То есть для вычисления публикационных показателей рассматриваемого университета взяты только те работы, сведения о которых были выгружены в базы на момент проведения расчетов. Однако этого достаточно, чтобы проиллюстрировать, как влияет учет соавторства и неединственнсти аффилиации на публикационные показатели организации.
В таблице 1 представлены данные для рассматриваемого университета по статьям за указанные годы, проиндексированным в Scopus и WoS, рассчитанные тремя способами:
1) как обычно, то есть без учета соавторства и неединственности аффилиации;
2) с делением каждой отдельной статьи на число аффилиаций без учета соавторства (в соответствии с описанным выше порядком премирования, практикующимся, в том числе, и в рассматриваемом университете);
3) в соответствии с предложенной в данной статье методикой, когда происходит деление каждой статьи на число авторов, затем на число аффилиаций каждого автора, с последующим сложением таких дробных долей для всех случаев аффилированности авторов с данной организацией.
Таблица 1
2016 2017 2018
Без деления 22 45 48
Деление на количество аффилиаций 13,37 24,95 24,59
В соответствии с авторским вкладом 14,10 25,24 23,87
Показатели, рассчитанные способами 2) и 3), вычислены с точностью до двух знаков за запятой, которая представляется вполне достаточной. Перед тем как анализировать эту таблицу, сделаем некоторые пояснения.
В 2016 и 2017 гг. среди российских университетов, лидирующих или претендующих на лидерство по учебным и научным показателям, распределялся статус «Опорного университета» [Приказ Министерства образования и науки РФ от 17 февраля 2017 г. № 161; Положение о порядке проведения конкурсного отбора образовательных организаций высшего образования]. Если статус «Федеральный университет» означает, в полном соответствии с названием, представительство на уровне всей страны, то статус «Опорный университет» подразумевает фундаментальную значимость вуза на региональном уровне. Последний конкурс на присвоение статуса опорного университета проводился в феврале-марте 2017 г. Предполагалось, что следующий этап конкурса пройдет осенью 2018 г.1 Но, по всей видимости, по каким-то организационным причинам этот этап не состоялся. В то же время нет никаких указаний на окончание проекта «Опорный университет» при новом Министерстве науки и высшего образования. И рассматриваемый вуз с 2016 г. претендовал и претендует на статус опорного в своем регионе (ни название вуза, ни регион не разглашаются). Даже в случае прекращения проекта «Опорный университет» рассматриваемый вуз, несомненно, не откажется от участия в других конкурсах, распределяющих существенное государственное финансирование.
Одним из ключевых показателей научных достижений вуза является количество его публикаций, проиндексированных в базах данных Scopus и WoS. Конечно, руководство рассматриваемого вуза приняло различные меры для увеличения этого показателя. Поэтому динамика именно количества статей в Scopus и WoS, аффилированных с этим университетом, представляет наибольший интерес для исследований данной статьи.
Приведенные в таблице относительно скромные показатели рассматриваемого университета (даже без деления на соавторов и все аффилиации), на самом деле, не противоречат его возможной «опорности»: опорный вуз предполагалось создать на базе этого университета, но с присоединением двух других вузов. Однако публи-
1 Осенью 2018 г. пройдет третий этап конкурса по созданию опорных университетов (Васильева). URL: http://www.edu.ru/news/education/osenyu-2018-goda-proydet-tretiy-etap-konkursa-po-s/
кационные показатели университет должен был поднимать до планировавшегося объединения, что, собственно, и происходило: это явно прослеживается по первой строке таблицы 1. Другие строки таблицы 1 раскрывают подробности и детали повышения публикационных показателей.
Публикационные показатели рассматриваемого университета, рассчитанные по методике, предложенной в данной статье, приведены в последней, то есть в третьей строке таблицы 1. Эти показатели вполне обоснованно можно назвать реальными. Данные же первой строки будем называть мнимыми (заметим, что именно мнимые показатели фигурируют в наукометрических базах и различных отчетах). Небезынтересно проследить динамику соотношения между реальными показателями и мнимыми.
Если мнимые показатели для каждого конкретного года принять за 100 %, то можно легко рассчитать, сколько процентов составляют реальные показатели от мнимых; остальную часть, выраженную в процентах, уместно назвать долей преувеличения. Доля преувеличения для 2016, 2017 и 2018 гг. составляет, соответственно, 35,9 %, 43,9 % и 50,3 %. То есть публикационные показатели вуза растут, но и доля преувеличения тоже растет. Можно не сомневаться, что полная выгрузка в базу данных Scopus и WoS несколько увеличит публикационные показатели этого вуза, в том числе и реальные. Однако также не вызывает сомнения, что это существенно не исказит пропорции за 2018 г. между реальными показателями и мнимыми, то есть заметно не изменит долю преувеличения.
Таким образом, можно констатировать факт, что в статьях, проиндексированных в Scopus, WoS и аффилированных с данным университетом, возрастает доля авторского вклада совместителей и соавторов, вообще не работающих в вузе. Последние данные показывают, что доля таких авторов в мнимых показателях вуза уже превысила 50 %.
Небезынтересно также сопоставить данные третьей и второй строки таблицы 1. По данным 2016 и 2017 гг. вуз только выигрывал при переходе от простого деления на число аффилиаций к реальным показателям, точно учитывающим соавторский вклад при разных аффилиациях. В 2018 г. рассматриваемый университет от такого перехода уже проигрывает, что, конечно, связано с отмеченным выше обстоятельством: в статьях, аффилированных с вузом, соавторский вклад, не имеющий отношения к данному вузу, стал выше авторского вклада сотрудников этого университета.
Здесь в качестве иллюстрации уместно воспользоваться понятием фазового перехода из физики. Например, при обычном атмосферном давлении нагревание льда сначала сопровождается просто количественными изменениями: увеличением его температуры. Но затем, при температуре 0°С, происходит уже не просто количественное, а качественное изменение состояния вещества: лед начинает плавиться. Когда вся масса льда расплавится, то есть весь лед превратится в воду, вещество переходит в качественно новое состояние с принципиально новыми физическими свойствами. Дальнейший нагрев опять является просто количественным изменением температуры (до следующего фазового перехода — кипения).
Произошедшее изменение в структуре публикационных показателей исследуемого университета (превалирование доли сторонних организаций), по всей видимости, можно воспринимать как некий фазовый переход: характер научно-исследовательской деятельности вуза претерпел не просто количественные, а принципиальные, качественные изменения.
Заключение
Предложенная в данной статье методика расчета публикационных показателей для организаций в целом призвана если не полностью устранить разность между формальными показателями организаций и их реальным вкладом в науку, то существенно эту разность уменьшить. Что касается расчета публикационных показателей сотрудников в рамках работы в конкретной организации, то, несомненно, использование предложенной в данной статье методики должно быть сопряжено с разумными, а не чрезмерными требованиями к публикационной активности: должны использоваться средние значения публикуемости по конкретным и собирательным отраслям науки [Марвин, 2016]. Причем, очевидно, это должно сопровождаться корректировкой на долю занимаемой ставки, а также на характер работы (преподавательская ли должность замещается или научно-исследовательская).
И следует заметить: несмотря на то что у отдельных авторов, замещающих должности в двух и большем числе организаций, при использовании предложенной методики возникли бы некоторые трудности с отчетностью (причем вполне обоснованные), многие преподаватели и научные работники показали бы вполне достойные результаты по своим публикационным показателям, даже с корректировкой на неединственность аффилиации. При этом были бы исключены любые упреки в их адрес, была бы показана необоснованность, несостоятельность любой критики их двойной аффилированности.
Литература и источники
Крушельницкий А. Г. Аффилиации в статьях. Купим недорого // Троицкий вариант — Наука. Рубрика: Бытие науки. 2014. № 153. 6 мая. С. 9.
Марвин С. В. Альтернативная дробная модификация индекса Хирша, учитывающая количество авторов цитируемых статей // Управление большими системами. 2015. Вып. 56. С. 108-122.
Марвин С. В. Нормированный показатель публикационной активности, учитывающий количество соавторов научных публикаций // Социология науки и технологий. 2016. T. 7. № 4. С. 116-131.
Михайлов О. В. Размышление об оценке научной деятельности // Управление большими системами. 2013. Вып. 44. С. 144-160.
Михайлов О. В. О возможной модификации индексов Хирша и Эгга с учетом соавторства // Социология науки и технологий. 2014. Т. 5. № 3. С. 48-56.
О проведении конкурсного отбора федеральных государственных образовательных организаций высшего образования на финансовое обеспечение программ развития федеральных государственных образовательных организаций высшего образования за счет средств федерального бюджета в 2017-2019 годах: Приказ Министерства образования и науки РФ от 17 февраля 2017 года № 161. URL: http://docs.cntd.ru/document/456066227 (дата обращения: 07.01.2019).
Орлов Ю. Н. Неученые ученые советы? // Троицкий вариант — Наука. Рубрика: Бытие науки. 2017. № 244. 19 декабря. С. 14.
Осенью 2018 года пройдет третий этап конкурса по созданию опорных университетов (Васильева). URL: http://www.edu.ru/news/education/osenyu-2018-goda-proydet-tretiy-etap-konkursa-po-s/ (дата обращения: 04.01.2019).
Положение о порядке проведения конкурсного отбора образовательных организаций высшего образования на финансовое обеспечение программ развития федеральных государственных образовательных организаций высшего образования за счет средств федерального бюджета: утверждено 17 февраля 2017 года. URL: Шр://опорныйуниверситет.рф/ Polozhenie2017 (дата обращения: 05.01.2019).
Садовский М. В. Время политкорректности закончилось. О науке в современной России. М.; Ижевск: ИКИ, 2018. 248 с.
Цыганов А. В. Краткое описание наукометрических показателей, основанных на цитиру-емости // Управление большими системами. 2013. Вып. 44. С. 248—261.
Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Управление большими системами. 2013. Вып. 44. С. 262—278.
Экономов И. Быть в топе // Троицкий вариант — Наука. Рубрика: Авторские колонки. 2015. № 183. 14 июля. С. 15.
Indicators of Publication Activity of Organizations, taking into Account the Co-Authorship and Non-Uniqueness of Affiliation
Sergey v. Marvin
Institute of Radioelectronics and Information Technologies — RtF, the Ural Federal University named after the First President of Russia B. N. Yeltsin, Yekaterinburg,
Russia;
Technical University UMMC, Verkhnyaya Pyshma, Russia e-mail: s. v.marvin@yandex.ru
A method for calculation the rating of publication activity of educational and scientific organizations, taking into account the phenomenon of co-authorship in articles, possible affiliation of different coauthors of the same article with different organizations, as well as possible affiliation of the same author with two or more organizations, is proposed. The proposed method of calculation of the rating of publication activity of organizations is directly related to the previously proposed methods for calculation the index of publication activity of individual scientists, when was taken into account the co-authorship in publications. The author analyzes the example, showing, how the accounting of the phenomenon of co-authorship and the phenomenon of non-uniqueness of affiliation in single articles, included by the organization in its reports, influence the rating of publication activity of educational and scientific organizations.
Keywords: scientometrics, co-authorship, publication activity, affiliation, bibliographic database
References
Ekonomov, I. (2015). Byt' v tope [Be in the top], Troitskiy variant — Nayka. Rubrica: Av^rs^e kolonki, no 183, 14 July, p. 15 (in Russian).
Krushel'nitskiy, A.G. (2014). Affiliatsii v stat'yakh. Kupim nedorogo [Affiliations in articles. We buy inexpensive], Troits^variant — Nauka. Rubrika:Bytiyenauki, no 153, 6 May, pp. 9 (in Russian).
Marvin, S.V. (2015). Al'ternativnaya drobnaya modifikatsiya indeksa Khirsha, uchityvayushcha-ya kolichestvo avtorov tsitiruyemykh statey [Alternative fractional modification of hirsch index to care for authors' count in article cited], Upravleniye bol'shimisistemami, no 56, pp. 108—122 (in Russian).
Marvin, S.V. (2016). Normirovannyy pokazatel' publikatsionnoy aktivnosti, uchityvayushchiy kolichestvo soavtorov nauchnykh publikatsiy [Normalized index of publication activity, taking into
account the amount of co-authors of a scientific publication], Sotsiologiya nauki i tekhnologiy, vol. 7, no 4, pp. 116-131 (in Russian).
Mikhaylov, O.V. (2013). Razmyshleniya ob otsenke nauchnoy deyatel'nosti [Reflections on scientific activity evaluation], Upravleniyebol'shimisistemami, no 44, pp. 144-160 (in Russian).
Mikhaylov, O.V. (2014). O vozmozhnoy modifikatsii indeksov Khirsha i Egga s uchetom soav-torstva [About of possible modification of Hirsch's and Egg's indexes taking into account the co-authorship], Sotsiologiya nauki i tekhnologiy, vol. 5, no 3, pp. 48-56 (in Russian).
O provedenii konkursnogo otbora federal'nykh gosudarstvennykh obrazovatel'nykh organizatsiy vysshego obrazovaniya na finansovoe obespechenie programm razvitiya federal'nykh gosudarstvennykh obrazovatel'nykh organizatsiy vysshego obrazovaniya za schet sredstv federal'nogo byudzheta v 2017-2019 godakh: Prikaz Ministerstva obrazovaniya i nauki RF ot 17 fevralya 2017 goda № 161 [About the competitive selection of federal state educational organizations of higher education for the financial support of development programs of federal state educational organizations of higher education from the fund of federal budget in 2017-2019 years: Order of the Ministry of Education and Science of the Russian Federation of 17 February 2017 year № 161]. Available at: http://docs.cntd.ru/ document/456066227 (date accessed: 07.01.2019) (in Russian).
Orlov, Yu.N. (2017). Neuchenye uchenye sovety? [Unscientific academic council?] // Troitskiy variant — Nauka. Rubrika: Bytiye nauki, no 244, 19 dekabrya, pp. 14 (in Russian).
Osen'yu 2018 goda proydet tretiy etap konkursa po sozdaniyu opornykh universitetov (Vasil'eva) [In the autumn of 2018 the third stage of the competition for the creation of supporting universties will be held (Vasilieva)]. Available at: http://www.edu.ru/news/education/osenyu-2018-goda-proydet-tretiy-etap-konkursa-po-s (date accessed: 04.01.2019) (in Russian).
Polozhenie o poryadke provedeniya konkursnogo otbora obrazovatel'nykh organizatsiy vysshego obrazovaniya na finansovoye obespecheniye programm razvitiya federal'nykh gosudarstvennykh obrazovatel'nykh organizatsiy vysshego obrazovaniya za schet sredstv federal'nogo byudzheta: utverzhdeno 17 fevralya 2017 goda [Regulations on the procedure of competitive selection of educational organization of higher education for financial support of development programs of federal state educational organization of higher education from the fund of the federal budget: approved February 17, 2017]. Available at: http://onopHHHyHHBepcHTeT.p$/Polozhenie2017 (date accessed: 05.01.2019) (in Russian).
Sadovskiy, M.V. (2018). Vremya politkorrektnosti zakonchilos'. O nauke v sovremennoy Rossii [The time for political correctness is over. About science in modern Russia]. Moskva; Izhevsk: IKI, 248 p. (in Russian).
Shtovba, S.D., Shtovba, Ye.V. (2013). Obzor naukometricheskikh pokazateley dlya otsenki pub-likatsionnoy deyatel'nosti uchenogo [A survey on scientometric indicators for assessment of researcher's publication activity], Upravleniye bol'shimi sistemami, no 44, pp. 262-278 (in Russian).
Tsyganov, A.V. (2013). Kratkoye opisaniye naukometricheskikh pokazateley, osnovannykh na tsitiruyemosti [Brief rewiev of main scientometric indices based on citations], Upravleniye bol'shimi sistemami, no 44, pp. 248-261 (in Russian).
