CC BY
12
ДИСКУССИОННАЯ ПЛОЩАДКА
DOI: 10.15838/esc.2018.2.56.3 УДК 330:341, ББК 72
© Балацкий Е.В., Екимова Н.А.
Возможности консолидации рейтинговых продуктов
в Интернет-среде*
Евгений Всеволодович БАЛАЦКИЙ
Финансовый университет при Правительстве Российской Федерации Москва, Российская Федерация, 109456, 4-й Вешняковский пр., д. 4, к. 319 Центральный экономико-математический институт РАН Москва, 117418, Российская Федерация, Нахимовский пр., д. 47 E-mail: [email protected]
Наталья Александровна ЕКИМОВА
i Финансовый университет при Правительстве Российской Федерации к Москва, Российская Федерация, 109456, 4-й Вешняковский пр., д. 4, к. 319 E-mail: [email protected]
Аннотация. В статье раскрывается опыт проекта по консолидации рейтинговых продуктов в рамках единого портала с сопутствующими сервисами для пользователей. В частности, обозначена идеология созданной открытой Интернет-площадки, раскрыта ее структура и навигация, а также созданный специальный аналитический инструментарий. Особое значение уделяется разработанному и апробированному индексу доверия всем фигурирующим на сайте рейтингам, что позволяет подойти к одному из возможных решений проблемы верификации рейтингов. Отмечен факт уязвимости предложенного аналитического инструментария верификации к манипулированию, проявляющемуся в недружественных атаках пользователей на выборочные рейтинги с простановкой им заведомо заниженного балла доверия. Показана востребованность
* Статья подготовлена при финансовой поддержке Российского фонда фундаментальных исследований (проект №17-02-00524а). Авторы выражают искреннюю благодарность анонимному рецензенту за полезные замечания к статье.
Для цитирования: Балацкий Е.В., Екимова Н.А. Возможности консолидации рейтинговых продуктов в Интернет-среде // Экономические и социальные перемены: факты, тенденции, прогноз. 2018. Т 11. № 2. С. 37-51. DOI: 10.15838/esc.2018.2.56.3
For citation: Balatsky E.V., Ekimova N.A. Opportunities for the consolidation of rating products in the Internet environment. Economic and Social Changes: Facts, Trends, Forecast, 2018, vol. 11, no. 2, pp. 37-51. DOI: 10.15838/esc.2018.2.56.3
d
созданного портала, которая проявляется не только в посещаемости размещенного контента, но и в публичной реакции на различные рейтинги как частных лиц, так и организаций. Кроме того, раскрыт опыт использования академических рейтингов за ряд лет для установления нежелательных тенденций и возникающих угроз на рынке экономических исследований. Продемонстрирована попытка совмещения разных рейтингов для определения степени использования образовательного и научного потенциала регионов России. Проведенные видео-интервью позволили сформулировать десять принципов разработки и использования рейтингов: нейтральности (незаинтересованности разработчика в качестве участника); плюрализма (многообразия рейтингов); длительности периода составления; совершенствования методологии разработки; открытости объекта рейтингования и ранкера; селективности (необязательности) применения и т.д. Данные принципы позволяют поднять работу ранкеров на более высокий уровень. Намечены пути использования созданного портала для коммуникации ранкеров и экспертного сообщества, налаживания конструктивного диалога между ними и совершенствования рейтингового инструментария.
Ключевые слова: рейтинги, базы данных, моделирование, верификация.
Введение
Наверное, не будет преувеличением сказать, что XXI век — это век всевозможных рейтингов. Сегодня рейтингуется абсолютно все: страны, компании, университеты, журналы, губернаторы, спортсмены и т.д. Такое положение дел является следствием колоссального усложнения социально-экономической жизни человечества и роста продуктового многообразия, когда обычный человек уже не в состоянии ориентироваться в этой гигантской массе артефактов. Ему нужны подсказки — и он их получает посредством различных рейтингов.
Однако стремительный рост потока рейтинговой информации, в свою очередь, вызывает серьезную озабоченность в связи с растущей сложностью в ее отборе и обработке. Например, существует достаточно много глобальных рейтингов университетов, среди которых даже в качестве общепризнанных можно выделить как минимум шесть: Academic Ranking of World Universities (ARWU), The Times Higher Education (THE), QS University Rankings, Webometrics, Performance Ranking of Scientific Papers for World Universities (PRSP), Center for World University Rankings (CWUR). Поскольку представленная в них информация имеет достаточно противоречивый характер, возникают большие споры и разногласия как в научной, так и в социальной среде. Нарекания вызывают не только полученные результаты, но и используемые методологии, источники данных и их сопоставимость с другими рейтинговыми продуктами.
В связи с вышесказанным практическая работа по составлению рейтингов привела к возникновению самостоятельного направления в экономической науке, которое активно набирает обороты. Например, Ф.Бэти (Ph.Baty) изучает корректность выборки, используемой ранке-рами [1]; Д.Джоббинс (D.Jobbins) исследует так называемые «рейтинговые войны» между ран-керами [2]. Л.Борганс (L.Borghans) и Ф.Кёрверс (F.Corvers) препарируют феномен «американизации» европейского образования под воздействием рейтингов [3]. В работах Ф. Ван Парийс (Ph.Van Parijs) рассматриваются правомерность весовых коэффициентов в рейтинговых системах и «смысловые» приложения рейтингов [4]. Д.Смит (D.Smith) изучает общественное мнение по вопросам информированности и доверия населения существующим рейтингам [5]. Исследования И.Ф.Агильо (I.F.Aguillo) и его соавторов, а также С.Ван де Валле (S.Van de Walle) и Р.Ван Дельфт (R. Van Delft) определяют согласованность разных рейтингов [6; 7]. Интересные аспекты проблемы манипулирования рейтингами были вскрыты М.Скалли (M.Scully) и К.Вотт (K.Watt) [1], а также Е.Гертлером (E.Gertler) и его коллегами [8]. Проблемы, связанные с использованием библиометри-ческих индексов, рассматриваются в работах Д.Арнольда (Arnold) и К.Фаулера (Fowler) [9]; А.Алвеса (A.D.Alves), О.Х.Анасе (H.H.Yanasse) и Н.Ё.Сома (N.Y.Soma) [10]; Б.Хаммарфельта (B.Hammarfelt) и А.Рашфорта (A.D.Rushforth) [11].
К исследованиям рейтингового движения активно подключаются и российские экономисты. Например, Е.Д.Свердлов, Ю.М.Арский, В.А.Маркусова и Н.Ф.Чумакова занимаются вопросами цитируемости [12; 13]. В работах С.С.Донецкой прослеживается приложение рейтингов университетов к проблеме оценки их конкурентоспособности [14]. Проведена большая исследовательская работа А.М.Карминским и А.А.Полозовым, направленная на изучение рейтингового движения, выявление его основных закономерностей и оценку рейтингов как особого вида экспертизы [15]. Проблемам ранжирования российских экономических журналов посвящены работы А.Муравьева, В.Пислякова, О.Третьяковой, А.Рубинштейна, Н.Буракова, О.Славинской, Ф.Алескерова и его коллег [16; 17; 18; 19; 20; 21] и др.
Представленное в статье исследование является шагом к упорядочиванию имеющейся информации относительно рейтингов. Для этого на сайте «Неэргодическая экономика» в 2016 году был создан специальный раздел «Рейтинги», который был призван стать открытым порталом по проблемам рейтингования. К настоящему моменту данный портал существует третий год1. Необходимо отметить, что практика создания информационно-аналитических баз данных рейтинговых продуктов в России уже имеется. В частности, существует определенное количество порталов, «собирающих» на своих страницах всевозможные рейтинги. Наиболее систематизированным и научно-структурированным аналитическим сайтом об основных направлениях и рынках гуманитарных знаний и технологий в России и за рубежом является Интернет-издание «Гуманитарные технологии»2.
Несмотря на наличие определенного опыта в консолидации рейтинговых продуктов, целый ряд аспектов этой работы пока слабо представлен в аналитической практике. Так, до сих пор не отмечено никаких попыток создания и интеграции серии академических рейтингов, потребность в которых остро ощущается в послед-
1 Данный проект был выполнен в 2016—2017 гг. при финансовой поддержке Российского фонда фундаментальных исследований (проект №16-02-12015).
2 Режим доступа: http://gtmarket.ru/
ние годы. Также отсутствует унифицированная оценка качества, достоверности и популярности рейтинговых продуктов. Данные пробелы нуждаются в заполнении.
Реакцией на указанную ситуацию стало создание в 2016 году информационно-аналитического портала «Рейтинги», особенность которого состоит: в специализации на рейтинговых продуктах различных явлений в сфере экономики; акценте на интеграции академических рейтингов; консолидации экспертного сообщества на единой информационной площадке посредством предоставления доступа к информации широкому кругу заинтересованных пользователей с возможностью комментирования и обсуждения предлагаемых рейтингов; использовании новых вспомогательных аналитических онлайн-инструментов для оценки уровня доверия конкретному рейтингу.
Цель данной статьи состоит в раскрытии опыта построения указанного рейтингового портала, возникших в ходе реализации проекта проблем, а также в определении перспектив указанного начинания для повышения уровня экспертной оценки существующих рейтинговых продуктов.
Идеология и структура рейтингового портала
Создание указанного портала преследовало несколько взаимосогласованных целей.
1. Создание открытого интерактивного контента информационно-аналитической базы рейтингов. Дело в том, что число рейтингов вообще и рейтингов, которые оценивают одно и то же явление, возрастает с большой скоростью. В России накопилось огромное число однотипных рейтинговых продуктов, которые достаточно разрозненно представлены в Интернет-сети. Это делает профессиональную работу с ними чрезвычайно трудоемкой. Таким образом, была поставлена задача создания автоматизированной системы сбора и обработки всего массива рейтинговых продуктов страны в форме открытой интерактивной информационной системы со свободным доступом к ней всех заинтересованных лиц.
Непосредственным итогом данной работы стал сформированный портал «Рейтинги»3, представляющий собой открытый архив рейтинговых продуктов различных явлений на раз-
3 Режим доступа: http://nonerg-econ.rU/cat/9/
ных уровнях (локальный, региональный, национальный, глобальный и др.).
2. Предметная структуризация рейтинговых продуктов. Для обеспечения более комфортной навигации пользователя на портале все рейтинги были классифицированы на пять групп: страновые, региональные, академические, образовательные и корпоративные. Хотя такая градация информационных материалов является несколько условной, она все же помогает быстрее ориентироваться в исходном массиве рейтингов. К 2018 г. на портале был размещен 31 рейтинговый продукт, каждый из которых аккумулировал результаты рейтинго-вания за несколько лет (с учетом ежегодной информации портал содержит порядка 90 рейтингов). Такой подход позволяет анализировать динамику рейтингов, а следовательно, и изменения, происходящие на соответствующих рынках.
Заметим, что загрузка рейтинговых продуктов на портал происходила исключительно разработчиком по простому правилу: ядро контента составляли эксклюзивные рейтинги самих разработчиков; ядро «своих» рейтингов постепенно расширялось за счет «чужих» продуктов в соответствии со структурой портала. При этом «чужие» рейтинги грузились по мере их обнаружения в Интернет-среде, предварительно проходя информационную обработку под унифицированный шаблон для всех рейтинговых продуктов. В числе организаций-разработчиков, чьи рейтинги были размещены на портале, фигурируют такие, как Финансовый университет при Правительстве РФ, Высшая школа экономики, Рейтинговое агентство «Эксперт РА», Новая экономическая ассоциация, Интернет-издание «Капитал страны», Интернет-портал Career.ru, Информационно-сервисный портал «Индикатор». Следует также отметить, что в силу отсутствия единого портала рейтингов сегодня не представляется возможным оценить размер не только всего Интернет-рынка данных продуктов, но и локальных (тематических) рынков, что в свою очередь не позволяет установить долю рынков, представленных на авторском портале.
3. Создание «паспорта» рейтингов. Стихийность рейтингового движения проявляется ещё и в том, что в информационном поле фигурируют, как правило, только конечные результаты
проведенного рейтингования, тогда как многие аспекты, связанные с разработчиками продукта и методологией его составления, остаются скрытыми от широкой публики. В связи с этим отличительной чертой созданного портала от его предшественников является специализация при максимально широком тематическом поле и наличие унифицированной структуры каждого рейтингового продукта, требующей дополнительной обработки всех представленных на сайте рейтингов. Так, каждый рейтинговый продукт снабжен шаблонной таблицей (собственно «паспорт»), которая включает: информацию о разработчике; дату создания и периодичности подготовки рейтинга; официальный источник информации (если рейтинг позаимствован с других порталов и информационных ресурсов); дополнительную информацию о рейтинговых исследованиях; описание методологии рейтингования; табличные данные с результатами ранжирования по годам. Такой подход соответствует общемировой традиции современной экономической науки — созданию именных научных продуктов. Тем самым каждый рейтинг имеет адресат разработчика, на котором лежит ответственность за возможные неточности в данных, нерегулярность их предоставления и т.д.
4. Наличие дополнительных интерактивных опций. Создание открытой информационно-аналитической базы данных рейтингов открывает возможность не только структурировать имеющуюся рейтинговую информацию, но и отображать мнение пользователей о содержащихся в ней рейтингах в форме семантической связи между профилем пользователя и соответствующей рейтинговой публикацией. Семантически структурированный контент позволяет получить комфортный доступ к содержащейся на сайте информации как незарегистрированным пользователям, так и зарегистрированным. Однако по сравнению с первыми зарегистрированные пользователи имеют ряд преимуществ, связанных с двумя предусмотренными на портале опциями. Первая предоставляет возможность оставлять свои комментарии, а также отправлять и получать личные сообщения от других зарегистрированных пользователей. Вторая опция позволяет пользователям оставлять свою оценку доверия тому или иному рейтингу. Для этого каждая таблица с рейтин-
говыми данными снабжена специальной анкетой в форме всплывающего сверху окна, позволяющей выбрать один из ответов на вопрос: «Насколько Вы доверяете этому рейтингу?» Предусмотренные четыре ответа максимально простые и носят качественный характер: полностью доверяю (Х4); скорее доверяю (Х3); скорее не доверяю (Х2); совсем не доверяю (Х1). Каждый пользователь может только один раз заполнить указанную анкету. В дальнейшем анкетная информация обрабатывается для вычисления индекса доверия (I) соответствующему рейтингу по следующей простой формуле:
1=(0хХ:+0,4ХХ2+0,6ХХ3+Х4)Х 100%,
где Хр Х2, Х3 и Х4 — варианты ответа, представляющие собой булеву переменную, т.е., например, Х1=1, если пользователь указал данный вариант ответа, или Х1=0, если пользователь указал какой-то иной вариант ответа.
Таким образом, каждому варианту ответа присваивается свой балл. Общий индекс доверия рейтинга складывается как усредненное значение всех оценок пользователей, участвовавших в голосовании. Наличие данной процедуры отражается в «паспорте» рейтинга в виде двух параметров — индекса доверия (в процентах) и числа респондентов (в чел.), участвовавших в формировании данного индекса доверия. Сам индекс доверия лежит в интервале от 0 до 100% и имеет прозрачную интерпретацию: если 1<50%, то рейтинг в целом попадает в зону низкого доверия; в противном случае он находится в зоне высокого доверия.
5. Серия специализированных видео-интервью. Одной из оригинальных опций проекта стала сформированная база видео-интервью авторитетных российских экспертов4, представляющая собой некий дайджест по проблемам составления и использования рейтингов. Специалисты, имеющие прямое отношение к составлению и использованию рейтингов, высказали нетривиальные комментарии относительно рейтингового движения как в России, так и в мире. Подбор интервьюируемых экспертов позволил системно осветить самые важные аспекты рейтингования, что само по себе имеет большое значение для правильной работы с рейтинговыми продуктами.
4 Режим доступа: http://nonerg-econ.ru/cat/21
Востребованность результатов проекта
Функционирование портала показало неоднозначность отношения широкой общественности к реализованному проекту. С одной стороны, статистика просмотров материалов портала недвусмысленно говорит о наличии определенной востребованности и заинтересованности в них широкой аудитории пользователей (табл. 1). Например, из списка топ-10 рейтингов портала видно, что потенциал востребованности рейтингов колеблется от нескольких тысяч до десятков тысяч читателей. Сильные колебания в просматриваемости материалов отчасти объясняются тем фактом, что информация о рейтинговых продуктах грузилась на сайт неравномерно — разница в сроке жизни некоторых материалов достигает 1,5—2,0 лет.
С другой стороны, зафиксированная посещаемость материалов явно не оправдала надежд разработчиков портала. По всей вероятности, для роста популярности сайта необходимы дополнительные меры по его «раскрутке» в Интернет-среде и социальных сетях. Эта работа специально не велась, что и послужило непосредственной причиной скромности статистики посещений портала. При должном администрировании портала, на наш взгляд, можно рассчитывать на привлечение внимания десятков и сотен тысяч пользователей и в этом смысле можно говорить о недоиспользовании возможностей проекта и о его незавершенности.
Вместе с тем востребованность портала не исчерпывается статистикой посещаемости, даже если она была бы весьма впечатляющей. Дело в том, что размещаемая на портале информация вызывает определенную реакцию участников рынка и тем самым свидетельствует об их интересе к проекту. Так, например, два рейтинга Финансового университета — Рейтинг академической активности и популярности экономистов России и Золотой рейтинг академической активности и популярности экономистов России, упорядочивают позиции отечественных экономистов в зависимости от их активности (публикуемости в академических изданиях) и популярности (цитируемости в академических изданиях). При этом второй рейтинг является уточнением первого с учетом существующих в информационной системе искажений и фактов манипулирования исходной информацией.
Таблица 1. Число просмотров топ-10 рейтингов на 11.02.2018
№ п/п Рейтинг Количество просмотров
1. Рейтинг академической активности и популярности экономистов России 16725
2. Рейтинг ведущих экономических журналов России 12035
3. «Золотой» рейтинг академической активности и популярности экономистов России 6117
4. Академический рейтинг высших экономических школ России 4611
5. «Олимпийский» образовательный рейтинг школ г. Москвы 3378
6. «Олимпийский» образовательный рейтинг регионов России 3226
7. Рейтинг информационной открытости региональных корпораций развития России 3053
8. Рейтинг академической активности регионов России (экономика) 3051
9. «Ядерный» рейтинг академической активности и популярности экономистов 2898
10. Образовательный рейтинг регионов России 2471
Источник: http://nonerg-econ.ru/cat/15/18/
Анализ Интернет-пространства показал рост популярности указанных рейтинговых продуктов, что проявляется прежде всего в растущем числе организаций, которые в СМИ акцентируют внимание на том, что их сотрудники вошли в указанные рейтинги. Более того, обращает на себя внимание наметившаяся интересная тенденция включения исследователями факта присутствия в указанных рейтингах в свою биографию. Тем самым можно говорить, что в среде экономистов-исследователей данные рейтинги получили определенное признание и используются в качестве своеобразного знака качества деятельности ученых. По состоянию на март 2017 года было зафиксировано 15 организаций, которые отреагировали на академические рейтинги портала. Среди них: Воронежский государственный университет; ИСЭРТ РАН [ныне - ВолНЦ РАН]; Ульяновская государственная сельскохозяйственная академия имени П.А. Столыпина; Волгоградский государственный университет; Башкирский государственный университет; Саратовский социально-экономический институт РЭУ им. Г.В. Плеханова; Тверской государственный университет; Дагестанский государственный университет; Санкт-Петербургский политехнический университет Петра Великого5 и др.
Еще один информационный продукт портала — Рейтинг информационной открытости региональных корпораций развития оказался также востребован рынком региональных кор-
5 Академические рейтинги Финансового университета повышают свою популярность // Неэргодическая экономика. 2016. 22 мая. Режим доступа: М1р://попе^-econ.ru/cat/13/315/.
пораций развития, которые незамедлительно отреагировали на его появление. Так, в адрес разработчиков поступило письмо от Тульской корпорации развития с просьбой о разъяснении полученной ими оценки и указанием на дополнительные источники информации о деятельности корпорации. Кроме того, от генерального директора ОАО «Корпорация развития Республики Башкортостан» в адрес разработчиков рейтинга поступило благодарственное письмо, в котором была отмечена значимость разработанного рейтинга и выражена готовность к дальнейшему сотрудничеству6. Разумеется, в региональных СМИ наиболее активно освещалась деятельность прежде всего корпораций, оказавшихся в лидерах нового рейтинга. Данные события региональными журналистами трактовались как успех местных бизнес-структур под патронатом государства. Одновременно с этим не остались без внимания и корпорации, разместившиеся в конце списка. Тем самым областные журналисты не оставили без внимания ни своих «героев», оказавшихся в начале рейтинга, ни тех, кто был менее успешен в процессе информирования общественности о своей деятельности. Все это свидетельствует о том, что указанный информационный продукт оказался востребован обществом. По состоянию на март 2017 года было зафиксировано девять региональных корпораций развития, в отношении которых появились новости и ком-
6 Сотрудники Финансового университета составили рейтинг информационной открытости региональных корпораций развития// Неэргодическая экономика. 2016. 20 мая. Режим доступа: http://nonerg-econ.ru/ са^13/314/.
ментарии СМИ о результатах их деятельности. Среди них: Корпорация развития Республики Башкортостан; Корпорация развития Омской области; Корпорация развития Республики Карелия; Корпорация развития Смоленской области; Корпорация развития Калининградской области; Корпорация развития Вологодской области; Корпорация развития Тульской области; Корпорация развития Мурманской области; Корпорация развития Владимирской области7.
Аналитические возможности портала
Еще одним направлением востребованности материалов портала стала аналитическая работа на их основе. В частности, на базе трех волн Рейтинга академической активности регионов (экономика) за 2013—2015 гг. были определены настораживающие тенденции и скрытые угрозы на рынке экономических исследований. Проведенный анализ позволил сделать вывод о том, что три составляющие указанного рейтинга — рынок экономистов, экономических журналов и высших экономических школ — подвержены тотальной концентрации. Все большее число регионов исключается из конкурентных процессов на общероссийском рынке научных исследований. Практически все субъекты экономической науки группируются на ограниченном пространственном участке, тогда как остальные регионы остаются без перспектив дальнейшего развития. Так, было установлено, что только 8—9 «активных» регионов образуют передовое региональное ядро научного пространства России; именно в этих субъектах федерации сосредоточены лучшие экономические журналы страны и, следовательно, именно в них стекается вся самая ценная информация в области экономической науки [22]. Таким образом, рейтинговые продукты, взятые в динамике, позволяют осуществлять диагностику актуальных экономических проблем.
Аналогичный анализ динамики Рейтинга ведущих экономических журналов России за 2013—2015 гг. позволил выявить ядро изданий, которые устойчиво удерживали передовые позиции. Кроме того, удалось установить связь между научным уровнем и репутацией журна-
7 Новый рейтинг сотрудников Финансового университета получил широкий резонанс региональных СМИ // Неэргодическая экономика. 2016. 22 мая. Режим доступа: http://nonerg-econ.ru/cat/13/316/.
лов, дать экономическую интерпретацию выявленной связи и привести иллюстрирующие ее примеры; рассмотрено важное различие между понятиями репутации журнала и желанием печататься в нем. Помимо этого, проведенный анализ позволил построить типологию ошибок, препятствующих успеху экономических журналов, раскрыть их сущность и значение на конкретных примерах. Среди типичных ошибок были рассмотрены: неудачное название журналов; игнорирование академической эстетики; невыполнение критерия общероссийского издания; недостатки контент-политики; провалы в рецензировании и т.п. [23]. Таким образом, в данном случае динамика рейтинговых данных позволила сформулировать предложения по развитию рынка экономических журналов и помочь многим из них в позитивной корректировке стратегии развития.
Своеобразный анализ был проведен благодаря содержательному сопряжению двух рейтинговых продуктов — Рейтинга академической активности регионов (экономика) и Образовательного рейтинга регионов России. Для этого, в частности, была проведена оценка сопряжения академической результативности регионов в области экономической науки и имеющегося у них образовательного потенциала. Расчеты показали, что лишь 12% регионов страны генерируют научные результаты, соответствующие их научно-образовательному потенциалу. При этом ядро эффективных регионов постепенно сжимается, тогда как научно-образовательная периферия расширяется [24]. Тем самым образовательный потенциал многих регионов работает вхолостую, что требует корректировки действующей в стране научно-образовательной стратегии развития регионов.
Активную дискуссию в научной среде вызывает вопрос о методологиях составления рейтингов, в частности, правомерность использования стандартных показателей РИНЦ, а также сопоставимость полученных результатов. Сконцентрированные на одном сайте рейтинги облегчают работу в данном направлении, давая исследователям возможность анализировать и их динамику, и согласованность результатов в зависимости от методологии их построения. Например, в работе исследователей из Белгородского государственного университета проведен анализ двух рейтинговых продуктов, раз-
мещенных на сайте, — Рейтинга академической активности и популярности экономистов России и Золотого рейтинга академической активности и популярности экономистов [25]. Показана их плохая согласованность и сделан вывод о том, что расчет рейтингов ученых на основе стандартных показателей РИНЦ без их привязки к журнальным публикациям является ошибочным, так как не позволяет отфильтровать цитирования учебников и монографий, диссертаций и их авторефератов. Справедливости ради, следует отметить, что расхождения в результатах анализируемых рейтингов как раз и обусловлены попыткой разработчиков провести подобного рода фильтрацию. Тем не менее выводы, полученные авторами, натолкнули их на идею создания собственной методики IF-coring Rule, учитывающей журнальные цитирования и импакт-фактор журналов и позволяющей идентифицировать значительные погрешности в статистике РИНЦ по отдельным авторским профилям [26].
Более мощную и результативную дискуссионную волну в среде экспертного сообщества породило рейтинговое движение по оценке ведущих экономических журналов России. На текущий момент можно констатировать наличие пяти наиболее значимых рейтингов российских экономических журналов: рейтинга А.Муравьева, основанного на наукометрических показателях системы РИНЦ [16]; И.Стерлигова, использующего экспертные оценки [27]; гибридного рейтинга Е.Балацкого и Н.Екимовой8; «кластерного» рейтинга А.Рубинштейна, в основе которого лежат данные экспертного опроса [28]; рейтинга журналов экономических институтов РАН О.Третьяковой, построенного по показателям РИНЦ [18]. Наличие альтернативных рейтингов не осталось незамеченным и способствовало появлению работ по их сравнительному анализу [29], их возможному агрегированию [30] и построению консенсусных рейтингов9.
Таким образом, сосредоточение на едином портале рейтинговых продуктов призвано облегчить аналитическую работу исследователей по поиску и обработке имеющейся информации. Однако недоиспользование потенциала
8 Режим доступа: http://nonerg-econ.ru/cat/18/8/
9 Режим доступа: http://nonerg-econ.ru/cat/18/281/
сайта, о котором было сказано выше, ставит на повестку дня вопрос о массовом привлечении аналитиков к возможностям данного портала.
Опыт верификации рейтинговых продуктов
Несмотря на колоссальное распространение рейтингового движения, никаких признанных методов верификации рейтингов не существует. Фактически сегодня каждый ранкер самостоятельно разрабатывает методы проверки своих рейтингов, чтобы убедиться в их работоспособности. В подавляющем большинстве случаев придумываемые таким образом методы верификации являются чрезвычайно специфичными и не могут быть распространены на другие рейтинговые продукты. Вместе с тем проблема верификации рейтингов стоит на повестке дня и требует своего решения. Особенно отчетливо данная проблема проявляется при наличии альтернативных рейтингов, каждый из которых претендует на правильное отражение действительности, но при этом все они дают сильно различающиеся между собой результаты.
В рамках созданного консолидированного рейтингового портала также имеются конкурирующие рейтинги. В частности, рынок научных экономических журналов страны представлен пятью альтернативными рейтинговыми продуктами, о которых мы уже упоминали выше: Рейтинг журналов по экономике и смежным дисциплинам (рейтинг А.А.Муравьева), Рейтинг российских научных журналов ВШЭ (Экономика) (рейтинг И.А.Стерлигова), «Кластерный» рейтинг российских экономических журналов (рейтинг А.Я.Рубинштейна), Рейтинг ведущих экономических журналов России (рейтинг Балацкого—Екимовой) и объединенный Консенсусный рейтинг ведущих академических журналов России. В отношении названных рейтингов вполне правомерно поставить метанаучную проблему оценки их адекватности и выбора среди них наиболее приемлемого и достоверного.
Как указывалось ранее, для решения поставленной задачи на портале была предусмотрена опция по вычислению индекса доверия. Теоретически рейтинг, получивший наиболее высокое значение этого индекса, мог бы претендовать на «самый лучший», который пользуется наибольшим уважением пользователей. Разумеется, такой подход представляет собой лишь один из возможных методов верифика-
ции рейтингов, но в отсутствие иных методов его значение возрастает и он позволяет на экспертном уровне решать проблему оценки рейтинговых продуктов. Однако эксперимент по его практической реализации дал в целом отрицательный результат, показав неготовность российского общества к адекватному восприятию нового аналитического инструмента. Рассмотрим этот вопрос более подробно.
Наблюдение за пятью конкурирующими рейтингами журналов (табл. 2) показало следующее. По академическим рейтингам журналов и экономистов, разработчиком которых являлся Финансовый университет при Правительстве РФ, среднее количество респондентов до ноября 2017 года не превышало 100 человек. При этом индексы доверия находились в районе 70,0%. Однако в последующий период отмечается резкое возрастание числа опрошенных с существенным занижением рассчитываемого индекса доверия. При этом аналитические характеристики сайта фиксируют практически одновременный заход и голосование более 100 респондентов. Такой статистический «выброс» позволяет предположить проведение целенаправленной недружественной акции в адрес конкретных рейтинговых продуктов путем манипулирования оценками индекса доверия.
Отсутствие объективности и логики в зафиксированных оценках может быть продемонстрировано следующим образом. Дело в том, что Консенсусный рейтинг ведущих экономических журналов России представляет собой усреднение четырех конкурирующих оригинальных рейтинговых продуктов, три из которых получили оценку доверия от 62 до 86% (см. табл. 2). Это означает, что Консенсусный рейтинг журналов на % представляет собой рейтинги, имеющие достаточно высокую степень
доверия, и, следовательно, его индекс доверия, согласно нашим расчетам, должен был бы находиться, по крайней мере, в районе 58,5%, тогда как фактически оказался на уровне 7,5%. Такое занижение доверия интегральному рейтингу можно объяснить только его аффилиацией с разработчиками Рейтинга ведущих экономических журналов России, которые и подверглись искусственной акции ангажированного голосования.
Таким образом, сегодня экспертное сообщество экономистов России не обладает необходимой объективностью и толерантностью, что и порождает спонтанные импульсы к манипулированию данными портала путем организации ярко выраженных «вспышек» повышенной активности респондентов. Напомним, что манипулирование индивидуальными данными базы РИНЦ приняло масштабы эпидемии [31, 32]. Причем ситуация год от года ухудшается. Так, индекс академической этики в России в 2016 г. составил 69,6%, а в 2017 г. - 64,9%. По городам страны, за исключением Москвы и Санкт-Петербурга, данный индекс в указанные годы составил 55,7 и 52,0% соответственно10. Проведенный эксперимент на консолидированном рейтинговом портале показал, что наукометрическое манипулирование по аналогии с РЯ-акциями может быть «белым», направленным на улучшение собственного имиджа, и «черным», направленным на подрыв недружественных субъектов — индивидуумов и организаций.
Вместе с тем было бы неверным отрицать новый аналитический подход, основанный на расчете индекса доверия. Так, если не учитывать рейтинговые продукты, в отношении индексов доверия которых наблюдались элементы манипулирования, то средний индекс доверия
Таблица 2. Параметры верификации рейтингов экономических журналов
№ п/п Рейтинговый продукт Число респондентов, ед. Индекс доверия, %
1. Рейтинг ведущих экономических журналов России 256 5,6
2. Консенсусный рейтинг ведущих экономических журналов России 99 7,5
3. Рейтинг журналов по экономике и смежным дисциплинам 88 86,6
4. Рейтинг российских научных журналов ВШЭ (Экономика) 61 79,9
5. «Кластерный» рейтинг российских экономических журналов 30 62,0
10 Финансовый университет презентовал в ЦЭМИ РАН три волны академических рейтингов // Неэргодическая экономика. 2017. 4 апр. Режим доступа: http://nonerg-econ.ru/cat/13/321/.
по остальным рейтингам составил 64,6%. Такая цифра позволяет сделать вывод, что настроение общества склоняется в сторону доверия размещенным на информационном портале рейтинговым продуктам. Иными словами, при нейтрализации действий по манипулированию можно рассчитывать на то, что существующие рейтинги могут стать рабочим аналитическим материалом для многих заинтересованных лиц.
Отношение экспертного сообщества к рейтинговому движению
База видео-интервью российских экспертов на портале была сконструирована исходя из того, чтобы подбор опрашиваемых специалистов позволил охватить основных участников процесса составления и использования академических рейтингов. В этих целях были взяты комментарии у академиков Российской академии наук В.М.Полтеровича (заведующий лабораторией математической экономики Центрального экономико-математического института РАН, заместитель директора Московской школы экономики (МШЭ) Московского государственного университета им. М.В.Ломоносова) и Н.И.Ивановой (первый заместитель Института мировой экономики и международных отношений имени Е.М.Примакова РАН). Мнение академического сообщества дополнили интервью Е.Б.Ленчук (директор Института экономики РАН) и А.Я.Рубинштейна (главный редактор «Журнала Новой экономической ассоциации», руководитель научного направления «Теоретическая экономика» ИЭ РАН). Университетское сообщество представили И.А.Бронников (заместитель декана по учебной работе факультета политологии МГУ), С.Н.Сильвестров (директор Института экономической политики и проблем экономической безопасности Финансового университета — ФУ при Правительстве Российской Федерации) и С.А.Толкачёв (первый заместитель директора Департамента экономической теории ФУ); представителем от частных вузов выступил А.В.Савватеев (ректор Университета Дмитрия Пожарского). От лица студентов свое мнение высказала А.Гаганова (факультет журналистики МГУ). От лица представителей издательского сообщества выступила О.В.Третьякова (заведующий отделом редакционной-издательской деятельности
и научно-информационного обеспечения Вологодского научного центра РАН, заместитель главного редактора журнала «Экономические и социальные перемены: факты, тенденции, прогноз»). Весь этот спектр мнений был дополнен представителем сообщества ранкеров — Д.В.Петросянцем (эксперт исследовательской группы «Национальный рейтинг университетов» Информационной группы «Интерфакс»). Не был проигнорирован и отечественный бизнес, от лица которого выступил Е.А.Гаганов (директор по развитию бизнеса АО «Италион»).
Уникальность реализованного проекта состоит в том, что каждый из опрошенных специалистов отметил такую сторону процесса рейтингования, которая далеко не очевидна на первый взгляд. При этом некоторые высказывания экспертов носили предельно категоричный и радикальный характер, что позволило «выпятить» имеющиеся в данной сфере проблемы. Ниже рассмотрим основные тезисы, которые были высказаны экспертами в своих интервью.
1. В условиях современной крайне нестабильной среды и всей системы взаимоотношений участников рынка наличие рейтингов необходимо, так как они позволяют зафиксировать ситуацию, оценить ее и понять происходящие изменения (С.Н.Сильвестров). Более того, многие эксперты поддержали идею создания единого рейтингового портала и высказались за его дальнейшее поддержание и развитие (И.А.Бронников).
2. Для исследовательских целей рейтинги нужны и весьма полезны, но использовать их следует не в качестве основного источника информации, а, скорее, как некий вспомогательный статистический массив, позволяющий систематизировать и структурировать анализируемую предметную область и обозначать некие ориентиры (Е.Б.Ленчук). Переоценка рейтингов и их значения чрезвычайно опасна и контрпродуктивна. Здесь вполне правомерен афоризм Д.В.Петросянца: «Рейтинг — ложь, но в нем намек...» Рейтинг не является истиной в последней инстанции, но в нем всегда есть важная информация об объекте оценивания. Иными словами, правильное отношение к рейтингам является залогом их эффективного использования. Например, рейтинги журналов
интересны академическим работникам, которые в них публикуются, но в не меньшей степени они нужны и самим издателям журналов, которые в рейтингах могут увидеть свое место на рынке и подсказки в отношении того, как им следует корректировать свою стратегию развития (О.В.Третьякова).
3. Так как на рейтинги влияют многие привходящие обстоятельства, то они часто бывают однобокими и их следует очень осторожно использовать для построения систем финансового стимулирования (и санкций!) (Е.Б.Ленчук). Стимулы и санкции запускают так называемый закон Гудхарта с присущими ему механизмами манипулирования информацией и искажения истинной картины положения вещей. Например, попытки оценивать исследователей и научные организации только на основе библио-метрической информации дают отрицательные результаты. Данный тезис является прямым развитием предыдущего.
4. Рейтинги не должны превращаться в коммерческие проекты. Как правило, бизнес-проекты чрезвычайно уязвимы как на стадии сбора, так и на стадиях их обработки и использования (Н.И.Иванова). Коммерческие интересы ранкеров способны не просто исказить рыночную информацию, а напрямую провоцируют ее целенаправленную фальсификацию.
5. Рейтинговать следует не только и не столько (!) лучших, но и худших участников рынка (Н.И.Иванова). Дело в том, что рейтинги направлены на мониторинг ограниченного числа лидеров рынка, тогда как аутсайдеры, которые не попали в рейтинги, продолжают работать и вносить отрицательный вклад в развитие экономики. Такое положение дел имеет место для научных журналов, многие из которых не претендуют на вхождение в топ-листы рейтингов, но при этом входят в список ВАК и на коммерческой основе размещают на своих страницах заведомо слабые и антинаучные материалы. Иными словами, нельзя упускать из виду участников рынка, которые попадают в категорию «опасных» аутсайдеров. Можно сказать, что рейтинги должны превращаться в разновидность полноценных маркетинговых исследований, покрывающих весь рынок.
6. Ранкер должен удовлетворять принципу нейтральности (незаинтересованности в каче-
стве участника). В противном случае, когда ранкер сам является участником рейтинга, велика вероятность того, что в методику рейтин-гования будут закладываться сильные качества ранкера, что и будет его выводить на передовые позиции (Е.Б.Ленчук).
7. Рейтинги должны разрабатываться на основе трех ключевых принципов: плюрализма (многообразия), длительности периода составления и совершенствования методологии формирования (С.Н.Сильвестров). В противном случае монополизм рейтинга (отсутствие конкурирующих рейтинговых продуктов), его точечные значения (на одну дату) и окостеневшая (устаревшая с течением времени) методика составления способны наносить серьезный вред из-за возникающих ошибок и дезориентации потребителя.
8. Использование рейтингов должно базироваться на принципе открытости объекта рей-тингования и ранкера (Д.В.Петросянц). Например, при рейтинговании журналов необходимо, чтобы их тексты находились в свободном доступе; в противном случае возникает парадокс: чем интереснее статья, тем менее она доступна. Такой эффект мешает составлению адекватного рейтинга. Принцип открытости ранкера предполагает наличие у него хорошей обратной связи с сообществом рейтингуемых субъектов. Например, когда тот или иной рейтинг построен, он должен обсуждаться с профессиональным сообществом во избежание вспышек возмущения и недовольства; при необходимости должны вноситься коррективы в методологию рейтингования и способы обнародования данных. Только в этом случае сам рейтинг приобретает необходимый потенциал «легитимности» и доверия.
9. Для правильного использования рейтингов необходимо выполнение принципа селективности и необязательности. Данный принцип означает, что участники рынка добровольно сами решают использовать в своей деятельности те или иные рейтинги. Ярким примером подобной практики являются американские университеты, в которых действуют две разные системы приема сотрудников на работу. В самых престижных университетах (Гарвард, Стэнфорд, Принстон и др.) принятие решения по тому или иному претенденту на должность
осуществляется на основе оценки его научных результатов экспертами вуза и заключения соответствующей комиссии; формальные библи-ометрические данные не берутся во внимание. В более слабых и периферийных университетах, как правило, отсутствуют квалифицированные эксперты, способные адекватно оценить претендента, в связи с чем активно используются библиометрические данные индивида (В.М.Полтерович). Данный пример иллюстрирует базовое правило: использование рейтингов связано с нехваткой экспертных компетенций (А.Я.Рубинштейн). Иными словами, рейтинги и экспертное сообщество являются взаимоза-мещающими механизмами оценки. Между тем имеют место и иные варианты оценки профессиональной пригодности сотрудников университетов США. Так, в самых престижных вузах для получения постоянной должностной позиции сотрудник должен публиковаться в самых престижных (рейтинговых) журналах, тогда как в более слабых вузах такие требования отсутствуют (В.М.Полтерович). В последнее время и российские вузы все чаще оценивают сотрудников по своим собственным системам рейтингования. Иными словами, рейтинг и его пользователь должны в определенном смысле соответствовать друг другу.
10. В настоящее время необходимо сосуществование, а в ряде случаев и совмещение количественных, основанных на измеримых показателях, и качественных, основанных на экспертных опросах, рейтингов. Некоторые опрошенные высказываются в пользу количественных в силу их наглядности и прозрачности в отличие от анонимных экспертов, доверять которым нет никаких оснований (А.Е.Гаганова). Другие специалисты не менее категорично высказываются относительно того, что доверять надо не рейтингам, а конкретным людям, а такой подход формирует табель о рангах непосредственно в голове человека на основе коммуникации с другими людьми (А.Я.Рубинштейн). Высказывалось мнение, что рейтинг вуза можно померить только путем определения уровня интеллектуальной дискуссии между студентами и профессорами, следовательно, правильный рейтинг может быть в голове только того человека, который ходит по вузам и участвует в подобных дискуссиях, тогда
как любые количественные показатели отражают вообще совершенно иные стороны работы организации (А.В.Савватеев). Отсутствие единого мнения относительно того, какие рейтинги лучше, означает правомерность использования и тех, и других по мере необходимости.
Перечисленные принципы и подходы к разработке и использованию рейтингов способны предотвратить множество ошибок, связанных с данным инструментом оценки.
Заключение
Описанный выше опыт реализации проекта по консолидации рейтинговых продуктов показал, что в настоящее время наблюдается определенное противостояние рейтингового движения и экспертного сообщества, которое распространяется и на противостояние количественных и качественных рейтингов. На самом деле мы здесь сталкиваемся с амбивалентным процессом: неадекватность количественных рейтингов продуцируется низкой квалификацией экспертов (ранкеров), а столь же неадекватные и чрезмерно субъективные экспертные оценки продуцируются слабым экспертным сообществом и требуют более объективных методов оценки. По всей видимости, в России еще довольно долгое время будет идти взаимная притирка указанных двух направлений с постепенным приближением к разумному равновесию. Важно другое: расширяющаяся практика составления рейтингов и диалог ранкеров с широкой экспертной общественностью будут способствовать росту качества как первых, так и вторых. И созданная открытая Интернет-площадка по консолидации различных рейтинговых продуктов может стать серьезным подспорьем в этом взаимном совершенствовании.
Учитывая тематическое разнообразие рейтинговых продуктов, следует сказать, что их консолидация в рамках единого портала, скорее всего, приведет к его «перегрузке» и чрезмерному усложнению навигации. В связи с этим в перспективе было бы целесообразным создание множества специализированных рейтинговых порталов, каждый из которых позволял бы максимально полно отразить локальный (тематический) рынок. Причем в рамках таких порталов необходимо по возможности осуществлять загрузку не только отечественных, но и зарубежных рейтинговых продуктов.
Литература
1. Baty Ph. Measured, and found wanting more. Times Higher Education, 2010, July, 8. Available at: http://www. timeshighereducation.co.uk/story.asp?storycode=412341 (дата обращения: 21.02.2018).
2. Jobbins D. GLOBAL: First Shots Fired in Ranking War. University World News, 2010, March, 7. Available at: http://www.universityworldnews.com/article.php?story=20100305112613216 (дата обращения: 21.02.2018).
3. Борганс Л., Кёрверс Ф. Американизация европейского высшего образования и науки // Вопросы образования. 2010. № 2. С. 5-44.
4. Parijs Ph. European Higher Education under the Spell of University Rankings. Ethical Perspectives, 2009, vol.16, № 2, рр. 189-206. DOI: 10.2143/EP.16.2.2041651. Available at: http://cdn.uclouvain.be/public/Exports%20 reddot/etes/documents/2009u.Rankings.pdf (дата обращения: 21.02.2018).
5. Smith D.N. The history behind universities, league tables and the brand. Global Opinion Survey. New Outlooks on Institutional Profiles, 2010, February. Available at: http://science.thomsonreuters.com/rn/pdfs/Global_ Opinion_Survey.pdf (дата обращения: 21.02.2018).
6. Aguillo I.F., Bar-Ilan J., Levene M., Ortega J.L. Comparing University Rankings. Scientometrics, 2010, vol.85, № 1, pp. 243-256. DOI: 10.1007/s11192-010-0190-z.
7. Van de Walle, S. Publishing in Public Administration: Issues with Defining, Comparing and Ranking the Output of Universities. International Public Management Journal, 2015, vol. 18, № 1, рр. 87-107.
8. Gertler E., Mackin E., Magdon-Ismail M., Yi Y. Computing Manipulation of ranking System. Istanbul, 2015. Available at: http://www.cs.rpi.edu/~xial/Files/GMMXYAAMAS15.pdf (дата обращения: 21.02.2018).
9. Arnold D.N., Fowler K.K. Nefarious Numbers. Notices of the AMS, 2011, vol. 58, № 3, рр. 434-437. Available at: http://www-users.math.umn.edu/~arnold/papers/impact-factors.pdf (дата обращения: 21.02.2018).
10. Alves A.D., Yanasse H.H., Soma N.Y. An analysis of bibliometric indicators to JCR according to Benford's law. Scientometrics, 2016, vol.107, №3, рр.1489-1499. DOI: 10.1007/s11192-016-1908-3.
11. Hammarfelt B., Rushforth A.D. Indicators as judgment devices: An empirical study of citizen bibliometrics in research evaluation. Research Evaluation, 2017, vol. 26, № 3, рр. 169-180. DOI: 10.1093/reseval/rvx018
12. Свердлов Е.Д. Миражи цитируемости. Библиометрическая оценка значимости научных публикаций отдельных исследователей // Вестник Российской академии наук. 2006. Т. 76. № 12. С. 1073-1085.
13. Арский Ю.М., Маркусова В.А., Чумакова Н.Ф. Науки о Земле: объемы и рейтинги отечественных публикаций // Вестник Российской академии наук. 2007. Т. 77. № 10. С. 887-895.
14. Донецкая С.С. Анализ конкурентоспособности российских университетов в мировых рейтингах // Высшее образование в России. 2014. № 1. С. 20-31.
15. Карминский А.М., Полозов А.А. Энциклопедия рейтингов. Экономка, общество, спорт. М.: Форум, 2016. 448 с.
16. Муравьев А.А. О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики. 2013. № 4. С. 130-151.
17. Писляков В.В. Российские журналы по общественным наукам в зарубежных базах данных // Экономический журнал Высшей школы экономики. 2011. Т. 15. № 2. С. 268-269.
18. Третьякова О.В. Рейтинг научных журналов экономических институтов РАН // Экономические и социальные перемены: факты, тенденции, прогноз. 2015. № 5. C. 159-172. DOI: 10.15838/esc.2015.5.41.11.
19. Рубинштейн А.Я. Ранжирование российских экономических журналов: научный метод или «игра в цыфирь»? // Журнал Новой экономической ассоциации. 2016. № 2(30). С. 162-175.
20. Бураков Н.А., Славинская О.А. Ранжирование экономических журналов: социологические измерения // Вестник Института экономики Российской академии наук. 2017. № 1. С. 151-169.
21. 3начимость основных российских и международных экономических журналов: сетевой анализ / Ф.Т. Алескеров, Д.Н. Бадгаева, В.В. Писляков, И.А. Стерлигов, С.В. Швыдун // Журнал Новой экономической ассоциации, 2016, № 2(30). С. 193-205.
22. Балацкий Е.В., Екимова Н.А. Концентрическая модель российского рынка экономических исследований // Мир новой экономики. 2017. Т. 11. № 2. С. 82-92.
23. Балацкий Е.В., Екимова Н.А. Конкуренция экономических журналов России: итоги трех волн рейтингования // Экономическая политика. 2017. Т. 12. № 6. С. 178-201.
24. Балацкий Е.В., Екимова Н.А. Российская модель сопряжения академической результативности и образовательного потенциала регионов // Известия УрГЭУ. 2017. № 5(73). С. 109-127.
25. Московкин В.М., Сунь С. Рейтингование экономистов: современное состояние вопроса и перспективы дальнейших исследований // Научная периодика: проблемы и решения. 2017. Т. 7. № 1. С. 20-45. DOI: 10.18334/nppir.7.1.38336.
26. Московкин В.М., Сунь С. Развитие методов определения рейтингов ученых на основе российского индекса научного цитирования // Научно-техническая информация. Серия 1: Организация и методика информационной работы. 2017. № 8. С. 23-28.
27. Стерлигов И.А. Пилотный проект по оценке российских научных журналов. М.: НИУ ВШЭ, 2014. URL: http://slidegur.com/doc/225135/pilotnyj-proekt-vshe--po-e-kspertnoj-ocenke-rossijskih (дата обращения: 21.02.2018).
28. Рубинштейн А.Я., Бураков Н.А., Славинская О.А. Сообщество экономистов и экономические журналы (социологические измерения VS библиометрии): Научный доклад. М.: Институт экономики РАН, 2017. 83 с.
29. Муравьев А.А. Рейтинги российских журналов по экономике: сравнительный анализ. 2015. URL: http:// studydoc.ru/download/4796527 (дата обращения: 21.02.2018).
30. Субочев А.Н. Насколько различны существующие рейтинги российских научных журналов по экономике и менеджменту и как их объединить // Журнал Новой экономической ассоциации. 2016. № 2(30). C.181-192.
31. Балацкий Е.В., Екимова Н.А. Проблема манипулирования в системе РИНЦ // Вестник УрФУ. Серия: Экономика и управление. 2015. № 2. С. 166-178.
32. Балацкий Е.В., Юревич М.А. Несбалансированность наукометрических РИНЦ-показателей российских экономистов // Журнал Новой экономической ассоциации. 2016. № 2(30). С. 176-180.
Сведения об авторах
Евгений Всеволодович Балацкий — д.э.н., профессор, директор Центра макроэкономических исследований Департамента экономической теории, Финансовый университет при Правительстве Российской Федерации (109456, Российская Федерация, г. Москва, 4-й Вешняковский пр., д. 4, к. 319; e-mail: [email protected]), главный научный сотрудник, Центральный экономико-математический институт РАН (117418, Российская Федерация, г. Москва, Нахимовский пр., д. 47)
Наталья Александровна Екимова — к.э.н., доцент, в.н.с. Центра макроэкономических исследований Департамента экономической теории, Финансовый университет при Правительстве Российской Федерации (109456, Российская Федерация, г. Москва, 4-й Вешняковский пр., д. 4, к. 319; e-mail: [email protected])
Статья поступила 27.02.2018.
Balatsky E.V., Ekimova N.A.
Opportunities for the Consolidation of Rating Products in the Internet Environment
Abstract. The article reveals the experience of a project on consolidation of rating products within the single portal with related services for users. We describe the ideology of an open Internet platform, its structure and navigation, and specially designed analytical tools. We focus on the developed and tested trust index in relation to all the ratings on the website, which helps approach a possible solution to the problem of rating verification. We point out the fact that the proposed analytical verification tools are vulnerable to manipulation that is manifested in users' hostile attacks on selective ratings by giving
the ratings deliberately low trust scores. The paper shows the relevance of the portal designed, which is manifested not only in the number of views of its content, but also in the public reaction to various ratings of both individuals and organizations. In addition, we disclose the experience of using academic ratings over the period of several years to reveal undesirable trends and emerging threats in the market of economic research. We show an attempt to combine different ratings for the purpose of determining the extent of using educational and scientific potential of Russian regions. Video interviews allowed us to formulate ten principles in the development and use of ratings: neutrality (disinterest of the developer as a participant); pluralism (diversity of ratings); duration of the period of preparation; improvement of development methodology; openness of the object of rating and ranker; selectivity (optionality) of application, etc. These principles help raise the work of rankers to a higher level. We outline the ways of using the portal for communication between rankers and the expert community, for establishing a constructive dialogue between them and improving rating tools.
Key words: ratings, databases, modeling, verification.
Information about the Authors
Evgenii V. Balatsky — Doctor of Sciences (Economics), Professor, Director of the Center for Macroeconomic Research at the Department of Economic Theory, Financial University under the Government ofthe Russian Federation (4, 4th Veshnyakovsky Lane, office 319, Moscow, 109456, Russian Federation; e-mail: [email protected]), Chief Researcher, RAS Central Economics and Mathematics Institute (47, Nakhimovsky Avenue, Moscow, 117418, Russian Federation)
Natal'ya A. Ekimova — Candidate of Sciences (Economics), Associate Professor, Leading Researcher, Center for Macroeconomic Research at the Department of Economic Theory, Financial University under the Government of the Russian Federation (4, 4th Veshnyakovsky Lane, office 319, Moscow, 109456, Russian Federation; e-mail: [email protected])
