CC BY
14
УДК 378:001:519.2:316
РЕЙТИНГОВАНИЕ КАЧЕСТВА ДЕЯТЕЛЬНОСТИ РАБОТНИКОВ НА ОСНОВЕ ОЦЕНКИ ВЕРОЯТНОСТЕЙ СОВМЕСТНЫХ ИНДИКАТИВНЫХ СОБЫТИЙ
THE WORKERS ACTIVITY QUALITY RATING ON THE JOINT INDICATIVE EVENTS PROBABILITIES ASSESSMENT BASIS
А.В. Звягинцева А.У. Zviagintseva
Белгородский государственный национальный исследовательский университет, Россия, 308015, Белгород, ул. Победы, 85
Belgorod State National Research University, 85 Pobeda St, Belgorod, 308015, Russia e-mail: [email protected]
Аннотация. Предложен формализованный метод системного анализа для рейтинговой оценки состояния социальных групп на основе определений вероятностей совместных индикативных событий, связанных с наблюдением различных показателей. Сформулированы основные идеи и гипотезы вероятностного описания поведения социальных групп по комплексу показателей. Предложены расчетные зависимости, позволяющие оценить среднестатистические тенденции развития объектов в пространстве состояний социальной системы и установить положение каждого объекта в этом пространстве по отношению ко всей группе изучаемых объектов. Показано, что использование вероятностных методов анализа разноплановой социально и профессионально значимой информации может позволить повысить объективность принятия решений на основе рейтинговых оценок. Приведен пример рейтинговой оценки деятельности структурных подразделений и работников университетов. Предложенный подход открывает возможности для создания теоретических методов описания поведения систем общественной природы, для которых существуют обширные массивы данных наблюдений.
Resume. The formalized method of system analysis for the social groups ratings on the base of determining the joint indicative events probabilities related to the various indicators supervision proposed. The main ideas and hypotheses of the social groups' behavior probabilistic description on the indicators complex are formulated. The settlement dependencies allowing to estimate the average objects development tendencies in the social system state space and to establish the each object provision in this space in relation to all group of the studied objects are offered. It is shown that probabilistic analysis methods use on versatile socially and professionally significant information is able to afford to increase decision-making objectivity on the rating estimates basis. The rating assessment example of universities structural divisions and employees activities is given. The offered approach opens opportunities for the creation of the public nature systems behavior description theoretical methods for which there are extensive data supervision arrays.
Ключевые слова: системный анализ, социальные группы, рейтинговые оценки, совместные события и их вероятности, многомерные информационные пространства.
Keywords: the system analysis, social groups, rating estimates, joint events and their probability, multidimensional information spaces.
Введение
Сегодня в практике управления качеством высшего образования отмечается возрастающий интерес к формированию и использованию систем рейтинговых оценок университетов, их структурных подразделений и профессорско-преподавательского состава (ППС). Это, в первую очередь, связано с заинтересованностью общества в наличии доступной и достоверной информации о качестве образования в различных высших образовательных учреждениях. Рейтинги университетов становятся ориентиром для абитуриентов и родителей при выборе образовательного учреждения для получения квалификации, а также измерителями качества образования [Шульгина, Воробьева, 2010]. Рейтинг (от англ. rating) — это индивидуальный числовой показатель оценки достижений некоторого субъекта в классификационном списке, который составляется экспертами соответствующих отраслей. Фактически «рейтинг» — это система, упорядочения в виде списка качества любых объектов на основе количественных показателей, или рейтинговых оценок [Васильева, Трапицын, 2006]. В образовании рейтингование понимается как система мер и процедур, направленная на
комплексную оценку профессиональной деятельности и уровня достижений структурных подразделений, коллективов и работников, а также учебной деятельности учащихся. Широкое внедрение рейтинговых оценок является одной из актуальных задач теории и практики управления образовательным процессом.
Попытки проведения комплексной оценки различных сторон деятельности образовательного учреждения с использованием методов рейтингования середины прошлого века. Примером подобного подхода может служить рейтингование Ассоциации американских университетов, проведенное в 1959 году по методологии Кенинстона. Данная методика основывалась на опросах заведующих кафедрами высших учебных заведений и использовала в качестве определяющих критериев оценку качества кандидатских диссертаций и качество образования на факультетах [Салми, Сароян, 2007]. Первый национальный рейтинг 50 лучших университетов США был опубликован в 1983 г. американским журналом U.S. News & World Report. Это положило начало многочисленным попыткам ранжировать и оценивать университеты, а также деятельность преподавателей в разных вузах [Похолков и др., 2005]. В свою очередь, глобальный (общемировой) рейтинг вузов (рейтинг 500 лучших университетов мира) был подготовлен в 2003 году Шанхайским университетом (Shanghai Jiao Tong University (SJTU)) в рамках проекта «Академический рейтинг университетов мира». В основу рейтинга положена бальная система учета показателей, связанных с получением выпускниками и профессорами университета премий или наград в области математики, учетом индекса цитирования и долей высоко цитируемых публикаций, количества публикаций, проиндексированных в Science Citation Index-expanded и Social Science Citation Index, а также с научными достижениями университета. Интегральный показатель вуза определялся как средневзвешенное значение соответствующих показателей.
С 2004 года ежегодный список лучших университетов мира предлагает британская организация "TSL Education Ltd". В этом же году международное рейтинговое движение было поддержано лабораторией "Cybermetrics" Национального исследовательского совета Испании, опубликовавшей свой рейтинг Webometrics. Эта система оценивает присутствие вузов в виртуальном информационном пространстве и опирается в основном на Интернет-показатели университетских сайтов. В зону внимания Webometrics попадает 16-20 тыс. университетов, в результате анализа работы которых формируется итоговая таблица, куда включаются 4 тыс. вузов мира.
Сегодня существует пять наиболее признанных глобальных рейтингов университетов -ARWU, THE, QS, Web и PRSP, при этом используется значительное количество различных моделей формирования рейтингов высших учебных заведений, их подразделений и сотрудников [Похолков и др., 2005; Балацкий, Екимова, 2012; Сидоренков, 2012; Тарадина, 2013; Положение ..., 2016; и др.]. Детально концепции, принципы, методологии и организационные аспекты построения рейтингов и табелей о рангах, особенности составления глобальных рейтингов университетов, их анализ, влияние на политику в сфере высшего образования, выбор индикаторов, методические особенности и недостатки рейтинговых систем, а также проблемы выбора весовых коэффициентов и способов агрегирования индикаторов и т.п. изложены в работах [Похолков и др., 2005; Салми, Сароян, 2007; Салми, 2009; Балацкий, Екимова, 2012; Тарадина, 2013]. При этом многие авторы отмечают, что важной тенденцией в данной области является усовершенствование методик рейтингования.
Последнее время при комплексных оценках различных социальных систем используются в основном методы многомерного ранжирования, при этом применяются экспертные методы оценки, которые отличаются между собой набором оцениваемых факторов и системой весовых коэффициентов [Терехина, 1986; Давыдов, 2005; Балацкий, Екимова, 2012; Сидоренков, 2012].
Чаще всего цель комплексной оценки социальных систем заключается в изучении их состояния по совокупности показателей на основе установления соответствия определенным уровням или нормам, в сравнении социальных объектов между собой, а также в учете значимых достижений, событий и мероприятий, связанных с деятельностью работников и коллективов. Комплексная оценка, многопараметрическое ранжирование и рейтингование систем обычно основывается на применении индикативных показателей или суммарной бальной оценке полученных достижений и выполненных мероприятий и работ в определенных аспектах профессиональной деятельности [Васильева, Трапицын, 2006; Салми, Сароян, 2007; Салми, 2009; Шульгина, Воробьева, 2010; Положение ..., 2016].
При изучении различных направлений деятельности социальных коллективов с целью эффективности анализа информации обработка данных обычно осуществляется по группам из нескольких показателей и критериев, которые могут иметь различную природу. При этом надо отметить, что подавляющее большинство современных методов комплексной и рейтинговой оценки социальных коллективов является экспертными, т.е. по своей природе субъективными [Салми, Сароян, 2007; Салми, 2009; Балацкий, Екимова, 2012; Сидоренков, 2012.]. Исключение
субъективной составляющей из процедур рейтингования встречает значительные методологические трудности, так как требует применения объективных методов анализа разноплановой информации.
Решение данной проблемы может быть связано с междисциплинарным характером исследований и применением естественнонаучных методов при изучении социальных процессов, а также информационных методов. Совершенствование методологии социального рейтингования видится в использовании событийных методов оценки значимой информации, что связано с возможностью представления результатов, учитываемых при рейтингах, в виде сложных индикативных событий.
Целью данной статьи является применение вероятностных методов анализа и описания разноплановой социально и профессионально значимой информации, представляемой в виде событий, для повышения объективности принятия решений на основе рейтинговых оценок.
Создание универсальных методик событийной оценки и многопараметрического ранжирования социальных систем, приемы и способы которых будут основаны на применении объективной методологии и которые могут использоваться для определения рейтингов, является актуальной задачей.
Методология многопараметрического ранжирования объектов на основе
событийной оценки
Общий подход комплексного анализа объектов по совокупности количественных показателей p,p2,...,pn предполагает представление состояний однотипных объектов в многомерном информационном пространстве этих показателей в виде облака точек и оценку положения каждого объекта в этом пространстве по отношению ко всей группе изучаемых объектов. Многомерное информационное пространство И" формируется как декартовое пространство координат, в качестве которых выступают показатели pl,p2,...,p„. Для оценки положения точек в данном пространстве могут быть использованы различные методы объективного анализа данных. Например, можно факт одновременного наблюдения нескольких показателей объекта рассматривать как сложное совместное событие и оценивать вероятность такого события известными методами [Аверин, Звягинцева, 2012; Аверин, 2014]. Также можно найти в данном пространстве расстояние от начала координат до каждой точки и для данной характеристической величины изучаемого события оценить распределение вероятностей. Возможно также определение расстояния от каждой точки до центра тяжести всего облака изучаемых точек и последующая оценка вероятности распределения данной характеристической величины и т.д. В данной работе использован метод оценки вероятностей совместных событий, содержание которого приведено в работах [Аверин, Звягинцева, 2012; Звягинцева, 2013; Аверин, 2014; Zviagintseva, 2014; Averin G.V. et al., 2015; Аверин, Звягинцева, 2016; Звягинцева, 2016а, б].
Будем представлять систему социальной природы в виде совокупности объектов одного класса, например: граждан, работников, коллективов, структурных подразделений, организаций или учреждений и т.д. Все объекты изучаемой системы имеют определенное число основных наблюдаемых показателей p , p ,...,p , которые могут изменяться от нуля до некоторых максимальных значений. Значения показателей могут быть выражены размерными или безразмерными величинами. Безразмерными являются, например, относительные показатели. Для выражения размерности показателей могут использоваться общепринятые единицы измерения, оценки в баллах или пунктах по соответствующей шкале измерений. В результате сбора статистической информации формируется массив структурированных данных, в котором каждая таблица имеет структуру «объекты-показатели», а различные таблицы соответствуют разным периодам времени. Информация о многих социальных системах может быть представлена в подобном виде.
Основные предлагаемые идеи и гипотезы событийной оценки при определении рейтингов формулируем в виде:
• использование данных о состоянии социальных систем в самых разных аспектах, а также алгоритмическое определение вероятностей совместных событий w, связанных с одновременным наблюдением индикативных показателей, позволит установить основные среднестатистические закономерности поведения социальных групп;
• поиск закономерностей в массиве данных осуществляется не между показателями, а между вероятностями событий наблюдения этих величин;
• статистические вероятности для индикативных сложных событий могут быть найдены эмпирически с использованием алгоритмов оценки вероятностей событий в общей выборке всех наблюдений;
• предполагается, что для всего времени наблюдений существует общее вероятностное пространство состояний всех объектов И", процессы в котором могут быть описаны математическими методами, позволяющими провести комплексную оценку и их многопараметрическое ранжирование;
• применительно к каждой таблице массива данных любой изучаемый социальный объект в пространстве И" отображается точкой М, положение которой определяется значениями показателей р, р ,...,р ;
• для пространства состояний системы И" предполагается справедливость гипотезы о связи статистической вероятности совместных индикативных событий и геометрической вероятности состояний объектов в виде зависимости = с • 4р, где величины с определяются по статистическим данным, исходя из закономерностей осуществления процесса изменения состояния каждого объекта на фоне изменения состояний всей группы объектов;
• в пространстве состояний И" геометрическая вероятность каждого состояния
Р • Р • • Р
(каждого объекта) определяется зависимостью вида: р = — 1 "—, где рт -
Л , т • Р2 , т ... Р", т
максимальные значения наблюдаемых показателей в группе объектов;
• описания процессов изменения состояний объектов в пространстве И" связано с решениями многомерных уравнений Пфаффа [Аверин, Звягинцева, 2012; Аверин, 2014]:
^ = С' ^ ' ^Т) ^Р1 + С2 ^ (^Т ' 4Р2 + ...+ С"
4рп ; (1)
,дРп.
• рейтинговая оценка и ранжирование объектов по совокупности показателей может проводиться путем определения функций состояния (энтропии (з) и потенциала (и)), которые
характеризуют поверхности уровня и координатные линии в многомерном пространстве И" для поля вероятности состояния всей системы в целом [Аверин, Звягинцева, 2012; Аверин, 2014]:
( \ ( \ ( \
5 = С • 1П
_Р.
Рм
+ с • 1п
V
Р
2, т
+...+ с • 1п
V
Р".
(2)
2 2 2 2 2 2 и _ Р1 ~ Р1,т | Р2 ~ Р2,т | | Рз ~ Рз.т ^
С1 С2 ... С3 '
при условии, что величины 5 и и равны нулю при значениях показателей р = рт .
Общая методика анализа данных предполагает следующую последовательность действий. Для рейтинговой оценки социальных объектов составляется база данных, в которой изучаемые объекты и информация о них представляется строками таблиц базы данных, а показатели, определяющие состояния объектов, - колонками таблиц. Каждому периоду рейтинговой оценки соответствует своя таблица данных. Далее выделяются совместные события одновременного наблюдения нескольких показателей, которые являются индикативными и однозначно характеризуют в определенном аспекте состояния изучаемой системы. По таблице базы данных алгоритмическим путем определяются вероятности событий, соответствующие алгоритмы оценки вероятностей предложены в работах [Аверин, Звягинцева, 2012; Аверин, 2014]. Методом пробит-анализа изучаются связи между статистической вероятностью и показателями состояния системы и устанавливаются различные вероятностные распределения, характеризующие данную социальную систему. Полученные зависимости позволяют определить феноменологические величины С , свойственные данной социальной группе объектов. Далее осуществляется ранжирование объектов на основе критерия, который определяет многомерные поверхности уровня в виде потенциала пространства И" путем применения уравнения (3). Ранги устанавливаются исходя из положения объектов по отношению к криволинейным координатам, которые являются энтропией и потенциалом вида (2) - (3).
Пример рейтинговой оценки деятельности структурных подразделений
и работников
На практике целями рейтинговой оценки профессиональной деятельности в крупном вузе является объективный анализ уровня работы ППС, кафедр, факультетов и институтов, обеспечение заинтересованности работников в результатах своей деятельности, формирование основы для принятия обоснованных управленческих решений.
"
Рейтинговая оценка деятельности структурных подразделений и ППС обычно проводится по направлениям учебно-методической работы (УМР), научно-исследовательской деятельности (НИД) и организационно-воспитательной работы (ОВР).
Оценка уровня учебно-методической работы структурного подразделения вуза и преподавателей основывается на учете результатов методической деятельности в виде издания учебников и учебных пособий, повышения квалификации, участии в профессиональных, профессионально-педагогических конкурсах и олимпиадах, на учете результатов разработки учебно-методических комплексов дисциплин, образовательных программ и электронных методических материалов, работах ППС, связанных с руководством образовательными программами, и т.д.
В свою очередь, оценка уровня научно-исследовательской деятельности ППС, кафедр и факультетов основывается на фактах издания монографий и статей с учетом их значимости, защиты диссертаций и получении патентов, участии в научных конференциях, на учете результатов работы с грантами, научно-исследовательскими работами и программами, выполнении различных видов научных работ, результатах внедрения НИР, работах по научному руководству студентами, магистрантами, аспирантами и докторантами и т.п.
Уровень организационно-воспитательной работы оценивается по работам в общественных объединениях, советах и комиссиях разного уровня, участию в спортивных и творческих конкурсах, руководству студенческими общественными клубами и объединениями, организации и проведению общественных, профориентационных, воспитательных, спортивных, творческих и культурно-массовых мероприятиях различного уровня и т.д.
Измерение критериев по направлениям учебно-методической работы, научно-исследовательской деятельности и организационно-воспитательной работы для ППС осуществляется в баллах, которые для указанных выше направлений деятельности суммируются. Каждому мероприятию, виду работы или результату присваивается заданное количество баллов по принятой в вузе шкале оценки мероприятий и работ. Исходя из этого, каждый преподаватель набирает определенное количество баллов по направлениям УМР, НИД и ОВР за выбранный период рейтингования. Значениями данных величин можно характеризовать деятельность ППС и определять в заданный период времени состояние объекта рейтингования.
Рейтинги структурных подразделений по каждому из направлений деятельности определяются, исходя из принятой методики, суммированием баллов ППС, работающих в соответствующем подразделении.
В качестве статистической информации для построения вероятностных моделей используем данные о рейтинговании сотрудников и структурных подразделений Белгородского государственного национального исследовательского университета (НИУ «БелГУ») за 2015-2016 годы. В университетской методике рейтингования в качестве основных показателей используются: показатель учебно-методической работы (р1), балл; показатель научно-исследовательской деятельности (р2), балл; показатель организационно-воспитательной работы (р3), балл. Для решения поставленной задачи воспользуемся базами данных автоматизированной системы НИУ «БелГУ» [Автоматизированная ..., 2016]. По имеющимся данным с учетом алгоритмической оценки определены вероятности состояний объектов рейтингования разных социальных групп.
Исходя из полученных результатов с учетом вероятностной оценки совместных событий, связанных с наблюдением показателей р, р, р, были построены вероятностные модели состояния социальных объектов и определены ранги структурных подразделений и ППС. Соответствующая модель для кафедр вуза получена в виде пробит-зависимости величины вероятности совместных событий наблюдения показателей р, р, р от энтропии состояния системы:
1 РГ°6 I t2 I
= | ехр|--IЛ ; РгоЬ = 0.580 + я.
л/2"^ Я 2.
Г „ , , „ , , „ , (4)
5 = 0.286 • 1п Л + 0.260 • 1п р 2 + 0.167 • 1п рз
^ Л,™ ч р2,т ) ^ Л,т у
Коэффициент корреляции зависимости (4) составил 0.93, результаты обработки данных для 100 кафедр вуза приведены на рисунке 1. Показатели р, р2, р относились к значениям
величин р т, р т, рт, которые соответствуют выбранной опорной точке - максимально
наблюдаемым значениям показателей в 2015-2016 годах, равным: рт = 245.3 баллов;
рт = 230.1 баллов; рт = 219.4 баллов.
ш =
0,6 0,4 0,2
-о
8 о,о а,
в -0,2
н и
М -0,4 н н
о. -0,6
<U S3
Ё -0'8 о о
а. -1,0 С
-1,2 -1,4 -1,6
-2,4 -2,2 -2,0 -1,8 -1,6 -1,4 -1,2 -1,0 -0,8 -0,6 -0,4 -0,2
Энтропия состояния объекта 5
Рис. 1. Зависимость вероятности состояния w от энтропии состояния системы s для совместно наблюдаемых показателей p, р, p для кафедр НИУ «БелГУ» Fig. 1. The dependence of state w probability on system condition entropy s for jointly observed indicators for
BelSU departments
Подобная модель получена для профессорского состава вуза в виде пробит-зависимости вероятности совместных событий наблюдения показателей p, р, p от энтропии состояния системы:
( \ ( \ ( \
• (5)
• ■
• ■' ■ /
■
р ■ ■
■V ■ ■
yr т ■ ( \
■ ■ а
■ ■
■
Pr ob = 1.177 + s ; s = 0.187 • ln Pi + 0.232 • ln P2 + 0.220 • ln P3
v P2,m J ^ P3_m J
Коэффициент корреляции зависимости (5) составил 0.96, результаты обработки данных для 180 профессоров вуза приведены на рисунке 2. В данном случае показатели относились к значениям рт,рт,рт, которые соответственно равны: рт = 582балла; р2т = 2065баллов;
Ръ.т = 639 баллов.
Аналогичным образом получены вероятностные модели для оценки качества деятельности других категорий ППС.
1,0
0,5
£ 0,0
-0,5
57 -1,0
ЕЗ
•о о
С
•1,5
-2,0
-2,5 -3,6
■ ' /
1 /
* жкт m
mL ■ A * ■ Г " ■ :
■ V' .uS /ТЬ 9 W'i
■ ■ ■ r ■
-3,2 -2,8 -2,4 -2,0 -1,6 -1,2 Энтропия состояния объекта s
-0,8
-0,4
Рис. 2. Зависимость вероятности состояния w от энтропии состояния системы s для совместно наблюдаемых показателей р, р,р для профессорского состава НИУ «БелГУ» Fig. 2. The dependence of state w probability on system condition entropy s for jointly observed indicators for
BelSU professorate
Таким образом, описание поведения социальных групп по совокупности показателей возможно на основе получения уравнений состояний, представленных в виде распределений вероятностей совместных индикативных событий. В случае получения таких эмпирических уравнений на основе данных наблюдений, возможно установление среднестатистических тенденций развития объектов в информационном пространстве состояний социальной системы и
ранжирование положения каждого объекта в этом пространстве по отношению ко всей группе изучаемых объектов. Подобный подход открывает возможности для создания теоретических методов описания поведения систем общественной природы [Аверин, Звягинцева, 2012; Аверин, 2014; Averin G.V. et al., 2015].
Заключение
В настоящей работе развиты методы интегральной рейтинговой оценки состояния социальных групп на основе определения вероятностей совместных индикативных событий, связанных с наблюдением различных показателей. Предлагаемый метод можно отнести к объективным средствам анализа разноплановых данных, так как в процессе исследования не используются экспертные подходы при комплексной оценке и ранжировании сложных социальных объектов, а также не задаются весовые величины, позволяющие экспертным путем провести сравнение значимости оцениваемых факторов.
Вероятностные подходы анализа значимых сложных событий отличаются определенной универсальностью и дают возможности для рейтинговой оценки объектов различной природы по совокупности разных показателей.
Список литературы References
Аверин Г.В., Звягинцева А.В., 2012. Стратегическая оценка статуса Украины в современном мире по данным международных организаций. Часть 1: Теория и методика оценки. Системный анализ и информационные технологии в науках о природе и обществе. 1(2)-2(з): 75-92.
Averin G.V., Zviagintseva A.V., 2012. Strategic assessment of the status of Ukraine in the modern world according to the data of international organizations". Part 1: Theory and Methodology of assessment. Sistemnyj analiz i informacionnye tehnologii v naukah o prirode i obshhestve [System analysis and information technologies in the sciences of nature and society] 1(2)-2(3): 75-92. (in Russian).
Аверин Г.В., 2014. Системодинамика. Донецк, Донбасс, 405.
Averin G.V., 2014. Systemdynamics. Doneck, Donbass, 405. (in Russian).
Аверин Г.В., Звягинцева А.В., 2016. Построение уравнений состояний сложных систем на основе событийной оценки индикативных показателей. Научные ведомости БелГУ. Сер. Экономика. Информатика. 23(244): 77-86.
Аverin G.V., Zviagintseva A.V., 2016. The equations of conditions of complex systems on the indicative indicators event assessment basis. Nauchnye vedomosti BelGU. Jekonomika. Informatika [Belgorod State University Scientific Bulletin. Economics Information technologies]. 23 (244). Belgorod: 77-86. (in Russian).
Автоматизированная система «Учебный процесс» НИУ «БелГУ»., 2016. URL: http://dekanat.bsu.edu.ru/ (11 июля 2016).
Avtomatizirovannaja sistema "Uchebnyj process" NIU "BelGU"., 2016. [BelSU automated system "Educational process"]. Available at: http: //dekanat.bsu.edu.ru/ (accessed 11 July 2016). (in Russian).
Балацкий Е.В., Екимова Н.А., 2012. Международные рейтинги университетов: практика составления и использования. Экономика образования, 2: 67-80.
Balackij E.V., Ekimova N.A., 2012. International rankings of universities: the practice of making and using. Jekonomika obrazovanija [Economics of education], 2: 67-80. (in Russian)
Васильева Е.Ю., Трапицын С.Ю., 2006. Теория и практика оценки качества профессиональной деятельности профессор^о-преподавательского состава вуза: Монография. СПб., изд-во РГППУ им. А.И. Герцена, 288.
Vasil'eva E.Ju., Trapicyn S.Ju., 2006. Theory and practice of assessment of the quality of professorial staff s professional activity of a higher education institution: monograph. St. Petersburg, RSPPU after А.1. Gertsen Press, 288. (in Russian).
Давыдов А.А., 2005. Системный подход в социологии. Новые направления, теории и методы анализа социальных систем. М., Комкнига, 328.
Davydov A.A., 2005. The systemic approach in sociology. New trends, theories and methods of analysis of social systems. Moscow, Komkniga, 328. (in Russian).
Звягинцева А.В., 2013. Комплексная оценка природно-антропогенных систем: предложения по развитию методологии. Системный анализ и информационные технологии в науках о природе и обществе, 1(4)-2(5): 62-74.
Zvjaginceva A.V., 2013. Comprehensive assessment of natural and human systems: proposals for the development methodology. Sistemnyj analiz i informacionnye tehnologii v naukah o prirode i obshhestve [System analysis and information technologies in the sciences of nature and society] 1(4)-2(5): 62-74.
Звягинцева А.В., 2016. Вероятностные методы комплексной оценки природно-антропогенных систем. Под науч. ред. д.т.н., проф. Г.В. Аверина. М., Спектр, 257.
Zviagintseva A.V., 2016. Probabilistic methods of a complex assessment of natural and anthropogenic systems. Scientifically edited by Dr.-Ing., prof. G.V. Averin. Moscow, Cpektr, 257. (in Russian).
Звягинцева А.В., 2016. О вероятностном анализе данных наблюдений о состоянии природно-антропогенных систем в многомерных пространствах. Научные ведомости БелГУ. Сер. Экономика. Информатика. 2 (223): 93-100.
Zviagintseva A.V. 2016. About probabilistic analysis of observational data about the natural and anthropogenic systems state in multidimensional spaces. Nauchnye vedomosti BelGU. Jekonomika. Informatika [Belgorod State University Scientific Bulletin. Economics Information technologies] 2 (223): 93-100. (in Russian).
Положение о системе рейтингования НПР, лабораторий, центров, кафедр, факультетов и институтов НИУ «БелГУ» (2016). URL: http://dekanat.bsu.edu.ru/ (28 июня 2016).
Polozhenie o sisteme rejtingovanija NPR, laboratorij, centrov, kafedr, fakul'tetov i institutov NIU "BelGU" [Regulations on the rating system of academic and teaching staff, laboratories, centres, departments, faculties and institutes in BelSU] (2016). Available at: http://dekanat.bsu.edu.ru/ (accessed 28 Jun 2016). (in Russian)
Похолков Ю.П., Чучалин А.И., Агранович Б.Л., Могильницкий С.Б., 2005. Модели рейтинга вузов и образовательных программ. Высшее образование в России. 11: 3-20.
Poholkov Ju.P., Chuchalin A.I., Agranovich B.L., Mogil'nickij S.B. 2005. Models of ranking of universities and educational programs. Vysshee obrazovanie v Rossii [High education in Russia] 11: 3-20.
Салми Д., Сароян Э., 2007. Рейтинги и ранжирования как инструмент политики: политические аспекты экономической политики отчетности в высшем образовании. Высшее образование в Европе, 1.
Salmi D., Sarojan Je., 2007. Ratings and rankings as a policy tool: the political aspects of economic accounting policies in higher education. Vysshee obrazovanie v Evrope [High Education in Europe], 1.
Салми Д., 2009. Создание университетов мирового класса. М., Весь Мир, 132.
Salmi D., 2009. Creating a world-class universities. Moscow, Ves' Mir, 132.
Сидоренков А.В., 2012. Методики социально-психологического изучения малых групп в организации: монография. А.В. Сидоренков, Е.С. Коваль, А.Л. Мон-друс, И.И. Сидоренкова, Н.Ю. Ульянова; под ред. А.В. Сидоренкова. Ростов-на-Дону: Издательство Южного федерального университета, 244.
Sidorenkov A.V. 2012. The small groups social and psychological studying techniques in the organisation: the monograph. A.V. Sidorenkov, E.S. Koval', A.L. Mon-drus, I.I. Sidorenkova, N.Ju. Ul'janova; pod red. A.V. Sidorenkova. Rostov-na-Donu: Izdatel'stvo Juzhnogo federal'nogo universiteta, 244.
Тарадина Л.Д. 2013. Рейтингование университетов. Отечественные записки, 4: URL: http://www.intelros.ru/ readroom/otechestvennye-zapiski/o4-2013/20671-reytingovanie-universitetov.html (11 июля 2016).
Taradina L.D. 2013. Ratings of universities. Otechestvennye zapiski [Domestic notes], 4. Available at: http://www.intelros.ru/readroom/otechestvennye-zapiski/o4-2013/20671-reytingovanie-universitetov.html (accessed 11 July 2016).
Терехина А.Ю. Анализ данных методами многомерного шкалирования. М., Наука, 1986: 168.
Terehina A.Ju. Data analysis by multidimensional scaling methods. Moscow, Nauka, 1986: 168. (in Russian)
Шульгина Т.А. Воробьева Г.Н. 2010. Рейтинг в оценке деятельности отечественных и зарубежных вузов. Вестник ЧГПУ, 12: 237-247.
Shul'gina T.A. Vorob'eva G.N. 2010. Rating in the assessment of national and foreign universities. Vestnik ChGPU [Herald of Chelyabinsk State Pedagogical University] 12: 237-247. (in Russian)
Averin G.V., Zviagintseva A.V., Konstantinov I.S. and Ivashchuk O.A. 2015. Data Intellectual Analysis Means Use for Condition Indicators Assessment of the Territorial and State Formations. Research Journal of Applied Sciences, 10(8): 411-414.
Zviagintseva A.V. 2014. Multiparameter ranking of areas based on the analysis of data about the condition of natural and anthropogenic systems. System analysis and information technology in environmental and social sciences, 1(6)-2(7): 76-83.
