CC BY
38
Для цитирования: Силенок Ю.В., Яковлев В.Л. Методика оценивания эффективности информационного обеспечения поддержки принятия решений при управлении сложными динамическими объектами. Вестник Дагестанского государственного технического университета. Технические науки. 2017;44 (4):122-131. D01:10.21822/2073-6185-2017-44-4-122-131
For citation: Silenok Yu.V., Yakovlev V.L. Methodology of evaluating the efficiency of information support for decisionmaking in the management of complex dynamic objects. Herald of Daghestan State Technical University. Technical Sciences. 2017; 44 (4):122-131. (In Russ.) D0I:10.21822/2073-6185-2017-44-4-122-131
ТЕХНИЧЕСКИЕ НАУКИ ИНФОРМАТИКА, ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА И УПРАВЛЕНИЕ
УДК 004.415.2:004.6
БОТ: 10.21822/2073-6185-2017-44-4-122-131
МЕТОДИКА ОЦЕНИВАНИЯ ЭФФЕКТИВНОСТИ ИНФОРМАЦИОННОГО
ОБЕСПЕЧЕНИЯ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПРИ УПРАВЛЕНИИ СЛОЖНЫМИ ДИНАМИЧЕСКИМИ ОБЪЕКТАМИ
1 2
Силенок Ю.В. , Яковлев В.Л.
1-2
' Костромской государственный университет,
1-2
' 156005, г. Кострома, ул. Дзержинского, 17, Россия,
1е-таИ: [email protected], 2е-таП: [email protected]
Резюме. Цель. Процесс управления сложными динамическими объектами и системами неизбежно связан с проблемой эффективности информационного обеспечения качества поддержки принятия управленческих решений. Создание и применение информационной системы (ИС) вызывают необходимость оценки ее эффективности. Метод. В статье представлена методика оценивания эффективности информационных систем при решении задач управления сложными динамическими объектами. Уточняется содержание критериев качества функционирования информационных систем. Результаты. Обоснованы показатели эффективности и качества информационной системы, ориентированной на анализ данных в задачах обработки информации. Показано, что необходимым и достаточным условием оценки эффективности информационной системы является размерность ее показателя. Представлен сравнительный анализ вариантов решения поставленной задачи на основе их прямого ранжирования с учетом значимости скалярного интегрального показателя качества. Показан переход к векторному показателю, элементами которого являются частные собственные показатели качества системы, каждый из которых может иметь самостоятельное значение для последующего уровня иерархии. Вывод. Необходимость учета частных показателей приводит к специфическим методам анализа и синтеза систем, основанным на многокритериальном подходе на основе концепции пространства состояний. В статье уточняется содержание критериев качества для информационных систем. Разработана и представлена методика оценивания эффективности информационных систем при решении задач управления сложными динамическими объектами на основе многокритериальной оптимизации. Сформирован и обоснован обобщенный показатель качества информационной системы. На основе концепции пространства состояний, возможен переход от скалярного интегрального критерия качества информационных систем, как правило, несобственного, к вектору значений собственных показателей.
Ключевые слова: эффективность информационной системы, концепции пространства состояний, критерии, показатель, качество, методика, оценка, управление, система, принятие решения
TECHNICAL SCIENCE
COMPUTER SCIENCE, COMPUTER ENGINEERING AND MANAGEMENT
METHODOLOGY OF EVALUATING THE EFFICIENCY OF INFORMATION SUPPORT FOR DECISION-MAKING IN THE MANAGEMENT OF COMPLEX DYNAMIC OBJECTS
1 2
Yuri V. Silenok , Vadim L. Yakovlev
1-2
- Kostroma State University,
1-2
- 17 Dzerzhinskogo Str., Kostroma 156005, Russia,
1 2
e-mail: [email protected], e-mail: [email protected]
Abstract. Objectives The process of managing complex dynamic objects and systems is inevitably connected with the problem of the effectiveness of providing qualitative support information for making managerial decisions. The creation and application of an information system (IS) makes it results in a need to evaluate its effectiveness. Methods The article presents a methodology for evaluating the effectiveness of information systems in solving problems related to the management of complex dynamic objects. The content of the functional information system quality criteria is specified. Results Efficiency and quality indicators of an information system oriented towardsthe analysis of data related to information processing problems are substantiated. It is suggested that the necessary and sufficient condition for evaluating the effectiveness of an information system is the dimensionality of its indicator. A comparative analysis of variants of the solution is presented on the basis of their direct ranking, taking into account the significance of the scalar integral quality indicator. The transition to a vector indicator, whose elements are partially derivedfrom the system's own quality indicators, each of which can have an independent value for the subsequent level of the hierarchy, is indicated. Conclusion The need to take into account the partial indicators leads to specific methods for analysing and synthesising systems on the basis of a multi-criteria approach based on the state space concept. The content of the quality criteria for the information systems is specified in the article. A developed methodology for evaluating the effectiveness of information systems in solving problems relating to the management of complex dynamic objects, based on multi-criteria optimisation, is presented. Thedeveloped generalised information system quality indicator is justified. On the basis of the state space concept, it is possible to move away from the generally unsuitable scalar integral quality criterion of information systems to the vector of eigenvalues.
Keywords: information system efficiency, state space concepts, criteria, indicator, quality, methodology, evaluation, management, system, decision-making
Введение. Выбор критериальной функции, предназначенной для количественной и/или качественной оценки информационной системы (ИС), достаточно субъективен. Предпочтительным универсальным показателем качества какой-либо системы является эффективность ее функционирования [1-5].
Эффективность является одним из фундаментальных свойств любой системы и непосредственно оценивается по результатам ее функционирования [6-7]. Проблема оценки эффективности ИС неоднозначна и многопланова.
Постановка задачи. В этой связи возникла задача формирования единой методологической основы, увязывающей оценку качества ИС с общей теорией квалиметрии [8-10]. При этом разработанные методики должны учитывать специфику оцениваемых систем обработки и хранения информации и, обеспечивать получение требуемых оценок качества конкретных ИС в конструктивной и наглядной форме [11-19].
Необходимым и достаточным условием оценки эффективности ИС является размерность ее показателя. Одномерность (скалярность) интегрального показателя эффективности является
существенной. При этом сравнительный анализ вариантов решения поставленной задачи осуществляется путем их прямого ранжирования на основе значимости скалярного интегрального показателя качества.
При переходе к векторному показателю, элементами которого являются частные собственные показатели качества системы, задача сравнения не только усложняется, но и становится не вполне корректной. Тем не менее, векторные показатели эффективности очень распространены на практике, поскольку позволяют осуществить естественную декомпозицию общей проблемы повышения качества функционирования ИС на ряд частных подзадач, каждая из которых может иметь самостоятельное значение для последующего уровня иерархии.
Методы исследования. Необходимость учета частных показателей приводит к специфическим методам анализа и синтеза систем, основанным на многокритериальном подходе [2021].
В соответствии с вышеизложенным будем различать общую задачу оценки эффективности ИС, основанную на несобственном интегральном скалярном показателе результативности ее функционирования, и частную задачу, относящуюся к определению значений вектора собственных показателей ее качества Q = [q1, q2 • • • qn ]Г .
Интегральная оценка эффективности информационных систем.
Общая задача оценки эффективности ИС I сводится к определению интегрального скалярного показателя, позволяющего однозначно оценить ее вклад в результативность иерархически вышестоящей системы G(I), в интересах которой она создавалась.
При этом положительный эффект метасистемы G определяется скалярной величиной Эо, зависящей от качественных характеристик входящей в ее состав ИС I(Q):
Эо(/)=3g[I(Q)\ (1)
Очевидно, что реальная эффективность функционирования метасистемы G зависит от множества разнообразных факторов, таких как: показатели самой системы, качество ее управления, особенностей применения и т. п.
Таким образом, оценка эффективности, изучаемой ИС, осуществляется исходя из результативности функционирования (применения) метасистемы.
Оценка результативности метасистемы, в свою очередь, определяются на основе субъективных критериев, имеющих экзогенный (уже по отношению к G) характер.
В этой связи, интегральная оценка эффективности ИС Э(1) будет определяться кортежем заданных критериев, позволяющих определить необходимые и достаточные условия результативности метасистемы G.
Необходимым условием эффективности любой системы является ее пригодность.
В скалярном случае пригодность ИС определяется вероятностью того, что достигнутый метасистемой положительный эффект (результат) будет превышать некоторый, априорно заданный порог (Э0)0.
Таким образом, критерий пригодности ИС можно представить в виде:
P&G(I)> 3g0 }> P (2)
где P0 - критическое значение, выбираемое исходя из требований, решаемой метасистемой G задачи.
В случаях, когда функция распределения F^g(I)} неизвестна, в качестве показателя
Вестник Дагестанского государственного технического университета. Технические науки. Том 44, №4, 2017 Heraldof Daghestan State Technical University.TechnicalSciences. Vol.44, No.4, 2017 _http://vestnik.dgtu.ru/ISSN (Print) 2073-6185ISSN (On-line) 2542-095Х_
оценки пригодности используют среднее значения результативности, полученное в серии из N испытаний (равные условия проведения):
%g (I )> %G0 (3)
где:
N
% а нт с w«
О
II=1 J /
При наличии одной единственной реализации, в условиях полной статистической неопределенности, критерий пригодности описывается детерминистским соотношением:
ЭО (/)> ЭОо (4)
По аналогии с необходимыми (2)-(4) можно сформулировать и достаточные критерии эффективности.
В частности, эффективность ИС по критерию превосходства будет определяться вероятностью того, что достигнутый метасистемой положительный эффект Э^Г) будет превышать соответствующий эффект, при использовании ИС-прототипа Го с вероятностью, не ниже заданной Ро.
В этом случае критерий превосходства ИС можно представить в виде:
Фо(/)> Эо (/,)}> ^0 (5)
При отсутствии априорных знаний о распределении F{ЭG}, критерий превосходства можно выразить через средние значения
(I )> ( IO )
O^
G (I )> %G ( 1 ) (6)
или в детерминированной форме, через одну конкретную реализацию
(7)
%g (I)> %G (IO )
Аналогичные соотношения могут быть получены для критерия оптимальности.
При этом необходимо заранее определить множество, на котором осуществляется оптимизация.
В частности, если осуществляется синтез или поиск оптимальной ИС на некотором множестве допустимых систем {1}0, критерии оптимальности, в зависимости от уровня априорной статистической неопределенности, могут быть, по аналогии с (2) ... (7) представлены в виде:
P{3G (l * )> Эа (I )}> P0 дляУ1 e{I0}
(8)
При отсутствии априорных знаний о распределении F{ЕG}, критерий оптимальности выражается через средние значения
P%g(i*)>%g(I)}> Po для VI e {l}o (9)
Вестник Дагестанского государственного технического университета. Технические науки. Том 44, №4, 2017 Heraldof Daghestan State Technical University.TechnicalSciences. Vol.44, No.4, 2017 _http://vestnik.dgtu.ru/ISSN (Print) 2073-6185 ISSN (On-line) 2542-095Х_
или в детерминированной форме, через одну конкретную реализацию:
р{Эс И> эа (ф P для V/ g{i}0 (10)
Сформированные критерии отражают результативность ИС с точки зрения метасистемы.
Заметим, однако, что далеко не во всех случаях, возможно априорно определить влияние собственных показателей системы на ее интегральный показатель качества.
В данном случае рациональным является переход к векторной оценке качества информационных систем.
Векторная оценка эффективности информационных систем.
Векторная оценка эффективности ИС I(Q) определяется зависимостью интегральной результативности иерархически вышестоящей системы EG от совокупности частных технических показателей ИС Q = \qx,q2 ...qn]г .
В числе частных технических показателей могут быть:
- допустимый объем хранения полезной информации;
- реальный объем оперативной и внешней памяти, занимаемый ИС;
- время доступа (время получения пользователем единицы объема востребованных данных из системы хранения информации (СХИ));
- степень безопасности ИС в отношении несанкционированного доступа (НСД);
- степень надежности сохранения информации в СХИ;
- открытость, гибкость системы и т.д.
Как правило, требования к системе задаются в виде области допустимых значений {Q0}, полученной в результате априорного, экспериментального или имитационного моделирования процесса функционирования метасистемы G[I(Q)].
Наличие априорных требований к ИС позволяет сформировать простейший критерий пригодности системы в виде:
Q g{Qo }
(11)
Он является критерием необходимости. Его выполнение позволяет однозначно указать на нецелесообразность разработки (применения) ИС.
Обсуждение результатов. Для обоснования целесообразности реализации ИС на практике одновременно с (11) используют критерии достаточности: превосходства и/или оптимальности.
Критерий превосходства позволяет оценить ИС на основе сопоставления ее параметров с параметрами системы-прототипа Q0:
0
Q > QO для VQ g {Qo }, (12)
где множество допустимых значений параметров ИС формируется на основе реализации условия необходимости (11).
Величина АЭа = Э (@) — Э0 (@0 ) отражает выигрыш, достигнутый от применения ИС I
тО
вместо системы-прототипа I .
Применение критерия (12) требует обеспечения ряда условий:
1. Эффективность ИС является монотонно-неубывающей функцией от параметров Q, т.е. если Q1>Q2, то ЭОД1) >ЭG(Q2);
2. Понятие «больше» или «меньше» при сравнении векторов определено с точностью до метрики, построенной на них. Введение метрик представляет собой субъективный экзогенный процесс и требует дополнительного обоснования;
3. Критерий превосходства (12) правомерен лишь для независимых параметров q1,q2, ...,qm; в случае, когда последние являются зависимыми величинами.
Увеличение какого-то параметра qi может привести к уменьшению другого qj, что, для нелинейных операторов ЭG(Q) может вызвать серьезные трудности в построении ИС.
Очевидно, что критерий (12) не гарантирует, что исследуемая ИС будет обладать наибольшей эффективностью (качеством). Поэтому более строгое решение имеет место при выполнении критерия оптимальности.
При выполнении вышеприведенных условий (1-3) параметрический (векторный) критерий оптимальности можно представить в виде:
Q = Q = extr {Qo}, для VQ e Q }
(13)
где ^0} - совокупность показателей качества, отвечающая множеству допустимых ИС. Более строгое определение требует рассматривать эффективность метасистемы, как функцию вектора Q:
%GQ)> %G(Q) для VQ e {Qo}
Соотношения (11, ...,13) допускают запись и в скалярной форме [22]:
Пq e{qo})= D
j=1
(14)
!П (qj e{qo})[ п\П (qj >{j })[ =d
j=
U=!
(15)
П (qj e {qo })!■ п\П (qj={qj * })!■ =D
U=
U =!
(16)
где: ^0} - область допустимых значений показателя, п- символ Булева пересечения событий (конъюнкции высказываний), D - символ достоверного события (истинное высказывание), ^ . - оптимальное значение показателя ] -го свойства.
Если для всей совокупности сравниваемых параметров {% ]=1,...,т} qlj=qij, то качество 1-го и ьго объектов признается одинаковым.
Если же, хотя бы одно из условий 1=1,...,п не выполняется, то это означает, что
заданная совокупность показателей свойств не позволяет выявить ИС, превосходящую по качеству остальные.
В ряде прикладных задач оценивания эффективности ИС крайне плодотворной оказывается представление качественного состояния системы в виде точки т-мерного фазового пространства, как показано на (рис. 1).
При этом изменение эффективности ИС будет соответствовать перемещению фазовой точки в данном пространстве Qm [23].
Попадание вектора в область ^0} будет соответствовать выполнению критерия пригодности (14), превышение значений вектора qj0e{Q0}, j=1,...,m - критерию превосходства (15) и нахождение глобального максимума qj*, j=1,...,m - критерию оптимальности (16).
Рис.1. Графическая интерпретация критериев эффективности информационной системы Fig.1. Graphical interpretation of the effectiveness criteria of the information system
Необходимо отметить, что приведенные выше показатели относятся к детерминированной ситуации.
В случае, когда имеется возможность получить избыточный объем наблюдений показателей качества, целесообразно перейти к вероятностно-статистической постановке задачи, обеспечивающей более реалистическую оценку эффективности ИС.
В частности, при наличии вероятностного распределения вектора Q, критерии пригодности, превосходства и оптимальности можно представить в виде, соответственно:
PQ efe, })> Po
pQ > ö° )> Po
pQ = Q )= extr
(17)
(18) (19)
При этом соотношение (17) выступает в качестве необходимого условия-ограничения для (1) и (19).
Аналогичные соотношения можно получить для случая, когда распределение F(Q) неизвестно, а информационная избыточность используется для усреднения значений показателей качества ИС:
Q G{öo}
(20)
Q > QO
(21)
Q = Q* = extr
(22)
Вывод. Вероятностные критерии (17, ..., 19) позволяют наиболее полно и объективно оценить эффективность функционирования системы.
Однако их реализация на практике связана со значительными трудностями, обусловленными отсутствием информации о законе распределения параметров F.
Практическое воплощение представленного подхода к оценке качества ИС в каждом конкретном случае требует его существенной адаптации.
Таким образом, на основе концепции пространства состояний, возможен переход от скалярного интегрального критерия качества ИС, как правило, несобственного, к вектору значений собственных показателей.
1. Юсупов Р.М, Мусаев А.А. Особенности оценивания эффективности информационных систем и технологий. - Труды СПИИРАН. 2017. Вып. 2(51). ISSN 2078-9181 (печ.), ISSN 2078-9599 (онлайн) www.proceedings.spiiras.nw.ru
2. ГОСТ 24.702-85. Единая система стандартов АСУ. Эффективность АС. Основные положения. - М.: Изд-во стандартов, 1986. - 6 с.
3. ГОСТ 28195-89. Оценка качества программных средств: основные положения. - М.: Изд-во стандартов,
4. ГОСТ 40.9001-88. Системы качества. Модель системы качества при проектировании или разработке. - М.: Изд-во стандартов, 1989. - 119 с.
5. Международный стандарт ISO 9001:1994. Системы качества. Модель обеспечения качества при проектировании, разработке, производстве, монтаже и обслуживании. М.: Изд-во стандартов, 1996. 94 с.
6. Инмон У., Фридман Л. Методология экспертной оценки проектных решений для систем с базами данных. -М.: Финансы и статистика. 1986. -227 с.
7. Анхимюк В.Л., Олейко О.Ф., Михеев Н.Н. «Теория автоматического управления». М.: Дизайн ПРО, 2002.
8. Бесекерский В.А., Попов Е.П. «Теория систем автоматического управления. 4-е изд., перераб. и доп. -СПб.: Профессия, 2003.
9. Вендров A. М. CASE-технологии. Современные методы и средства проектирования информационных систем. М.: Финансы и статистика 2003.
10. Гаврилин Ю. Ф. и др. Информационные технологии управления:Учеб. пособие/Юж. -Урал. гос. ун- т, Фак. коммерции; Ю. Ф. Гаврилин, А. И. Демченко, В. М. Каточков. -Челябинск: Изд-во ЮУрГУ, 2003.
11. Bernson A. Data Warehousing: Architecture and Technology - Los Angeles: McGraw-Hill Со, 1997. -512 p.
12. Семенов С. С. Оценка качества и технического уровня сложных систем. /Практика применения методов экспертных оценок. М.: Ленанд. 2015. 352 с.
13. Мартин Дж. Планирование развития автоматизированных систем. /Пер. с англ. -М.: Финансы и статистика. 1984. -196 c.
14. Частиков А.П. Разработка экспертных систем. Среда CLIPS / А.П. Частиков, Т.А. Гаврилова, Д.Л. Белов. -СПб. БХВ -Петербург, 2003. - 396 с.
15. Люгер Д. Ф. Искусственный интеллект: Стратегии и методы решения сложных проблем. 4-е изд. М.: Из-дат. дом «Вильямс», 2005.
16. Девятков В. В. Системы искусственного интеллекта: Учеб. пособие для вузов / Под ред. И. Б. Федорова. М.: Изд-во МГТУ, 2001.
17. Рассел С. Искусственный интеллект: современный подход. 2-е изд. / С. Рассел, П. Норвиг. М.: Издат. дом «Вильямс», 2007.
18. Недбай А. А. Основы квалиметрии. Версия 1.0 [Электронный ресурс]: электрон.учеб. пособие / А. А. Недбай, Н. В. Мерзликина. - Электрон.дан. (2 Мб). - Красноярск : ИПК СФУ, 2008. - (Квалиметрия : УМКД № 104-2007 / рук.творч. коллектива А. А. Недбай).
Библиографический список:
1989. - 38 с.
19. Квалиметрия и управление качеством. Ч.1. Квалиметрия: учеб.пособие / А.Н.Чекмарев. - Самара: Изд-во Самара, гос. аэрокосм, ун-та, 2010. - 172 с.
20. Грешилов А.А. Математические методы принятия решений: Учеб.пособие для вузов. - М.: Изд-во МГТУ им. Баумана, 2006. - 584 с.
21. Коцюба И.Ю., Чунаев А.В. и др. Методы оценки и измерения характеристик информационных систем. Учебное пособие. - СПб: университет ИТМО, 2015. - 264 с.
22. Теоретические основы испытаний и экспериментальная отработка сложных технических систем /Л.Н. Александровская, В.И. Круглов, А.Г. Кузнецов и др.: Учеб.пособие. - М.: Логос, 2003. - 734 с.
23. Дударенко Н.А., Нуйя О.С., Сержантова М.В., Слита О.В., Ушаков А.В. Математические основы теории систем: лекционный курс и практикум. Учебное пособие для высших учебных заведений / Под ред. А. В. Ушакова - изд. 2-е, расширенное и дополненное. - СПб.: НИУ ИТМО , 2014. 292 с.
References:
1. Yusupov R.M., Musaev A.A. Osobennosti otsenivaniya effektivnosti informatsionnykh sistem i tekhnologii. Trudy SPIIRAN. 2017; 2(51). [Yusupov R.M., Musaev A.A. Features of the evaluation of the effectiveness of information systems and technologies. Proceedings of SPIIRAN. 2017; 2(51). (In Russ.)]
2. GOST 24.702-85. Edinaya sistema standartov ASU. Effektivnost' AS. Osnovnye polozheniya. M.: Izd-vostandartov; 1986. 6 s. [GOST 24.702-85. Unified system of standards for automated control systems. Effectiveness of the AS. Basic provisions. Moscow: Izd-vostandartov; 1986. 6 p. (In Russ.)]
3. GOST 28195-89. Otsenka kachestva programmnykh sredstv: osnovnye polozheniya. M.: Izd-vostandartov; 1989. 38 s. [GOST 28195-89.Evaluation of the quality of software: basic provisions. Moscow: Izd-vostandartov; 1989. 38 p. (In Russ.)]
4. GOST 40.9001-88. Sistemykachestva. Model' sistemy kachestva pri proektirovanii ili razrabotke. M.: Izd-vostandartov; 1989. 119 s. [GOST 40.9001-88. Quality systems. Model of the quality system in the design or development. Moscow: Izd-vostandartov; 1989. 119 p. (In Russ.)]
5. Mezhdunarodnyi standart ISO 9001:1994. Sistemy kachestva. Model' obespecheniya kachestva pri proektirovanii, razrabotke, proizvodstve, montazhe i obsluzhivanii. M.: Izd-vostandartov, 1996; 94 s. [International standard ISO 9001: 1994. Quality systems. Model of quality assurance in the design, development, production, installation and maintenance. Moscow: Izd-vostandartov, 1996; 94 s. (In Russ.)]
6. Inmon U., Fridman L. Metodologiya ekspertnoi otsenki proektnykh reshenii dlya sistem s bazami dannykh. M.: Finansy i statistika; 1986. 227 c. [Inmon U., Fridman L. Methodology of expert evaluation of design solutions for systems with databases. Moscow: FinanceandStatistics; 1986. 227 c. (In Russ.)]
7. Ankhimyuk V.L., Oleiko O.F., Mikheev N.N. Teoriya avtomaticheskogo upravleniya. M.: Dizain PRO; 2002. [Ankhimyuk V.L., Oleiko O.F., Mikheev N.N. Theory of automatic control. M.: Dizain PRO; 2002. (In Russ.)]
8. Besekerskii V.A., Popov E.P. Teoriya sistem avtomaticheskogo upravleniya. SPb.: Professiya; 2003. [Besekerskii V.A., Popov E.P. The theory of automatic control systems. SPb.:Professiya; 2003. (In Russ.)]
9. Vendrov A.M. CASE-tekhnologii. Sovremennye metody i sredstva proektirovaniya informatsionnykh sistem. M.: Finansy i statistika; 2003. [Vendrov A.M. CASE-technology. Modern methods and means of designing information systems. Moscow: Finance and Statistics; 2003. (In Russ.)]
10. GavrilinYu.F., Demchenko A.I., Katochkov V.M. Informatsionnye tekhnologii upravleniya: Ucheb. Posobie. Chelyabinsk: Izd-voYuUrGU; 2003. [GavrilinYu.F., Demchenko A.I., Katochkov V.M. Information technology management: tutorial. Chelyabinsk: Publishing house of YuUrGU; 2003. (In Russ.)]
11. Bernson A. Data Warehousing: Architecture and Technology. Los Angeles: McGraw-Hill So; 1997. 512 p.
12. Semenov S.S. Otsenka kachestva i tekhnicheskogo urovnya slozhnykh sistem. Praktika primeneniya metodov ek-spertnykh otsenok. M.: Lenand; 2015. 352 s. [Semenov S.S. Assessment of the quality and technical level of complex systems. The practice of applying expert assessment methods. Moscow: Lenand; 2015. 352 p. (In Russ.)]
13. Martin Dzh. Planirovanie razvitiya avtomatizirovannykh sistem. M.: Finansy i statistika; 1984. 196 s. [Martin Dzh. Planning for the development of automated systems. Moscow: Finance and Statistics; 1984. 196 p. (In Russ.)]
14. Chastikov A.P., Gavrilova T.A., Belov D.L. Razrabotka ekspertnykh sistem. Sreda CLIPS. SPb: BKhV-Peterburg; 2003. 396 s. [Chastikov A.P., Gavrilova T.A., Belov D.L. Development of expert systems. CLIPS environment. SPb: BKhV-Peterburg; 2003. 396 p. (In Russ.)]
15. LyugerD.F. Iskusstvennyi intellekt: Strategii i metody resheniya slozhnykh problem. M.: Izdat. dom «Vil'yams»; 2005. [Lyuger D.F. Artificial Intelligence: Strategies and methods for solving complex problems. Moscow: Publishing house «Williams»; 2005. (In Russ.)]
16. Devyatkov V.V. Sistemy iskusstvennogo intellekta: Ucheb. posobiedlyavuzov (Pod red. I.B. Fedorova). M.: Izd-vo MGTU; 2001. [Devyatkov V.V. Systems of artificial intelligence: tutorial for high schools (Edited by I.B. Fe-dorov). Moscow: Izd-vo MSTU; 2001. (In Russ.)]
17. Rassel S., Norvig P. Iskusstvenny iintellekt: sovremennyi podkhod. M.: Izdat. dom «Vil'yams»; 2007. [Rassel S., Norvig P. Artificial intelligence: a modern approach. Moscow: Publishing house «Williams»; 2007. (In Russ.)]
18. Nedbai A.A., Merzlikina N.V. Osnovy kvalimetrii. Versiya 1.0 [Elektronnyiresurs]: elektron. ucheb. posobie. Elektron. dan. (2 Mb). Krasnoyarsk : IPK SFU; 2008. (Kvalimetriya: UMKD № 104-2007 / ruk. tvorch. kollektiva A.A. Nedbai). [Nedbai A.A., Merzlikina N.V. Fundamentals of qualimetry. Version 1.0 [Electronic resource]:
electronic tutorial. Electronic Data (2 MB). Krasnoyarsk: IPK SFU; 2008. (Qualification: Educational and Cultural Institute № 104-2007 / head of the creative team A.A. Nedbai). (In Russ.)]
19. Chekmarev A.N. Kvalimetriya i upravleniekachestvom. Ch.1. Kvalimetriya: ucheb. posobie. Samara: Izd-vo Samar. gos. Aerokosm. un-ta; 2010. 172 s. [Chekmarev A.N. Qualimetry and quality management. Part 1. Qualime-try: tutorial. Samara: Izd-vo Samar. gos. Aerokosm. un-ta; 2010. 172 p. (In Russ.)]
20. Greshilov A.A. Matematicheskie metody prinyatiya reshenii: Ucheb. Posobie dly avuzov. M.: Izd-vo MGTU im. Baumana; 2006. 584 s. [Greshilov A.A. Mathematical methods of decision making: tutorial for universities. Moscow: Izd-vo MSTU; 2006. 584 p. (In Russ.)]
21. KotsyubaI.Yu., Chunaev A.V. i dr. Metodyotsenki i izmereniya kharakteristik informatsionnykh sistem. Uchebnoe posobie. SPb: universitet ITMO; 2015. 264 s. [KotsyubaI.Yu., Chunaev A.V. et al. Methods for assessing and measuring the characteristics of information systems. Tutorial. St. Petersburg: ITMO University; 2015. 264 p. (In Russ.)]
22. Aleksandrovskaya L.N., Kruglov V.I., Kuznetsov A.G. i dr. Teoreticheskie osnovy ispytanii i eksperimental'naya otrabotka slozhnykh tekhnicheskikh sistem. Ucheb. posobie. M.: Logos; 2003. 734 s. [Aleksandrovskaya L.N., Kruglov V.I., Kuznetsov A.G. i dr.Theoretical bases of tests and experimental testing of complex technical systems. Tutorial. Moscow: Logos; 2003. 734 p. (In Russ.)]
23. Dudarenko N.A., Nuiya O.S., Serzhantova M.V., Slita O.V., Ushakov A.V. Matematicheskie osnovy teoriisistem: lektsionnyikursi praktikum. Uchebnoe posobie dlya vysshikhuchebnykh z avedenii (Podred. A.V. Ushakova).SPb.: NIU ITMO; 2014. 292 s. [Dudarenko N.A., Nuiya O.S., Serzhantova M.V., Slita O.V., Ushakov A.V. Mathematical foundations of the theory of systems: lecture course and practical work. Textbook for higher educational institutions (Edited by A.V. Ushakov). SPb.: NIU ITMO; 2014. 292 p. (In Russ.)]
Сведения об авторах:
Силенок Юрий Викторович - ассистент кафедры информационных систем и технологий. Яковлев Вадим Лаврович - старший преподаватель кафедры информационных систем и технологий. Information about the authors:
Yuri V. Silenok - Assistant, Department of Information Systems and Technologies. Vadim L. Yakovlev - Senior Lecturer, Department Information Systems and Technologies.
Конфликт интересов
Авторы заявляют об отсутствии конфликта Поступила в редакцию 02.09.2017. Принята в печать 10.10.2017
Conflict of interest
The authors declare no conflict of interest.
Received 02.09.2017.
Accepted for publication 10.10.2017
