CC BY
313
ЭКСПЕРТНАЯ ОЦЕНКА КАЧЕСТВА ФУНКЦИОНИРОВАНИЯ ИНФОРМАЦИОННЫХ СИСТЕМ В ОБРАЗОВАТЕЛЬНОМ СЕРВИСЕ
Кулаков Кирилл Владимирович, аспирант, kirill [email protected].
ФГОУВПО «Российский государственный университет туризма и сервиса», г. Москва
Success of information system depends significantly on the quality of its functioning, however it is not always possible to define it by the settlement-analytical method. In the article quality questions with reference to information systems of high school are considered. Methodological conditions of an estimation of the quality by means of an expert method are considered. The technology and model of calculation of indicators of an expert estimation of the quality are developed.
Успешность информационной системы в значительной мере зависит от качества ее функционирования, однако не всегда возможно определить его расчетно-аналитическим методом. В статье рассматриваются вопросы качества применительно к информационным системам вуза. Рассмотрены методологические условия оценки качества с помощью экспертного метода. Разработаны технология и модель расчета показателей экспертной оценки качества.
Key words: Quality of information systems, expert estimation, educational service Ключевые слова: качество информационных систем, экспертная оценка, образовательный сервис
Эффективность информационных систем (ИС) в значительной мере определяется оценкой качества на всех стадиях их жизненного цикла [1]. Особую значимость составляет задача оценки качества функционирования информационных систем в образовательном сервисе, например, в вузовской сфере. Существует несколько направлений в оценке качества, в частности, эвристический, расчетноаналитический и экспертный. В практике экспертной оценки качества, в частности при экспертной оценке потребительских свойств продукции в основном применяются
комплексная и оперативная экспертизы [2]. Однако пока нет методик экспертной оценки качества функционирования информационных систем вуза.
Комплексная экспертиза проводится для всестороннего изучения и оценки качества информационных систем серийно. В связи с этим при экспертизе реализуют системный, комплексный подход к анализу и оценке функционирования ИС. При комплексной экспертизе необходимо получить не только более полную характеристику оцениваемой конкретной ИС, но также и определенный научный, методический и нормативный материал, используемый при проведении оценки качества ИС достаточно широкого класса и назначения.
Оперативная экспертиза основывается на данных, полученных при проведении предшествующих комплексных экспертиз. Этот прием позволяет существенно сократить объем и сроки экспертных работ при достаточной глубине и обоснованности экспертных заключений.
При экспертном методе оценку уровня качества или показателя того или иного свойства ИС можно определить в безразмерных единицах. В случае если результат оценки (экспертного измерения) качества эксперты представляют в виде ранжированного ряда, то численное определение оценок экспертов состоит в следующем.
1. Все объекты оценки (информационная система, ее компоненты, свойства) нумеруются произвольно.
2. Эксперты ранжируют объекты по шкале порядка.
3. Ранжированные ряды объектов, составленные экспертами, сопоставляются.
Пример. Пусть пять экспертов о семи объектах экспертизы Q составили такие ранжированные ряды по возрастающей шкале порядка:
эксперт N2 1 — ^^5 (■Qз ^02 ^^^6 ^04 ^07
эксперт N2 2 — 05 ^02 ^^^6 ^04 ^^^1
эксперт N2 з — 03 ^02 ^^^1 ^^^6 ^04 ^^^7
эксперт N2 4 — 05 ^03 ^02 ^^^1 ^04 ^^^6 ^07
Место объекта в ранжированном ряду называется его рангом. Численное значение ранга в ряду возрастающей шкалы порядка увеличивается от 1 до t. В нашем примере t=1.
4. Определяются суммы рангов каждого из объектов экспертной оценки. В рассматриваемом примере они таковы:
Q1 - 4 + 6 + 4 + 4 + 3 = 21
02 - 3 + 3 + 2 + 3 + 4 = 15 Q3 - 2 + 2 +1 + 2 + 2 = 9 Q4 - 6 + 5 + 6 + 5 + 6 = 28 Q5 -1 +1 + 3 +1 +1 = 7 Q6 - 7 + 7 + 7 + 7 + 7 = 35
5. На основании полученных сумм рангов строим обобщенный ранжированный
6. Обобщенные экспертные оценки качества рассматриваемых объектов экспертизы, т.е. коэффициенты их весомости, рассчитываются по формуле
где п - количество экспертов; т - число оцениваемых показателей;
’■> - коэффициент весомости j-го показателя в рангах (баллах), который дал ьый эксперт.
Расчеты по формуле (1) для рассматриваемого примера дают следующие результаты:
ряд.
Для нашего примера он имеет вид
Q5 ^3 ^2 <а ^6 ^4 ^7
п
21 15 9
g1 =---------------------------------= 0,15 g2 =-= 0,11 gз =---= 0,06
140 140 140
28 7 25
g4 =----------------------------------= 0,2 ^ =-= 0,005 g6 =-= 0,18
140 140 140
Анализируя полученные экспертным методом оценки качества, можно не только указать, какой объект лучше или хуже других, но и на сколько.
Если ранжирование объектов по их качеству осуществлять в табличной форме, то сопоставления и расчеты численных значений экспертных оценок производятся по следующей методике.
Во-первых, составляется таблица, по которой каждый эксперт осуществляет сопоставление и оценку рассматриваемых объектов. При этом каждый ьй объект сопоставляется с другими j-ми объектами сравнения. Если при попарном сопоставлении ьи объект признается лучше j-го, то это условие обозначается цифрой 1, противоположная оценка обозначается -1, а равнокачественные объекты отмечаются в таблице цифрой 0 (ноль).
В таком случае сопоставительная таблица оценок одного эксперта, например, шести ИС, как объектов исследования, будет иметь следующий вид.
Таблица
Оценки эксперта по объектам
того
И
Объект i
1
4
2
-2
1
1
3
3
4 1 1 1 1 1 -5
5 5
6 1 1 1
Из этой таблицы видно, что предпочтительные оценки данного эксперта получили ИС в такой последовательности: № 5, № 3 и № 1. Предпочтительным в данном случае является ИС № 5.
Данные о предпочтениях всех экспертов группы суммируются и рассчитываются обобщенные предпочтения одних ИС над другими, то есть рассчитывается экспертный показатель качества ИС в виде ее частоты предпочтений.
Частота предпочтения находится как частное от деления всех предпочтений данного объекта на возможное число предпочтений, т.е.
*. = -п
где N -- число предпочтений экспертов; п- количество экспертов.
Весомость показателя качества одного объекта исследования по отношению к показателям качества других объектов рассчитывается по формуле (1). Однако для данного случая она имеет вид
я. = ^
к.
где 1-- частота предпочтения ьым экспертом j-го объекта экспертизы;
С -- общее количество учитываемых оценок, связанное с числом объектов экспертизы m следующей зависимостью
С т (т -1)
= 2
Пусть, например, число оцениваемых объектов семью экспертами равно 6,
2 3 4 5 6 . Тогда частоты предпочтений
каждого объекта таковы
4 3 5
г =- = 0,57 =- = 0,43 К3 =- = 0,71
?,1 7 ' 1,2 7 ' 1,3 7 '
^4 = 0 = 0 ^5 =1 = 0,14 ^6 = 2 = 0,29
1,4 7 1,5 7 ’ г,б 7 ’
Общее число положительных оценок
С = 6(6-1) = 15
2 .
Следовательно, весомость каждого из шести объектов экспертизы по общему мнению всех семи экспертов будут иметь следующие значения
0,57 0,43 0,71
г = -— 7 = 0,27 = —— 7 = 0,20 г3 = —— 7 = 0,33
15 15 15
0 0,14 0,29
г4 =— 7 = 0 г5 = -— 7 = 0,06 г6 = -— 7 = 0,14
а4 15 «5 15 > «б 15 »
Сумма всех показателей весомости качества объектов исследования
т
£ гг = 0,27 + 0,20 + 0,33 + 0,06 + 0,14 = 1
]=1 .
Так получили ранжированный по качеству ряд исследованных объектов вида:
№ 3 > № 1 > № 2 > № 6 > № 5 > № 4.
При этом показатели качества объектов, оцененные экспертным методом, выражены в количественной форме. По усредненным значениям показателей весомости можно судить, насколько одна ИС превосходит по качеству другую ИС.
Повысить точность экспертных оценок (измерений) показателей качества можно, если произвести двукратное сопоставление и оценку объектов, то есть сначала это сделать в одной последовательности, а потом в противоположной. При этом, естественно, количество учитываемых оценок экспертов удваивается и С=т(т-1). В остальном методика расчетов показателей качества не изменяется.
При экспертизе качества ИС могут быть использованы балльные оценки, которые даются непосредственно экспертами или получаются в результате
формализации процесса оценки. Эта формализация бывает эвристической или экспериментальной.
Непосредственное назначение балльных оценок производится экспертами независимо друг от друга или в процессе обсуждения. Количество баллов в принимаемой оценочной шкале может быть разным. Для оценки показателей качества можно использовать пяти-, семи- или десятибалльную шкалы.
Пример пятибалльной шкалы.
Оценка Число баллов
Отличное качество 5
Хорошее качество 4
Вполне удовлетворительное качество 3
Удовлетворительное качество 2
Плохое качество 1
Пример семибальной шкалы.
Оценка Число баллов
Качество очень высокое 7
Качество высокое 6
Качество выше среднего 5
Качество среднее 4
Качество ниже среднего 3
Качество низкое 2
Качество очень низкое 1
Обобщенный показатель качества Кэкс, определяемый экспертным методом по балльной системе исчислений, находят как среднее арифметическое значение оценок, поставленных всеми экспертами и вычисляют по формуле
Ёа
V — 1=1
Кэкс
а
где а -- количество экспертов; Q -- оценки в баллах, поставленные экспертами.
Если при экспертизе качества оценку (опрос) проводят в несколько туров, то в этом случае значение показателя качества определяют как среднеарифметическое значение оценок, полученных в каждом туре опроса экспертов по выражению
X КЭ1
Ккс =-
К .
где экс ’1 -- значение показателя качества, полученное в каждом туре; т -- число туров опроса.
Эвристическая формализация экспертных оценок заключается в определении зависимости между значениями параметрических показателей и их оценками в баллах. На основании этого строится график или разрабатывается математическая формула, которые позволяют выражать балльную оценку показателей качества в натуральных единицах измерений, например, производительность ИС как число выдаваемых пользователю документов в единицу времени.
При экспериментальной формализации устанавливают соотношение значений балльных оценок со значениями показателей, определяемыми в результате эксперимента. Следует отметить, что экспертный метод определения значений показателей качества с использованием способа экспериментальной формализации оценок экспертов является более объективным, чем без такой формализации [3].
В экспертной оценке можно применять так называемый социологический метод оценки качества ИС. Этот метод, как и экспертный, основан на опросах, мнениях, но не специальных экспертов, а различных пользователей ИС - студентов, преподавателей, аспирантов, сотрудников управления, научного сектора вуза и др. Этот социологический метод можно считать модификацией экспертного. Социологический метод определения значений показателей качества продукции является по существу маркетинговым и осуществляется с помощью не экспертов, а фактических или потенциальных потребителей результатной информации, выдаваемой ИС. Сбор мнений потребителей производится опросом или с помощью распространения и заполнения специальных анкет-вопросников, а также путем организации конференций, выставок, аукционов, опытно-показательной эксплуатации и т.п.
1=1
т
Экспертный метод можно эффективно применять и для оценки качества отдельных компонентов ИС - технических средств, программных продуктов, базы данных, лингвистических средств и др.
Литература
1. Исаев Г.Н. Моделирование оценки качества информационных систем. М.: ИМСГС, 2006. 230 с.
2. Орлов А.И. Теория принятия решений. М.: Изд-во «Март», 2004. 187 с.
3. Литвак Б.Г. Экспертные оценки и принятие решений. М.: Патент, 1996. 271 с.
