К вопросу о сравнительной оценке гарантоспособных систем Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 621.3.019.3

А.В. ФЕДУХИН*, В.Н. ЯРОШЕНКО*, А.И. СУХОМЛИН*, Н.В. СЕСПЕДЕС ГАРСИЯ*, Ар .А. МУХА*

К ВОПРОСУ О СРАВНИТЕЛЬНОЙ ОЦЕНКЕ ГАРАНТОСПОСОБНЫХ СИСТЕМ

Институт проблем математических машин и систем НАН Украины, Киев, Украина______________

Анотація. Розглянуто питання порівняльної оцінки систем за рівнем гарантоздатності. Розроблено базовий підхід до кількісної оцінки показників метрик і атрибутів гарантоздатності на основі методу експертних оцінок.

Ключові слова: атрибутивна модель гарантоздатності, атрибути, метрики, критерії оцінки, ваги, значимості.

Аннотация. Рассмотрены вопросы сравнительной оценки систем по уровню гарантоспособности. Разработан базовый подход к количественной оценке показателей метрик и атрибутов гарантоспособности на основе метода экспертных оценок.

Ключевые слова: атрибутивная модель гарантоспособности, атрибуты, метрики, критерии оценки, веса, значимости.

Abstract. The questions of comparative evaluation of systems in terms of dependability were considered. A basic approach to measuring performance metrics and attributes of dependability on the basis of expert assessments were developed.

Keywords: attributive model of dependability, attributes, metrics, evaluation criteria, weights, significance.

1. Введение

Для оценки гарантоспособности [1] как сложного свойства системы можно использовать так называемые векторные показатели, представляющие собой набор показателей, оценивающих отдельные атрибуты гарантоспособности: безотказность, готовность, живучесть, обслуживаемость, конфиденциальность, целостность и функциональную безопасность.

Такая модель в [2] получила название атрибутивной модели гарантоспособности системы (АМГС). Атрибуты модели оцениваются посредством метрик, которые представляют собой либо аналитические выражения и имеют количественные оценки (количественные метрики), либо носят описательный характер и имеют качественные оценки (качественные метрики). Так, среди приведенного выше набора атрибутов такие два атрибута, как конфиденциальность и целостность, характеризуются исключительно качественными метриками, не выражающимися аналитически, и оцениваются с помощью набора критериев оценки.

С целью сравнения двух гарантоспособных систем S1 и S2 по уровню гарантоспособности (УГС) предлагается численное оценивание обобщенного показателя гарантоспособной системы на основе ряда аналитических выражений. Если оперирование количественными метриками более-менее понятно, то учет качественных метрик в оценке соответствующего атрибута и УГС в целом является актуальной задачей в данном приложении. Один из подходов к ее решению, основанный на методе экспертных оценок, является предметом данной работы.

2. Определение весов качественных метрик

При получении экспертных оценок качественных метрик сравниваемых систем S1 и S2 необходимы некоторые условия:

- наборы метрик для соответствующего атрибута должны быть идентичны;

- экспертные комиссии для каждой из систем ^ и £ 2 должны быть индивидуальными и численно равными между собой.

Рассмотрим возможный подход к оцениванию весов качественных метрик исследуемых систем экспертным методом.

Допущение 1. При определении весов метрик считается, что более высокое суммарное число присвоенных экспертами оценочных баллов пропорционально увеличивает долю данной метрики относительно суммарного числа баллов, полученных от всех экспертов среди аналогичных долей других метрик.

Пусть число качественных метрик некоторого атрибута гарантоспособности (например, целостности) равно т , а число экспертов, привлеченных для их оценивания, равно п . Каждому эксперту выдается некий трафарет для голосования, содержащий т следующих друг за другом ячеек для заполнения оценочными баллами (целыми числами). Причем максимально возможный балл равен т , а минимальный - 1.

До голосования каждой метрике присваивается неизменный идентификационный номер, при этом і -я (і =1,... т ) ячейка предназначается для баллов метрики с аналогичным идентификационным номером і, что удобно экспертам. Разумеется, что у экспертов имеется таблица соответствия названий метрик их идентификационным номерам.

Введем следующие обозначения:

аі}- - оценка (в баллах) і -ой метрики, данная ] -м экспертом (^ = 1,... п);

Ьі - экспертная оценка веса і -ой метрики.

Вес Ьі рассчитывается по формуле

п

- аи

Ь=-т=-п—, (1)

И'

і=1 }=\

ач

где 7=1,...,т .

Пример 1. Рассмотрим метод расчета весов качественных метрик. Для расчета используются следующие исходные данные: т = 5, п = 6.

Пусть качественным метрикам присвоены следующие экспертные баллы:

а11=4 а21=3 а31=5 а41=1 а51=4

а12 =3 а22 =3 а32 =5 а42 =2 а52 =4

ав —5 а23 —4 а33 —4 а43 —2 а53 —3

а14 =4 а24 =5 а34 =4 а44 =1 а54 =3

а15 =4 а25 =4 а35 =5 а45 =2 а55 =4

а16 =5 а26 =3 а36 =4 а46—1 а56 =4

Промежуточные результаты вычислений:

2а =25, ГХ =22, =27, Г>„ =9, ^, =22, У Уа,, =105.

1=1 1=1 1=1 1=1 1=1 7=1 1=1

Веса, рассчитанные по формуле (1), имеют следующие значения:

25 22 27

Ь, =---= 0,2380952, Ь2=----------= 0,2095238, Ь3 =------= 0,2571428,

1 105 105 3 105

9 22

Ь4 =----= 0,0854142, Ь5 =-----= 0,2095238.

4 105 5 105

5

При этом У Ь = 0,9999998 »1.

7=1

Подход к определению весов качественных метрик применим также к такому атрибуту гарантоспособности, как целостность, с его сугубо качественными метриками.

Определение 1. Оценки метрик являются показателями высокого уровня, а оценки критериев метрик - показателями низкого уровня.

Для каждого атрибута, включая и атрибуты, имеющие количественные оценки метрик, с помощью изложенного выше экспертного метода можно оценить их веса, которые в дальнейшем будут использоваться для сравнительной оценки систем по уровню гарантоспособности.

3. Подход к выбору предпочтительной системы

С целью удобства дальнейших рассуждений изменим порядок следования атрибутов следующим образом: безотказность, готовность, живучесть, обслуживаемость, функциональная безопасность, конфиденциальность, целостность.

Первые пять атрибутов имеют количественные метрики, выражаемые аналитически, а последние два атрибута содержат метрики сугубо качественного типа.

Пусть имеются две системы ^ и $2 с описанным выше набором атрибутов гарантоспособности. При этом качественные метрики систем ^1 и $2 совпадают, а количественные - описываются одинаковыми аналитическими выражениями, но с оценками, принимающими различные численные значения. Ставится задача выбора системы с наивысшим УГС.

Следует отметить, что каждому атрибуту в упомянутом выше наборе присваивается неизменный идентификационный номер, совпадающий с порядковым номером следования этого атрибута в наборе. Так, безопасности присваивается 1-й номер, а целостности - последний, 7-й номер. Это создает определенные удобства для работы экспертов. Аналогичным образом идентификационные номера получают и метрики (показатели более низкого уровня), характеризующие соответствующие им атрибуты (показатели более высокого уровня). Примеры перечней количественных метрик по каждому из атрибутов приведены в [2].

Предварительно важно отметить, что совершенно необходимым является определение относительных весов каждого показателя каждого из уровней. Веса атрибутов в дальнейшем будем называть значимостями, тем самым подчеркнув их более высокий уровень.

Значимости семи показателей высокого уровня получаются точно таким же экспертным путем, что и для веса качественных метрик. Будем считать уже определенными значимости атрибутов и обозначим их ¥}. (у = 1,...т) (в нашем случае т = 7). Экспертные

оценки весов метрик, входящих в соответствующие атрибуты с номерами с 1-го по 5-й, обозначим Ь (, = 1,...5); (1 = 1,...т,), где т1 - количество метрик, характеризующих ,-й

атрибут. Каждая количественная метрика, входящая в атрибут и имеющая вес Ьц, имеет аналитическое выражение, приведенное в [2].

Для сравнения между собой количественных метрик введем параметр Б у , где г -й -идентификационный номер атрибута, у - идентификационный номер метрики, входящей в г -й атрибут. Для всех количественных метрик и параметров Б у в [2] приводятся соответствующие аналитические выражения. Считая известными веса и значимости обоих уровней, рассмотрим подход к принятию решения о предпочтительности одной из гарантоспособных систем.

Случай количественных метрик

Метрики представлены идентичными аналитическими выражениями в обеих системах 51 и 52, но с различающимися в самом общем виде значениями показателей.

Обозначим аналитическое выражение, представляющее параметр как

АКу (г = 1,...5), (j = \,...т1).

апт

В принятых далее обозначениях дробей —— апЛ и ап 2 представляют собой ре-

апп 2

зультаты подстановок в АК у численных значений параметров соответственно в системе 51 и 52. Если в некоторых выражениях содержится в качестве аргумента момент времени

I, то его значения должны совпадать в одноименных выражениях для обеих систем. От-

апу1 П

ношения —— как отношения чисел вычисляются по всем параметрам количествен-

апу 2

ных метрик для конкретных заданных числовых значений.

апг1

Обозначим отношения —— как Оц (г = 1,...5), (у = 1,...т.).

апу 2

Вычислим выражение Оср1 = Е О у • Ьу (г = 1,...5) по всем количественным метрикам

у=1

г -го атрибута.

^ 7

Вычислим выражение Осрколич = Е Осрг • V., где = 1 по всем количественным

-1 ы '

атрибутам для значений V (г = 1,...5).

Случай качественных метрик

Каждой качественной метрике соответствует набор критериев оценки, количество которых равно к . Уровень исполнения критерия оценки определяется величиной и1 (I = 1,...к), которая находится в диапазоне значений 0^1. Оценка уровня исполнения критерия осуществляется следующим образом:

• при полном отсутствии выполнения критерия - и1 = 0 ;

• при выполнении критерия на 10%-90% - иг =0,1-0,9;

• при 100% выполнении критерия - и1 = 1.

Количественной оценкой качественной метрики является усредненная оценка уров-

к

Е и1

ней исполнения ее критериев Ьи = ——, где г - номер качественного атрибута, у - номер

1 к

т

качественной метрики. Величину можно уточнить экспертным методом с использова-

нием весов критериев оценки (см. раздел 2 данной статьи).

Ь

При сравнении двух систем 51 (/ = 1,2) вычислим отношения ----------- и используем

Ь12

уже определенные веса качественных метрик Ьц (/ = 6,7); (] =1,... ), где / - номер ат-

рибута, а ] - номер качественной метрики. При этом суммы весов всех качественных метрик как 6-го, так и 7-го атрибутов, равны 1. Сами веса Ь^ могут быть получены и третьей группой экспертов.

т/ Ь.

Вычислим выражение Qcрi = Е—~' Ьц по всем качественным метрикам / = 6,7 ат-

]=1 Ь] 2

рибутов.

5 7

Вычислим выражение Qcркaч = ЕQcpi 'V, где = 1 по всем качественным ат-

/=1 /=1

рибутам для значений V (/ = 6,7).

Полученные величины Оср колич и Qcркaч служат для сравнения систем 51 и 52 по совокупностям оценок соответственно количественных и качественных атрибутов. Сумма этих величин Я = Осрколич + 0 сркач позволяет сделать вывод о предпочтении той или иной

системы с точки зрения гарантоспособности.

Пример 2. Требуется определить средний уровень исполнения критериев оценки метрики Целостность вычислительных ресурсов атрибута Целостность. Исходные данные приведены в табл. 1.

Таблица 1. Исходные данные для оценки среднего уровня исполнения критериев метрики

№ п/п Наименование критерия оценки Уровень исполнения критерия оценки и1 для систем

*1 *2

1 Правильность эксплуатации ВР 0,98 1

2 Безопасность эксплуатации ВР 0,85 0,95

3 У спешность эксплуатации ВР 0,9 0,85

4 Способность проверять и сохранять данные 0,85 0,9

5 Способность защиты от серьёзных последствий для целостности в случае ошибок 0,75 0,75

6 Способность восстанавливать целостность после сбоев и ошибок 0,8 0,9

7 Наличие защиты от нарушений авторского права 0 0,85

8 Наличие функций восстановления целостности 0,95 0,95

9 Наличие функций контроля целостности 0,55 0,8

10 Наличие функций идентификации и аутентиф икации 0,85 0,85

11 Наличие средств мониторинга и оповещения 0,65 0,65

12 Наличие средств обработки ошибок 0 0,85

к

Е и1

Вычислим по формуле и = — (к = 12) средний уровень исполнения критериев

оценки метрики для двух конкурирующих систем. Получим и1=0,68; и2=0,86. Не трудно видеть, что уровень исполнения метрики Целостность вычислительных ресурсов системы *2 значительно выше, чем у системы *1.

Решение о предпочтительности систем

Напомним, что при рассмотрении отношений численных значений показателей числитель отношения соответствует системе *1, его знаменатель - системе *2. В связи со сказанным, если Я > 1, следует отдать предпочтение системе *1 , в противном случае - системе *2.

При принятии решения о предпочтительности той или иной системы необходимо иметь в виду, что для одних метрик рост их показателя приводит к увеличению УГС, а для других метрик - к уменьшению УГС.

Например, метрики атрибута Безотказность, такие как вероятность безотказной работы отказоустойчивой системы, вероятность безотказной работы неизбыточного канала системы, число работоспособных конфигураций системы и т.д. с ростом их показателя увеличивают (благоприятствуют) УГС. Метрики атрибута Обслуживаемость, такие как продолжительность технического обслуживания, среднее время восстановления и т.д. с ростом их показателя уменьшают (не благоприятствуют) УГС.

Поэтому после присвоения всем метрикам идентификационных номеров при дальнейшем рассмотрении вопроса необходимо разделить множество I этих номеров на два

непересекающиеся множества I) и I( ) соответственно номерам так называемых благоприятствующих и неблагоприятствующих метрик.

Для любого / -го атрибута (/ = 1,...5) введем обозначения:

I- множество номеров метрик / -го атрибута (j = 1,..щ);

I.) и I,7 - соответствующие подмножества номеров благоприятствующих и неблагоприятствующих метрик множества I,. Объединение непересекающихся множеств I.) и I.) совпадает с множеством I,. Не исключено, что некоторые множества I.) могут оказаться пустыми.

апт

Заметим, что введенные ранее отношения —— численных значений общих для

апу 2

систем *1 и *2 , обозначенные как

ап.., ч . Т(+)

аПу 2

О, (/ = 1,-5), у € Т,1, (2)

с последующим их «взвешиванием» по соответствующим весам и суммированием по ин-

дексу ,, увеличивают сумму, которая уменьшается, когда индекс суммирования , € р., ).

апи\

Уменьшение упомянутой суммы связано с тем, что отношения —— при 1, принадлежа-

апц 2

щем множеству 1(~ \ принимаются отрицательными.

С учетом обозначения (2) и разделения множества Iц на два его подмножества справедливо равенство

т1

Т 1 — ТоЛ - ТоЬ ( > — 1,...5). (3)

Г-1 1.1г 1.1Г'

апт

В соответствии с равенством (3) дальнейшее «взвешивание» отношений —— по

ап 12

весам атрибутам происходит аналогично уже представленному.

Утверждать, что сумма, стоящая в левой части равенства (3) всегда положительна, нельзя. Правомерность этого утверждения увеличивается со степенью близости систем ^ и $2 по характеристикам гарантоспособности, что требует внимательного рассмотрения.

Для случая 6-го и 7-го качественных атрибутов, все метрики которых качественные, аналогичных проблем, связанных с равенством (3), не возникает.

Влияние отрицательных отношений, входящих в (3), можно, в известной степени, уменьшить заменой некоторых метрик на информационно равноценные, но приводящие к росту УГС.

Пример 3. Проведем сравнение двух систем по атрибутам безотказности и готовности.

Метрики безотказности:

1) Вероятность безотказной работы отказоустойчивой системы :

{Щ — с'(1-ЛР/), (4)

где - функция вероятности отказа;

' - количество резервов, изначально доступных для подключения; q - количество модулей одного типа, работающих параллельно (характеристика актуальна для систем, производительность которых зависит от количества одновременно работающих ресурсов);

с - степень компенсации последствий отказа (условная вероятность того, что при возникновении отказа в работающей системе последняя способна восстановить информацию и продолжить ее обработку без долговременной потери данных);

{ - способность модуля допускать { одиночных отказов до того, как он станет неработоспособным.

Принимая гипотезу о БЫ -распределении наработки до отказа элементов, модулей и системы в целом, вероятность отказа будем вычислять следующим образом:

— БЫ(х; V, {, q,') ,

где V - коэффициент вариации наработки до отказа;

х - относительная наработка (х — -^—, I - время работы, Тср - средняя наработка до

Тср

отказа (на отказ).

Функция вероятности отказа для БЫ -распределения имеет следующий вид:

х -1 І _9\ X + 1

БЫ(х; V) = Ф —[= І + ехр(2у 2 )Ф

^л/х у V Нх,

где Ф(*) - функция нормированного нормального распределения.

Для исходных данных систем Тср1=1000 ч, Тср1=1500 ч, п — 0;75 и I =200 ч вычисляем х1=0,2 и х2=0,13 и по таблицам БЫ -распределения [3] определяем {Г^ — =0,01460 и

— Р2 =0,00116. Откуда {Щ — Я1=0,9854 и {Щ — Я2=0,9988.

Я

Отношение 011 ——-=0,9866. При весе данной метрики Ь11=0,25 произведение Я2

011 • Ь11 =0,2466.

2) Порог сравнения информации в системе Мс:

Мс —ПМ„ , (5)

г—1

где Мсг - порог сравнения г -го последовательно включенного сравнивающего устройства.

Для рассматриваемых систем с одним сравнивающим устройством пусть Мс1 =3 и М с 2=2.

Мс.

М„

Отношение 012 =——=1,5. При весе данной метрики *12=0,2 произведение

1 с 2

°12 • Ь12=0,3.

3) Число работоспособных конфигураций системы ис:

и с =11 и і , (6)

і=1

где исі - число рабочих конфигураций і -ой подсистемы.

Для рассматриваемых систем, не имеющих подсистем, пусть и с1 =4 и и с 2=1.

Отношение 013 = —— =4. При весе данной метрики Ь13 =0,15 произведение

ис 2

013 • *13=0,6.

4) Число неизбыточных каналов Nс

Для рассматриваемых систем Ыс1 =3 и Ыс 2 =2.

N

Отношение 014 =——=1,5. При весе данной метрики *14=0,2 произведение

Ыс 2

014 • *14=0,3.

5) Вероятность безотказной работы неизбыточного канала системы Як (ї)

Для рассматриваемых систем Як1 =0,97 и Як 2 =0,97.

я

Отношение 015 =——=1. При весе данной метрики *15=0,2 произведение

Як 2

015 • *15 =0,2.

Сумма произведений Оср1 = ^ О^ (і=1) по всем количественным метрикам 1-го

;=і

атрибута равна Оср1 =1,6466.

Пусть значимость 1-го атрибута равна У1 =0,25, тогда Оср колич 1 = Оср 1 • У1 =0,4116. Метрики готовности:

1) Коэффициент готовности Кг:

К, = Тср / (Тср + Тв), (7)

где Тср - средняя наработка на отказ (время работы без сбоев) системы;

Тв - среднее время восстановления системы.

Для исходных данных систем Тср1 =1000 ч, Тср1 =1500 ч, Тв1 =0,5 ч, Тв2 =1 ч.

Для рассматриваемых систем К г1=0,9995 и К г2 = 0,9993.

К

Отношение О21 =—— =1,0002. При весе данной метрики Ъ21=0,45 произведение

К г 2

О21 •Ъ21 =0,45009.

2) Коэффициент оперативной готовности Ког:

К ог = К г • Я(і), (8)

где Я(ґ) - вероятность безотказной работы системы на момент времени Ї.

Для исходных данных К г1=0,9995, К г2 =0,9993, Я1(ї) =0,9854 и Я2(ї) =0,9988 получаем Ког1 =0,9849 и Ког2 =0,9981.

К

Отношение О22 =—— =0,9868. При весе данной метрики Ъ22 =0,55 произведение

К

022 • *22=0,5427.

т1

Сумма произведений Оср2 = Е Оц • Ьц (* = 2) по всем количественным метрикам 2-

1=1

го атрибута равна Оср2 =0,9928.

Пусть значимость 2-го атрибута равна У2 =0,2, тогда Оср колич 2 = Оср 2 • У2 =0,1986.

В приводимом здесь примере в расчетах задействованы только два атрибута - безотказность и готовность. Но необходимо учесть вклад и остальных пяти фигурирующих в статье [2] атрибутов, так как используемые экспертные оценки весов и значимостей основываются на условии, что сумма весов и значимостей должна равняться 1.

Поэтому для сокращения расчетов будем считать, что все отношения численных значений, общих для обеих систем ^ и $2 метрик, равны 1. Тогда результатом первичного «взвешивания» таких отношений (по весам метрик, в сумме равных 1) также будет 1. Эти единицы будут общим для всех (отличных от безотказности и готовности) атрибутов значением рассматриваемых выше соответствующих числовых отношений для их вторичного «взвешивания» уже по значимостям атрибутов.

Частичный вклад в общий результат уже вычислен при рассмотрении атрибутов безотказности и готовности. Поскольку вклад оставшихся атрибутов будет равен сумме произведений единицы на значимость соответствующего атрибута, а число произведений равно числу таких атрибутов, то вклад этих атрибутов будет равен сумме значимостей всех атрибутов (без безотказности и готовности), то есть величине 1-(0,25+0,2)=0,55.

Напомним, что вклады в общую сумму от атрибутов безотказность и готовность равны Ocp колич 1 =0,4116 и Ocpкoлич2=0,19В6. Добавим к ним величину 0,55 и получим

R =1,1602. Так как получено число R >1, то, согласно принятому критерию, система S1 является предпочтительнее с точки зрения гарантоспособности системы S2.

4. Выводы

В работе впервые сделана попытка количественной оценки уровня гарантоспособности систем. Описанный подход позволяет на начальном этапе проектирования систем сделать вывод о наиболее предпочтительном варианте исполнения, имеющем более высокий уровень гарантоспособности. Полученные результаты позволяют вплотную подойти к решению задачи формализации аналитической оценки уровня гарантоспособности систем.

СПИСОК ЛИТЕРАТУРЫ

1. Bouricius W.G. Reliability modeling techniques for SELF - Repairing computer Systems і Bouricius W.G., Carter W.C., Schneider P.R. - New York: IBM Watson Research Center Yorktown Heights, 1969.

- Р.295 - 309.

2. Федухин А.В. Атрибуты и метрики гарантоспособных компьютерных систем і А.В. Федухин, Н.В. Сеспедес Гарсия іі Математичш машини i системи. - 2013. - № 2. - С. 195 - 201.

3. Стрельников В.П. Оценка и прогнозирование электронных элементов и систем і В.П. Стрельников, А.В. Федухин. - К.: Логос, 2002. - 4В6 с.

Стаття надійшла до редакції 17.12.2013