CC BY
45
УДК 681.3.067
В.М. Белов, А.Б. Архипова
Об одном подходе к выбору экспертов в области информационной безопасности
Приведено обоснование оценки качества образования, на примере педагогической деятельности, при подготовке специалистов в области информационной безопасности. Рассмотрен подход с использованием нечеткой логики на базе экспертных оценок. Ключевые слова: подготовка специалистов, выбор экспертов, энтропийный подход.
Рынок специалистов в области информационной безопасности имеет некоторые неравновесия, и ключевой проблемой, тормозящей развитие этого рынка, является недостаток высококвалифицированных специалистов. В Доктрине информационной безопасности отмечают, что одной из угроз информационному обеспечению государственной политики Российской Федерации является «низкая эффективность информационного обеспечения государственной политики Российской Федерации вследствие дефицита квалифицированных кадров, отсутствия системы формирования и реализации государственной информационной политики» [1]. Доктрина определяет возрастание зависимости национальной безопасности при обеспечении информационной безопасности в ходе технического прогресса. Поэтому профессиональная подготовка кадров в данной области выступает как неотъемлемая часть в комплексе мероприятий по противодействию угрозам жизненно важным интересам государства в информационной сфере [2].
Опыт создания и функционирования системы подготовки кадров в области обеспечения информационной безопасности, результаты анализа ее состояния определяют актуальность проблемы повышения качества образования в данной области.
Под качеством образования понимают соответствие целям образования.
Одним из ведущих противоречий в современном образовании является противоречие, связанное с необходимостью обеспечения соответствия качества профессионального образования меняющимся потребностям личности, общества и рынка труда и недостаточной теоретической и методической разработанностью концептуальных основ диагностики институционального развития вузов, в том числе и оценки качества деятельности преподавателей высшей школы. Данное противоречие позволило сформулировать проблему исследования, которая заключается в разработке системы оценки качества деятельности профессорско-преподавательского состава (далее - ППС) в вузе при подготовке специалистов в области информационной безопасности.
Сегодня широкое распространение получили четыре подхода оценки деятельности ППС:
- учет мнения студентов о качестве преподавания [3];
- учет результатов обучения студентов [4, 5];
- рейтинговая система [6-8];
- деятельность ППС как компонент при оценке качества работы какого-либо учебного подразделения (кафедры, факультета и т.д.) [9].
Однако, на наш взгляд, рассматриваемые подходы не являются достаточно объективными и не дают надежных оценок и показателей педагогического труда в силу их количественного и формального характера. Наиболее предпочтителен подход, использующий в своей основе нечеткую логику на базе экспертных оценок.
Таким образом, возникает проблема выбора экспертов в области информационной безопасности, т.е. выбора из некоторого множества специалистов (кандидатов в эксперты) лиц, наиболее компетентных в области информационной безопасности, педагогики и психологии, и составления из них экспертных групп.
Отметим, что достаточно трудно составить список характеристик компетентности так, чтобы он был полон и в то же время содержал действительно существенные характеристики. В свою очередь, «компетентность» должна быть не только содержательно описана и определена, но также и измерена, это означает, что предложенные характеристики должны поддаваться выявлению, измерению и наблюдению.
В [10-13] описывают два подхода к выбору экспертов в области информационной безопасности:
1. Априорный - заключается в оценке компетентности до начала экспертизы и направлен на выбор экспертов и формирование экспертных групп.
2. Апостериорный - направлен на определение компетентности по результатам экспертизы и нацелен на учет компетентности при обработке данных опроса и на отбор экспертов для будущих экспертиз. Данный подход применим как способ отбора в тех случаях, когда производят регулярную серию повторяющихся однотипных экспертиз.
В рамках данных подходов существуют различные методы оценки компетентности. На наш взгляд, интерес представляют методы номинальной классификации, в частности метод построения классов, основанный на энтропии, в связи с его ориентацией на качественные характеристики экспертов. Результатом классификации является упорядоченный набор классов, каждый из которых описывается как можно большим числом дедуктивных высказываний, наилучшим образом отражающих характеристики индивидов данного класса.
Несмотря на наличие работ в ряде областей, например [14, 15], методы классификации, основанные на энтропии для выбора экспертов при оценке качества ППС в области информационной безопасности, в литературе отмечены не были. В большинстве случаев на начальном этапе выбор экспертов проводился на основе объективной оценки и самооценки эксперта.
Поэтому на сегодняшний момент необходимо адаптировать существующий энтропийный подход к задаче выбора экспертов при оценке качества ППС в области информационной безопасности.
Алгоритм выбора экспертов, основанный на энтропийном подходе, состоит в построении однородных классов с типичными последовательностями значений по минимальному числу тестов. Входными данными являются ответы кандидатов в эксперты на вопросы тестов. На выходе всех кандидатов разбивают на классы, определенные на основе тестов с максимально различающейся способностью.
Блок-схема алгоритма выбора экспертов приведена на рис. 1.
Рис. 1. Блок-схема выбора экспертов
Постановка задачи. Рассмотрим набор из m тестов Т ^=1,...,т) и множество из п индивидов (которое должно быть разбито на однородные классы). Обозначим число положительных ответов через п^(+), отрицательных -Пусть
— (+) — (-) .
Pi = ,4 = , Р, + Ч, = 1.
Первый этап, заключающийся в отборе наиболее информативных тестов, реализуют посредством выполнения последовательных шагов путем вычисления энтропии каждого теста, общей и условной энтропии, коэффициента влияния.
Энтропия каждого теста (Н1) представляет выражение следующего вида:
Иг = -(Рг 1о®2 Рг + Ъ 1о&2 Ъ)
или
И = -\п 1с^2 п - щ (+) 1о^2 Щ (+)" щ (")1о^2 Щ (-)] г=1,™,т. п ,
Причем выбор основания логарифма обусловлен дихотомическими ответами (+, —) на тесты.
Взаимное влияние тестов Тг и Т] определяют путем построения двумерной номинальной переменной. Ее вид представлен в таблице.
Двумерная номинальная переменная
Ответы на Тг Ответы на Ти Маргинальное распределение Тг
+ -
+ %(++) пи (+-) пг(+)
- пг,<"+) пги(— -) пг(-)
Маргинальное п(+) п(-) п
распределение Ти-
Полученные результаты позволяют вычислить общую энтропию (Иц):
Ни = 1 Гп 1о^2 п - п(++) 1о^2 п(++) - п(+-) 1о^2 п(+") - п(-+) 1og2 п(-+) - п(--) 1og2 п]--) . п
Причем Ни принимает значения на интервале (0,2). Минимальное значение Ни достигает при отсутствии дисперсии, а максимальное - в случае равенства всех щи п/4.
Следующий шаг реализации алгоритма - это вычисление условной энтропии Ии-г). Условная энтропия показывает, какая часть энтропии остается, если становится известным ответ на вопрос Тг, т.е.
Обозначим
Ии - Иг = И];1 .
Ии - Ииг = Иг + Ии - И = Иг - Ии = ^Ч .
Таким образом, в случае полной связи показатель влияния тестов Тг, Ти друг на друга равен
Ии
и принимает значения от 0 (в случае независимости тестов) до 1 (в случае полной связи).
Показателем информативности тестов является величина 1г, представляющая собой средневзвешенное значение показателя влияния:
I Ь]
т = 1 *г
1г = 1 Ни ■
1
Тест, имеющий максимальное значение Тг, является наиболее информативным по отношению к остальным и позволяет разбить множество индивидов на два класса: класс лиц, дающих на выбранный вопрос ответ (+), и класс лиц, отвечающий на данный вопрос (-).
Таким, образом, этап выявления наиболее информативных тестов можно считать реализованным.
Далее следует этап проверки классов на однородность.
Обозначим через г^), /=1,....,т число наиболее частых ответов на вопрос Ти в ^ом классе. Будем считать k=1, если все ответы на вопрос Ти в этом классе отрицательны, и k=2, если все они положительны. Тогда вероятность ошибочной классификации для каждого теста оценивают следующим образом:
п -ХГ- (к)
р (Е) =-к-.
п
Средняя вероятность ошибочной классификации по всему набору тестов имеет вид
X Р- (Е) пт -Цг- (к)
р(Е) = --=-!-к-.
т пт
В результате однородность класса, определенную по формуле 1 - р(Е), сравнивают с некоторым произвольно выбранным уровнем однородности. В случае неоднородности классов процесс продолжают циклически с переходом на (т+1) тест.
В общем виде [11] при рассмотрении комбинации из в тестов для вычисления уровня однородности используют следующие формулы:
8 VHg - •
h(i1,...,is )g = Hi1,...,is + Hg - Hib...,i;
Z _ h(ii...i
T _ g*i1...is
1h...is
Х Н(*1...ф g *11..Л3
Процедура классификации подходит к концу, как только достигается желаемый уровень однородности.
Таким образом, рассмотрен энтропийный подход к выбору экспертов в области информационной безопасности. Он позволяет выбирать из некоторого множества специалистов лиц, наиболее компетентных в данной области. Именно такие специалисты способны дать объективную оценку качества педагогической деятельности в области информационной безопасности [16].
Литература
1. Доктрина информационной безопасности Российской Федерации [Электронный ресурс] // Российская газета. - Электрон. текст. дан. - М., 2007. - Режим доступа: http://www.rg.ru/ oficial/doc/min_and_vedom/ mimjbezop/doctr.shtm - Загл. с экрана.
2. Коваленко А.П. Научные и методологические проблемы информационной безопасности / А.П. Коваленко // Концепция подготовки кадров в области обеспечения информационной безопасности. - М.: МЦНМО, 2004. - С. 85-89.
3. Прудникова М.М. Один из аспектов социологического мониторинга качества образования в университете / М.М. Прудникова // Управление качеством образования, продукции и окружающей среды: матер. 3-й Всерос. науч.-практ. конф. 25-26 сентября 2008 г. / Под ред. А.Г. Овчаренко; Алт. гос. техн. ун-т, БТИ. - Бийск: Изд-во Алт. гос. техн. ун-та, 2008. - С. 180-183.
4. Пантилеенко В. Критерии оценки труда преподавателя / В. Пантилеенко, В. Пантелеев // AlmaMater. - 1991. - №2. - С. 13-14.
5. Соловьев В. В поисках эффективности преподавательского труда / В. Соловьев и др. // Высшее образование в России. - 1997. - №1. - С. 72-76.
6. Кругликов В. Рейтинговая система диагностики учебного процесса в вузе / В. Кругликов // Высшее образование в России. - 1996. - №2. - С. 100-102.
7. Мищенко С.В. К вопросу о введении рейтинговой системы оценки качества работы преподавателей университета // Управление качеством образования, продукции и окружающей среды: Матер. 3-й межрег. науч.-практ. конф. 29-30 июля 2005 г. / Алт. гос. тех. ун-т, БТИ. - Бийск: Изд-во Алт. гос. тех. ун-та, 2005. - С. 28-30.
8. Тихонов Н.А. Оценка работы преподавателей как составная часть управления качеством обучения в вузе // Качество образования: проблемы, опыт, находки: матер. регион. науч.-метод. конф. / Под общ. ред. А.Ю. Тимофеева. - Сыктывкар: Изд-во Сыкт. унта, 2003. - 156 с.
9. Федоров В.А. Оценка качества педагогической деятельности в вузе: проблемы измерения / В.А. Федоров, Е.Д. Колегова, Л.Н. Мазаева // Матер. XI Симп. «Квалиметрия в образовании: методология, методика и практика» / под ред. д-ра техн. наук, проф. Н.А. Селезневой и д-ра филос. и экон. наук А.И. Субетто. - М.: Исследовательский центр проблем качества подготовки специалистов, 2006. - 24 с.
10. Бешелев С.Д. Математико-статистические методы экспертных оценок / С.Д. Бе-шелев, Ф.Г. Гурвич. - М.: Наука, 1980. - 180 с.
11. Мёллер Ф. Роль энтропии в номинальной классификации / Ф. Мёллер // Математика социологии. Моделирование и обработка информации / Под ред. А. Аганбегяна, Х. Блейлока, Ф. Бородкина, Р. Будона, В. Капекки. - М.: Мир, 1977. - 385 с.
12. Панкова Л.А. Организация экспертизы и анализ экспертной информации / Л.А. Панкова, А.М. Петровский, М.В. Шнейдерман. - М.: Наука, 1984. - 120 с.
13. Шибанов Г.П. Информационные технологии // Порядок формирования экспертных групп и проведения коллективной экспертизы. - 2003. - №12. - С. 120-122.
14. Болотов В.А. Система оценки качества образования: учеб. пособие / В.А. Болотов, Н.Ф. Ефремова. - М.: Университетская книга; Логос, 2007. - 192 с.
15. Васильева Е.Ю. Рейтинг преподавателей, факультетов и кафедр в вузе / Е.Ю. Васильева, О.А. Граничина, С.Ю. Трапицын. - СПб.: Изд-во РГПУ им. А.И. Герцена, 2007. - 159 с.
16. Мещеряков Р.В. Специальные вопросы информационной безопасности / Р.В. Мещеряков, А.А. Шелупанов. - Томск: Изд-во Ин-та оптики атмосферы СО РАН, 2003. -224 с.
Белов Виктор Матвеевич
Доктор техн. наук, профессор каф. вычислительных систем и информационной безопасности Алтайского государственного технического университета им. И.И. Ползунова, г. Барнаул Тел.: (+7 385-2) 29-07-18
Архипова Анастасия Борисовна
Ассистент каф. вычислительных систем и информационной безопасности
Алтайского государственного технического университета им. И.И. Ползунова, г. Барнаул
Тел.: (+7 385-2) 29-07-18
Эл. адрес: [email protected]
V.M. Belov, A.B. Arhipova
About one approach to the choice of experts in the field of information security
The substantiation of an estimation of quality of formation, in particular, pedagogical activity is resulted, by preparation of experts in the field of information security. The approach with use of indistinct logic on the basis of expert estimations is considered. Keywords: preparation of experts, choice of experts, entropy approach.
