CC BY
54
УДК 54(091)
А. В. Игнатов
Принятие сложных решений при оценке качества электронных изданий образовательного назначения
Институт информатизации образования РАО [email protected]
Проанализировано качество электронных образовательных изданий. Предложены критерии оценки продукции и комплексный показатель, характеризующий ее свойства.
Ключевые слова: электронные издания, критерии качества
Изменения, характеризующие новую парадигму образования, диктуют все более возрастающие требования к информационному обеспечению образовательных учреждений как важнейшему инструменту познавательной деятельности. Особенно это касается новых форм и средств обучения, основанных на использовании информационных и телекоммуникационных технологий. К их числу относится, в частности, электронное и дистанционное обучение, предполагающее активное использование качественно нового вида учебной литературы — образовательных электронных изданий. В научной литературе появилось большое количество публикаций, посвященных проблемам создания и использования в учебном процессе электронных изданий. Имеет место и тот факт, что многие учебные заведения самостоятельно занимаются разработкой собственных образовательных электронных изданий, а также применяют их в учебном процессе. В таких условиях остро встает вопрос о необходимости обеспечения высокого качества этой новой и дорогостоящей продукции.
Когда качество продукции нужно выразить в абсолютной мере одним числом (которое будет означать, во сколько раз это качество выше или ниже эталонного), применяют комплексный метод оценки.
Комплексным показателем качества продукции называется показатель, характеризующий несколько ее свойств.
При этом может быть использована функциональная зависимость:
К0 = / (п, в, к), г =1,2,.
.п,
(!)
где К0 — комплексный показатель качества продукции;
п — число учитываемых показателей качества; в — коэффициент весомости г-го показателя качества;
кг — относительный г-й показатель качества
При этом определение таких компонентов, как коэффициенты весомости, показатели качества, является сложным решением.
Основные информационные трудности, возникающие при выработке сложных решений, можно подразделить на следующие группы.
Во-первых, исходная статистическая информация зачастую бывает недостаточно достоверной.
Во-вторых, некоторая часть информации имеет качественный характер и не поддается количественной оценке.
В-третьих, в практике подготовки решений часто возникают ситуации, когда в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств.
В-четвертых, существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.
В связи с этим, одна из главных особенностей решения сложных научно-технических проблем состоит в том, что применение расчетов здесь всегда переплетается с использованием суждений руководителей, ученых специалистов. Эти суждения позволяют хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов. Специалисты способны оценить перспективы той области, в которой работают, и предвидеть характеристики тех систем, в создании которых непосредственно участвуют.
Применение статистических методов значительно расширяет возможности использования информации, полученной от специалис-
Дата поступления 02.11.06
тов. Практика последних лет показала, что даже простые статистические методы в сочетании с этой информацией при выборе перспективных решений часто приводят к более успешным результатам, чем точные расчеты с ориентацией на средние показатели и экстраполяцию существующих тенденций.
Использование информации, полученной от специалистов, особенно плодотворно, если для ее сбора, обобщения и анализа применяются специальные процедуры, логические приемы и математические методы, получившие название экспертных методов.
Экспертный метод определения показателей качества продукции — это метод определения значений показателей, осуществляемый на основе решения, принимаемого экспертами. Экспертные оценки — это суждения высококвалифицированных специалистов-профессионалов, высказанные в виде содержательной, качественной или количественной оценки объекта, предназначенные для использования при принятии решений. Экспертизы бывают индивидуальные и коллективные, однотуро-вые и многотуровые, с обменом информацией между экспертами и без, анонимные и открытые. Многообразие областей применения делает достаточно гибким используемый на практике аппарат экспертного оценивания.
Однако опыт показывает, что при реальном использовании экспертных оценок далеко не всегда можно уложиться в одну из широко известных и применяемых схем. Возникающие на практике задачи нередко оказываются сложнее традиционных подходов. Настоящая же цель применения технологий экспертного оценивания — принятие эффективного решения, а не обязательное использование традиционных схем. Специалистам, проводящим экспертизы, важно уметь творчески подойти к их организации и проведению для того, чтобы решить основную задачу — обеспечить адекватную оценку объекта экспертизы, выработать реализуемые и приводящие к цели альтернативные варианты решений, а среди них выбрать самый эффективный и надежный.
Основная цель организации и проведения экспертиз — повысить профессиональный уровень принимаемых решений за счет использования специально разработанных и проверенных на практике технологий экспертного оценивания.
Для того чтобы получаемая экспертная информация была качественной, необходимо выполнение следующих условий:
— наличие экспертной комиссии, состоящей из специалистов, профессионально знакомых с объектом экспертизы, и имеющих опыт работы эксперта;
— наличие аналитической группы, профессионально владеющей технологией организации и проведения экспертиз, методами получения и анализа экспертной информации;
— получение достоверной экспертной информации;
— корректная обработка и анализ экспертной информации.
Отсутствие любого из перечисленных условий ставит под сомнение эффективность и корректность проводимой экспертизы.
Экспертное оценивание представляет собой процесс измерения, который можно определить как процедуру сравнения объектов по выбранным показателям (признакам). В качестве показателей сравнения могут использоваться пространственно-временные, физические, психические и другие свойства и характеристики объектов.
Для целей экспертного оценивания возникают следующие базисные задачи:
— построение обобщенной оценки понятий и объектов на основе индивидуальных оценок экспертов;
— построение обобщенной оценки на основе парного сравнения объектов каждым из экспертов;
— оценка компетентности экспертов;
— оценка достоверности результатов.
При особо ответственных измерениях экспертным методом могут учитываться весовые коэффициенты квалификации экспертов.
Наиболее простым в применении на практике является метод групповых решений. Метод групповых решений (метод комиссий) при определении показателей качества и коэффициентов весомости является наиболее доступным, не требует проведения дополнительных мероприятий.
И все же практика показывает, что экспертные методы дают более надежные результаты, чем традиционные методы групповых решений.
По форме выражения экспертами своего
мнения, т. е. по способу проведения эксперти-1 5
зы, различают 1 5:
— непосредственное измерение;
— ранжирование;
— сопоставление.
При непосредственных измерениях экспертным методом значения физических вели-
чин или показателей качества определяются сразу в установленных единицах.
Непосредственное измерение экспертным методом является наиболее сложным и предъявляет к экспертам наиболее высокие требования. При решении многих практических задач часто оказывается, что факторы, определяющие конечные результаты, не поддаются непосредственному измерению. Расположение этих факторов в порядке возрастания (или убывания) какого-либо присущего им свойства называется ранжированием. Ранжирование позволяет выбрать из исследуемой совокупности факторов наиболее существенный.
Ранжирование состоит в расстановке объектов измерений или показателей в порядке их предпочтения, по важности или весомости. Место, занятое при такой расстановке, называется рангом. Чем выше ранг, тем предпочтительней объект, весомее, важнее показатель.
Метод ранжирования редко используется в чистом виде. Чаще всего он сочетается с другими методами, обеспечивающими более четкое различие между факторами. Одним из них является метод непосредственной оценки и некоторые его модификации.
Сопоставление каждого объекта экспертизы с совокупностью всех тех, которые ниже рангом, позволяет откорректировать ранжированный ряд, уточнить позиции входящих в него объектов с учетом их важности. Оно имеет смысл тогда, когда несколько объектов экспертизы можно рассматривать как один составной объект той же природы.
При создании экспертной комиссии и подборе экспертов большое внимание уделяется согласованности их мнений 1-4. С этой целью на этапе формирования экспертной группы проводятся контрольные измерения с математической обработкой их результатов. За меру согласованности мнений экспертов в этом случае принимается так называемый коэффициент конкордации , который позволяет оценить, насколько согласованы между собой ряды предпочтительности, построенные каждым экспертом. Его значение находится в пределах:
0 < W < 1,
где Ш = 0 означает полное отсутствие согласованности;
Ш = 1 — полное совпадение ранжировок
Практически достоверность считается хорошей, если Ш = 0.7—0.8.
Ш = 12Б/(п2 (т3 - т)), (2)
где 5 — сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического рангов;
п — число экспертов; т — число объектов экспертизы Небольшое значение коэффициента кон-кордации, свидетельствующее о слабой согласованности мнений экспертов, является следствием того, что в рассматриваемой совокупности экспертов действительно отсутствует общность мнений или внутри рассматриваемой совокупности экспертов существуют группы с высокой согласованностью мнений, однако обобщенные мнения таких групп противоположны.
Если степень согласованности мнений экспертов оказывается неудовлетворительной, принимают специальные меры для ее повышения. Сводятся они, в основном, к проведению тренировок с обсуждением результатов и разбором ошибок.
Целесообразность применения того или иного метода экспертных оценок во многом определяется характером анализируемой информации. Если оправданы лишь качественные оценки объектов по некоторым качественным признакам, то используются методы ранжирования, парного и множественного сравнения.
Если характер анализируемой информации таков, что целесообразно получить численные оценки объектов, то можно использовать какой-либо метод численной оценки, начиная от непосредственного измерения и кончая более тонкими методами.
Литература
1. Бахарев Ю. П. Создание экспертной информационной системы для управления разработками космической микроэлектронной аппаратуры. Диссертация кандидата технических наук.— М.: НПО «Элас», 1990.
2. Граб В. П. // Труды Межведомственной НТК.— Серпухов: Серпуховской ВИ РВ, 2005.
3. Недикова Т. Н., Фризнер Д. А. // Труды международного симпозиума «Надежность и качество 2002».- Пенза: ПГТУ, 2004.
4. Пиганов М. Н., Худяков А. Н. // Труды международного симпозиума «Надежность и качество 2001».- Пенза: ПГТУ, 2004.
5. Бешелев С. Д., Гурвич Ф. Г. Математико-статистические методы экспертных оценок.-М.: Статистика, 1980.
