CC BY
33
тентного параметра тестируемых. Кроме того, отличаются и алгоритмы распределения результатов тестирования по выбранным интервалам разбиения при оценке соответствия характеристических кривых индикаторов принятой модели измерения. Продолжая сравнение возможностей RILP-1 и RUMM 2020, следует отметить, что в диалоговой системе, в отличие от комплекса, не предусмотрены расчет бисериального коэффициента и построение информационных функций. Кроме того, управление программами в RILP-1 намного проще, чем в RUMM 2020. Но по сравнению с RILP-1 несомненным существенным преимуществом диалоговой системы RUMM 2020 является возможность обработки результатов тестирования, представленных политомической переменной, поэтому авторы работают над новой модификацией программного комплекса, обеспечивающего выполнение работ и такого рода.
Пакет программного комплекса RILP-1 может быть установлен на компьютер, оснащенный ОС Windows 2000, XP с объемом оперативной памяти
не менее 128 Мб и быстродействием процессора более 1 ГГц. Кроме того, для работы комплекса требуется пакет Microsoft Office.
Подводя итог, можно сказать, что созданный программный комплекс позволяет автоматизировать процедуру оценивания качества КИМ и их экспертизу, обеспечивая снижение трудозатрат и времени на разработку надежных индикаторов и тестов-измерителей для систем оценки качества как в педагогике, так и в социально-экономических системах.
Литература
1. Елисеев И.Н., Елисеев И.И. Технология создания педагогического теста с помощью программных средств «R-Latent // Развитие системы тестирования в России»: тез. докл. Второй всеросс. конф. М., 2000. Ч. 5. С. 31-32.
2. Елисеев И.Н., Елисеев И.И., Мальцев И.М., Гладилин А.Н Комплекс программных средств для обеспечения процедуры тестирования и оценки качества тестовых материалов // Пути совершенствования подготовки специалистов для текстильной промышленности: тез. докл. Междунар. науч.-методич. конф. М.: МГТУ им. А.Н. Косыгина, 2002. С 50-51.
3. RUMM2020 Manuals URL: http://www.rummlab.com.au/ demo/marmgetstart.pdf (дата обращения: 18.11.2008).
ПРОГРАММНЫЙ КОМПЛЕКС ФОРМИРОВАНИЯ МНОГОКОМПОНЕНТНЫХ ЭКСПЕРТИЗ
С.А. Пиявский, д.т.н.; В.Е. Кадочкин
(Самарский государственный архитектурно-строительный университет, [email protected])
Совершенствование методов экспертизы в сложных технических, экономических и социальных системах является актуальной задачей. Предлагаемый подход к ее решению позволяет использовать органически присущую экспертизам неопределенность для частичного согласования результатов, получаемых при экспертизах, проводимых по различным методикам. Для этого используется аппарат многокритериальной оптимизации.
Ключевые слова: многокомпонентная экспертиза, адаптивный этап, согласование, многокритериальная оптимизация, творческие компетенции.
Экспертиза - это исследование и установление таких фактов и обстоятельств, для выяснения которых необходимо привлечение специальных знаний, которыми обладают наиболее компетентные в отношении объекта экспертизы люди - эксперты. В настоящее время сложилась технология согласования их позиций и обработки полученной экспертной информации для количественной оценки объекта экспертизы [1]. Однако зачастую в экспертном сообществе существуют настолько различные взгляды на объект экспертизы и, соответственно, методы его количественной оценки, что их не удается объединить в рамках традиционно понимаемой экспертной процедуры.
В то же время, поскольку объект экспертизы един, необходимо разработать технологию, которая позволила бы в максимально возможной степени согласовать оценки, полученные по различным экспертным методикам.
Назовем такую согласованную экспертизу многокомпонентной (схема представлена на рисунке 1).
Ее особенность состоит в том, что обработку сведений, полученных от экспертов в различных компонентах экспертизы, предлагается проводить, используя единый аппарат многокритериальной оптимизации - ПРИНН [2]. Он позволяет рассматривать результаты ответов экспертов на вопросы экспертной анкеты в качестве значений некоторых критериев и рассчитывать комплексное значение оцениваемых экспертами параметров объекта в зависимости от ответов экспертов и степени их авторитетности (так называемой политики выбора). Поскольку каждый из компонентов экспертизы обладает некоторой неопределенностью (разноречивостью экспертных оценок внутри компонента), можно частично использовать ее для согласования итоговых оценок объекта, полученных в рамках отдельных компонентов экспертизы. Для учета этой неопределенности используется аппарат нечетких множеств Заде. Соответственно, многокомпонентную экспертизу характеризуют следующие параметры: степень определенности экспертиз по отдельным компонентам Ов, степень
Методолог 1
X
Методика организации экспертизы и обработки экспертных оценок
Методолог П
X
Методика организации экспертизы и обработки экспертных оценок
Привлечение полноценной группы квалифицированных
экспертов +
Сбор экспертных оценок
/ Обучающая совокупность
Обработка экспертных оценок
л
Привлечение полноценной группы квалифицированных
экспертов +
Сбор экспертных оценок
Количественные оценки как результат экспертизы
Адаптив ная настройка алгоритмов
Обработка экспертных оценок
-31
Количественные оценки как результат экспертизы
1
5
Привлечение полноценной группы квалифицированных экспертов
Сбор экспертных оценок
Обработка экспертных оценок
I Объект
экспертизы
Привлечение полноценной группы квалифицированных экспертов
Сбор экспертных оценок
Обработка экспертных оценок
Количественные оценки как результат экспертизы Результат Количественные оценки как результат экспертизы
—►
Рис. 1. Схема многокомпонентной экспертизы
соответствия многокомпонентной экспертизы максимально вероятным оценкам экспертов Кехр, степень отклонения целевых параметров объекта экспертизы, рассчитанных по различным ее компонентам, на базе обучающей совокупности Kres и соответствующий коэффициент корреляции Ксогг:
и8
2 maxPSt(r)
OS = Ь1ге1..Л?
И*
Кехр =- 2 ~г2-^^тТт
r=l...VtS
к*08 - К
КОк
Кгеэ=
-2 2 2
11111(11—1)|=1 *=1 к=*+1 (К*0* + ККОк ) '
Ксогг=
2(х, — х)(у, — у)
1=1_
£(*. — Х^ЯУ,—у)2
Здесь 8, К - номера компонентов многокомпонентной экспертизы; И - количество вопросов анкеты; Ь - номер вопроса в анкете; VI8 - количество элементов множества ответов на вопрос Ь анкеты; г - номер ответа на вопрос Ь; q - номер ответа на вопрос Ь, принятый в текущем алгоритме обработки результатов компонента экспертизы;
1 - номер объекта обучающей совокупности; т -количество объектов обучающей совокупности;
0К - вектор уровней значимости вопросов анкеты эксперта К-го компонента экспертизы.
Разработан программный комплекс, реализующий описанную технологию многокомпонентной экспертизы. Оптимальное согласование политик выбора отдельных компонент осуществляется методом ограниченного перебора.
Результаты использования этого комплекса при проведении многокомпонентной экспертизы творческих компетенций студентов, обучаемых по специальности 230201 - Информационные системы и технологии, отражены на рисунке 2. Экспертиза содержала два компонента: оценка конкретных знаний, умений и навыков, которыми обладают обучаемые, и оценка результатов их дея-
1
т п
п
т
тельности (выполненных исследовательских работ). Для многокомпонентной экспертизы степень соответствия максимально вероятным оценкам экспертов составила 43-80 %. Обучающая совокупность включала 45 студентов старших курсов факультета информационных систем и технологий Самарского государственного архитектурно-строительного университета, контингент студентов, на котором проводилась экспертиза, составлял 114 человек.
Результаты, представленные на рисунке 2, показывают, как и следовало ожидать, что компетентность студентов-информационников в таких сугубо творческих функциях, как поиск проблемы и формирование основных идей по ее решению, а также синтез результатов деятельности, ниже, чем
в таких более рутинных функциях, как реализация плановых заданий, их оформление и защита. В то же время все компетенции в достаточной мере сбалансированы. Это, в частности, является следствием того, что в процессе управления развитием творческих компетенций студентов при выполнении ими серии курсовых работ и проектов руководители использовали многокомпонентную экспертизу и целенаправленно развивали отстающие компетенции обучаемых.
Литература
1. Литвак Б.Г. Экспертные технологии в управлении. М.: Дело, 2004.
2. Смирнов О.Л., Падалко С.Н., Пиявский С.А. САПР: формирование и функционирование проектных модулей. М.: Машиностроение, 1987.
УПРАВЛЕНИЕ ЭФФЕКТИВНОСТЬЮ МАРКЕТИНГА С ИСПОЛЬЗОВАНИЕМ ИНФОРМАЦИОННЫХ СИСТЕМ
О.В. Китова, к.ф.-м.н.
(Российская экономическая академия им. Г.В. Плеханова, г. Москва, [email protected])
В статье рассмотрены особенности концепции управления эффективностью маркетинга. Предложен подход к управлению эффективностью маркетинга компании с помощью интегрированных информационных систем. Система управления эффективностью маркетинга рассматривается как целостная многоуровневая система.
Ключевые слова: управление эффективностью маркетинга, управление корпоративной эффективностью, управление маркетингом, маркетинговые информационные системы.
В условиях глобализации, развития информационного общества, ускорения экономических процессов динамично развиваются концепции и методы управления маркетингом. Направления развития - стоимостный маркетинг [1], управление эффективностью маркетинга, применение интегрированных маркетинговых информационных систем (ИС) и систем маркетинговых знаний и др. [2-4]. Эффективное управление маркетингом компании сегодня опирается на использование маркетинговой ИС, интегрированной с корпоративной ИС, внешними ИС и источниками данных. В статье предложен подход к построению интегрированных маркетинговых ИС, поддерживающих бизнес-процессы управления эффективностью маркетинга.
Управление эффективностью маркетинга (Marketing Performance Management) - это совокупность процессов, методологий, метрик и ПО, необходимых для измерения и управления эффективностью маркетинговой деятельности организации. Управление эффективностью маркетинга является составной частью системы управления маркетингом и направлено на реализацию маркетинговой стратегии и целей организации на уровне тактических мероприятий с возможностью мониторинга, контроля и обратной связи, обеспечивая комплексный и непрерывный подход к процессу управления.
Управление эффективностью маркетинга не отрицает и не заменяет собой существующие методы планирования и управления маркетингом, а создает механизм, позволяющий компании эффективно использовать их на практике для реализации клиентоориентированных маркетинговых стратегий. Система управления эффективностью маркетинга строится на основе концепции управления корпоративной эффективностью (Corporate Performance Management, CPM). Она поддерживается с помощью ИС класса CPM, инструментов интеллектуальной бизнес-аналитики (Business Intelligence, BI) и других программных продуктов.
В основе системы управления эффективностью маркетинга лежит сбалансированная система показателей эффективности в сфере маркетинга и продаж, построенная в соответствии с одним из современных подходов целевого управления компанией. Наиболее распространенным подходом является сбалансированная система показателей Каплана-Нортона (Balanced Scorecard, или BSC) [5]. Бизнес-процессы маркетинга реализуются не только в рамках отделов маркетинга и продаж, а распределены по всей компании, поэтому в качестве основных перспектив для оценки маркетинга рекомендуется использовать четыре традиционные перспективы BSC (финансы, клиенты, внутренние процессы, обучение и рост) с учетом специфики маркетинговой деятельности. Важным
