CC BY
118
УДК 378:004
Сравнительный анализ эффективности методов нечеткого моделирования (на примере решения задачи оценки профессиональных склонностей студентов)
М.В. Гунер, О.И. Пятковский
Алтайский государственный технический университет им. И.И. Ползунова (Барнаул, Россия)
Comparative Analysis of Fuzzy Modeling Methods
(on the Example of Students' Vocational Aptitude Assesment)
M.V. Guner, O.I. Pyatkovsky
Polzunov Altai State Technical University (Barnaul, Russia)
Исследовано построение гибридной модели оценки компетентности и профессиональных склонностей студентов, разработки информационно-аналитической системы оценки рейтинга студентов и выпускников, ее интеграции посредством web-сервисов с программно-инструментальным комплексом «Бизнес-Аналитик». На основе данных, занесенных в систему, были проведены вычислительные эксперименты по сравнению эффективности применения различных методов нечеткого моделирования: экспертных систем, многослойных персептронов и нечетких нейронных сетей Такаги - Сугено - Канга. Показаны основные преимущества нечетких сетей и их конкретной программной реализации в аналитической платформе «Бизнес-Аналитик». Возможности гибридных систем и сетей, которые не только используют априорную информацию о предметной области, но и могут приобретать новые знания и при этом являться для пользователя логически прозрачными, позволяют широко применять такие методы нечеткого моделирования при решении сложных неформализованных задач управления. Ключевые слова: оценка компетентности студентов, 'еЬ-сервисы, гибридные экспертные системы, методы нечеткого моделирования, нечеткие нейронные сети.
DOI 10.14258/izvasu(2015)1.1-26
The paper is devoted to elaboration of a hybrid model for assessment of competence and vocational aptitudes of students, development of information-analytical system of students and graduates rating evaluation through its integration with WEB-services and software tool set "Business Analyst". Simulation experiments based on the entered data have been conducted to compare the efficacy of fuzzy modeling, expert systems, multilayer perceptron neural networks and Takagi - Sugeno - Kang fuzzy networks. The paper shows the main advantages of fuzzy networks and their specific software implementation in the analytic platform "Business Analyst". Capabilities of hybrid systems and networks that not only use a priori information about the domain but can acquire new knowledge and, thus, be logically transparent to the user allow such methods of fuzzy modeling to be widely used in solving complex non formalized management tasks.
Key words: assessment of student's competence, web-services, hybrid expert systems, methods fuzzy modeling, fuzzy neural networks.
Введение. В условиях рыночной экономики в связи с прогрессом науки и техники, усложнением социальных и экономических ситуаций возрастают требования к подготовке специалистов, объективно возникает потребность в модернизации системы образования, и на смену категории «профессионализм» как главной производственной ценности приходит категория «компетентность».
Сам термин «компетентность» впервые был введен в 1959 г. американским психологом, профессором Гарвардского университета Робертом Вайтом для
описания способностей выпускника учебного заведения и его мотивации к работе. Обобщая зарубежный и отечественный опыт, можно заключить, что компе-тентностный подход - это подход, акцентирующий внимание на результате образования, причем в качестве результата рассматривается не сумма усвоенной информации, а способность применять знания, умения и личностные качества для успешной деятельности в определенной области [1, 2].
Проблема измерения уровня накопленных компетенций не раз поднималась в работах В.И. Байденко,
О.Г. Берестневой, Ю.Г. Татура, И.А. Зимней и др., однако конкретной методики, позволяющей оценить уровни компетенций и учитывающей как профессиональные, так и личностные качества студента и выпускника, ориентированной не только на внутриву-зовского потребителя, но и на интересы работодателя, до сих пор нет.
Сложность получения количественной оценки уровня сформированности тех или иных компетенций обусловлена необходимостью работать с экспертными оценками, в которых всегда присутствует неточность и субъективность [3, 4]. В этих условиях для решения задачи оценки компетентности студентов целесообразно применение методов нечеткого моделирования: экспертных систем с нечеткой логикой, нейронных сетей, нечетких нейронных сетей. Однако каждый из этих методов не лишен недостатков, поэтому в последние десятилетия получают все большее распространение гибридные системы и сети, которые не только используют априорную информацию о предметной области, но и могут приобретать новые знания и для пользователя являются логически прозрачными [5-7].
Предлагаемая в настоящей статье гибридная модель оценки компетентности и профессиональных склонностей учащихся легла в основу информационно-аналитической системы оценки рейтинга студентов и выпускников.
Оценка рейтинга студента Y = F ^1, Y2, Y3, Y4) - сложная функция, включающая уровень довузовской подготовки Y1, социально-психологический портрет Y2, компетентность учащегося Y3 и мнение работодателя Y4. Согласно ФГОС ВПО различают общекультурные компетенции (ОК) и профессиональные компетенции (ПК). Профессиональные компетенции студентов и выпускников направления подготовки «Прикладная информатика» включают общепрофессиональные компетенции, проектную деятельность, организационно-управленческую и производственно-технологическую, аналитическую и научно-исследовательскую [8].
Основу оценки компетентности студентов составляет их успеваемость. Все полученные компетенции должны подкрепляться личными качествами, такими как коммуникабельность, лидерские качества, обучаемость, стрессоустойчивость и т.д. [1].
Наилучшим методом отражения функциональных зависимостей оцениваемых характеристик является дерево целей, в котором вершина - целевая переменная (оценка рейтинга студента) связывается дугами с вершинами, обусловливающими цель, -подцелями и фактами. Подцели в свою очередь определяются наборами других подцелей и фактами [3, 4].
Оценка рейтинга студента
Довузовская подготовка
Социально-психологический портрет
I
Оценка компетентности студента
Личностные качества
Коммуникабельность
Конфликтность
Объективность
Стрессоустройчивость
Предпринимательские способности
Самооценка Мотивация к успеху
1
Профессиональные склонности
Человек-Человек
Человек-Техника
Человек-Природа
Человек-Знаковая система
Человек-Художественный образ
Оценка работодателем
ч Общекультурные компетенции
I________________________________________
Общепрофессиональные компетенции
Организационно-управленческая >1 и производственно-
[_7ехнр^о™_чер_к?я_деятельн_°сть__
Научно-исследовательская деятельность
^ Аналитическая деятельность Проектная деятельность
Экспертная система
Нейронная сеть
Исходные данные
Формулы
Рис. 1. Фрагмент гибридной модели оценки рейтинга студента
В построенной гибридной модели (рис. 1) оценки рейтинга студентов в качестве решателей в узлах дерева используются продукционные экспертные системы, нейронные сети, нечеткие нейронные сети и аналитические формулы. На самом верхнем уровне располагается экспертная система, поскольку она относительно проста, понятна и наиболее близка к человеческому мышлению.
Гибридная модель оценки рейтинга студента была реализована в программно-инструментальном комплексе «Бизнес-Аналитик» (рис. 2). Аналитическая платформа «Бизнес-Аналитик» разработана на Microsoft Visual Studio на языке программирования C#, версия .NET Framework 4.0. В системе реализовано множество методов нечеткого моделирования, каждый решатель представляет собой отдельную динамическую библиотеку.
Настройка документов
Ввод исходных данных
Ф
Настройка методики
Формула Нейронные сети Экспертная система с нечеткой логикой Нечеткие нейросети
Расчет по методике
Блок решения
Объяснительная компонента
Выдача отчета Р
Р — задача выполняется в разрезе организаций и периодов
Рис. 2. Структура аналитической платформы «Бизнес-Аналитик»
Для расчета по методике в аналитическую платформу необходимо внести исходные данные. Первый способ ввода заключается в ручном заполнении всех первичных документов. Второй способ предполагает загрузку значений входных показателей из прикладных автоматизированных информационных систем посредством «еЬ-сервисов. Web-сервисы аналитической платформы «Бизнес-Аналитик» были разработаны с применением технологии ASP.NET и до-
ступны в интернете по адресу http://ba40.ru/ba_xml. asmx (рис. 3).
Web-служба «Бизнес-Аналитик» содержит методы, предназначенные для редактирования общих справочников, загрузки исходных данных для последующего анализа, а также самого расчета агрегированных показателей с формированием отчета и объяснением полученных результатов. В качестве основного формата обмена данными был выбран формат XML (рис. 4).
ba xml Web Service - Mozilla Fïrefox
Файл Правка Жид Журнал Закладки Инструменты ¿правка
- О ( О http://ba40.ru/ba_xml.asmx Ч
ba_xml
The following operations are supported.
• AddFirma
• AddPeriod
• DeleteDocums
• DeleteFirma
• DeletePeriod
• DeleteShablonDocums
• EditFirma
• EditPeriod
• GetDataTable
• GetDocumsBvFirmaPeriodShablon
• GetDocumsBvId
• GetShablonDocums
• h|e toWorld
• RasclietMetodika
• S g [ оси in s
• SetDocu m sEx
• SetShablonDocums
• SetShablonDocumsEx
Рис. 3. Список методов web-службы аналитической платформы «Бизнес-Аналитик»
В attributes [
Рис. 4. Описание структуры XML файла - ответа web-службы при вызове метода «Расчет по методике»
Для сбора информации о студентах и выпускниках, их достижениях, успеваемости и трудоустройстве, результатах психологического тестирования, а также для взаимодействия с пользователем приме-
няется разработанная нами информационно-аналитическая система (ИАС) «Кафедра».
Все необходимые данные для расчета собираются из базы с помощью SELECT-запросов, затем эти дан-
ные упаковываются в ХМЬ-файл соответствующего вида и отправляются web-службе «Бизнес-Аналитик»,
Рассмотрим более детально узел методики «Социально-психологический потрет студента. Профессиональные склонности». Согласно исследованиям Е.А. Климова, все многообразие профессий можно разделить на пять типов: «человек - природа», «человек - техника», «человек - знаковые системы», «человек - художественный образ», «человек - человек» [9]. Для определения наиболее предпочтительного вида профессиональной деятельности студентов направления подготовки «прикладная информатика» Алтайского государственного технического университета им было предложено пройти психологическое тестирование, фрагменты результатов которого приведены в таблице 1. Всего в тестировании приняли участие 80 учащихся. Максимальное количество баллов в каждой группе профессиональных склонностей - 8.
Задача: по результатам тестирования определить склонности студентов к работе по следующим про-
которая выполняет расчет по методике и возвращает результат (рис. 5).
Эксперты, аналитики
фессиям: программист, экономист, менеджер, предприниматель, аспирант (магистр). Решим эту задачу с помощью нечеткой экспертной системы, многослойного персептрона и нечеткой нейронной сети.
Для построения экспертной системы формирования функции принадлежности и нечетких правил были привлечены эксперты, которыми являлись преподаватели кафедры, а также работодатели (рис. 6, 7).
Для обучения многослойного персептрона и нечеткой нейронной сети были подготовлены выборки. Входными параметрами являлись результаты тестирования. Выходные параметры - склонен или не склонен к работе программистом, экономистом, менеджером, предпринимателем и научным сотрудником (табл. 2). Всего было опрошено восемь экспертов. Максимальное значение в выходных столбцах - 1 (склонен), минимальное - 0 (не склонен).
Рис. 5. Схема взаимодействия систем «Кафедра» и «Бизнес-Аналитик»
Сохранять результаты е папку
Рис. 6. Настройка экспертной системы в системе «Бизнес-Аналитик»
человек - знаковая система отлично
человек - человек неудовлетворительно
человек - природа
человек - художественный образ
Человек - техника отлично
или
Человек - знаковая система отлично
Человек - человек
человек - природа
человек - художественный образ неудовлетворительно
Человек - техника отлично
или
человек - знаковая система отлично или хорошо
человек - человек не неудовлетворитель
Человек■природа
Человек - художественный образ не неудов л етво рител ь
Человек - техника отлично или хорошо
ТО имеет склонности к ра&оте программистом
Рис. 7. Фрагмент нечетких правил
Таблица 1
Фрагмент обучающей выборки
Входные параметры Выходные параметры
Список человек-человек человек-техника человек-природа человек-знак человек -худож. образ программист экономист менеджер предприниматель аспирант (магистр)
Студент 1 8 2 4 4 5 0,25 0,5 0,875 0,5 0,375
Студент 2 8 6 0 7 2 0,875 0,75 0,875 0,75 0,75
Студент 3 5 6 2 5 2 0,625 0,625 0,5 0,625 0,625
Студент 4 6 7 3 3 0 0,5 0,5 0,75 0,5 0,5
Классические нейронные сети, такие как многослойные персептроны, имеют важный недостаток -трудности при объяснении полученных результатов. В специальной литературе приводится два основных подхода к построению логически прозрачных нейронных сетей. Первый подход заключается в контрастировании, т.е. упрощении структуры нейронной сети путем сокращения количества нейронов и связей [5]. Второй предполагает использование для решения за-
дачи аппроксимации другого класса нейронных сетей. В системе «Бизнес-Аналитик» реализованы нечеткие нейронные сети Такаги - Сугено - Канга (ННС TSK), в которых модель вывода (функция заключения) определяется в виде совокупности нечетких правил [6, 7].
Результат настройки ННС TSK в аналитической платформе «Бизнес-Аналитик» для решения задачи соотнесения профессиональных склонностей студентов к работе программистом показан на рисунке 8.
Рис. 8. Результат настройки нечеткой нейронной сети
В рассмотренном примере нечеткая нейронная сеть сгенерировала два нечетких правила, построила 10 функций принадлежности. Важной задачей здесь является их интерпретация. Глядя на графики функции принадлежности на рисунке 9, можно отметить, что в первом правиле значимыми являются лишь входы «человек - природа» и «человек - техника», значения остальных входов на уровень активации правила никак не влияют.
Результаты обучения и тестирования классических и нечетких нейронных сетей представлены в таблице 2. Эксперименты по обучению многослойных персептронов проводились в программе «Нейроаналитик», все остальные эксперименты -в системе «Бизнес-Аналитик». Обучение и того, и другого типа нейронных сетей проводилось методом кРагТап. Нечеткие экспертные системы практически во всех случаях выдавали ошибку в пределах 25%.
Таблица 2
Результаты обучения и тестирования классических и нечетких НС
Специальность Многослойный персептрон Нечеткие нейронные сети
Ошибка обучения Ошибка обобщения Ошибка обучения Ошибка обобщения
Программист 0,017 0,106 0,0432 0,0818
Экономист 0,013 0,053 0,0477 0,0929
Менеджер 0,011 0,112 0,0342 0,0883
Предприниматель 0,012 0,064 0,0222 0,0933
Аспирант (магистр) 0,012 0,071 0,0274 0,0328
Как следует из таблицы 3, в ряде случаев нечеткие нейронные сети справились с задачей распознавания профессиональных склонностей студентов лучше, чем многослойные персептроны. Это объясняется прежде всего возможностью программного продукта «Бизнес-Аналитик» контролировать наступление момента переобучения сети, когда ошибка на контрольной выборке начинает возрастать.
Основным преимуществом нечетких нейронных сетей является возможность объяснить полученный числовой результат.
В дальнейшем планируется развитие методики, проведение новых экспериментов и настройка технологии для расчета и мониторинга рейтинга и уровня накопленных компетенций не только отдельного студента, но и всей группы в целом, а также в динамике.
Библиографический список
1. Байденко В.И. Выявление состава компетенций выпускников вузов как необходимый этап проектирования ГОС ВПО нового поколения: методическое пособие. -М., 2006.
2. Мушенок Н.И., Бородина Н.В. Компетентностный подход в оценивании качества результатов учебной деятельности в зарубежных ВУЗах // Вестник Самарского государственного экономического университета. - 2013. -№ 8 (103).
3. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. - СПб., 2000.
4. Пятковский О.И., Авдеев А.С., Тишков О.И. Интеллектуальные автоматизированные системы управления организацией. - Барнаул, 2013.
5. Горбань А.Н. Обучение нейронных сетей. - М., 1990.
6. Матвеев М.Г., Свиридов А.С., Алейникова Н.А. Модели и методы искусственного интеллекта. Применение в экономике. - М., 2008.
7. Пятковский О.И., Гунер М.В. Разработка гибридной интеллектуальной системы с нечетко-нейросетевыми компонентами для оценки профессиональной компетентности студентов // Известия Алтайского гос. ун-та. - 2013. -№ 1/1(77).
8. ФГОС ВПО по направлению подготовки 230700 «Прикладная информатика» (квалификация (степень) «бакалавр») / Министерство образования и науки Российской Федерации [Электронный ресурс]. - URL: http://www.edu. ru/db-mon/mo/Data/d_09/pim783-1.pdf.
9. Климов Е.А. Образ мира в разнотипных профессиях. - М., 1995.
