CC BY
327
Использование аппарата теории нечетких множеств при проектировании современных технологий дистанционного обучения
Чванова Марина Сергеевна профессор, д.п.н., проректор по инновациям и информационным технологиям, Тамбовский государственный университет имени Г.Р.Державина, ул. Интернациональная, 33, г. Тамбов, 39200, (4752)723429 [email protected]
Киселёва Ирина Александровна к.п.н., доцент кафедры информатики и информационных технологий, Тамбовский государственный университет имени Г.Р.Державина, ул. Интернациональная, 33, г. Тамбов, 39200, (4752)723429 irinakiselyo @yandex. ru
Молчанов Анатолий Анатольевич аспирант кафедры информатики и информационных технологий, Тамбовский государственный университет имени Г.Р.Державина, ул. Интернациональная, 33, г. Тамбов, 39200, (4752)723429 ykdosto @gmail. com
Храмова Марина Викторовна к.п.н., доцент кафедры информатики и информационных технологий, Тамбовский государственный университет имени Г.Р.Державина, ул. Интернациональная, 33, г. Тамбов, 39200, (4752)723429 [email protected]
Аннотация
В статье рассматривается необходимость развития технологий дистанционного обучения на основе комплексного включения в нее элементов экспертных систем. Проводится анализ общих проблем применения и разработки экспертных систем в образовании, направления их развития, в частности, в технологиях дистанционного обучения. Обсуждаются недостатки использования традиционной математической логики в моделировании гуманитарных областей знаний и образовательных процессов. Делается предположение о новых возможностях использования аппарата нечеткой логики при создании элементов экспертных систем для дистанционного обучения. Приводятся конкретные алгоритмы и примеры. Авторы делают вывод о необходимости применения аппарата нечеткой логики для проектирования и разработки интеллектуальной подсистемы для технологий дистанционного обучения.
The article is devoted to the need for the development of distance learning technologies in the base including the expert system elements. The analysis of common problems of the development and application of expert systems in education, directions of its development, particularly, in the distance learning technologies. We discuss the disadvantages of using traditional mathematical logic in modeling of the human knowledge areas and educational processes. We propose the new approach based on fuzzy logic to create the elements of expert systems for distance learning. The concrete algorithms and examples are considered. We conclude that fuzzy logic method is perspective approach to design and development of intelligent module of distance learning system.
Ключевые слова
дистанционное обучение, экспертные системы, нечёткая логика; distance education, expert systems, fuzzy logic.
Необходимость развития технологий дистанционного обучения
Географические размеры России, удаленность производственных предприятий от центров образования, ускоренные темпы обновления профессиональных знаний, потребность в доступе к образованию в любое время без лишних затрат на перемещение и многое другое требуют активного внедрения принципиально новых технологий в образовательный процесс.
Приоритетность развития дистанционных образовательных технологий для России достаточно высока и занимает, как указано в прогнозе развития отрасли, второе место в общем рейтинге приоритетности всех рассматриваемых технологий [1, с.212]. Положительный эффект от развития дистанционных образовательных технологий непрерывного профессионального образования очевиден и эксперты связывают его с повышением качества жизни. Вместе с тем, динамика продвижения указанных технологий тормозится как развитием инфраструктуры, так и проблемами в подготовке кадров. Рассмотрим более подробно отдельные проблемные аспекты.
Значительная часть современных технологий дистанционного обучения построена на основе подходов традиционной логики. Они работают, в основном, как средства быстрого доступа к образовательной информации (представленной в текстовой, графической и форме мультимедиа), средства тестирования и ведения журналов учета и контроля успеваемости обучаемых, средства общения в сети. Важно заметить, что, несмотря на то, что существует множество доступных инструментальных систем, позволяющих реализовать эти технологии, большая часть нагрузки по координации и обеспечению образовательного процесса лежит на человеке.
Другая проблема - парадигма современного обучения ориентируется на развитие познавательных и творческих способностей личности. А традиционные линейные методы компьютерного обучения - малоэффективны. Есть два выхода. Первый -в процессе дистанционного обучения организовывать регулярное общение обучаемых с преподавателями (в этом случае управляет процессом преподаватель как консультант и эксперт). Второй - в использовании технологий искусственного интеллекта, которые позволяют динамично адаптировать учебный материал для каждого обучаемого, осуществлять интерактивную помощь на уровне подсказок, примеров или объяснений, предоставляют возможность формировать эффективные группы общения и совместного обучения в проектной деятельности.
Значительную рутинную нагрузку в процессе дистанционного обучения могут снять экспертные системы, выполняющие роль педагога-эксперта, методиста-эксперта на каждом из этапов реализации технологии дистанционного обучения. Реализация этой идеи - весьма непростая задача, обусловленная рядом ментальных, математических и технологических проблем, связанных с особенностями мыслительной деятельности человека. Но именно развитие данного направления представляется наиболее интересными и перспективным для образовательной отрасли.
Использование экспертных систем в образовании
В начале восьмидесятых годов в исследованиях по искусственному интеллекту сформировалось самостоятельное направление, получившее название "экс-
пертные системы" (ЭС). Исследователи для названия дисциплины часто используют также термин "инженерия знаний", введенный Э. Фейгенбаумом [2]. Экспертные системы (ЭС) - это набор программ, выполняющий функции эксперта при решении задач из некоторой предметной области. Название обусловлено тем, что они как бы имитируют людей, являющихся экспертами.
Каждая экспертная система состоит из трех частей: во-первых, из очень большой базы современных данных, во-вторых, подсистемы формирования вопросов и, в-третьих, совокупности правил, позволяющих делать выводы. Некоторые экспертные системы могут рассказать о методе, который они используют при выработке своего заключения.
В нашей стране современное состояние разработок в области экспертных систем можно охарактеризовать как стадию всевозрастающего интереса среди широких слоев экономистов, финансистов, преподавателей, инженеров, медиков, психологов, программистов, лингвистов. К сожалению, этот интерес имеет недостаточное материальное подкрепление - явная нехватка учебников и специальной литературы, отсутствие символьных процессоров и рабочих станций искусственного интеллекта, ограниченное финансирование исследований в этой области, слабый отечественный рынок программных продуктов для разработки экспертных систем, а высокая стоимость имеющихся делает их применение и анализ эффективности применения практически недоступным. Общеизвестно, что процесс создания экспертной системы требует участия высококвалифицированных специалистов в области искусственного интеллекта, которых пока выпускает небольшое количество высших учебных заведений страны.
Современные исследования в области применения и разработки экспертных систем в образовании, по нашему мнению, условно можно разделить на три группы.
К первой группе представляется возможным отнести авторов, исследующих теоретико-педагогические аспекты применения экспертных систем в образовании. Ко второй группе - авторов, которые разработали конкретные экспертные системы для обучения совместно с преподавателями на основе известных технологий. К третьей группе - авторов, которые исследуют новые подходы к созданию экспертных систем для системы образования (в том числе на основе нечеткой логики).
Рассмотрим первую группу публикаций, анализирующих теоретикопедагогические аспекты применения экспертных систем.
В исследовании Н.Л. Юговой [3] сконструировано содержание профильного обучения с применением экспертной системы. Автор рассматривает экспертную систему для проведения диагностики по уровням обученности и профессиональным предпочтениям, которая реализована на основе построения фреймовой модели профильной учебной информации, установления субъект-субъектных взаимоотношений участников образовательного процесса: обучающихся, учителя, педагога-
когнитолога.
Н.М. Антипиной [4] разработана технология формирования профессиональных методических умений в ходе самостоятельной работы студентов педагогических вузов с применением экспертной системы. Специализированная обучающая экспертная система, разработанная автором, способна в ходе самостоятельной работы студентов за компьютером выдавать индивидуальные задания различных уровней трудности, вырабатывать рекомендации по способам их выполнения, оказывать помощь в виде консультаций, осуществлять контроль знаний и умений студентов на различных стадиях выполнения ими методических заданий и т.п.
Н.Л. Кирюхиной [5] разработана модель экспертной системы диагностики знаний студентов по психологии. Автор рассматривает экспертную систему для решения задачи диагностики психологических знаний студентов, проверки гипотез о правильности ответов студента, степени усвоения материала по разным темам курса.
И.В. Гречиным [6] реализуется новый подход к использованию экспертной системы в технологии обучения. Он предлагает систему, которая при использовании обратной связи, в интерактивном режиме генерирует и отслеживает последовательность цепочки рассуждений при обучении.
Н.А. Барановой [7] рассматривается вопрос применении экспертных систем в непрерывном педагогическом образовании. Экспертная система структурирует учебную информацию и создает индивидуальные учебные планы для каждого студента при сокращенных сроках обучения, что повышает эффективность процессов обучения, преподавания и самообразования.
A.Б. Андреев, В.Б. Моисеев, Ю.Е. Усачев [8] используют экспертные систем для анализа знаний обучающихся в среде открытого образования. Анализ качества знаний проводится с помощью экспертной системы анализа знаний. Для реализации такой системы авторами рассматривается структурный подход к созданию интеллектуальных обучающих и контролирующих компьютерных систем. Подход, по мнению авторов, позволяет разрабатывать эффективные средства анализа знаний обучающихся на основе использования структурной модели учебного материала. Структурной единицей совокупности знаний в предложенной модели является понятие, обладающее содержанием и объемом.
Е.В. Мягковой [9] рассматривается возможность применения экспертных систем как информационных технологий в сфере высшего образования . По мнению автора, экспертность заключается в наличии в экспертной обучающей системе знаний по методике обучения, благодаря которым она помогает преподавателям обучать, а учащимся - учиться. Главной целью ее реализации, по мнению автора, является обучение и оценка текущего уровня знаний студента относительно уровня знаний преподавателя. Таким образом, сравнение двух решеток (эталонной, отражающей представления преподавателя, и решетки, заполненной обучаемым в ходе диалога) позволяет оценить различия в представлениях преподавателя и обучаемого.
B.М. Московкиным [10] построена имитационная экспертная система выбора университетов для обучения. Автором проведен краткий обзор зарубежных исследований в области моделирования процессов принятия решения о выборе колледжей и университетов для дальнейшего обучения. На концептуальном уровне построена соответствующая имитационная экспертная система.
Мы не ставили своей целью осуществлять критический анализ рассмотренных примеров, а лишь представили весьма немногочисленные примеры работ по обозначенному направлению. Веер попыток описать применение экспертные системы для решения проблем дидактики (теории обучения) свидетельствует о поиске новых путей и технологий в принятии решений для оптимизации образовательного процесса и свидетельствуют о намерениях и попытках реализовать идеи с помощью программных средств.
Рассмотрим вторую группу публикаций, в которых рассматриваются разработанные совместно с преподавателями экспертные системы для образования на основе известных технологий.
Е.Ю. Левиной [11] разработана внутривузовская диагностика качества обучения на основе автоматизированной экспертной системы, применение которой сводится, по сути, к диагностики качества учебного процесса в вузе, позволяющей на основе информационных средств и математических методов управлять базами данных для осуществления процедур исследования и анализа статистики результатов учебного процесса, выработке рекомендаций для принятия управленческих решений по обеспечению качества образования.
М.А. Смирновой [12] разработана экспертная система для оценки качества педагогической подготовки будущего учителя, которая сводится к оценке качества подготовки учителя в школе, позволяющей исследовать уровень подготовленности будущего учителя.
Л.С. Болотовой [13] на основе технологии экспертных систем ситуационного управления реализуется адаптивное дистанционное обучение принятию решений. В качестве инструментальных программных средств разработаны экспериментальные образцы инструментальных проблемно- и предметно-ориентированных экспертных систем ситуационного управления муниципальными образованиями и малым бизнесом, на основе разработанного ситуационного тренажера - имитатора.
Компьютерная система принятия решений по результатам экспертного оценивания в задачах оценки качества образования, разработанная О.Г. Берестневой [14] и О.В. Марухиной, позволяет выделить наиболее обоснованные утверждения специалистов-экспертов и использовать их, в конечном счете, для подготовки различных решений. Разработанный авторами и описанный в статье универсальный программный продукт позволяет наиболее оптимально решать задачу оценки качества образовательного процесса по результатам экспертного оценивания.
Е.Ф. Снижко [15] рассмотрена методика применения экспертных систем для корректировки процесса обучения и оценки эффективности педагогических программных средств. В ходе исследования автором разработан экспериментальный фрагмент педагогического программного средства по изучению языка Пролог для учащихся 9 класса средней школы с целью демонстрации основных моментов разрабатываемой методики и ее экспериментальной проверки. Встроенная в педагогическое программное средство экспертная система была доведена до уровня демонстрационного прототипа.
Заметное сужение направлений и без того немногочисленных примеров в области конкретных программных разработок, свидетельствует о сложности доведения задумок до их программной реализации. Возможно, что такая ситуация связана, по крайней мере, с двумя проблемами. Первая состоит в постановке самой задачи, опирающейся на базу знаний эксперта-педагога. Ведь хорошо известно, что есть профессии, которые связаны с относительно четкой ежедневной экспертной деятельностью, такие как врач, криминалист, инженер. Для этих профессий создать базу знаний эксперта вполне возможно. Что касается преподавателя - его труд содержит значительную долю творчества, интуиции, актерского мастерства и, кроме известных технологий оценивания результатов деятельности обучаемого, во многом слабо формализуется.
Рассмотрим третью группу публикаций авторов, которые исследуют новые подходы к созданию самих экспертных систем для образования (в том числе на основе нечеткой логики).
Анализ литературы по данному направлению позволил прийти к выводу о том, что одним из обсуждаемых подходов к созданию экспертных систем являются попытки предложить использовать методы нечеткой логики, основанные на теории нечетких множеств. Рассмотрим ряд примеров.
В.С. Тоискин [16] выделяет несколько причин, на основании которых предпочтение отдается применению систем именно с нечеткой логикой:
- она концептуально легче для понимания;
- это гибкая система и устойчива к неточным входным данным;
- может моделировать нелинейные функции произвольной сложности;
- в ней учитывается опыт специалистов-экспертов;
- основана на естественном языке человеческого общения.
И.В. Солодовников, О.В. Рогозин, О.В. Шуруев [17] рассматривают общие принципы построения программного комплекса, способного производить комплексную успеваемость студентов в семестре с помощью экспертной системы, с использованием элементов аппарата нечеткой логики.
В ходе анализа предметной области авторами сформулированы следующие критерии (на основе расчета статистических оценок):
- посещение лекций (оценка посещаемости рассчитывалась по среднему арифметическому всех имеющихся оценок);
- работа на семинаре (аналогично);
- выполнение контрольных работ (оценка выполнения контрольных работ проводилась с учетом коэффициента сложности);
- выполнение домашнего задания (аналогично).
Для оценки успеваемости авторы использовали лингвистические переменные: «посещал лекции», «работал на семинаре», «выполнял контрольные работы», «выполнял домашнее задание». Характеристиками данных переменных являлись понятия «активность», «эффективность», «оценка». Такой подход дает возможность проанализировать работу студента и на основе сформулированных критериев оценить эффективность качества его знаний.
На основе моделей нечеткой логики И.В. Самойло, Д.О. Жуков [18] рассматривают проблему создания экспертных систем, позволяющих давать рекомендации по профессиональной ориентации конкретному абитуриенту.
Авторы в качестве логических переменных, описывающих состояние обучаемого, рассматривают следующие группы переменных:
Группа переменных (О) - оценки: О = {01, 02, 03, ..., Оп}.
Группа переменных (С) - психологические тесты, направленные на выявление способностей, связанных с обучением и интеллектом.
Группа переменных (Ц - характеристики личности обучаемого.
Группа переменных (М) - результаты диагностики сферы интересов обучаемого: М = {т1, т2, ...,тк}
Прототип такой системы, позволил сформировать механизм управления кафедральным выбором:
- абитуриент заходит на стартовую страницу системы, заносит школьные оценки и (или) результаты единого государственного экзамена, результаты текущей успеваемости. Система проводит оценку достоверности результата с помощью нечеткой логики;
- пользователь проходит тестирование психологических особенностей личности и способности к обучению, сферы интересов с оценкой достоверности результата с помощью нечеткой логики;
- автоматизированная экспертная система (АЭС) проверяет, соответствует ли данный абитуриент требованиям кафедры (учебного заведения). Если «да», то с помощью управляющей образовательной среды корректируются знания пользователя, создаются оптимальные условия преодоления кафедрального «барьера», кроме этого у пользователя есть возможность отказаться от борьбы за интересующую его кафедру, и продолжить образование на той кафедре, на которой позволяют его достижения;
- последующие тестирование - раз в полгода, его результаты помогают отследить динамику развития студента, выбрать оптимальную стратегию формирования будущего профессионала.
О.А. Мелиховой [19] рассматривается вопрос о возможности проектирования и реализации экспертной системы мониторинга образовательного процесса вуза на основе нечеткого подхода к моделированию интеллектуальных систем. В данном подходе используются «лингвистические» переменные, отношения между которыми описываются с помощью нечетких высказываний и нечетких алгоритмов.
Предполагается, что построение системы мониторинга учебного процесса может включать этапы:
- формулировка целей обучения, определение уровня требо-
ваний каждого преподавателя (высший, средний, низший);
- построение системы мониторинга, определение степени обученности по каждой дисциплине. Показатели: различение, запоминание, понимание, элементарные умения и навыки, перенос знаний;
- определение фактической эффективности деятельности преподавателя на основании показателей степени обученности обучающихся. Основными показателями эффективности деятельности преподавателя являются прочность, глубина и осознанность знаний обучаемых. Эти же показатели определяют качество образования.
Д.И. Попов [20] в своей работе рассматривает интеллектуальную систему дистанционного обучения (ИСДО) «KnowledgeCT» на базе Интернет-технологий, которую планируется использовать в учебных целях Центра дистанционного образования. Она позволяет производить не только оценку знаний, но и осуществлять сбор данных о студентах, что необходимо для создания математических моделей обучаемого, сбора статистики.
Оценка знаний производится с помощью системы адаптивного тестирования, базирующейся на методах и алгоритмах нечеткой логики: для каждого уровня сложности эксперту по дисциплине (преподавателю) необходимо разработать соответствующий набор вопросов. Подобная система может позволить сделать процесс обучения более гибким, учесть индивидуальные особенности и повысить точность оценки знаний студента.
В.М. Курейчик, В.В. Марков, Ю.А. Кравченко [21] в своей работе исследуют подход к проектированию интеллектуальных систем дистанционного обучения на основе правил и технологий вывода, основанных на прецедентах. Предполагается, что экспертные системы будут моделировать процесс принятия экспертом решения как дедуктивный процесс с использованием вывода, основанного на правилах. В систему может быть заложена совокупность правил, согласно которым на основании входных данных генерируется заключение по адекватности предложенной модели. Есть недостаток - дедуктивная модель эмулирует один из наиболее редких подходов, которому следует эксперт при решении проблемы.
Вывод, основанный на прецедентах, делает заключения по результатам поиска аналогий, хранящихся в базе прецедентов. Данный метод может быть эффективен в ситуациях, когда основным источником знаний о проблеме или ситуации является опыт, а не теория; решения не уникальны для конкретной ситуации и могут быть использованы в других для решения аналогичных задач; целью вывода является не гарантированное верное решение, а лучшее из возможных. Предполагается, что реализация данной технологии вывода может быть осуществлена с применением нейросетевых алгоритмов.
Современное состояние использования экспертных систем при дистанционном обучении
Возвращаясь к разговору о проблемах развития технологий дистанционного обучения, полезно проанализировать использование экспертных систем в самих системах дистанционного обучения.
Данное направление мало изучено и только развивается, о чем свидетельствует небольшое количество публикаций исследователей-педагогов, работающих в указанном проблемном поле, включая зарубежных авторов и опыт Америки и Евросоюза в использовании и продвижении дистанционных технологий. Публикации по данному направлению носят, в основном, прогнозный характер и характер обсуждения отдельных методов.
Отмечается интерес к распределенным интеллектуальным системам в системе дистанционного обучения, вместе с тем, не совсем ясно как можно эффективно организовать образовательный процесс, чтобы он приводил к желаемому качеству образования. Видимо, речь должна идти, прежде всего, о построении педагогических образовательных моделей в системе открытого образования.
По нашему мнению, проблема обусловлена тем, что значительная часть исследователей в области технологий дистанционного обучения переносят известные в практике методы и приемы, наполняя ими дистанционное обучение. Вместе с тем, совершенно очевидно, что новые технологии в образовании должны опираться на принцип "новых задач". Передовые технологии несут в себе новое решение, новые методы, новые подходы, новые возможности - еще неизвестные системе образования. Сейчас стало очевидным, что "традиционная лекция" и "традиционный учебник"
- малоэффективны при дистанционном обучении. Нужен организованный и направленный доступ к динамичным системам актуальной информации, нужны доступные в любое время "автоматизированные консультации", нужны новые способы и приемы организации совместной проектной деятельности и многое другое.
К настоящему времени накоплен определенный опыт в передаче части интеллектуальных функций (по организации и проведению образовательного процесса) средствам информатизации при дистанционном обучении.
Так, Г.А. Самигулиной [22] приводится пример интеллектуальной экспертной системы дистанционного обучения на основе искусственных иммунных систем, которая позволяет в зависимости от принадлежности обучаемого к определенной группе, оценить его интеллектуальный потенциал и в соответствии с ним оперативно предоставить индивидуальную программу обучения. На выходе возможна комплексная оценка знаний, дифференциация студентов и прогноз качества полученного образования. Группы определяются экспертами в соответствии с определенным знаниями, практическими навыками, творческими способностями, логическому мышлению и т.д. Экспертная система подразумевает реализацию подсистем:
- «Информационной подсистемы» - разработка методов и средств хранения информации, разработка баз данных, баз знаний. Включает электронные учебники, справочки, каталоги, библиотеки и т.д.;
- «Интеллектуальной подсистемы» - обучение иммунной сети, обработка многомерных данных в режиме реального времени. Применение алгоритма оценок энергий связи на основе свойств гомологичных пептидов позволяет уменьшить ошибки при прогнозировании интеллектуальной системы, что позволяет производить обучение студентов в соответствии с их индивидуальными особенностями;
- «Обучающая подсистема» осуществляет разработку методов, средств и форм подачи обучающей информации адаптированной на конкретного пользователя с учетом его индивидуальных характеристик. Составляется график выполнения объема требуемых работ и сроки реализации;
- «Контролирующая подсистема» предназначена для комплексной оценки знаний обучающегося с целью оперативной корректировки программы и процесса обучения.
Таким образом, в результате оперативного анализа знаний огромного числа обучающихся можно быстро корректировать процесс обучения, так как экспертная система может предложить индивидуальную программу обучения.
Анализ исследований экспертных систем в области дистанционного образования показал, что это новое и актуальное направление в науке, которое мало изучено. Зачастую под экспертной системой педагогами понимается всего лишь тестирование студентов в той или иной системе дистанционного образования и экспертиза их знаний.
Так, А.В. Зубовым и Т.С. Денисовой [23] заявлено о разработке комплексных экспертных интернет - систем для дистанционного обучения на основе «Finport Training System». В системе имеется возможность разрабатывать учебные курсы, проводить обучение и аттестацию, и, одновременно, анализировать результаты и эффективность обучения на основе тестов, разработанных высококвалифицированными специалистами.
В.Г. Никитаевым и Е.Ю. Бердниковичем [24] разработаны мультимедийные курсы дистанционного обучения врачей по гистологической и цитологической диагностике с применением экспертных систем на базе системы управления контентом Moodle. Система позволяет добавлять курсы в контент и на основе тестирования проверять уровень усвоение материала в зависимости от ответа студентов.
Таким образом, в системах дистанционного обучения имеется возможность произвести экспертную оценку знаний на основе разработанных специалистами тестовых заданий.
Вместе с тем, по нашему мнению, технологии дистанционного обучения требуют использования множества подсистем для снятия рутинной нагрузки с организаторов и преподавателей-тьюторов. Эта нагрузка увеличивается в связи с тем, что человек выбирает для себя свой ритм, темп и время обучения.
Индивидуализация же требует развитой автоматизированной системы "интеллектуальных" подсказок, помощи, консультаций в течение всего периода дистанционного обучения и при использовании разных образовательных методов и приемов: лекции, семинаров, практики, проектной деятельности, конференции, диспута и других. Только уникальные вопросы адресуются преподавателю-эксперту.
На основе анализа публикаций и личной практики организации дистанционного обучения мы пришли к выводу о том, что перечисленные выше «интеллектуальные» подсказки - подсистемы могут быть организованы на разной теоретической и программной основе в виде подключаемых к системе отдельных модулей. Это связано с тем, что подсистемы несут разную интеллектуальную "нагрузку": где-то достаточно использовать традиционную логику при проектировании конкретной подсистемы, а в другом случае - удобно создавать подсистему с использованием аппарата нечеткой логики, причем можно использовать уже известные технологии - отработанные в практике дистанционного обучения студентов.
По нашему мнению, такой подход позволяет сбалансировано по времени, качеству, трудозатратам (и, что очень важно, возможности расширенного применения) привести к обеспечению технологий дистанционного обучения «интеллектуальными» компонентами.
Проблемы разработки экспертных систем для технологий дистанционного обучения
Прежде всего, нужно использовать базу знаний профессионального педагога-эксперта, который имеет хороший опыт работы с дистанционными технологиями и может прогнозировать само развитие этих технологий. В худшем случае база знаний будет использована как помощник эксперту, в лучшем - как самостоятельный "виртуальный" эксперт.
И здесь открываются первые подводные камни на пути создания базы знаний. Обсудим подробнее их суть и причины появления.
Мы живем в мире плохо поставленных задач, то есть большинство ежедневно решаемых нами задач не имеют четко очерченных значений «дано», «найти», не говоря уже о способе их решения. Особенно ярко это проявляется в гуманитарных областях знаний, к которым относится и образование как научная отрасль. Они напол-
нены различными абстрактными формами, которые часто нельзя формализовать на основе традиционной логики.
Источником неопределенности является неполное знание об объекте, неточное выявление у объекта исследования свойств, неточность оценки, субъективность критериев и т.д. Качественные характеристики обычно не имеют эталонов измерения и общепринятых шкал, их приходится конструировать в соответствии с природой изучаемого объекта.
Если нам удается четко определить что «дано» и что необходимо «найти», выстроить логическую цепочку решения задачи, тогда мы можем структурированную таким образом задачу и ее решение переложить на компьютер. Тем более, это хорошо удается, если все описывается математически.
Вместе с тем, важно заметить, что в гуманитарных областях знаний при использовании классической математики наблюдается упрощение реальной ситуации, искажение и уничтожение неоднозначности свойств изучаемого объекта.
В истории развития образования делались попытки описать математически образовательный процесс. На практике эти попытки не увенчались успехом по причине жесткого «отсечения» (в процессе математического моделирования) из него существенных для человека особенностей. Кроме того, невозможно выбрать основной или ведущий критерий из списка рядоположенных и одинаковых по значимости критериев эффективности образовательного процесса - в образовательном процессе важно все.
Человеческий способ рассуждения нечеткими понятиями, естественный язык, заключения в неточных, нечетких терминах значительно затрудняют применение компьютера для снятия рутинной нагрузки с человека в данном случае. Логика человеческого рассуждения основывается не на классической логике, а на логике с нечеткими значениями истинности, с нечеткими связками и нечеткими правилами вывода.
Люди могут расшифровывать неразборчивый почерк, пытаются понимать искаженную речь, решать нестандартные задачи.
В классической математике есть две ситуации для элемента: он либо является, либо не является элементом подмножества. И на этом основана любая формальная логика. А вот понятие нечеткого подмножества основано на «принадлежности элемента подмножеству в большей или меньшей степени».
Л. Заде [25] явился основателем математической дисциплины, в основе которой лежит теория нечетких множеств - шаг на пути к сближению точности традиционной математики и нечеткости реального мира. Он ставил целью создание аппарата, способного моделировать человеческие рассуждения и объяснять приемы принятия человеком решений.
Что привлекло в эту область множество прикладников. Теорию нечетких множеств стали пытаться применить при создании систем, понимающих тексты на естественном языке, использующих неполную информацию, при управлении техническими, социальными и экономическими системами, в системах искусственного интеллекта и робототехнических системах. Она применяется при создании систем управления в технике, систем диагностирования в медицине, при разработке геологических и биологических моделей различных процессов и явлений [26].
В классическом процессе обучения передача знаний и опыта от обучающего к обучаемому происходит посредством вербального общения, в котором обучаемый может задавать уточняющие вопросы; в свою очередь, обучающий выявляет ошибки и пробелы в знаниях обучаемого и способствует их устранению.
В процессе дистанционного обучения в роли обучающего выступает действующая модель виртуального преподавателя, которую наделяют знаниями и способностями реагировать на потребности обучаемого. Виртуальный преподаватель может объединять в себе опыт многих людей, представляет из себя формализованную базу
знаний, состоящую из множества взаимосвязанных научных фактов предметной области.
Основными задачами при работе с базами знаний являются: наполнение базы и извлечение знаний. Качество работы базы знаний может быть охарактеризовано релевантностью (соответствие ответа пользовательскому запросу) выдаваемых ответов.
База знаний является особого рода базой данных: база фактов + мета-данные (вспомогательные данные). Например, существует условное расписание занятий -некоторая проекция базы знаний (табл. 1):
Таблица 1.
Расписание занятий.
Понедельник Среда Пятница
История 10:00
Физика 11:40
Биология 13:25
Пример факта: “Семинар по истории будет в понедельник с 10 часов утра”. Такие факты считают простыми (односложными), вспомогательные данные для извлечения почти не нужны, достаточно определить правило извлечения: для вопроса “когда будет семинар ХХХХ”, вернуть ответ “Семинар ХХХХ будет ” + {вывести день и время, соответствующее строке “ХХХХ”} (на алгоритмическом языке программирования).
В случаях, когда факты взаимосвязаны (например, “давление увеличится в два раза” и “при повышении температуры на 10 градусов”), вспомогательные данные могут содержать причинно-следственные связи, ссылки на другие факты. Последовательность взаимосвязанных фактов составляет статью. Статьи в базе знаний хранятся в виде текстовых блоков.
Задача наполнения базы сводится к формированию статей и организации ссылок между ними (по такому принципу построена Википедия). Для извлечения знаний используется полнотекстовый поиск по базе (пример: Яндекс, Google).
Рассмотрим проблему извлечения знаний. Пусть база знаний состоит из двух энциклопедических статей и имеется запрос пользователя.
Статья 1: “Онтология - это попытка всеобъемлющей и детальной формализации некоторой области знаний с помощью концептуальной схемы. Обычно такая схема состоит из структуры данных, содержащей все релевантные классы объектов, их связи и правила (теоремы, ограничения), принятые в этой области” (ключевые слова: онтология, информатика)___________________________________________________
Статья 2: “Онтология (новолат. ontologia от др.-греч. бv, род. п. бvтo<; - сущее, то, что существует и Хоуо^ - учение, наука) - учение о сущем; учение о бытии как таковом; раздел философии, изучающий фундаментальные принципы бытия, наиболее общие сущности и категории сущего”(ключевые слова: онтология, философия)________________________________________________________________________
Запрос: “онтология”.
С точки зрения статистического подхода обе статьи содержат ключевое слово “онтология” соответствующее запросу, поэтому равноценны. Однако, пользователь, скорее всего, ищет статью в единственном контексте: только “информатика” или только “философия”, поэтому релевантность таких статей для конкретного запроса не может быть одинаковой (например, релевантность «Статьи 1» выше относи-
тельно «Статьи 2», если пользователь искал информацию о структурах данных). В случаях, когда пользователь вводит запрос, не встречающийся явно в статье, база знаний может вернуть пустой результат (из-за отсутствия четких совпадений). Более того, в статистически ориентированных базах знаний затруднительно ввести аппарат поддержки синонимов. Эти проблемы являются следствием использования четких множеств, когда части или запрос в целом строго входит в статью или строго не входят.
Аппарат нечетких множеств расширяет классические способы систематизации знаний, позволяет находить “мягкие” (из мягких/нечетких вычислений) вхождения текста запроса в статьях базы знаний. Вся дальнейшая работа по созданию системы извлечения базы знаний сводится к расширению множества запросов, на которые экспертная система может ответить.
Рассмотрим классификации в базе знаний. Пусть база знаний содержит информацию об образовательных курсах, которые могут быть классифицированы по признакам: “время публикации”, “принадлежность к специальности” и “оценка актуальности” (рис.1).
Возможные четкие запросы: “новый курс”, “новый технический курс” (поиск точного соответствия).
Примером расширения множества возможных запросов может являться замена наименования категории “новые” на множество синонимов {“новые”; “последние”; “свежие”}. Замена четкого значения категории на нечеткое множество увеличит число возможных запросов с «?» (количество категорий) до «??» без учета словоформ.
Рис.1 Классификации в базе знаний.
Рассмотрим пример описания статьи с помощью нечеткого наименования.
Рассмотрим статью “учебная программа”:
Учебная программа - созданный в рамках системы обучения документ, определяющий содержание и количество знаний, умений и навыков, предназначенных к обязательному усвоению по той или иной учебной дисциплине, распределение их по темам, разделам и периодам обучения.
Помимо полного текста, учебная программа может сопровождаться объяснительной запиской, кратко раскрывающей задачи обучения данному предмету, описывающей последовательность изучения материала, перечисляющей наиболее существенные методы и организационные формы, устанавливающей связь с преподаванием других предметов._______________________________________________________________
Подберем похожие/близкие слова к фразе “учебная программа” (рис.2).
Представленный граф делает наименование нечетким: “учебная программа”
- “план знаний” - “усваивать суть”- “сущность назидания”, поэтому позволяет ответить не только на четкий запрос “учебная программа”, но и на множество близких, например: “отражение плана усвоения знаний”. Ответ базы знаний - пересечение множеств нечетких ответов по каждому слову, алгоритм поиска:
1. Для каждого слова из запроса сформировать множество вершин графа, ветки которых содержат искомое слово;
2. Пересечением множеств п. 1 станет ответ базы знаний на запрос.
.*■ Ч
Рис. 2 Граф для примера описания статьи с помощью нечеткого наименования.
Семантический поиск. Расширяя метод обобщения на всю статью (не только название статьи, но и основной текст), можем получить множество вариаций ее изложения с помощью различных синонимов (семантическое ядро). Такой подход существенно расширит круг возможных запросов, но провоцирует появление некоторых проблем:
1. Проблема ранжирования результатов. Большое количество синонимов для каждой статьи сделает сами статьи близкими по смыслу. Нужно учитывать смысловую близость между словами.
2. Общеупотребимые слова (использование правил для уточнения контекста: если речь об ИТ, то “система” и “объект” - синонимы).
Таким образом, возможностей обычной логики недостаточно, поэтому появляется научная проблема, которая заключается в поиске методов создания экспертных систем, которые могли бы отвечать на вопросы, которых заранее в базе знаний нет, но есть "похожие" (нечетко совпадающие).
Если раньше мы говорили слово ««программа» либо строго относится к темам «образование» и «софт»», то сейчас у нас появляется возможность оперировать более общими и естественными фактами: "если вместе рядом со словом «программа» есть фраза «для компьютера», то тема, скорее всего, - «софт»» и т.д.
Нечеткая логика оперирует правилами вроде "Если ..., то ..., иначе - то".
Кроме этого, в пользу нечетких множеств мы можем привести пример использования нечетких переменных: "х - множество синонимов слова 'софт'", причем для каждого синонима указать степень близости к основному понятию «софт».
Базой знаний, в первую очередь, мы делаем информацию о проектах актуальной (в процессе обучения она наполняется актуальными знаниями), доступной (база знаний отвечает на вопросы, извлекая из паутины фактов нужную информацию), и обеспечиваем высокую скорость доступа к ней для участников проекта (система управления базами знаний быстрее человека). А уж как бонус - снимаем рутину с методистов.
Мы можем уйти в "элементы нечетких множеств" и сделать нечеткий поиск для решения основной задачи - извлечения знаний.
Пример разработки элемента экспертной системы для технологий дистанционного обучения «Выбор руководителя проекта»
Рассмотрим один из примеров реализации аппарата нечетких множеств для решения задачи выбора руководителя проекта в студенческой группе при организации групповой проектной деятельности.
Для реализации экспертной системы будем использовать нечеткое множество и нечеткие запросы.
Характеристикой нечеткого множества выступает функция принадлежности (Membership Function). Обозначим через MFc(x) - степень принадлежности к нечеткому множеству C, представляющей собой обобщение понятия характеристической функции обычного множества. Тогда нечетким множеством С называется множество упорядоченных пар вида C={MFc(x)/x, MFc(x)}e[0,1]. Значение MFc(x)=0 означает отсутствие принадлежности к множеству, 1 - полную принадлежность.
Существует свыше десятка типовых форм кривых для задания функций принадлежности.
Треугольная функция принадлежности определяется тройкой чисел (a,b,c), и ее значение в точке х вычисляется согласно выражению:
При (Ь-а)=(с-Ь) имеем случай симметричной треугольной функции принадлежности, которая может быть однозначно задана двумя параметрами из тройки (а,Ь,с).
Аналогично для задания трапецеидальной функции принадлежности необходима четверка чисел (а,Ъ,с^):
При (b-a)=(d-c) трапецеидальная функция принадлежности принимает симметричный вид (рис.3).
Рис 3. Типовые кусочно-линейные функции принадлежности.
Основное требование при построении функций принадлежности - значение функций принадлежности должно быть больше нуля хотя бы для одного лингвистического терма (табл.2).
Таблица 2.
Лингвистические переменные и терм-множества для руководителя проекта.
Название лингвистической переменной Лингвистические термы (терм-множество) Универсальное множество X
1. Возраст руководителя проекта Молодой [18, 18, 28, 34]
Средний [28, 35, 45, 50]
Выше среднего [42, 53, 60, 60]
2. Опыт работы над проектом Небольшой [0, 0, 10, 15]
Большой [10, 25, 35, 40]
Очень большой [30, 45, 75, 100]
3. Опыт руководителя проекта Небольшой [0, 0, 10, 15]
Большой [10, 25, 35, 40]
Очень большой [30, 45, 75, 100]
4. Кол-во реализованных проектов Небольшое [0, 0, 10, 18]
Большое [15, 20, 45, 50]
Очень большое [42, 50, 60, 70]
5. Опыт руководства коллективом Небольшой (до 30 чел.) [0, 0, 10, 30]
Большой (от 25 до 50 чел.) [25, 31, 44, 50]
Очень большой (свыше 40 чел.) [42, 55, 70, 70]
6. Кол-во публикаций Небольшое [0, 0, 10, 18]
Название лингвистической переменной Лингвистические термы (терм-множество) Универсальное множество X
Большое [20, 25, 50, 55]
Очень большое [47, 60, 75, 75]
7. Кол-во патентов Небольшое [0, 0, 5, 13]
Большое [10, 15, 40, 45]
Очень большое [32, 50, 60, 70]
8. Опыт участия в конкурсах Небольшой [0, 0, 2, 10]
Большой [8, 13, 28, 33]
Очень большой [25, 28, 35, 50]
1. Формализуем нечеткое понятие «Возраст руководителя проекта».
Зададим для неё область определения Х=[18,60] и три лингвистических терма - «Молодой», «Средний», «Выше среднего». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.4): "Молодой" = [18, 18, 28, 34]
"Средний" = [28, 35, 45, 50]
"Выше среднего" = [42, 53, 60, 60]
ВОЗРАСТ
18 28 34 35 42 45 50 53 60
Рис. 4 Трапецеидальная функции принадлежности к нечеткому множеству «Возраст руководителя проекта».
2. Формализуем нечеткое понятие «Опыт работы над проектом».
Зададим для неё область определения Х=[0,100] и три лингвистических терма - «Небольшой», «Большой», «Очень большой». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.5): "Небольшой " = [0, 0, 10, 15]
"Большой " = [10, 25, 35, 40]
"Очень большой " = [30, 45, 75, 100]
О 10 1? 2? 30 3? 40 4? 100
Рис. 5 Трапецеидальная функции принадлежности к нечеткому множеству «Опыт работы над проектом».
3. Формализуем нечеткое понятие «Опыт руководителя проекта».
Зададим для неё область определения Х=[0,100] и три лингвистических терма -«Небольшой», «Большой», «Очень большой». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.6): "Небольшой " = [0, 0, 10, 15]
"Большой " = [10, 25, 35, 40]
"Очень большой " = [30, 45, 75, 100]
О ПIII РУ КО ВОД ИТЕЛ Я П РО Е КГА
0 10 1? 2? 30 3? 40 4? 100
Рис. 6 Трапецеидальная функции принадлежности к нечеткому множеству «Опыт руководителя проекта».
4. Формализуем нечеткое понятие «Кол-во реализованных проектов».
Зададим для неё область определения Х=[0,70] и три лингвистических терма - «Небольшое», «Большое», «Очень большое». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.7): "Небольшое " = [0, 0, 10, 18]
"Большое " = [15, 20, 45, 50]
"Очень большое " = [42, 55, 70, 70]
О 1' 18 20 -12 -I' 50 55 70
Рис. 7 Трапецеидальная функции принадлежности к нечеткому множеству «Кол-во реализованных проектов».
5. Формализуем нечеткое понятие «Опыт руководства коллективом».
Зададим для неё область определения Х=[0,300] и три лингвистических терма -«Небольшой», «Большой», «Очень большой». Построим трапецеидальную функцию принадлежности со следующими координатами (рис. 8):
"Небольшой " = [0, 0, 10, 30]
"Большой " = [25, 31, 44, 50]
"Очень большой " = [41, 150, 300, 300]
ОПЫТ РУКОВОДСТВА КОЛЛЕКТИВОМ
0 2? 30 31 41 44 >0 150 300
Рис. 8 Трапецеидальная функции принадлежности к нечеткому множеству «Опыт руководства коллективом».
6. Формализуем нечеткое понятие «Кол-во публикаций».
Зададим для неё область определения Х=[0,75] и три лингвистических терма - «Небольшое», «Большое», «Очень большое». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.9): "Небольшое " = [0, 0, 10, 18]
"Большое " = [20, 25, 50, 55]
"Очень большое " = [47, 60, 75, 75]
О 20 18 25 47 55 60 75
Рис. 9 Трапецеидальная функции принадлежности к нечеткому множеству
«Кол-во публикаций».
7. Формализуем нечеткое понятие «Кол-во патентов».
Зададим для неё область определения Х=[0,70] и три лингвистических терма - «Небольшое», «Большое», «Очень большое». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.10): "Небольшое " = [0, 0, 5, 13]
"Большое " = [10, 15, 40, 45]
"Очень большое " = [32, 50, 60, 70]
КОЛ-ВО ПАТЕНТОВ
0 10 13 15 32 40 45 50 70
Рис. 10 Трапецеидальная функции принадлежности к нечеткому множеству
«Кол-во патентов».
8. Формализуем нечеткое понятие «Опыт участия в конкурсах».
Зададим для неё область определения Х=[0,50] и три лингвистических терма - «Небольшое», «Большое», «Очень большое». Построим трапецеидальную функцию принадлежности со следующими координатами (рис.11): "Небольшой " = [0, 0, 2, 10]
"Большой " = [8, 13, 28, 33]
"Очень большой " = [25, 28, 35, 50]
ОПЫТ УЧАСТИЯ В КОНКУРСАХ
0 8 10 13 25 28 33 35 50
Рис. 11 Трапецеидальная функции принадлежности к нечеткому множеству «Опыт участия в конкурсах».
Таким образом, данные вносятся в таблицу, из которой можно получать нечеткие запросы с помощью операции нечеткое "И" (табл.3).
Таблица 3.
Степень принадлежности к нечеткому множеству.________________
Ф.И.О. Возраст руководителя проекта Опыт работы над проектом Опыт руководителя проекта Кол-во реализованных пипР¥-*тгт Опыт руководства коллективом а оэ т д ом і р тк т е 3 -• .5 55 Ок Кол-во патентов ва № 8 т £ и аа а - ^ п но Ок МР
1 Х11 Х12 Х13 Х14 Х15 Х16 Х17 Х18 МБ
2 Х21 Х22 Х23 Х24 Х25 Х26 Х27 Х28 МБ
N Хп1 Хп2 Хп3 Хп4 Хп5 Хп6 Хп7 Хп8 МБ
К такой таблице можно делать нечеткие запросы. Например, получить список всех молодых руководителей с большим опытом работы над проектом, опытом руководителя проекта, большим количеством реализованных проектов, публикаций, патентов и большим опытом руководства коллектива и участия в конкурсах.
Возвращаясь к основной теме, важно подчеркнуть, что для реализации высококачественных дистанционных курсов экспертные системы должны интегрировать следующие знания:
- о педагогической технологии, включаемые на этапе ее проектирования;
- об изучаемой предметной области, размещаемые в готовой программной оболочке;
- о психо лого-педагогических особенностях обучаемого и его достижениях, которые накапливаются системой в процессе обучения [27].
Способы извлечения знаний должны помочь как обучаемому, так и препода-вателю-тьютору снять рутинную нагрузку в процессе индивидуализации обучения и высвободить ресурсы для решения принципиально новых дидактических задач, которые обусловлены появлением все расширяющихся возможностей информационных технологий.
Примечание. Исследование выполнено при финансовой поддержке Программы Минобрнауки "Проведение научных исследований молодыми учеными -кандидатами наук" № 14.В37.21.1141, 2012-2013 гг. в рамках научно-
исследовательского проекта «Исследование тенденций модернизации технологий дистанционного обучения на основе использования математического аппарата экспертных систем". Отдельные результаты исследования получены при финансовой поддержке РГНФ в рамках научно-исследовательского проекта «Разработка инновационной информационно-коммуникационной системы для дистанционного обучения специалистов наукоемких специальностей», проект № 12-06-12006/12.
Литература
1. Перспективные направления развития Российской отрасли информационно -коммуникационных технологий. (Долгосрочный технологический прогноз Российской ИТ Foresight). - М., 2007.
2. Андрейчиков А. В. Интеллектуальные информационные системы. - М.: Финансы и статистика, 2006.
3. Югова Н. Л. Конструирование содержания профильного обучения с применением экспертной системы: Автореф. дис. ... канд. пед. наук: 13.00.01 / Югова Наталья Леонидовна. - Ижевск, 2006. - 19 с.
4. Антипина Н. М. Технология формирования профессиональных методических умений в ходе самостоятельной работы студентов педагогических вузов с применением экспертной системы: Дис. ... канд. пед. наук: 13.00.08, 13.00.02. -Москва, 2000. - 184 с.
5. Кирюхина Н. Л. Модель экспертной системы диагностики знаний студентов по психологии: Дис. ... канд. психол. наук: 19.00.07. - Москва, 1998. - 184 c.
6. Гречин И. В. Новый подход к экспертной системе в технологии обучения // Известия ТРТУ. - №4, тематический выпуск «Интеллектуальные САПР». -Таганрог: ТРТУ, 2001. - С.343-344.
7. Баранова Н. А. К вопросу о применении экспертных систем в непрерывном педагогическом образовании // Образование и наука. - 2008. - № 4. - С. 24-28.
8. Моисеев В. Б., Андреев А. Б. Внутривузовская система обеспечения качества подготовки специалистов // Инж. образование. - 2005. - №3. - С.62-74.
9. Мягкова Е. В. Роль и возможность применения экспертных систем как информационных технологий в сфере высшего образования // Научнотехнический журнал «Информационные технологии в проектировании и производстве». - 2008. - №1. - С. 13-15.
10. Московкин В. М. Имитационная экспертная система выбора университетов для обучения // НТИ. Сер. 2. - 2009. - № 10. - С. 19-21.
11. Левина Е. Ю. Внутривузовская диагностика качества обучения на основе автоматизированной экспертной системы: Автореф. дис. ... канд. пед. наук:
13.00.01. - Казань, 2008. - 25 с.
12. Смирнова М. А. Применение экспертной системы для оценки качества педагогической подготовки будущего учителя: Дисс... канд. пед. наук: 13.00.01.
- Тула, 1997. - 186 с.
13. Болотова Л. С. Адаптивное дистанционное обучение принятию решений на основе технологии экспертных систем ситуационного систем ситуационного управления муниципальными образованиями и малым бизнесом / Л. С. Болотова [и др.] // Научные исследования. Вып. 5. Ежегодный отчет об основных результатах научно-исследовательских работ, 2003. - М., 2004. - 48 с.
14. Берестнева О. Г., Марухина О. В. Компьютерная система принятия решений по результатам экспертного оценивания в задачах оценки качества образования // Материалы региональной научно-методической конференции «Современное образование: системы и практика обеспечения качества», Томск, 29-30 янв. 2002 г., Томск: гос. ун-т систем управления и радиоэлектроники; Томское отделение академии проблем качества.- Томск, 2002. - С. 29-30.
15. Снижко Е. А. Методика применения экспертных систем для корректировки процесса обучения и оценки эффективности ППС: Дис. ... канд. пед. наук:
13.00.02. - СПб., 1997. - 167 c.
16. Тоискин В.С. Интеллектуальные информационные системы: Учеб. пособие. Ч.2. // Ставрополь: Изд-во СГПИ, 2010. - 188 с.
17. Экспертная система оценки эффективности обучения на основе математического аппарата нечеткой логики / И. В. Солодовников [и др.] // Качество. Инновации. Образование, 2006. - № 1. - С. 19-22.
18. Самойло И. В., Жуков Д. О. Информационные технологии в обеспечении нового качества высшего образования // Сб. науч. ст.: кн. 2. Труды Всерос. науч.-практ. конф. с межд. участием «Информационные технологии в обеспечении нового качества высшего образования (14-15 апреля 2010 г., Москва, НИТУ "МИСиС")». - М.: Исслед. центр проблем качества подготовки спец-ов НИТУ "МИСиС", 2010. - C.89-95.
19. Мелихова О. А., Мелихова З. А. Использование нечеткой математики при моделировании систем искусственного интеллекта // Тематический выпуск «Интеллектуальные САПР»: в 2 т. - Таганрог: Изд-во ТРТУ, 2007. - С.113-119.
20. Попов Д. И. Проектирование интеллектуальных систем дистанционного образования // Известия Южного федерального университета. Технические науки. -2001. - Т. 22. - № 4. - С. 325-332.
21. Интеллектуальная образовательная среда дистанционного обучения / С. В. Астанин [и др.] // Новости искусственного интеллекта. - М.,2003. - №1.
22. Самигулина Г. А. Интеллектуальная экспертная система дистанционного обучения на основе искусственных иммунных систем // Проблемы информатики. -2007. - вып. 9(43). - С.1019-1024.
23. Зубов А. В., Денисова Т.С. Создание комплексных экспертных интернет-систем
для дистанционного обучения // Информатизация образования и науки. - М.: Государственный научно-исследовательский институт информационных технологий и телекоммуникаций, 2010. URL:
http://elibrary.ru/item.asp?id=13012451
24. Никитаев В. Г. Бердникович Е. Ю. Разработка мультимедийных курсов дистанционного обучения врачей по гистологической и цитологической диагностике с применением экспертных систем // Научный журнал «Фундаментальные исследования». - 2007. - № 12 - С. 334-334.
25. Заде Л.А. Роль мягких вычислений и нечеткой логики в понимании, конструировании и развитии информационных/интеллектуальных систем //Новости искусственного интеллекта, 2001. № 2-3. - С. 7-11.
26. Сафин А.Т. Комплексная оценка состояния и потенциала вертикально интегрированных корпоративных структур с применением нечёткой логики // Вестник ЮУрГУ, № 30, 2012 - С.70-74.
27. Brusilovsky P., Adaptive and Intelligent Technologies for Web-based Education. In C.
Rollinger and C. Peylo (eds.), Special Issue on Intelligent Systems and Teleteaching, Konstliche Intelligenz, 4. - С.19-25. URL:
http://www. contrib. andrew. cmu. edu/~plb/papers/KI-review. html
