CC BY
62
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 4 8211. Государственная регистрация №042 1200025. ISSN 1994-0408
электронный научно-технический журнал
Рациональное упорядочение модулей учебного курса # 05, май 2014
DOI: 10.7463/0514.0710096 Домников А. С., Белоус В. В.
УДК 378.146
Россия, МГТУ им. Баумана asdomnikofffSjmail.ru walentina-belousffgmail.com
Рациональное упорядочение модулей учебного курса
В настоящее время происходит бурное развитие и распространение электронных образовательных технологий. Электронное образование - совокупность методов и технических средств, предназначенных для генерации и приобретения знаний. Электронное образование базируется на возможностях современной вычислительной техники и средств коммуникации и обладает множеством преимуществ по сравнению с традиционными образовательными технологиями. Это, прежде всего, интерактивность, доступность, оперативность, гибкость, мобильность, экономичность, массовость, доступность, возможность создания единых образовательных сред, доступ к большим электронным библиотекам и базам данных и др. В публикациях на английском языке электронное образование именуется e-learning. На русский язык этот термин может переводиться как дистанционное, дистантное, виртуальное, мультимедийное, компьютерное, онлайновое, Web-ориентированное, кибернетическое образование (обучение).
Введение
Система электронного образования представляет собой сложный программно-технический комплекс, распределенный между серверами и клиентскими компьютерами. Обмен данными в образовательной подсети осуществляется, как правило, по каналам Интернет и коммуникациям локальной сети. Управление этой многоуровневой иерархической системой выполняется при помощи специальных программных платформ virtual learning environment (VLE) или learning management systems (LMS). В публикациях на русском языке такие платформы обычно называются системами дистанционного обучения (СДО). В настоящее время активно используются несколько десятков коммерческих и
бесплатных СДО, среди которых лидирующие позиции по числу инсталляций и количеству пользователей занимают системы Moodle, Sakai, BlackBoard, Atutor и др. [1].
Во всех современных системах дистанционного обучения принята концепция так называемого модульного обучения. Это значит, что содержание учебных курсов и программ состоит из автономных и относительно замкнутых блоков учебного материала, именуемых модулями. В общем случае, модули могут включать в себя текстовые, графические, мультимедийные фрагменты и содержать ссылки на другие блоки учебного материала. Модули хранятся в общем репозитории и служат элементарными разделяемыми единицами контента для учебных курсов, которые собираются из модулей в заданной образовательной ситуации.
Модульная парадигма электронного образования имеет несколько заметных преимуществ по сравнению с традиционной технологией организации учебных материалов. В первую очередь это:
• гибкость;
• реентерабельность;
• возможность образования гипертекстовых образовательных структур.
Принцип модульности поддерживается основными современными стандартами и
проектами в области средств электронного образования. В качестве примера можно назвать отечественную разработку - технологию разделяемых единиц контента (ТРЕК). На ней, в частности, базируется система дистанционного образования БИГОР (База и генератор образовательных ресурсов), которая активно применяется в учебном процессе некоторых российских учебных заведений [8].
На модульной парадигме основывается и стандарт SCORM (Sharable Content Object Reference Model), который можно считать стандартом де-факто для современных инициатив в области электронного образования [1,9]. Это основанный на языке XML набор спецификаций и описаний, содержащих требования к структурированию и организации учебного материала в системе дистанционного обучения. SCORM позволяет обеспечить совместимость учебных модулей и возможность их многократного использования в составе различных учебных курсов.
В многочисленных публикациях отечественных и иностранных авторов обсуждалась задача формирования модульного состава учебного курса. Для ее решения были предложены различные методы дискретной математики, теории графов и искусственного интеллекта: семантические сети, онтологии и др. [4,5,6].
Намного менее глубоко исследована важная проблема рационального упорядочения модулей учебного курса. Традиционные учебные материалы: лекционные курсы и печатные учебные пособия предлагают линейную или псевдолинейную организация учебного материала, когда разделы (лекции, главы или параграфы) расположены таким образом, что отсутствуют ссылки на предшествующие разделы или число таких ссылок минимально. Современные учебные курсы основаны на гипертекстовой разметке, в которой допус-
кается нелинейная последовательность изучения учебных разделов с циклами и воз -вратами.
Гипертекстовая организация учебного материала не делает менее актуальной проблему рационального линейного упорядочения модулей учебных курсов. При прочих равных условиях линейная последовательность освоения учебных модулей, которая не предусматривает возвратов к ранее пройденным фрагментам или количество таких возвратом минимально, обладает многими методическими и организационными преимуществами по сравнению с другими стратегиями обучения. Только в форме линейного упорядочения учебные курсы представляются в методических документах, учебных программах, рекламных материалах, индивидуальных планах и др. Эта форма используется в оперативном управлении учебным процессом, при выборе индивидуальной стратегии обучения, для решение множества логистических и организационных задач, обеспечивающих учебный процесс.
Постановка задачи
В теории принятия решений обсуждаются различные методы решения задачи рационального упорядочения, которую в самой общей форме можно сформулировать следующим образом. Задана исходная структура предпочтений, представленная в виде графа или матрицы. Эти носители исходной информации могут формироваться на основе опроса лица принимающего решение, коллектива экспертов или объективных физических данных. Требуется найти наилучшее приближение графа или матрицы в некотором фиксированном классе структур. Чаще всего аппроксимантами служат различные порядковые структуры: линейные, частичные или древесные упорядочения множества вершин графа или его фактор-множестве [3,11].
Задача рационального упорядочения модулей учебного курса является частным случаем этой постановки. Более точно, будем считать, что информация об электронном учебном курсе задана в виде ориентированного графа G=(X,D), где X = {х;}^ - множество модулей учебного курса, а Э = {^¿у} - множество дуг. Дуга ёу =(х^,ху} соединяет вершину Х( с вершиной Ху тогда и только тогда, когда изучение модуля Х( должно предшествовать изучению модуля Ху. Требуется наилучшую аппроксимацию G=(X,D) в классе всех линейных порядков на множестве X.
Пример графовой модели показан на рис.1. На этом рисунке приведены основные разделы курса «Искусственный интеллект» и дуги, изображающие упорядочение разделов.
Рис. 1. Пример отношения предшествования модулей
Методы решения задачи упорядочения
Методы решения задачи рационального упорядочения существенно различаются в зависимости от свойств графа 0={Х,П). Если этот носитель является ациклическим графом, то построение линейного порядка согласованного с G (иногда называется топологической сортировкой графа) имеет несколько эффективных способов решения, например алгоритмы Кана, Тарьяна, Демукрона и др. [2].
Если граф 0={Х,П) имеет ориентированные циклы (контуры) , то построение линейного упорядочения, полностью согласованного с исходной структурой, становится невозможным. Легко видеть, что при любой линейной ранжировке вершин графа в нем будут дуги, которые нарушают заданное упорядочение. В исследованиях по теории принятия решений рассматриваются разнообразные модели, позволяющие преодолеть это противоречие [3]. Основной корпус предложений основан на приведении графа к ациклическому виду. Для этого, например, можно найти и удалить минимальное число дуг, которые принадлежат всем контурам графа. Это популярная в дискретной математике задача, которая нашла множество полезных приложений в различных областях техники, например задача рационального размещения тестовых модулей в программах или схемах.
Другой популярный способ борьбы с циклами - упаковка их в подграфы. Подграфы, которые служат контейнерами для маскирования циклов, называются компонентами сильной связности (бикомпонентами). Факторизация исходного графа по таким подграфам представляет собой ациклический граф (граф Бержа), который допускает простое решение задачи при помощи упомянутых алгоритмов.
Еще одно направление упорядочением вершин графа связано с расчетом некоторых числовых характеристик, которые служат оценками «предпочтительности» вершин в исходной структуре. В простейшем случае такой характеристикой может служить так называемая «сумма очков» - количество дуг исходящих из данной вершины. Чем больше сумма набранных очков, тем более высокое место в результирующем упорядочении занимает
данная вершина. Структуры, которые задаются графами со взвешенными дугами, допускают множество более изощренных способов решения задачи рационального упорядочения. Так, в [2] обсуждаются модели, в которых для расчета числовых оценок значимости вершин применяется аппарат теории нечетких множеств, математической статистики, анализа данных и др.
Особенности задачи упорядочения модулей
Упомянутые методы рационального упорядочения успешно применяются для решения многих прикладных задач системного анализа, анализа данных, планирования бизнес-процессов. Анализ показывает, что задача синтеза рациональной последовательности модулей электронного учебного курса обладает несколькими особенностями, которые не позволяют рассчитывать на ее эффективное решение данными методами. Перечислим главное.
• Сложность. В общем случае, электронные учебные курсы имеют сложную много связную структуру, состоящую из нескольких десятков модулей и многочисленных взаимных связей;
• Динамичность. Структура учебного курса может меняться с течением времени. Это может вызываться различными причинами: новыми научными данными, публикацией новаторских учебных материалов, модификацией методических установок и приемов и пр.;
• Неопределенность. Сведения о разбиении курсов на модули и связях между ними формируются на основании экспертных опросов. Любые, даже самые искусные, процедуры экспертного опроса не могут преодолеть субъективность экспертного знания, которая проявляется в принципиально неустранимой неопределенности формируемых структур;
• Сильная связность. Множество связей, задающих парное упорядочение модулей, порождает в исходной структуре большое количество циклов;
• Неоднородность. Структура модулей учебного курса отличается принципиальной неоднородностью. В общем случае, она может состоять из нескольких компонент связности и включать в себя обширные линейные и сильносвязные фрагменты.
Обработка экспертной структуры предпочтений
Рассмотрим ситуацию, когда информация о предшествовании модулей учебного курса формируется на основе экспертной информации. Будем считать, что эти данные представ-
лены в виде ориентированного графа 0=(ХП) или в виде матрицы парных сравнений с простой калибровкой, то есть
-1,если Х[ предшествует ху
а
{
41
^и, противном случае Легко видеть, что эти объекты эквивалентны, поскольку матрица парных сравнений, по сути дела, представляет собой матрицу смежности графа G. Матричная форма записи экспертных предпочтений удобнее для их генерации и хранения, графовая - обладает большей наглядностью.
Матрицу парных сравнений А и граф 0=(Х, П) можно рассматривать как различные формы записи одной сущности - бинарного отношения предпочтения на мно-
жестве модулей X. Связь между между моделями задается следующими простым соотношением: а¡у=1, ё=(Х(,Ху) £ П тогда и только тогда, когда Х[Рху . Интерпретация структуры электронного курса как бинарного отношения на множестве модулей позволяет использовать для решения задачи упорядочения развитый аппарат принятия решений.
В исследованиях по теории принятия решений бинарные отношения классифицируются в зависимости от выполнимости некоторых априорных свойств. В [11] приведен подробный перечень, который включает в себя как хорошо известные свойства симметричности и линейность, так и редкие атрибуты, описывающие нестандартные модели рационального выбора, например псевдотранзитивность и интервальная полнота. Анализ показал, что, отношение Р £ X * X можно считать рефлексивным. Его транзитивность справедлива только при некоторых специальных оговорках по поводу техники проведения экспертизы.
Бинарное отношение Р рефлексивно, если хРх Ух £ X . Известно, что отношения данного типа являются неоднородными и в них можно выделить подотношения, задающие как доминирование, так и безразличие элементов [11]. Более точно. Обозначим Р- - отношение, которое называется обратным (двойственным) для Р, то есть
. Пусть - симметричная часть отношения Р, а
Р * = Р\ Р5 - асимметричная часть. Тогда пара (Р , Р*) называется структурой доминиро-
_ *
вания-безразличия на множестве X. Подотношение Р обладает свойством асимметричности, а подотношение Р* рефлексивно и симметрично, то есть представляет собой отношение толерантности [11].
Симметричная и ассиметричная части бинарного отношения Р описывают подмножества базового множества X с принципиально отличными внутренними связями. Подотно-*
шение Р представляет собой некоторый «эскиз упорядочения», который может быть развит до полноценного порядка перестройкой внутренних связей или реализацией дополнительной экспертизы. Подотношение Р* объективирует многочисленные взаимные связи между своими элементами, что обрекает на неудачу любую попытку порядковой аппроксимации Р* при помощи топологической сортировки вершин. Сильная связность Р* свидетельствует о том, что его элементы являются частями некоторого целостного контекста,
поэтому решение задачи следует искать на пути объединения «плотных» фрагментов в супермодули.
Хорошей иллюстрацией приведенного тезиса являются экспертные предпочтения, которые кроме рефлексивности обладают и свойством транзитивности, то есть для них справедливо соотношение . В теории принятия решений рефлексивные и
транзитивные отношения называются квазипорядками [2]. Симметричная часть Р* квазипорядка представляет собой отношение эквивалентности а, которое разбивает носитель X на непересекающиеся классы и ¿X ; = X и V ПXj = 0. Эквивалентность а индуцирует на X фактор-отношение Р/а, которое задается следующим образом ( У,!) ЕР/а <=> (у, г) Е Р, где у Е У,г Е!, а Хи 2 - классы разбиения, порожденные эквивалентностью а. Известно, что фактор-отношение Р/а является отношением порядка.
Если число объектов п=\Х\, на которых проводится экспертиза, достаточно велико, то ЛПР трудно обеспечить транзитивность предпочтений, по причине комбинаторной сложности этой задачи. Это подтверждает и пример, приведенный на рис. 1. Транзитивность предпочтений ЛПР не выполняется даже для этой сравнительно компактной структуры. Вместо отношения Р можно рассматривать его транзитивное замыкание ц - минимальное бинарное отношение на множестве объектов X, которое включает в себя Р и обладает свойством транзитивности. Генерация транзитивного замыкания - это простая вычислительная задача, поскольку известно, что .
В общей ситуации, когда транзитивность Р не выполняется, симметричная часть Р* является отношением толерантности. Это отношение порождает не разбиение носителя, а его покрытие так называемыми классами толерантности. Более точно, множество М Я X называется предклассом толерантности, если V х,у ЕМ = х Ру. Максимальный по включению элементов предкласс М называется классом толерантности. Всякий элемент х Е X содержится в некотором классе, то есть система классов толерантности образует покрытие носителя X бинарного отношения толерантности Р [11].
1
Рис. 2. Отношение и классы толерантности
На рис. 2 показан пример простого отношения толерантности на множестве из пяти элементов. Классы этого отношения обведены сплошными линиями, а рефлексивные дуги опущены для упрощения рисунка.
Итак, многочисленные связи между элементами отношения толерантности делают бесперспективными любые попытки создания хорошей порядковой аппроксимации по-
средством разрывания связей. Для решения поставленной задачи следует объединить сильносвязные фрагменты таким образом, чтобы получить фактор-отношение более приближенное к упорядоченности.
Найдем такое разбиение элементов носителя, для которого выполняются следующие свойства:
1. каждое подмножество разбиения представляет собой класс толерантности;
2. объединение подмножеств дает в совокупности все множество элементов;
3. пересечение любой пары подмножеств пусто.
Рассмотрим формализацию этой задачи как задачи математического программирования. Пусть отношение толерантности представлено в виде матрицы смежности
М = I I т ,■ у I I ,
11 ^^кхк'
={
1 1о,
1,если элементы /' и у толерантны;
т
■' противном случае. Обозначим число классов разбиения р, число элементов отношения толерантности к. Введем переменные
-1,если элемент I входит в класс у';
Х1.
= у=
У ^ о , п р оти в н о м случ ае . При помощи этих переменных запишем ограничения модели.
1. . . Эти уравнения выполняются только при условии, что классы не содержат общих элементов. Из этих соотношений следует
, то есть все элементы входят в классы. Это значит, что деление на классы является разбиением множества элементов.
2. . . Эти уравнения выполняются тогда и только тогда, когда в классы разбиения являются классами толерантности.
Эта базовая система ограничений является открытой. Она допускает включение дополнительных уравнений или неравенств, описывающих особенности конкретных ситуаций принятия решений, и сочетается с различными целевыми функциями. Так, во многих случаях требуется найти разбиение с миниальным числом классов. В такое разбиение очевидно имеет минимальное число связей между отдельными классами, что хорошо согласуется с порядковой структуризацией фактор-отношения. Данное условия можно записать в виде простой целевой функции р -> т т.
Пусть эксперт располагает некоторыми априорными сведениями о вхождении модулей классы. Информацию такого сорта можно представить в виде следующих простых ограничений:
• х^ = ху = 1, если модули с номерами к и I должны входить в один класс у;
• Хку < ху или Хку > ху, если модули с номерами к и I, напротив, не следует включать в один класс.
Обработка гипертекстовой структуры модулей
Рассмотренная структура электронного курса, в которой связи между модулями формируются на основе предпочтений эксперта, не единственная. Структуры принципиально другого содержания порождаются командами гипертекстового перехода и гиперссылками, которые создаются разработчиком электронного курса для связи между отдельными единицами контента: терминами, определениями, текстовыми фрагментами, глоссарием, предметным указателем и др.
Если отбросить все гиперссылки технического характера (например, на подрисуноч-ные подписи, номера таблиц, формулы и др.) и ограничиться только перекрестными ссылками текстовых фрагментов, то во многих случаях они выражают интенциональные порядковые отношения между отдельными модулями. Иными словами, если существует ссылка из модуля у в модуль х, то это означает, что для освоения у необходимо знать материал, изложенный в х, то есть х должен предшествовать у в процессе обучения. Ссылочные структуры создаются на более объективных основаниях, свободных от условностей и допущений любой процедуры экспертного опроса. Для их анализа могут быть применены классические методы порядковой аппроксимации, глубоко развитые в теории принятия решений и рационального выбора [11].
Более точно, пусть множество модулей, а структура электронного курса
задана в виде графа 0=^,0), в котором вершины представляют модули, в дуга сС = (х , у) Е Б соединяет вершину х с вершиной у тогда и только тогда, когда существует гиперссылка из модуля у на модуль х.
В больших электронных курсах, где плотность связей высока, могут существовать кратные взаимные гиперссылки модулей. В этом случае структура электронного курса задается в виде взвешенного ориентированного графа 0=^,0), в котором каждой дуге сС = (х, у) Е Б сопоставляется число аху, равное количеству гиперссылок, связывающих у с х.
Рассмотрим задачу построения порядковой аппроксимации взвешенного ориентированного графа. Будем считать, что известные все контуры графа 0=^,0). Построим мат__.. ||772
рицу Т = | | ^у | | взаимосвязи дуг и контуров, где г - количество дуг графа О, т - число контуров,
_ /-1,если дуга I входит в контур у;
Ч 1-0,в противном случае.
С каждой /-дугой графа О свяжем переменную хг-, которая принимает следующие значения
Х1
{1,если дуга / выбрана; О, противном случае.
Пусть веса дуг заданы числами .
Рассмотрим линейную модель дискретного математического программирования со следующими целевой функцией и ограничениями.
2 1 а¿Х; — т Ы,
1 [= ¿;Х I > 1,7 = 1 , т.
Легко видеть, что каждое у неравенство системы ограничений будет выполнено, если в его левой части присутствует хотя бы одно слагаемое вида 1*1. Это значит, что некоторая дуга входит в у контур и эта дуга выбрана. Совокупность всех неравенств задает усло-
I т
вия покрытия столбцов матрицы ее строками. В целевой функции записано
условия минимизации взвешенной суммы выбранных дуг. Эта модель формализует классическую задачу о поиске наименьшего покрытия в матричной постановке. Легко видеть, что решением задачи будет множество дуг минимального суммарного веса, удаление которых из графа G разрывает все его контуры.
Создание порядковой аппроксимации бесконтурного (ациклического) графа - это хорошо изученная задача, для которой предложено несколько эффективных алгоритмов решения (например, упомянутые в начале статьи алгоритмы Кана, Тарьяна и др).
Выводы
1. В работе рассматривается задача рационального упорядочения модулей электронного курса. Показано, что она обладает особенностями, которые не позволяют найти решение известными методами построения рациональных ранжировок объектов.
2. Отношение предшествования модулей может быть порождено предпочтениями эксперта и создано на основе анализа гипертекстовой структуры текстовых единиц контента.
3. Задача рационального упорядочения модулей электронного курса формулируется как задача поиска наилучшего приближения исходной структуры предпочтений в классе всех порядковых отношений на данном множестве объектов.
4. Для анализа экспертной структуры предпочтений предлагается использовать аппарат теории бинарных отношений. Показано, что ключевой проблемой задачи упорядочения является обработка симметрической части отношения предпочтения, которая представляет собой отношение толерантности на множестве модулей.
5. Для обработки отношения толерантности в работе предлагается модель дискретного математического программирования. Она формализует разбиение на классы
толерантности, имеющее наилучшее приближение к порядковой структуре.
6. Рассмотрена задача порядковой аппроксимации структуры, порожденной гипертекстовой разметкой модулей электронного курса. Она сводится к задаче поиска покрытия наименьшего веса для матрицы, задающей инцидентность дуг и контуров графа предпочтений.
Список литературы
1. Wikipedia. The Free Encyclopedia. Режим доступа: http://en.wikipedia.org (дата обращения 14.04.2014).
2. Алескеров Ф.Т., Хабина Э.Л., Шварц Д.А. Бинарные отношения, графы и коллективные решения. М.: Издательский дом ГУ ВШЭ, 2006. 301 с.
3. Баллод Б.А., Елизарова Н.Н. Методы и алгоритмы принятия решений в экономике. М.: Финансы и статистика, 2009. 224 с.
4. Галямова Е.В. Оценка качества электронного учебного материала // Международная научно-методическая конференция «Управление качеством инженерного образования и инновационные образовательные технологии» (Москва, 28-30 октября 2008 г.): сб. докл. Ч. 2. М.: МГТУ им. Н.Э.Баумана, 2008. С. 29-34.
5. Карпенко А.П., Соколов Н.К. Контроль понятийных знаний субъекта обучения с помощью когнитивных карт // Международная научно-методическая конференция «Управление качеством инженерного образования и инновационные образовательные технологии» (Москва, 28-30 октября 2008 г.): сб. докл. Ч. 2. М.: МГТУ им. Н.Э.Баумана, 2008. С. 55-57.
6. Карпенко А.П., Соколов Н.К. Оценка сложности семантической сети в обучающей системе // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2008. № 11. Режим доступа: http://technomag.bmstu.ru/doc/106658.html (дата обращения 01.04.2014).
7. Ларичев О.И. Теория и методы принятия решений. М.: Логос, 2002. 392 с.
8. Норенков И.П. Технология разделяемых единиц контента для создания и сопровождения информационно-образовательных сред // Информационные технологии. 2003. № 8. С. 15-34.
9. Осин А.В. Электронные образовательные ресурсы нового поколения: в вопросах и ответах. М.: Агентство «Социальный проект», 2007. 32 с.
10. Соловов А.В. Электронное обучение: проблематика, дидактика, технология. Самара: Новая техника, 2006. 464 с.
11. Юдин Д.Б. Вычислительные методы теории принятия решений. М.: Наука, 1989. 320 с.
SCIENCE and EDUCATION
EL №FS77- 48211. N»0421200025. ISSN 1994-0408
Rational orderliness of study course modules # 05, May 2014
DOI: 10.7463/0514.0710096 A.S. Domnikov, V.V. Belous
Bauman Moscow State Technical University, 105005, Moscow, Russian Federation
as d omniko ff ff m ail ,ru walentina-belousffgmail.com
Modern electronic courses and textbooks are based, as a rule, on the separate educational modules, which are developed and tested in advance and intended for use in various educational situations. Numerous publications of domestic and foreign authors have discussed a task to form a module-based structure of study course. For its solution have been offered various methods of discrete mathematics, the theory of graphs, and artificial intelligence: semantic networks, ontologies, etc. The important problem that has been much less deeply studied is a rational orderliness of the study course modules.
In the work this task is set as a problem to search the best linear approximation of the directed graph the tops of which are modules, while the arches are precedence relations between them. The directed graph is considered as a graphical representation of a binary precedence relation, which has been specified using a set of pairs of educational modules. This relation can be presented as a sum of two components of the symmetric and asymmetric sub-relations. The first sub-relation represents the tolerance relation, and the second one is preorder.
To solve the task essentially various ways for processing these components must be used. If a sub-relation of the preorder can be transformed into serial structure, for tolerance any attempts of this kind are doomed to failure. Modules belonging to the relation of tolerance are expedient to merge in a separate educational component. The paper offers a mathematical model in which the problem of merging modules is formulated as a problem of discrete mathematical programming.
The paper considers the structure of educational modules formed by hypertext references.
It is shown that search of the best linear approximation of such structure is reduced to a classical
task about the smallest covering in matrix statement.
Publications with keywords: E-course, ordering, binary relations, the attitude of tolerance, discrete mathematical programming
Publications with words: E-course, ordering, binary relations, the attitude of tolerance, discrete mathematical programming
References
1. Wikipedia. The Free Encyclopedia. Available at: http://en.wikipedia.org , accessed 14.04.2014.
2. Aleskerov F.T., Khabina E.L., Shvarts D.A. Binarnye otnosheniya, grafy i kollektivnye resheniya [Binary Relations, Graphs and Group Actions]. Moscow, Publishing House of the Higher School of Economics, 2006. 301 p. (in Russian).
3. Ballod B.A., Elizarova N.N. Metody i algoritmy prinyatiya resheniy v ekonomike [Methods and algorithms for decision making in economy]. Moscow, Finansy i statistika Publ., 2009. 224 p. (in Russian).
4. Galyamova E.V. [The assessment of quality of e-learning material]. Mezhdunarodnaya nauchno-metodicheskaya konferentsiya "Upravlenie kachestvom inzhenernogo obrazovaniya i innovatsionnye obrazovatel'nye tekhnologii" [Proc. of the International Scientific and Methodical Conference "Management of quality of engineering education and innovative educational technologies"], Moscow, 28-30 October 2008, pt. 2. Moscow, Bauman MSTU Publ., 2008, pp. 29-34. (in Russian).
5. Karpenko A.P., Sokolov N.K. [Control of conceptual knowledge of student with the help of cognitive maps]. Mezhdunarodnaya nauchno-metodicheskaya konferentsiya "Upravlenie kachestvom inzhenernogo obrazovaniya i innovatsionnye obrazovatel'nye tekhnologii" [Proc. of the International Scientific and Methodical Conference "Management of quality of engineering education and innovative educational technologies"], Moscow, 28-30 October 2008, pt. 2. Moscow, Bauman MSTU Publ., 2008, pp. 55-57. (in Russian).
6. Karpenko A.P., Sokolov N.K. [Evaluation of complexity of semantic network in learning system]. Nauka i obrazovanie MGTU im. N.E. Baumana - Science and Education of the Bauman MSTU, 2008, no. 11. Available at: http://technomag.bmstu.ru/doc/106658.html , accessed 01.04.2014. (in Russian).
7. Larichev O.I. Teoriya i metodyprinyatiya resheniy [Theory and methods of decision-making]. Moscow, Logos Publ., 2002. 392 p. (in Russian).
8. Norenkov I.P. [Shareable content units technologies for creation and maintenance of information and educational environments]. Informatsionnye tekhnologii, 2003, no. 8, pp. 15-34. (in Russian).
9. Osin A.V. Elektronnye obrazovatel'nye resursy novogo pokoleniya: v voprosakh i otvetakh [Electronic educational resources of new generation: questions and answers]. Moscow, Agency "Sotsial'nyy proekt" Publ., 2007. 32 p. (in Russian).
10. Solovov A.V. Elektronnoe obuchenie: problematika, didaktika, tekhnologiya [E-learning: issues, didactics, technology]. Samara, Novaya tekhnika Publ., 2006. 464 p. (in Russian).
11. Yudin D.B. Vychislitel'nye metody teorii prinyatiya resheniy [Computational methods of decision-making theory]. Moscow, Nauka Publ., 1989. 320 p. (in Russian).
