Educational Technology & Society 5(2) 2002 ISSN 1436-4522
Интеллектуальные агенты как средство автоматизации
роли преподавателя
Щедрина А. А.
Международный научно-учебный центр ЮНЕСКО НАН и МО Украины [email protected]
АННОТАЦИЯ
Данная статья посвящена проблеме автоматизации роли преподавателя в дистанционной системе обучения. Ее решение представлено с использованием технологии мультиагентов на основе использования системы взаимодействия клиент-сервер. Система позволяет вести учетные записи пользователей (контроль, прохождение материала и т.д.), проводить тестирование, общение и на их основе представлять направляющую информацию обучаемому. Особое внимание уделяется мультиагентным технологиям в дистанционном образовании.
Ключевые слова
Интеллектуальный агент, мульти - агент, дистанционноый курс, системы обучения.
Повсеместное использование современных информационных и коммуникационных технологий радикально изменило подход к обучению. В классической системе заочного обучения существовал ряд неразрешимых проблем, которые приводили к постоянному поиску новых направлений. Основной из этих сложностей являлась невозможность постоянного интерактивного общения. Очевидно, что у любого студента могут возникнуть вопросы по мере прохождения обучения и он захочет их обсудить либо с преподавателем, либо с сокурсниками. Можно использовать почту (как во многих случаях и велось общение с обучаемыми), но сразу возникает вопрос времени, причем довольно сложно отвечать сразу на десятки писем. Можно связаться по телефону, но тут невозможно общение группы людей. Можно просто встретиться, но не каждый имеет личный самолет. В настоящее время с использованием всемирной сети Internet стало возможным общение людей в real-time, находящихся в разных точках планеты. После вышеупомянутой классификации проблем общения видны пути их решения в коммуникационном плане (L.Petropoulakis, 1998) . В связи с каждой из них в компьютерном мире появились направления для исследований, многие из которых завершились создание стандартов интерактивного общения. Все они делятся на две категории:
• Online — аналогичен обычному разговору между людьми.
• Offline — аналогичен обмену письмами через почту.
В каждой из этих категорий может существовать один из видов:
• Точка - точка (общение происходит между двумя клиентами системы, невидимое для остальных).
• Группа (сообщение одного клиента обращено ко всей группе и видимо всеми ее абонентами).
Программами-решениями стали всем известные chat, forum, e-mail, ICQ, MS Message.
Все вышеупомянутые решения дали толчок к возникновению нового направления в реализации систем дистанционного обучения, ориентированного на использование:
• WWW сайтов для представления информации.
• Средств интерактивного общения.
Сразу становится очевидным отличие данных систем от ранее принятых. Средства интерактивного общения дают возможность постоянно иметь контроль над действиями обучаемого и направлять его в дальнейшей работе. При всех положительных сторонах появились и свои сложности. Нагрузка на каждого преподавателя стала несоизмеримо велика. В старой системе имелся «рубежный» контроль, при котором преподаватель должен был проверить определенное
количество студентов по одной и той же системе оценок и мерок знаний — он не знал особенностей каждого обучаемого. Теперь же каждый обучаемый, находясь в центре процесса обучения, постоянно контролируется — степень усвоения каждой темы сразу видна, он задает свои вопросы —финальная оценка проводится по множеству факторов, которые необходимо помнить. Необходимость анализа действий каждого студента и предоставление ему необходимых консультаций по мере его обучения и возникновения вопросов очевидна. Теперь каждый обучаемый получил возможность обратиться с вопросом к преподавателю и получить необходимую информацию. А если обучаемых будет сотня или больше? Какова же при этом роль обучаемого: пассивен он или активен? При пассивной роли обучаемого:
1. Преподаватель является главным действующим лицом образовательного процесса, который преподносит учебный материал с помощью определенных образов.
2. Обучаемый, получив теоретическую основу, обрабатывает ее и использует для получения новых знаний.
3. Преподаватель, пройдя весь материал, контролирует обучаемых для перехода в новую стадию.
При активной же роли:
1. Преподаватель является только консультантом и дает список литературы, ссылки и т. п.
2. Обучаемый самостоятельно проходит учебный материал, только иногда консультируясь с преподавателем.
3. Обучаемый, приобретя знания, демонстрирует их преподавателю.
Но в какой мере нужна активность обучаемого? Может ли каждый студент оценить свои способности и возможности и в связи с их анализом выбрать необходимый подход к прохождению материала. В связи с такими проблемами появилась необходимость в специализированных обучающих системах, которые смогли бы взять часть нагрузки преподавателя на себя и реализовать активную модель обучаемого. Технология интеллектуальных агентов (Boy,1997) полностью реализует в себе все необходимые требования к системам такого класса. Перед тем как представить общие концепции системы интеллектуального агента остановимся на основных понятиях необходимых для дальнейшей работы.
• Интеллектуальный агент представляет собой серверную программу для организации, управления, анализа, ведения учетных записей пользователей и предоставления соответствующей информации по ним плюс оболочку для навигации и представления знаний (Jorge E. Sagula, 2000). Агент может быть обучаемым, т.е. перестраивать и дополнять свое ядро по мере работы. В нем также должны быть заложены правила его поведения для всех возможных ситуаций и механизм межагентного взаимодействия.
Интеллектуальные агенты можно подразделить на две основные категории: статические и динамические во времени. Первая категория не изменяет своего поведения во временном аспекте, т.е. анализ ситуации происходит на основе только текущих данных. В такой системе если вы дважды проходите тесты и отвечаете неверно на одни и те же вопросы, вы получите одни и те же баллы в общем подсчете результатов. Данная система не очень эффективна, т.к. она не учитывает изменения в ваших знаниях с течением времени - повторения неудачно пройденной темы или тестов и степени вашей подготовленности по данной тематике. К примеру - в первый раз вы полностью провалили тестирование по теме 1, со второго же раза вы сдали тест - в ваших финальных результатах не будет учтено, что сдали вы со второй попытки и какие проблемы у вас были в данной теме, что может повлечь за собой неподготовленность к следующему материалу. К тому же в таких системах обычно хранится только последняя информация по поведению обучаемого, что также не предоставляет полноты картины успеваемости студента. Второй же тип систем -динамические во времени - проводит анализ текущего состояния обучаемого по
полной статистике его предыдущего поведения. В них хранится каждый шаг обучаемого от регистрации до окончания его образовательного процесса. В финале ему выдается интегральная оценка его успехов с учетом всех ошибок, повторных прохождений тем и тестирования. В данной ситуации интересным вопросом для исследования является интеграция всех результатов по одному параметру - степени влияния неудач на общую оценку. При этом в таких ситемах необходимо вводить довольно сложную систему тестирования, которая будет изменять вопросы в зависимости от попытки сдачи. Это необходимо, потому что при прохождении несколько раз одних и тех же тестов нельзя получить адекватной оценки знаний. Существует несколько методик составления интеллектуальных тестов:
• Случайным образом — при этом вопросы выбираются из базы случайным образом, но так, чтобы те, которые вы уже проходили, вам не попались во второй раз. При этом не учитывается ваше неудачное прохождение определенных тем при предыдущем тестировании - т.е. есть вероятность того, что вы можете пройти тесты без полной подготовленности по всему материалу. В данном случае очевидна необходимость снижения положительных баллов при повторных тестированиях. Эта методика является наиболее простой по реализации системы тестирования, но требует усложненной системы выдачи результата и анализа модели студента.
• Ужесточенная методика — вопросы по темам, на которые вы не ответили при предыдущем тестировании, усложняются от попытки к попытке. В данном случае усложняется методика построения тестов, но при оценке финальных знаний можно положиться на последний результат из-за усложнения невыполненных заданий. Эта методика заставляет студента более серьезно относиться к своим неудачам и обращать большее внимание на тяжелые моменты. Таким образом улучшается общая успеваемость студента.
• Облегченная методика — вопросы по темам, на которые вы не ответили при предыдущем тестировании, облегчаются от попытки к попытке. Данная система рассчитана просто на оценку знаний студента в определенной области и может использоваться в начале обучения для последующего сравнения с результатами прохождения всего курса и эффективного успеха студента. Данная система входного тестирования необходима для оценки приобретенных знаний, а не абстрактно знаний в области. Также она используется для определения методики и порядка преподавания данному обучаемому — некоторым будет необходима дополнительная подготовка, а некоторые могут не проходить определенных тем, а только сдать тесты.
После введения этих понятий можно остановиться на основных концепциях в реализации интеллектуального агента (8уе1оє1ау 81оуаиоу, 2001), позволяющих (рис. 1):
• реализовать индивидуальный подход к каждому обучаемому;
• дать активную модель обучения в совокупности с постоянным контролем знаний;
• реализовать любые методики обучения и тестирования, не меняя нагрузки на преподавателя.
Интерактивное ( общение обучаемых и преподавателя
Автоматизированная система контроля
знаний
Индивидуальный ( подход к каждому
обучаемому
Агент
Рис.1
С появлением агентных технологий становится понятно качественное улучшение процесса обучения в системе дистанционного образования. Полностью изменились роли обучаемого и преподавателя. Агент берет на себя основную нагрузку по образовательному процессу. Он отслеживает каждое действие обучаемого и хранит его в своей базе данных. В функции агента входит также анализ данных студента. Это означает, что система-агент должна иметь в своем составе «мини модуль искусственного интеллекта» (Trang Dang, 2000). Каждый студент индивидуален и к нему необходим индивидуальный подход. Система принятия решений должна быть обучаемой. Она должна хранить последствия каждого выданного совета и, анализируя их, составлять план действий на основе полученных результатов (рис 2).
Запрос
Рис.2
После прохождения всех этапов агент предлагает точные рекомендации к дальнейшим действиям. На основе тестирования должны быть указаны слабые места и методики их исправления. Функцией преподавателя является слежение за студентом по его учетной записи и помощь ему в тех случаях, когда система не может ее предоставить, тестирование по индивидуальному плану, когда ответ не может быть проанализирован программой. Примером такой ситуации может быть написание сочинения или изложения. Агент является направляющей «личностью» в действиях обучаемого, его главным помощником и советчиком. Именно такая система разрабатывается в Международном Научном Учебном Центре ЮНЕСКО Информационных Технологий и Систем (Киев, Украина). В частности, разработана телекоммуникационная информационно-образовательная среда (ТИОС) для повышения квалификации преподавателей (8.КМцауІ8Єуа, 2001). Основой ТИОС являются три дистанционных курса:
• Мультимедиа технологии в дистанционных курсах на основе Интернет.
• Основы Интернет.
• Проектирование дистанционных обучающих систем.
Все курсы состоят из тем, которые подразделяются на уроки. Каждая тема и урок представлены отдельной Иіті страницей, доступ к которой можно получить с помощью уникального навигационного интерфейса пользователя. В качестве сред общения используются «Дискуссионный холл» (форум) и «Синхронные встречи» (чат); реализована интерактивная система тестирования. Каждый курс обладает разветвленной системой информации, ориентация в которой иногда может сбить с толку. Контроль сразу всех обучаемых преподавателем был затруднен, из-за большого количества как тем и уроков, так и студентов. Поэтому возникла необходимость в реализации системы-агента, контролирующей образовательный процесс.
Данная система является мультиагентом (Colm O'Riordan, 2001) — т.е. состоит из нескольких автономных агентов, взаимодействующих по данным или связям. Автономными частями являются:
• Агент администрирования системы. Данная часть является главной в отделе хранения информации по обучаемому. Вся информация хранится в базе данных на сервере, доступ к которой с клиентской машины осуществляется с помощью asp скриптов. Этот агент является «скелетом» всей системы. Каждый пользователь в начале учебных занятий должен быть зарегестрирован в системе — т. е. ему должен быть выдан его логин и пароль для доступа в систему, а также должна быть создана его учетная запись в базе данных. Это может быть реализовано двумя способами: прямой записью в базу данных на сервере или с помощью административного управляющего модуля. С помощью него реализуется управление учетными записями пользователей (добавление, удаление, реконструкция). Доступ к его интерфейсу имеет только администратор курса. При входе в систему имеется модуль идентификации, который запрашивает имя пользователя и пароль, при вводе специальной комбинации вместо учебной среды вы попадаете в среду администрирования.
1. Среда администрирования. Это удобство, т.к. администратор может вести рабочий процесс с любой рабочей станции и даже находясь у себя дома. Среда администрирования представляет обычную веб страницу со встроенными дополнительными функциями взаимодействия с сервером и базой данных. В ней администратор может: просмотреть, вставить, удалить запись пользователя. Создание учетной записи пользователя происходит по определенному шаблону для каждого отдельного курса. Этот шаблон должен быть создан до начала эксплуатации системы. В принципе данный мультиагент является универсальным для любых систем подобного типа. Всю информацию о структуре учебного курса он берет из конфигурационного файла, поэтому можно заменить содержимое, создать файл и система начнет функционировать. Ядро агента одинаково для всех трех курсов — различны лишь конфигурационные файлы. Администратору курса для создания новой учетной запись необходимо ввести лишь имя пользователя и пароль, и не нужно обладать никакой дополнительной информацией о структуре системы, что делает его роль элементарной.
2. Преподавательская среда. В базе данных существуют специальные «привилегированные» категории пользователей, которые могут получать доступ к определенным частям информации (в зависимости от группы привилегий). К таким записям относится учетная запись «преподаватель». Если вы относитесь к данной группе, то после регистрации вы получите предложение: хотите ли вы просмотреть учебный материал или информацию по студентам. При выборе второго пункта вы попадете в преподавательскую среду. В ней реализована возможность просмотра всех учетных записей обучаемых. Преподаватель получает возможность «слежения» за поведением каждого студента. Существуют различные способы выбора просматриваемых записей:
• По числу пройденный тем.
• По среднему балу успеваемости.
• Сколько-то лучших (худших) студентов.
Также преподаватель может пофамильно выбрать из списка интересующих его студентов и изучить
информацию по ним. Данная возможность позволяет
преподавателю иметь постоянный контроль над обучаемыми и, если возникнет надобность, вмешаться в образовательный процесс.
3. Среда обучения. Каждый пользователь-студент попадает в среду обучения после удачно пройденной регистрации, которая представляет собой набор информации, собранной в темы и уроки и оснащенной системой навигации. Поведение данной среды обусловлено агентом регистрации и слежения, описанном в следующем пункте.
• Агент регистрации и слежения. Он обеспечивает идентификацию пользователя при входе в систему (имя, пароль) и регистрирует все действия в базе данных. При старте обучающей системы вы выбираете один из курсов, который вы хотите изучить. После этого вам необходимо ввести пароль и имя пользователя для перехода в обучающую среду. При любом неверном параметре вам предоставляется повторная попытка регистрации. Без правильной регистрации невозможно попасть в среду обучения. Система идентификации введена по двум причинам:
1. Необходимость ведения учетной записи конкретного пользователя и отнесения определенных действий на его счет. Каждый студент просматривая тему, урок, решая тесты, выполняет действие, регистрируемое в системе. Каждая кнопка снабжена своеобразным «двойником», который регистрирует действия в базе данных. Поэтому, когда обучаемый входит в тему, в базе регистрируется время входа, когда выходит - время выхода и соответственно изменяется время изучения им данной темы. При прохождении тестов в базу данных заносится дата и время прохождения, а также подробный результат его ответов. При вольном тестировании вносится оценка преподавателя, поставленная студенту за данную работу. Таким образом, в базе сохраняются все действия, выполняемые обучаемым.
2. Необходимость защиты курсов от несанкционированного доступа извне. Это не является защитой от потенциальных нарушителей и «взломщиков». Данная часть введена для того, чтобы каждый пользователь зарегестрировался и система получила возможность слежения за ним. Поэтому, если «нарушитель», увидев ссылку, введет ее на своем терминале, он получит уведомление о несанкционированном доступе и предложение ввести пароль и логин, и система не будет выполнять никаких действий по навигации без соблюдения вышеупомянутых условий. При действии данного модуля пользователь не может попасть в систему незамеченным и выполнять действия по изучению информации или тестирования знаний.
• Агент предоставления контекстной помощи обучаемому. Данный агент является наиболее серьезной частью выполняемой программы и постоянно находится в состоянии улучшения. На начальном этапе выполнения проекта агент помощи предоставлял накопленную статистическую информацию по пользователю в виде контекстной помощи: список пройденных тем и результаты тестирования. Со временем стала очевидной необходимость в анализирующей динамической во времени системе для уменьшения нагрузки на преподавателя, к которому довольно часто обращались с элементарными вопросами, ответы на которые можно было автоматизировать. Сейчас, находясь в любой точке системы обучения, студент может получить помощь в виде:
1. Стандартной системы помощи (дерево тем, поиск по ключевым словам). Этот вид помощи знаком каждому, работающему за персональным компьютером. Реализация такой помощи включает:
• дерево курса, состоящего из контекстно связанных звеньев-тем, расположенных в информативном порядке и содержащих
внутри себя поддеревья уроков, в которые входят ключевые понятия. Для реализации этой части помощи необходима дополнительная подготовка информационной части курса. В принципе интеллектуальный агент складывается не только из программных модулей, а еще из интеллектуально организованных данных. При такой организации данных в определенных местах вставляются блоки, помогающие программе-агенту ориентироваться в информации. Этими вспомагательными блоками являются: указание ключевых слов, ссылок на другие темы или внешних ссылок — т.н. связи по данным. Такая ссылка может быть как самоопределяющей, так и указательной. Если ссылка самоопределяющая, то в ней указано не только ее название и тип, а также содержащаяся в ней информация и положение ее в структуре курса. При указательной ссылке в ней содержится только ее имя и тип. В первом случае программа-агент, встретив такую ссылку, полностью ее считывает и разбирает на элементы по определенному шаблону. Во втором случае программа-агент считывает указатель, а все остальные составляющие вычисляет на основе определенного алгоритма поиска. В первом случае мы выигрываем в простоте программной реализации, но проигрываем в количестве данных. Во втором случае появляется дополнительная нагрузка на программиста, но имеется минимальная избыточная информация и простота в создании ссылочного блока. Но хочу заметить, что самоопределяющие ссылки можно помещать в отдельные файлы, что дает удобство при их создании. Приведу пример реализации таких ссылок: Самоопределяющая ссылка:
<agentLink type=’full’>
<location value='tema1.html'/>
<type value='keyword’>
<param value='агент'/>
<data value='Интеллектуальный агент представляет собой серверную программу для организации, управления, анализа, ведения учетных записей пользователей и предоставления соответствующей информации по ним плюс оболочку для навигации и представления знаний.'/>
</agentLink>
Указательная ссылка:
<agentLink type='bont’>
<type value='keyword’>
<param value='агент'/>
</agentLink>
Хочу заметить, что ссылками в таком простом случае, как ключевое слово, могут служить стандартные теги html. Но при использовании стандартных тегов необходимо соглашение о стандартах их использования с создателем информации, что иногда приводит к непредвиденным сложностям. Самоопределяющиеся ссылки чаще всего отдельно оформляются в .xml файл, разбор которого по тегам не предоставляет трудности, а данный формат является всемирно известным стандартом и эти файлы могут быть пригодны для использования в дальнейшем.
Дерево тем строится по дереву тем и уроков ( рис. 3.), присутствующих в данном курсе. Дочерними вершинами по отношению к уроку являются ключевые понятия, сформированные, как показано, выше.
Рис. 3
• индекс поиска по ключевым словам — в строке ввода необходимо ввести интересующее слово и при его наличии в списке индекса курсор будет переведен на интересующую нас тему. Ключевые слова формируются методом, описанном в предыдущем пункте.
• поиск по курсам — производится поиск по всему содержимому и выдается список ссылок на найденные вхождения. Пользователь вводит ключевое слово или фразу и во всем курсе производится поиск по ним и выводится полных список вхождений.
2. Списка рекомендуемых тем для последующего изучения (результат анализа пройденного материала, результат ошибок в тестировании) или повторения. При данном запросе система обращается к подсистеме анализа. Анализирующая система считывает из базы данных всю информацию, касающуюся действий обучаемого. По специальной схеме (для данного обучаемого приобретенной вследствие предыдущей работы с ним) она выдает советы в виде списка тем для повторения (на основе ошибок в тестировании) и списка для дальнейшего обучения (на основе пройденного материала). Полагаю, что следует несколько подробнее остановиться на системе принятия решений. Во-первых, остановлюсь на системе тестирования. Поскольку проект еще находится на стадии разработки, то я опишу систему в идеале, какой она будет к его завершению. После регистрации пользователь должен будет пройти стартовое комплексное тестирование, которое может занять у него несколько занятий. Ему будет предложено ответить на 2-3 вопроса по каждой тематике, причем в случае неверного ответа ему сразу же будет предложен следующий по этой же тематике, но более простой вопрос. Если же на все три вопроса по тематике были даны верные ответы, то будет предложен один контрольный, но более сложный. При составлении тестов каждый вопрос будет иметь определенный вес, который войдет в общую оценку. После этого тестирования будет составлена балльная картина знаний студента по курсу на начальный этап. Система сразу же выдаст свои рекомендации по началу образовательного процесса. В данном случае ее решение будет зависеть только от результатов тестирования. Если все ответы по тематике были неудовлетворительными, то первым советом будет прочитать вступительную общую статью по курсу. В зависимости от положительной оценки будет предложено либо сразу пройти тестирование, либо закрепить некоторые моменты, либо пройти тему заново. При дальнейших запросах на помощь результат будет складываться интегрально, а именно. Из результатов тестирования будут выбраны те вопросы, на которые были даны неверные ответы, а по ним будет составлен список неусвоенных понятий - уроков - тем. Если данное понятие базируется на ранее пройденном материале, то он также будет включен в список повтора. Причем тестирование проводится по ужесточенной схеме, поэтому будет четко ограничен круг непонятных вопросов. Если понятие, на
котором базируется данное понятие, также было неудачно усвоено, то к нему привлекается двойное внимание и в список следующих рекомендуемых тестов вносится вопрос на его базе. В итоге составляется древовидная структура знаний студента, по которой можно проследить весь его образовательный процесс. Очевидно, что подготовительным этапом построения системы анализа для конкретного курса является построение дерева понятий (знаний) по которому будет продвигаться поиск решений. Также действует система анализа предыдущих решений. В базу данных записывается и хранится совет, данный пользователю, и его результат (ссылка на результат последующего тестирования). Со временем для каждого пользователя может быть составлена определенная схема: необходим повтор от корня дерева, повтор понятий усваивается только в совокупности с соседними ветвями и.т.д. Поэтому на основе такого опыта на первый план выдвигается тот тип совета, который пользовался наибольшим успехом у обучаемого. Данная методика полезна при довольно объемных курсах, когда может быть составлена четкая модель поведения обучаемого, и приносит малый результат при коротких (экспресс) курсах.
Вышеописанная схема работы данного агента весьма обобщенная и схематическая, так как описание реализации конкретных алгоритмов и моделей может занять слишком много времени.
З. Полного списка пройденной и оставшейся информации и результатов пройденного тестирования (контроля знаний). Это является «выпиской» из личной учетной записи обучаемого. На экран выдается список пройденных тем и уроков и оставшихся для изучения. Каждый элемент списка является действующей ссылкой.
Теперь я коротко остановлюсь на программной реализации вышеупомянутой системы. В качестве www сервера использовался Microsoft IIS 5.0, установленный на систему Microsoft Windows 2000 Server. Серверная реализация агента написана с использованием технологии ASP. Выбор был остановлен именно на ней по причине идеального взаимодействия с www сервером и оптимальных возможностей по взаимодействию с базами данных на основе Microsoft RDS 2.5. В качестве базы данных используется MySQL max 3.23.49. Клиентская часть взаимодействия реализована с помощью JScript. Систему можно увидеть на http://hill.dlab.kiev.ua/study/
Выводы
С появлением интерактивных средств общения в дистанционном образовании начался новый web - ориентированный этап развития. С его приходом значительно изменились роли преподавателя и обучаемого. Преподаватель стал не в состоянии самостоятельно вести большие группы студентов, которые получив возможность общения и активности, полностью их использовали. Появилась необходимость в программных продуктах, берущих часть нагрузки преподавателя на себя, — интеллектуальных агентах. С их помощью реализуется тестирование, помощь и многие другие функции. В Международном Научном Учебном Центре ЮНЕСКО Информационных Технологий и Систем появилась необходимость в такой среде и она была успешно реализована. В ней студент сам строит свои знания, система направляет и тестирует, а преподаватель получает роль наблюдателя с правом вмешательства.
Вышеупомянутые мультиагентные системы качественно улучшат проведение дистанционного образовательного процесса. Особенно самообучаемые системы, которые будут адаптироваться к каждому студенту позволят максимально приблизиться к реальной модели образования. Описанные методики тестирования позволят адекватно оценить знания и эффективность образовательного курса, что поможет при дальнейших разработках. Использование таких систем максимально
облегчит нагрузку преподавателя. Особенно эффективно их использование для объемных курсов, с большим количеством обучаемых.
Литература
[Kudrjavtseva S., 2001] Kudrjavtseva S. Supporting the lifelong learning in Ukrainian society through the development and dissemination of telematic-based curriculum for teacher’ training // Proceedings of the International Conference on Telematics and Web-based Education, Telematica-2001. International Volume, 18-21 June 2001, St.Petersburg [Colm O’Riordan and Josephine Griffith, 2001] Colm O’Riordan and Josephine Griffith, A multi-agent system for intelligent on-line education // Information Technology Centre National University of Ireland, Galway, Ireland
[Svetoslav Stoyanov, Lora Aroyo and Piet Kommers, 1998] Svetoslav Stoyanov, Lora Aroyo and Piet Kommers, Intelligent agent instructional design tool for hypermedia design course // Faculty of Educational Science and Technology, University of Twente, The Netherlands
[Sheremetov L. & Nunes G, 1999] Sheremetov L. & Nunes G, Multi-agent framework for virtual learning space // Journal of Interactive Learning Research, 1999, 10(3-4), 301-320 [Kommers, P.A.M., Laming, J]. Kommers, P.A.M., Lanzing, J., Students’ Concept Mapping for Hypermedia Design: Navigation Through the WWW Space and SelfAssessment. 1997, // Journal of Interactive Learning Research. vol. 8, No. %.
[Brazier, F., Jonker, C. , Treur, J. and Wijngaards, N.J.E.,1998] Brazier, F., Jonker, C. , Treur, J. and Wijngaards, N.J.E ,(). Compositional desing of a Generic Design Agent // G. Luger, L. Interrante (eds.), Proc. of the AAAI Workshop on Artificial Intelligence and Manufacturing: State of the Art and State of the Practice, AAAI Press [Aroyo, L. and Dicheva, D. (1998)] Aroyo, L. and Dicheva, D.,Agents that Make Your Information Meaningful and Visible: An Agent-Based Visual Information Management System // Proc. of the WebNet’98 Conference, Orlando, USA
[Aroyo, L., De Diana, I. and Dicheva, D., 1998] Agents to Make Your Information Meaningful and Visible: An Agent-Based Visual Information Management System // proceedings of WebNet’98 Conference, Orlando [Buzan, T. (1996) ] Buzan, T., The Mind Map // Book. N.Y: Plume.
[De Bono, E. (1994)] De Bono, E., Water Logic // London: Penguin Books.