CC BY
91
но полно отражают современные представления личности как о социальном объекте. Полученные модели в дальнейшем используются при когнитивном анализе свойств структуры личности и особенностей взаимодействия двух личностей.
Предложенная модель общения двух личностей при выполнении научного проекта отражает основные положения современной психологии общения, учитывая ее коммуникативные, интерактивные и перцептивные стороны общения.
Установлено, что при взаимодействии двух личностей максимальный эффект взаимодействия может быть достигнут:
при гармонической настройке каждой личности;
при симметричном положительном взаимодействии обеих личностей.
Выявлено, что наличие у личности любого внутреннего «конфликта» приводит к резкому понижению эффективности работы над проектом, т. к. «расстроенная» личность не в состоянии достичь максимальной производительности труда.
Минимальный эффект от деятельности над проектом получается, когда обе личности находятся в «конфликте» с собой и друг с другом одновременно.
Данные выводы могут быть восприняты как рекомендации при управлении малыми научными группами или другими рабочими коллективами.
СПИСОК ЛИТЕРАТУРЫ
1. Гузаиров, М.Б. Системный подход к анализу сложных систем и процессов на основе триад [Текст]/ М.Б. Гузаиров, Б.Г. Ильясов, И.Б. Герасимова/Проблемы управления.-2007.-№ 5.-С. 32-38.
2. Ковалев, А.Г. Психология личности [Текст]/ А.Г. Ковалев.-М., 1970.
3. Когнитивный анализ и управление развитием ситуаций [Текст]/(СА8С'2009): Тр. Междунар. конф. 17-19 ноября 2009.-М.: ИПУ РАН, 2009.-288 с.
4. Леонтьев, А.Н. Деятельность, сознание, личность [Текст]/А.Н. Леонтьев.-М., 1975.
5. Психология управления персоналом: Пособие для специалистов, работающих с персоналом [Текст]/ Под ред. А.В. Батаршева, А.О. Лукьянова; 2-е изд., испр.-М.: Психотерапия, 2007.-624 с.
6. Рубинштейн, С.Л. Основы общей психологии [Текст]/С.Л. Рубинштейн.-М.: 1989.
УДК 004.414.2
А.В. Кудаков
АВТОМАТИЗИРОВАННАЯ СИСТЕМА КОНТРОЛЯ И ОЦЕНКИ ЗНАНИЙ
Современные требования обеспечения высокого качества учебного процесса диктуют необходимость своевременной и объективной оценки уровня знаний обучаемых или уровня их компетенции. Это, в свою очередь, актуализирует проблему применения технических средств автоматизации данного процесса и анализа полученных результатов [1]. Контроль, являясь формой обратной связи в системе управления образованием, позволяет оперативно выявлять отклонение образовательного процесса от нормы и на этой основе вырабатывать корректирующие и предупреждающие мероприятия в деятельности образовательного учреждения и всех участников образовательного процесса.
Идея компьютерного тестирования напрямую проистекает от идеи автоматизированного контроля знаний. Одна из проблем любого образования - отсутствие строгого контроля за качеством усвоения материала. В системе высшего образования преподаватель в течение семестра начитывает материал, осуществляет промежуточный контроль, но, в большинстве случаев, лишь в конце семестра убеждается в уровне усвоения материала. Подразумевается, что студенты должны в достаточной степени заниматься и самостоятельным образованием, однако это предполагаемое самостоятельное получение знаний остается целиком и полностью на совести студента, и преподаватель
Рис. 1. Предметная область
абсолютно не может знать, кто именно из студентов хоть что-то делает самостоятельно [2].
Применение технических средств автоматизации образовательной деятельности способствует уменьшению воздействия означенной выше проблемы. Это касается, прежде всего, применения регулярного промежуточного контроля степени усвоения учебного материала и контроля самостоятельной работы студентов.
Несмотря на широкое распространение автоматизированных систем интеллектуального тестирования знаний, проблема адекватной оценки результатов тестирования остается все еще до конца не решенной, о чем свидетельствует большое количество методов и алгоритмов, используемых в данной области [3].
Для решения означенных проблем на факультете переподготовки специалистов (ФПС) СПбГПУ более 10 лет используется и развивается система автоматизации контроля знаний студентов и слушателей, являющаяся частью информационной системы факультета [4].
Логическая архитектура системы
Рассмотрим объекты предметной области, с которыми взаимодействует система.
Понятие «Экзамен» (или «Тест») - ключевое в системе тестирования. На рис. 1 представлены его связи с другими объектами предметной области.
Экзамен. Экзамен характеризуется следующими свойствами. Свойство активность экзамена означает, что экзамен находится в эксплуатации, т. е. не устарел и не отменен.
Очевидно, что экзамен нельзя удалить из системы, т. к. в этом случае будет утеряна история и произойдет потеря связности данных. Вместе с тем, также очевидно, что с течением времени экзамен может устареть и потерять актуальность. В этом случае экзамен может быть деактивирован, это не позволит использовать его при назначении новых экзаменационных сеансов для кандидатов.
У экзамена есть код и наименование. Код может быть использован для классификации экзаменов по каким-то признакам: вступительный, промежуточный, итоговый, остаточные знания и пр. У экзамена также предусмотрены такие свойства, как описание, предварительные требования и примечания.
Являясь частью информационной системы факультета, эти свойства используются ее различными компонентами. Кроме того, есть служебные свойства, такие, как автор и дата создания, редактор и дата изменения.
Упомянутый выше код экзамена может быть использован для учета и отображения «версии» экзамена. Это актуально в том случае, когда название экзамена сохранилось, а содержание изменилось.
Шаблон Экзамен. Следующий важный объект предметной области - шаблон экзамен, определяющий свойства, правила и условия проведения экзамена. У экзамена может быть несколько шаблонов, позволяющих решать различные задачи.
К примеру, экзамен может быть вступительным по одному предмету и итоговым по другому. При этом с помощью шаблонов можно ужесточать или смягчать требования и определять какие-то другие условия.
Шаблон характеризуется наименованием, описанием и свойством активности. Свойства, определенные в шаблоне, используются на уровнях представления, бизнес-логики и рабочих процессов для решения определенных задач. Свойства разделены на несколько категорий.
К категории свойств шаблона Сессия относятся такие параметры, как «разрешить удаленный доступ», «режим обучения», «длительность», «число попыток». Все эти параметры определяют свойства экзаменационного сеанса. Длительность задает срок, в течение которого кандидат должен сдать экзамен. Например, это может быть два дня или одна неделя. В этот промежуток времени кандидат может предпринять одну или несколько попыток сдать экзамен. Количество таких попыток определено параметром «число попыток». Режим обучения предусматривает возможность сразу в ходе выполнения экзамена отображать правильный результат выполнения вопроса (или задания) и комментировать, почему именно такой ответ является правильным. С возможными ссылками на литературу, Интернет или конспект лекций.
Система тестирования предусматривает, что экзамен можно сдавать как в пределах локальной сети учебного заведения, так и находясь вне его стен (параметр «разрешить удаленный доступ»). Очевидно, что в последнем случае невозможно предсказать, кто в действительности проходит экзамен. Поэтому шаблон, в котором такое свойство установлено, может быть в дальнейшем использован при анализе и обработке результатов экзаменов.
К категории свойств шаблон Попытка относятся такие параметры, как «длительность»,
«интервал между попытками», «число вопросов», «проходной балл», «только вперед».
Перед тем как кандидат сможет приступить непосредственно к процедуре экзамена (в терминах системы «попытка»), необходимо определить «длительность» попытки (например, один час) и число вопросов (тестовых заданий) на которые предстоит ответить учащемуся.
Экзамен может и должен содержать значительное число тестовых заданий. Причем в литературе отмечается, что это число должно в 3-4 раза превышать число вопросов, выпадающих испытуемому.
Если сеанс предусматривает возможность предпринять несколько попыток сдать экзамен, то параметр «интервал между попытками» определяет, как скоро он сможет это сделать. В противном случае, особенно, если преподаватель разрешил большее число попыток, испытуемый сможет предпринять их одна за другой вместо того, чтобы обдумать и проанализировать результаты и попытаться ликвидировать пробелы в имеющихся знаниях. «Проходной балл» определяет в процентном отношении (или по 100-балльной шкале) сдан или не сдан экзамен.
Некоторые тестовые системы предусматривают возможность привязки шкалы оценок к полученному результату. При таком подходе есть как преимущества, так и недостатки.
Безусловно, с психологической точки зрения, испытуемому приятно увидеть истинное выражение набранного балла в виде вербальной оценки «удовлетворительно», «хорошо». Но, вместе с тем, это может превратить экзаменационную систему в бездушный автомат. К примеру, реализована фиксированная шкала оценок: 3-60 %, 4-70 %, 5-80 %. Испытуемый набрал 68,70 %. Какая у него оценка: «удовлетворительно» или «хорошо»? Значит, необходимо использовать интервальную шкалу оценок, к примеру: «удовлетворительно» = [58...69], «хорошо» = [67...79], «отлично» = [77.100].
Но, в этом случае, не понятно как разрешить конфликты в перекрывающихся пограничных областях.
Поэтому решение использовать двоичную градацию «сдал/не сдал» представляется простым и эффективным, а саму процедуру определения оценки желательно оставить за экзаменатором. К тому же оценка, особенно итоговая, может складываться из нескольких факторов, а не только, и
не сколько из результатов электронного экзамена.
Параметр «только вперед» позволяет реализовать однозначно линейное прохождение экзамена: от текущего вопроса к следующему без возможности вернуться назад к предыдущему и исправить ответ. Вместе с контролем времени, которое отводится на каждый вопрос (тестовое задание) в отдельности, это позволит ужесточить условия проведения экзамена. Ко всему прочему, в случае проведения экзамена очно (особенно, массово, одновременно у всех студентов группы) или дистанционно, испытуемые могут обмениваться информацией друг с другом. Несмотря на стремление иметь достаточно большую выборку вопросов, это требование может не соблюдаться, в результате чего у некоторых испытуемых некоторые вопросы могут совпадать. А в результате обмена информацией и возможности вернуться к произвольному заданию и исправить ответ, у них будут совпадать и ответы, что, несомненно, снизит качество проведения испытаний.
К категории свойств шаблона Результат относятся такие параметры, как «показывать результат», «показывать сдал/не сдал», «показывать набранный балл», «показывать проходной балл», «показать по категориям», «разрешить просмотреть результаты», «сохранить наименьший балл».
Эта категория свойств Шаблона определяет, каким образом испытуемый информируется о завершении экзамена.
Например, он может быть уведомлен, что экзамен завершен, и на этом - всё. Вместе с тем, система может оповестить испытуемого о том, что он сдал или не сдал, какое число баллов набрал, какое число баллов требовалось набрать.
По окончании экзамена испытуемому в течение какого-то времени может быть разрешено посмотреть на то, как он отвечал на вопросы теста. Это время и определяется параметром «длительность просмотра».
Система может пропускать вопросы (задания), на которые испытуемый успешно ответил. Кроме того, система может визуально отображать, какие варианты ответов на задания являются правильными, объяснять почему именно такой ответ является правильным. Иными словами, в систему заложены не только функции тестирования знаний, но и обучающие функции.
Безусловно, здесь есть и отрицательный момент, связанный со списыванием вопросов, правильных ответов и объяснений, но технически противостоять этому невозможно, в этом случае требуется целый комплекс организационных мероприятий, присутствие ментора (наблюдателя) и пр.
Именно поэтому, как показывает практический опыт эксплуатации системы, в шаблонах, которые разрешены для удаленного тестирования, просмотр результатов запрещен.
Тестовое задание. Следующим важным объектом предметной области является понятие «Вопрос» (или тестовое задание). Вопрос характеризуется текстом задания и флагом активности. Только активные вопросы (т. е. не устаревшие) могут попадать в новые выборы вопросов при назначении новых сеансов.
В ходе эксплуатации экзамена какие-то решения могут устаревать или терять актуальность. Автор экзамена или лицо, сопровождающее экзамен, может «отключать» такие вопросы. Вместе с тем, в системе тестирования разработан и реализован механизм подсчета «Рейтинга» вопроса. Под рейтингом здесь понимается сложность вопроса, представленная числом 0..1 и полученная на основе статистической обработки результатов. Чем ближе это число к нулю, тем «сложнее» задание и наоборот, чем ближе к единице, тем «проще».
С точки зрения оценки знаний, в экзамене не должно быть чрезмерно простых и чрезмерно сложных заданий. Поэтому система в режиме редактирования вопроса визуально отображает его рейтинг.
Кроме того, специальный отчет отображает все вопросы экзамена и их рейтинги. Процедура отключения вне-рейтинговых вопросов может быть реализована следующим образом. После того как для экзамена будет определен минимальный и максимальный рейтинг, специальный агент, выполняясь по расписанию, будет отключать плохие вопросы, уведомляя при этом автора экзамена (или лицо, ответственное за экзамен).
Вопрос может быть связан с определенной категорией (или темой). Это позволит реализовать следующие задачи:
1. После завершения теста отображать статистику по каждой из категорий, тем самым информируя как испытуемого, так и преподавателя о некоторых пробелах в знаниях по определенным темам учебного курса. Что, в свою очередь, мо-
жет означать, что либо у испытуемого проблемы с усвоением материала данной темы, либо у преподавателя проблемы с изложением данной темы.
2. Желательно (или нет) в ходе случайной генерации выборки вопросов (тестовых заданий), чтобы они равномерно распределились по каждой из представленных тем.
3. Категории (теме вопроса) может быть задана весовая характеристика, что может быть учтено в ходе подсчета результатов тестирования.
У вопроса может быть «объяснение», в котором составитель вопроса может разъяснить, как правильно ответить на вопрос, привести необходимые ссылки на конспект лекции, литературы, Интернет и пр.
Вопросу с помощью нечетких переменных может быть задан вес в диапазоне от «очень легкий» до «нормальный» и далее до «очень сложный».
Весовая характеристика используется при подсчете результатов тестирования.
Кроме того, у вопроса есть свойство «перемешивать варианты ответов». Это нужно для того, чтобы у двух соседних испытуемых, даже в случае отображения одного и того же тестового задания, варианты ответов в нем отличались. Это позволит избежать бессмысленного выучивания ответов по их фиксированному местоположению.
Вариант ответа на тестовое задание содержит текст варианта ответа и признак, определяющий, что этот вариант ответа правильный.
Система контролирует действия составителя вопросов экзамена, уведомляя о том, что ни один из «правильных» вариантов ответов не определен.
Кроме того, система вычисляет рейтинг варианта ответа, который имеет тот же смысл, что и рейтинг вопроса. В какой-то степени это частотная характеристика: как часто выбирают тот или иной, правильный или неправильный вариант ответа.
Предметом дальнейших исследований является использование данного рейтинга при обработке результатов экзамена и влияние этого рейтинга на конечный балл результата.
Вместе с тем, изменение варианта ответа или, тем более, добавление нового варианта, ведет к искажению вопроса, а, стало быть, экзаменов, проведенных в предыдущий период времени. Агент системы должен отслеживать такие изменения, создавать дубликат вопроса и деактивиро-вать предыдущий вариант (или версию) вопроса.
Кроме упомянутых объектов предметной области следует упомянуть, что система обладает функционалом миграции экзамена из предыдущей версии системы тестирования (1996-2007 гг.).
Это позволило быстро и безболезненно перенести более шестидесяти экзаменов, разработанных в предыдущие годы.
В системе также реализованы функции импорта и экспорта экзамена в файл в формате XML. Правильнее сказать, что для этой цели был разработан расширенный формат XML. Для экспорта и импорта данных для других переносимых форматов, таких как SCORM, для системы могут быть реализованы и подключены дополнительные модули.
Сеанс и попытка. Следующие понятия предметной области - «Сеанс» (или «Сессия») и «Попытка».
Сеанс характеризуется следующими параметрами: «GUID» (уникальный код), «дата начала», «дата окончания» (срок), «испытуемый», «шаблон», «число попыток» и «пароль».
Попытка характеризуется параметрами: «GUID» (уникальный код), «сеанс», «дата начала», «срок окончания», «текущий вопрос», «последняя активность», «дата завершения», «набранный балл», «проходной балл», «дата начала просмотра», «дата окончания просмотра», «пароль для просмотра».
Эти объекты имеют отношение к понятию «Экзамен» и окружающей его инфраструктуре и непосредственно связаны с проведением процедуры тестирования, что схематично изображено на рис. 2.
Экзаменатор назначает испытуемому экзаменационную сессию (или сеанс) на основе выбранного шаблона экзамена, в котором определены специфичные правила проведения экзамена.
Сессия, помимо уникального служебного кода, характеризуется датой начала и датой окончания. Это позволяет экзаменатору запланировать экзамен на какую-то дату и время в будущем и определить срок ее окончания (рис. 3).
Испытуемый может сам определить время, когда ему будет «удобно» начать новую попытку. Параметр «интервал между попытками» определен в шаблоне экзамена. До тех пор, пока этот интервал не пройдет, новую попытку начинать нельзя.
Рис. 2. Логическое взаимодействие объектов системы
Длительность самой попытки, как сказано выше, определена в шаблоне экзамена, на основе которого и создается новый сеанс. Это максимально допустимое время, т. к. ничто не мешает испытуемому досрочно завершить экзамен.
Физическая архитектура системы
С точки зрения физической архитектуры приложение состоит из двух компонент: сервера баз данных и web-сервера.
Для хранения данных используется одна и та же физическая база данных, что и для комплексной системы автоматизации учебного процесса на ФПС СПбГПУ. Иными словами, система тестирования является не обособленным приложением, а частью информационной системы факультета.
Уполномоченные преподаватели и сотрудники деканата могут назначать экзаменационные сеансы, а затем получать информацию о результатах, полученных студентами. В результате можно не только получить информацию о студентах, учебных планах по которым они учатся, но и историю их обучения и экзаменов.
Важные аспекты системы - вопросы защиты данных от несанкционированного доступа.
В системе реализована комплексная модель защиты информации на всех уровнях многоуровневой архитектуры распределенного приложения.
Прежде всего, система использует аутентификацию и авторизацию, поддерживаемую на уровне операционной системы Microsoft Windows и ее сетевой инфраструктуры.
Сеанс
Попытка 1
Попытка 2
Л
Дата начала сеанса
Произвольное время начала попытки
ДП
Г
Дата окончания сеанса
Рис. 3. Сеансы и попытки
Рис. 4. Схема классов библиотеки предметной области
Обработка данных в системе тестирования реализована в виде сохраненных процедур и функций. В свою очередь, пользователям даны разрешения на выполнение тех или иных процедур и функций. При этом реализована методика ролевого подхода по организации доступа к обработке данных.
Все пользователи системы тестирования могут играть одну или несколько ролей:
кандидаты - пользователи, которые могут сдавать экзамены и однократно просматривать результаты своего экзамена;
аудиторы результатов - пользователи, которые могут просматривать результаты всех экзаменов и получать по ним статистику;
экзаменаторы - пользователи, которые могут назначать и изменять экзаменационные сеансы как отдельным кандидатам, так и группам кандидатов;
авторы экзаменов - пользователи, которым разрешено создавать новые и редактировать существующие экзамены, вопросы экзаменов, шаблоны, получать информацию о статистике экзамена и пр;
администраторы - пользователи, которые могут делать все вышеперечисленное.
Библиотека уровня доступа к объектам предметной области позволяет осуществлять контроль доступа при выполнении каждого конкретного метода. В результате многоуровневой защиты пользователю будет запрещено выполнение несанкционированного действия еще до того мо-
мента, когда команда на исполнение такого метода действительно поступит в сервер баз данных.
С учетом упомянутого выше и выполняемого web-сервером контроля доступа к отдельным логическим разделам приложения, можно уверенно говорить о реализации многоуровневой защиты данной распределенной информационной системы.
Уровень доступа к данным реализован в виде библиотеки классов на языке C# с применением технологий ADO.NET и XSD (XML Data Sets).
Уровень доступа к объектам предметной области также реализован в виде библиотеки классов, схема которых представлена на рис. 4
Реализованная система может найти применение для автоматизации оценки уровня компетенций студентов вузов и учащихся школ. Она интенсивно используется преподавательским составом ФПС и насчитывает более 150 тестов. После ввода в эксплуатацию осенью 2007 г. второго поколения системы, в ней хранятся результаты более 13 500 экзаменов, которые сдавали около 4000 учащихся. Система зарекомендовала себя как функциональная, доступная, надежная и простая в использовании.
Модульная архитектура системы позволяет непрерывно наращивать ее функциональные возможности. Компоненты, необходимость которых появляется в ходе эксплуатации системы, могут быть спроектированы, реализованы и подключены к системе без внесения каких-либо изменений в ее ядро.
4
СПИСОК ЛИТЕРАТУРЫ
1. Садовничий, В.А. Компьютерная система проверки знаний учащихся [Текст]/В.А. Садовничий//Выс-шее образование в России.-1994.-№3.-С. 20-26.
2. Менеджмент качества в образовательных учреждениях: в 2 кн [Текст].-СПб.: СПбГЭТУ, 2003.
3. Моисеев, В.Б. Информационный подход к выбору решений в системах адаптивного тестирования [Текст]/В.Б. Моисеев, Л.Г. Пятирублевый, К.Р. Та-
ранцева//Матер. конф. Анализ качества образования и тестирование.-22.03.2001.-М.: МО РФ. МЭСИ. -С. 174-1.
4. Кудаков, А.В. Система тестирования уровня знаний: итоги эксплуатации и перспективы развития [Текст]/А.В. Кудаков//Матер. конф. Образование и виртуальность ВИРТ-2007.-17-21. 09. 2007.-Ялта.
НАУЧНЫЙ СЕМИНАР ФТК 17 сентября 2010 г.
Представляем аннотацию доклада доцента А.Е. Васильева и старшего преподавателя М.М. Шилова на научном семинаре факультета технической кибернетики.
А.Е. Васильев, М.М. Шилов
О ДЕЯТЕЛЬНОСТИ НАУЧНОЙ ГРУППЫ «ВСТРАИВАЕМЫЕ ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ УПРАВЛЕНИЯ»
(ВИСУ)
В докладе рассмотрена проблема алгоритмического обеспечения систем управления, предназначенного для реализации на вычислительных платформах встраиваемых микроконтроллерных средств. Область их применения включает сферы промышленности, телекоммуникаций, медицинской аппаратуры и др. К особенностям, характеризующим их применение, относятся требования минимизации значений стоимостных и массо-габаритных показателей, обеспечение высокой надежности, дешевизны и пригодности для массового тиражирования; удовлетворение этих требований косвенно влияет на ограничения по вычислительной производительности платформы. Рост требований к качеству управления и потребность в управлении объектами высокой степени сложности приводят к необходимости применения специальных методов синтеза и реализации алгоритмического обеспечения для этого класса средств вычислительной техники.
Описана иерархическая организация уровней управления; наибольшее внимание уделено подсистемам нечеткой обработки информации, позволяющим реализовать алгоритмы, характеризующиеся минимальными требованиями к вычислительным ресурсам, что предоставляет возможность достичь большего качества и сложности управления на данной вычислительной платформе или реализовать систему с заданными характеристиками на платформе меньшей сложности.
Важный аспект деятельности научной группы - внедрение достигнутых теоретических и практических результатов в учебный процесс: в лаборатории встраиваемых интеллектуальных систем управления факультета технической кибернетики ведется подготовка студентов по направлению «Управление и информатика в технических системах». Проблема реализации интеллектуальных подсистем рассматривается на примерах предметной области автоматики и робототехники - в учебном процессе решаются задачи обработки информации в системах технического зрения, управления локомоциями робототехни-ческих манипуляторов, навигации в среде с препятствиями, управления колебательными процессами и др. Существенное внимание уделено лабораторной базе - создано специальное лабораторное оборудование, натурные стенды и исследовательское программное обеспечение.
Актуальный научный аспект деятельности группы - разрабатываемый подход к синтезу систем нечеткой обработки информации с применением сетей элементарных вычислителей нечетких логических функций, что позволит улучшить качество и снизить трудоемкость проектирования встраиваемых систем, и повысить качество их функционирования. Рассмотрен также практический аспект аппаратной реализации нечетких вычислителей такого рода.
