CC BY
53
информационные технологии и образование
УДК 377.44:004
об одном подходе к автоматизированной генерации тестовых заданий для контента инструктивного типа
Л. Г. Алсынбаева,
канд. физ.-мат. наук, доцент
Югорский НИИ информационных технологий
Рассматривается один из подходов к автоматизированной генерации тестовых заданий для контента инструктивного типа в системах электронного корпоративного обучения. Задача автоматизации процесса конструирования тестовых заданий базируется на специфических особенностях текстов инструктивного характера и использовании принципов актуального членения предложения при их обработке.
Ключевые слова — электронное обучение, дистанционное обучение, тестовые задания.
Введение
Современный этап развития систем корпоративного обучения в России характеризуется интенсивным внедрением технологий электронного и дистанционного образования, базирующихся на использовании систем электронного обучения (Learning Management System — LMS).
Эти системы позволяют в полной мере осуществлять моделирование учебного процесса, куда входят составление учебных групп, поддержка расписания занятий, формирование различных ведомостей и отчетов; контроль количества пройденного материала и качества его усвоения; работа в асинхронном режиме с возможностью индивидуального подхода к обучающимся; коллективная работа слушателей и преподавателя; поддержка электронных коммуникаций между участниками учебного процесса; разделение участников учебного процесса по функциональным ролям.
E-learning становится новой образовательной парадигмой, но вместе с тем главным фактором успешности проектов в области электронного обучения по-прежнему остается электронный образовательный контент.
Инструктивный образовательный контент и цели обучения
При подготовке электронного образовательного контента выделяют теоретическую часть кур-
са, материал которой может быть представлен в виде Web-страниц, текстовых документов, презентаций, выполненных в MS Power Point, и практическую часть курса, включающую задания и тесты. Теоретическая часть курса, как правило, не имеет интерактивных возможностей взаимодействия с обучаемым, а практическая часть курса обладает интерактивностью и является блоком знаний, обеспечивающим управляющие воздействия в системе электронного обучения. Система практических заданий, контрольных вопросов и тестов является основой (каркасом) для автоматического формирования индивидуальных траекторий прохождения электронного учебного курса. Для того чтобы построить корректную систему управления траекторией обучения, необходимо четко знать, какие учебные цели были поставлены и каким образом проверяется их достижение.
В сфере электронного обучения широко используются различные типы тестовых заданий. Вопрос об установлении соответствия между категориями учебных целей и типами тестовых заданий в настоящее время проработан недостаточно. Имеются отдельные рекомендации, например соответствие типов вопросов учебным целям на основе таксономии Бенжамина Блума [1]. Как известно, Б. Блум выделял следующие категории учебных целей: знание, понимание, применение, анализ, синтез, оценка. Проектируя содержание электронного учебного курса, мы должны исходить из того, что цели, поставленные в данном
курсе, диагностируемы и что практическая часть курса дает возможность сделать выводы об их достижении. Поэтому сначала требуется точно установить категории учебных целей, а затем выбрать типы тестовых заданий, которые будут использоваться в системе электронного тестирования.
В данной статье в качестве образовательного контента будем рассматривать инструкции, освоение которых является актуальной и массовой задачей в системах корпоративного обучения, а категории учебных целей сузим до первых двух — «знание» и «понимание». Обсудим далее особенности построения тестовых заданий для проверки достижения этих целей.
При проверке знаний сотрудников в области инструкций содержание обучения составляют учебные материалы инструктивного характера, подразумевающие то, что их текст имеет строго определенную интерпретацию, не предполагающую его переработку или творческое воссоздание смысла. Следовательно, в данной предметной области категория учебных целей «знание» соответствует повторению полученного текста.
Таким образом, для адекватной проверки усвоения учебного материала, которым в данном случае является инструкция, целесообразно использовать тестовые задания с выбором правильного ответа из нескольких вариантов предложенных ответов. (Такой тип тестовых заданий или вопросов в среде LMS, как правило, называют «множественный выбор».) Так как главная учебная цель — знание инструкции, определяющей перечень правил, регламентирующих работу с оборудованием и поведение в описываемых ситуациях, то тестовые задания должны в точности отражать отдельные пункты инструкций.
Заметим, что существует диаметрально противоположная рекомендация: вопросы не должны повторять формулировок учебника [2]. Однако при освоении контента инструктивного характера имеет место следующая специфика: при формулировании тестового задания специалист, занимающийся их подготовкой, не должен допускать творческой обработки текста инструкции. В каждом тестовом задании должен присутствовать точный текст отдельного пункта инструкции, разделенный на две части — «вопросную» и «ответную». «Вопросная» часть пункта инструкции используется в формулировке вопроса, а «ответная» — как один из вариантов ответа в списке вариантов, предложенных для выбора. Каждое тестовое задание должно соответствовать одному пункту инструкции.
Использование предложенного метода формирования тестовых заданий создает условия для эффективного тренинга за счет многократного прочтения и запоминания пунктов инструкции.
Рассмотрим формирование содержания тестового задания на примере пункта типовой инструкции по охране труда для машинистов насосных установок предприятий нефтепродуктообе-спечения [3].
«1.3. Машинист насосных установок может быть подвержен воздействию отравляющих веществ, повышенной температуры, электрического тока, вибрации».
При составлении тестового задания для данного пункта инструкции, как уже было отмечено, используем тип вопроса «множественный выбор». Существуют два типа вопросов множественного выбора — с одним или несколькими верными ответами. В данном случае используем тип вопроса с одним правильным ответом.
Для формирования тестового задания разделим приведенный выше текст на «вопросную» и «ответную» части. В качестве «вопросной» части используем «машинист насосных установок может быть подвержен», в качестве ответной — «воздействию отравляющих веществ, повышенной температуры, электрического тока, вибрации».
Таким образом, добавив еще несколько вариантов неправильных ответов, мы получим тестовое задание, отвечающее сформулированным выше критериям. Данное тестовое задание проверяет знание инструкции и в ходе тренировки помогает досконально освоить ее пункты, что и требуется для успешной работы сотрудников любой организации. Особенно это касается малых и средних предприятий, которые должны иметь возможность динамично перестраивать производственные процессы и управлять персоналом с учетом изменения нормативной базы, смены технологий и запросов потребительского рынка.
Подготовка электронного образовательного контента — трудоемкий процесс. (Недостаток качественного электронного образовательного контента до сих пор является «узким местом» при внедрении технологий электронного обучения.) Повышение производительности специалистов, занимающихся разработкой контента, важная и актуальная задача.
Автоматизированные технологии подготовки тестовых заданий для контента инструктивного характера
При решении задачи автоматизации подготовки тестовых заданий для текстов инструктивного типа была применена методика, основанная на темарематической структуре текста (инструкций) [4]. При этом под темой понимается старая, известная, освоенная информация, а под ремой — новая информация.
Таким образом, при подготовке тестового задания типа «множественный выбор» можно использовать деление предложения на тему и рему. Выделение темы и ремы в каждом пункте инструкции дает возможность автоматизировать подготовку тестовых заданий (сократить объем ручной работы) не менее чем на 50 %. То есть, рассматривая конструирование тестового задания на основе пункта инструкции, выделяем следующие шаги:
1) формулирование вопроса — выделение «вопросной» части предложения (темы);
2) подготовка правильного варианта ответа — выделение «ответной» части предложения (ремы);
3), 4) подготовка двух вариантов неправильных ответов.
Первые два шага предлагается автоматизировать. Третий и четвертый шаги выполняются вручную. Однако и здесь могут быть внесены элементы автоматизации. С учетом того, что неправильные ответы должны быть правдоподобны, чтобы проверяемый не «вычислил» неправильные ответы по формулировкам, можно частично автоматизировать их подготовку, дублируя на место неправильных ответов правильные варианты с предложением составителю тестового задания внести изменения в их текст, сделав их тем самым неверными вариантами ответов.
Встает вопрос: как выделить в предложении, являющемся пунктом инструкции, тему и рему?
Специалисты в области лингвистики всесторонне разрабатывают вопрос о взаиморасположении компонентов актуального членения в высказывании (темы и ремы), который был впервые сформулирован как чисто лингвистическое явление языковедами Пражской школы. Понятие «актуальное членение предложения» для описания функциональных компонентов повествовательного предложения — ремы, или сообщаемой части, и темы, отправной точки сообщения, было представлено в трудах Пражского лингвистического кружка в 1930-е гг. [5]. Дальнейшее развитие этого вопроса представляет собой в целом более детальную разработку их концепции.
Интересные исследования приводятся в статье М. А. Гончаровой «Классификация высказываний с экспрессивным порядком слов и отношения их в системе» [6]. Автор рассматривает различные виды предложений с экспрессивным порядком слов с точки зрения теории актуального членения высказывания и объясняет некоторые закономерности их употребления.
Проблематика актуального членения активно разрабатывается в настоящее время в рамках различных теорий лингвистической прагматики. Однако вопрос выделения в повествовательном предложении темы и ремы не имеет исчер-
пывающего решения. Более того, в некоторых случаях отнесение части предложения в тему или рему является неоднозначным, зависит от контекста, или может быть несколько в равной степени приемлемых вариантов, выбор которых происходит субъективно.
Интересен также подход в выделении темы и ремы на основе интонации. Рема в русском, английском и многих других языках выражается интонацией определенного типа. Это нисходящий акцент, или падение тона. Данное наблюдение, однако, трудно использовать в вопросе автоматизации деления инструкции на тему и рему.
Остановимся на том факте, что главным средством передачи разного актуального содержания является порядок слов. Последовательность «тема — рема» с точки зрения коммуникативной структуры предложения есть прямой (или объективный) порядок слов. Если рема помещается перед темой, имеем обратный (или субъективный) порядок слов [7].
Автором данной статьи предлагается учитывать специфику инструктивного текста при выделении темы и ремы.
1. Структура предложений инструктивного текста имеет, как правило, прямой порядок слов, т. е. тема помещается перед ремой.
2. В инструкции, подготовленной в соответствии с требованиями написания инструктивного текста, обязательно присутствует и тематический, и рематический компоненты.
3. Наличие двоеточия или частицы «не» в тексте предложения говорит о возможной границе между темой и ремой.
4. В инструктивном тексте (положений, правил, инструкций), как правило, используются слова «должен», «следует», «необходимо», «запрещается», «не допускается» и т. д. (Или, говоря на языке лингвистических терминов, используется модальный оператор необходимости, указывающий на обязательность действия.) Можно составить словарь таких слов, назовем их «ключевыми» словами, наличие которых позволяет выделить тему и рему в соответственно вопросную и ответную части предложения, являющегося пунктом инструкции.
5. Заметим, что «ключевые» слова, обозначающие обязательность действия, в инструкциях часто применяются вместе со смысловыми глаголами, образуя составные сказуемые: «должны применяться», «должны быть оборудованы», «не должны превышать» и т. д. Таким образом, возникает вопрос: как делить составное сказуемое между темой и ремой? Анализ текстов инструкций показал, что целесообразно оставлять в теме составное сказуемое полностью, если в реме не встречается перечисление глаголов, обозначаю-
щих ряд действий, на которые распространяется вспомогательный глагол.
Рассмотрим два примера.
1. «Операторы АЗС должны быть обеспечены спецодеждой, спецобувью и средствами индивидуальной защиты».
2. «В зимнее время пешеходные дорожки и проезжая часть АЗС должны очищаться от снега и льда и посыпаться песком».
В первом случае при делении на тему и рему получаем:
тема: «Операторы АЗС должны быть обеспечены»;
рема: «спецодеждой, спецобувью и средствами индивидуальной защиты».
Во втором случае:
тема: «В зимнее время пешеходные дорожки и проезжая часть АЗС должны»;
рема: «очищаться от снега и льда и посыпаться песком».
Как видно, в первом примере целесообразно все составное сказуемое (которое мы выделяем на основе ключевого слова) оставить в теме. Во втором случае составное сказуемое делится на две части, которые распределяются между темой и ремой.
Возвращаясь к категориям учебных целей, стоит отметить, что следующий уровень учебных целей после «знание» — это «понимание» смысла инструкции. Как проверить понимание смысла инструкции?
Например, зная инструкции безопасного поведения на производстве, сотрудник может не понимать важности их соблюдения и допускать их нарушение. А для понимания требуется выяснить смысл модальных операторов необходимости. Например, «я не должен (я должен)» выясняется с помощью вопросов: «Что бы случилось, если бы вы сделали (не сделали)..?»
Поэтому построение тестовых заданий на понимание смысла инструкции может происходить следующим образом. Для словаря ключевых слов, обозначающих обязательность действия, составим словарь слов (словосочетаний), отрицающих обязательность действия, т. е. указывающих на возможность действия (могу, не могу и т. д.), — используем модальные операторы возможности.
Таким образом, для каждого пункта инструкции составим вопрос: «Что может случиться, если не соблюдается инструкция...», — а далее следует текст пункта инструкции и вопросительный знак. Например, рассмотрим пункт инструкции «Смазочные материалы должны храниться в специальной металлической таре с плотно закрытыми крышками». Для проверки понимания этого пункта зададим вопрос: «Что может случиться, если не соблюдается инструкция: “Смазочные материалы должны храниться в специ-
альной металлической таре с плотно закрытыми крышками?”»
Программная реализация автоматизированной генерации тестовых заданий
Входными данными для программы автоматизированной генерации тестовых заданий для проверки знания инструкций являются файлы инструкций, словарь ключевых слов и словарь окончаний глаголов, входящих в набор ключевых слов.
Выходными данными программы являются тестовые задания для вопросов типа «множественный выбор» в форматах Moodle XML (для загрузки в LMS Moodle) и в формате .doc (если потребуется проводить бланочное тестирование).
В настоящее время программа реализована в виде Windows-приложения «Генератор тестовых заданий» на основе технологии Microsoft .NET Framework 3.5. Данное приложение реализует следующие функции:
1) ввод информации в приложение в виде инструкций и словарей из внешних источников;
2) первичную обработку текста в целях разбиения его на отдельные логические «объекты-вопросы», содержащие тему и рему одного вопроса;
3) разбиение «объектов-вопросов» на «вопрос» задания и «правильный ответ» задания;
4) генерацию базы данных (БД) тестовых заданий на основе этих данных;
5) ручную постобработку тестовых заданий из БД (при необходимости);
6) управление БД;
7) представление данных из БД в форматах Moodle XML и .doc.
Разработка приложения проводится при участии студентов Югорского государственного университета. В настоящее время создана версия 1.0 программы «Генератор тестовых заданий», которая проходит апробацию в Центре информационных технологий тестирования Югорского НИИ информационных технологий.
Перспективы развития системы автоматизированной генерации тестовых заданий для контента инструктивного характера
В процессе данной работы были изучены «Методические рекомендации по разработке государственных нормативных требований охраны труда», справочные материалы по разработке рабочих инструкций, проведен анализ текстов инструкций для различных видов производственной деятельности.
Необходимо заметить, что в ряде случаев тексты инструкций недостаточно корректны. Пре-
жде чем перейти к анализу текста инструкции, обратимся к экономическому словарю, чтобы уточнить данный термин.
«Инструкция (от лат. instructio — наставление) — совокупность правил осуществления определенных видов деятельности, проведения работ, служебного поведения, изложенных в специальных нормативных документах, также именуемых инструкциями. Инструкции призваны, с одной стороны, конкретизировать, разъяснять, дополнять изданные в стране законодательные и нормативные акты, постановления и, с другой стороны, инструктировать исполнителей о том, как они должны действовать в тех или иных ситуациях, в том числе “нештатных” аварийных» [8].
Обратим внимание на тот факт, что инструкция — это совокупность правил, т. е. предложений, выражающих при определенных условиях разрешение или требование совершать или не совершать какое-либо действие. Таким образом, в инструкции целесообразно выделять каждое правило в отдельный пункт.
Однако при анализе текстов инструкций часто обнаруживается объединение нескольких правил в один пункт. Например, рассмотрим «Типовую инструкцию по охране труда для лаборантов химического анализа на предприятиях нефте-продуктообеспечения» [9]. В п. 3.21 присутствуют несколько правил, которые желательно разделить и при проверке знания инструкции сформулировать для них отдельные вопросы.
«3.21 Измельчение едких и ядовитых веществ должно производиться в закрытых ступках под тягой. Лаборант, производящий эту операцию, должен быть в защитных очках и резиновых перчатках. Все ядовитые вещества должны быть на строгом учете. Выдача их без разрешения руководителя лаборатории не допускается».
В данном пункте инструкции сформулированы четыре правила, каждое из которых лаборант должен знать и строго ему следовать.
Литература
1. Корольков А. Что мы проверяем, когда тестируем обучаемых. http://websoft-elearning.blogspot.com/ 2007/03/blog-post_12.html — технологии e-learning.
2. Сайт кадрового центра «Ваша команда». http:// www.vashakomanda.ru
3. Сайт проекта «Охрана труда в предпринимательстве». http://www.tehbez.ru
4. Ягунова Е. В. Тема и рема, данное и новое при восприятии текста // Диалог: Междунар. конф. по компьютерной лингвистике. http://www.dialog-21. ru/dialog2007/materials/html/92.htm
Далее заметим, что инструкция должна быть адресована исполнителю. Причем исполнитель должен получить корректную инструкцию, не допускающую различных толкований.
Рассмотрим п. 3.1 той же инструкции: «Помещения лаборатории должны содержаться в чистоте и порядке. Запрещается загромождать коридоры и входы (выходы) какими-либо предметами, материалами, оборудованием».
В данном пункте инструкции не указано, кто именно должен содержать помещения лаборатории в чистоте и порядке. Сомнительно также, что эта инструкция (указание) относится к лаборанту химического анализа. Но если предположить, что это указание дано лаборанту, то предложение должно быть построено с указанием субъекта, которому адресована инструкция, иначе получаем не инструктивный текст, а текст описательного характера, который не побуждает к правильным действиям участников производственного процесса.
В качестве решения данных проблем предлагается развитие изложенного в статье подхода, когда для генератора тестов готовится база в виде компонентов: тема, связка (ключевое слово), рема. Эта же база может быть источником для генерации самих текстов инструкций. Таким образом, методист готовит исходную инструкцию или производит ее модификацию, редактируя БД.
В заключение заметим, что процесс автоматизации подготовки тестов на основе текстов инструкций является начальным шагом. В дальнейшем контент должен представлять ресурс, который может генерировать как текст инструкции, так и тестовые задания. Причем данный подход позволяет на этапе предобработки откорректировать исходные тексты инструкций в соответствии с требованиями к структуре инструктивного текста, а после создания базы тестовых заданий получить возможность использовать ее для автоматизированной генерации инструкций в целях их использования и обновления.
5. Кругосвет: Энциклопедия. http://www.krugosvet. ru/enc/gumanitarnye_nauki/lingvistika
6. Гончарова М. А. Классификация высказываний с экспрессивным порядком слов и отношения их в системе // Вестник Самарского гос. ун-та. http:// vestnik.ssu.samara.ru
7. http://www.filologdirect.narod.ru
8. Современный экономический словарь. http:// slovari.yandex.ru/dict/economic
9. Сайт Информационной системы Госстроя России по нормативно-технической документации для строительства. http://www.skonline.ru
