CC BY
8
Иртегов Д.В.,
Новосибирский государственный университет (НГУ), доцент, зав.лаб.
Чурина Т.Г.
Новосибирский государственный университет, Институт систем информатики СО РАН, доцент
Мониторинг подготовки одаренных студентов и выпускников вузов, прошедших обучение в рамках специальных учебных групп
Аннотация
Тема доклада — рассмотрение опыта проведения мониторинга подготовки и карьерного роста одаренных студентов и выпускников вузов, прошедших обучение в рамках специальных учебных групп по направлению профессиональной подготовки по циклу в сфере информационных технологий, в ведущих вузах Сибири и Дальнего Востока.
Одной из целей проекта «Подготовка и переподготовка профильных специалистов на базе центров образования и разработок в сфере информационных технологий» в Сибирском и Дальневосточном федеральных округах (СФО и ДФО), проводимого в соответствие с государственным контрактом №07.Р20.11.3003 от 07.09.2011 года, заключенным между Министерством образования и науки Российской Федерации и Федеральным государственным бюджетным образовательным учреждением высшего профессионального образования «Новосибирский национальный исследовательский государственный университет», [1] было проведение мониторинга подготовки и карьерного роста одаренных студентов и выпускников вузов, прошедших обучение в рамках специальных учебных групп.
Большое значение имеет дополнительное профессиональное образование, получаемое студентами во время обучения в вузе, что и было реализовано в течение всего срока исполнения государственного контракта при обучении одарённых студентов в специальных учебных группах. Однако любое обучение должно сопровождаться мониторингом, позволяющим оценить его эффективность и приближенность к современному уровню развитию информационных технологий. В проведении мониторинга подготовки выпускников вузов принимали участие вузы: Алтайский государственный университет им. И.И. Ползунова; Дальневосточный федеральный университет; Кемеровский государственный университет; Сибирский федеральный университет;
Новосибирский национальный исследовательский государственный университет; Новосибирский государственный технический университет; Омский государственный университет им. Ф.М. Достоевского; Национальный исследовательский Томский государственный университет; Томский государственный университет систем управления и радиоэлектроники .
В режиме видеоконференции представителями вузов проведён анализ методических рекомендаций, предоставленных Заказчиком [1] по оценке подготовки студентов вузов в области информатики и программирования в СФО и ДФО и создана экспертная комиссия.
Критерии оценки уровня подготовки студентов
В соответствии с рекомендациями Заказчика, экспертная оценка уровня подготовки студентов в области информатики и программирования может проводиться по одной из следующих форм:
• Экспертная оценка уровня подготовки студента по результатам подготовленных им учебно-исследовательских работ: курсовых работ и проектов, инициативных научно-исследовательских работ, работ по научным грантам и т.д.
• Экспертная оценка уровня подготовки студента по результатам выступления на конференциях и симпозиумах;
• Экспертная оценка уровня подготовки по результатам тестовых испытаний;
• Экспертная оценка достижения студентов, показанных на олимпиадах по информатике и программированию разного уровня. Экспертная комиссия сделала несколько замечаний. А именно,
курсовые работы и проекты входят в учебные планы не всех вузов и не всех направлений подготовки, поэтому выбор этого критерия в качестве основного приведет к неравномерной выборке по вузам и факультетам. Кроме того, требования, предъявляемые к курсовым работам, в разных вузах различаются.
Второе замечание состоит в том, что оценка уровня подготовки студента по выступлениям на конференциях и симпозиумах также может привести к неравномерной выборке, поскольку студенты, как правило, выступают на конференциях и симпозиумах на старших курсах, по темам, связанным с темами квалификационных работ. Поэтому выбор такого критерия отбора в качестве основного приведет к сильному смещению выборки в сторону студентов старших курсов.
Третье замечание касается оценки уровня подготовки студента по выступлениям на олимпиадах по программированию. Этот критерий аналогично может привести к перекосам в выборке. Известно, что многие одаренные студенты по различным причинам, таким, как отсутствие времени или «неспортивный» склад характера, не участвуют в олимпиадах или участвуют, но показывают невысокие результаты.
Отбор по результатам тестовых испытаний лишен недостатков всех перечисленных выше критериев отбора. Это связано с тем, что тестовые испытания проводятся по единым правилам, что позволяет сравнивать результаты студентов разных курсов и разных вузов, имеют больший охват, чем олимпиады вузовского уровня и в них могут участвовать студенты всех курсов. Последнее достигается тем, что составляется такой набор тестов, который не требует знаний и навыков, приобретенных на старших курсах, например, вычислительные методы или криптографию. Таким образом возможно, в определенной степени, «выровнять поле» и обеспечить разумную степень равенства шансов для младше- и старшекурсников.
Разумеется, тестовые испытания не обеспечивают полной и всесторонней оценки знаний и навыков, но в рамках данной работы при учете других критериев и учете рекомендаций педагогов, это способ, который позволит отобрать действительно заслуженных студентов. Методика автоматизированных тестовых испытаний С целью проведения отбора студентов для мониторинга подготовки и карьерного роста была разработана методика автоматизированных тестовых испытаний и проведены сами испытания.
Основными целями проведения тестирования были апробация учебно-методического и программного обеспечения для реализации мониторинга подготовки и карьерного роста одаренных студентов и выпускников вузов; повышение качества подготовки специалиста в области информационных технологий, развитие знаний и умений студентов вузов по ключевым направлениям профессиональной деятельности, выявление интереса к профессиональной деятельности.
Тестирование проводилось в один этап с использованием автоматизированной системы NSUts [2, 3, 4]. Студенты, показавшие лучшие результаты при тестировании, и лучшие результаты в интернет-испытаниях, проводимых Заказчиком, были отобраны для дальнейшего мониторинга.
Тестирование может производиться как очно, так и дистанционно. При дистанционном тестировании участники могут работать на рабочих местах в собственном вузе или по территориальной близости собираться в одном вузе. Для проведения тестирования вузом-организатором (НГУ) была создана рабочая группа, которая:
• установила регламент проведения тестирования;
• обеспечила непосредственное проведение тестирования;
• сформировала состав технического комитета. В состав технического комитета были приглашены специалисты других вузов и предприятий, имеющие опыт проведения международных и всероссийских олимпиад и соревнований по программированию.
• сформировала состав методической комиссии из специалистов, имеющих опыт проведения международных и всероссийских
олимпиад и соревнований по программированию.
• принимала решения в случае возникновения непредвиденных ситуаций.
Методическая комиссия тестирования:
• разработала комплект задач для тестирования;
• для каждой задачи был подготовлен комплект тестов для проверки правильности работы программ участников;
• отвечала на вопросы участников по условию задач во время тура;
• по окончании тестирования по запросу участников выдала разъяснения к задачам.
Технический комитет тестирования обеспечил:
• работу компьютеров и серверов;
• функционирование сайта тестирования http://olimpic.nsu.ru, системы регистрации и оповещений;
• регистрацию участников;
• работу тестирующей системы.
Тестирование проходило в несколько дней. Тестирующая система NSUts работает круглосуточно. Для тестирования должно быть предложено от шести до двенадцати задач. Настолько, насколько это возможно, задачи не должны опираться на знание конкретных предметных областей и языков программирования.
Во время тестирования участники решали предложенные задачи. Решением задачи является исходный текст программы, составленной на одном из допустимых языков программирования. Программа не должна содержать вспомогательных модулей или файлов. Разные задачи можно решать на разных языках программирования.
Проверка решений производилась во время тестирования. С помощью разработанного техническим комитетом интерфейса команды посылали свои решения на проверку. Тестирующая система компилировала программы, используя, указанные в регламенте компиляторы командной строки, и автоматически проверяла их на заданном наборе тестов.
Решения участников проверялись на заранее подготовленном методической комиссией наборе тестов. За каждый успешно пройденный тест, участник получал определенное количество баллов. Максимальное количество баллов, которое могло быть получено за одну задачу - 100. После окончания тестирования, сумма всех баллов за все решенные задачи суммировадась. Полученная сумма и есть результат теста.
Время тестирования решения, а также доступная память на каждом тесте ограничены. Решения, превысившие установленное ограничение, считаются неэффективными для данной задачи. В этом случае тест считается не пройденным, а решение, как следствие, неверным. Ограничения на время работы и объём памяти для программы на одном тесте указываются в формулировках задач.
Решение должно выдавать одинаковые ответы на одинаковые тесты, независимо от времени запуска и программного окружения. При проверке задачи может быть проведено неограниченное количество повторных тестирований программы участника и быть выбран наихудший результат по каждому из тестов.
За нарушение правил тестирования или нарушение хода тестирования другим способом (например, неподобающее поведение; посылка чужих решений от своего имени; попытка взлома тестирующей системы) участник может быть дисквалифицирован.
Участники тестирования могли представлять решения на одном из языков программирования, указанных в описании системы NSUts.
Решение проверялось на закрытом от участников наборе тестов, одинаковом для всех тестирующихся. Решения участников не должны:
• использовать сетевые средства;
• использовать ассемблерные вставки;
• использовать любой ввод/вывод кроме открытия, закрытия, чтения и записи файлов и стандартных потоков, указанных в условии задачи;
• умышленно атаковать систему тестирования;
• исполнять другие программы и создавать новые процессы;
• изменять права доступа к файлам и каталогам;
• работать с подкаталогами;
• создавать элементы оконного интерфейса и оперировать с ними;
• работать с внешними устройствами;
• совершать другие действия, которые могут помешать ходу тестирования.
Система проведения тестирования и технический комитет могут использовать любые средства для обнаружения нарушений правил тестирования. На практике, применяется автоматический анализ исходного кода на предмет наличия ассемблерных вставок, запуск программ в изолирующей среде [5] и выборочный просмотр исходного кода. В случае обнаружения нарушений технический комитет предоставляет
необходимую информацию экспертной комиссии, который выносит на обсуждение вопрос о дисквалификации участника-нарушителя.
Проверка решений происходила автоматически, поэтому программа должна строго следовать форматам входного и выходного файлов, описанным в условии задачи. Если в условии задачи явно не оговорено обратное, можно считать, что входные данные корректны и соответствуют ограничениям, заданным в условии задачи.
По окончании проверки решения тестирующей системой участнику предоставлялся результат. В нем указывалось, сколько тестов решение успешно прошло, и количество полученных баллов.
Первые несколько тестов должны соответствовать примерам из условия задачи. Остальные тесты чаще всего отсортированы таким
образом, чтобы простые тесты шли раньше сложных, однако соблюдение этого принципа не гарантированно.
Методическая комиссия провела анализ заданий студенческих олимпиад различного уровня, тестовых заданий по информатике, применяющихся в разных вузах, учебных планов и программ вузов региона, федеральных государственных образовательных стандартов третьего поколения и государственных образовательных стандартов второго поколения высшего профессионального образования. В результате была определена тематика и сложность задач, соответствующая как образовательному стандарту, так и уровню подготовки участников в вузах. Проведение телеконференций способствовало подготовке заданий в режиме удаленного взаимодействия. При подготовке заданий специалисты методических комиссий руководствовались следующими учебно-методическими рекомендациями:
10.При разработке задач тестирования следует придерживаться принципа, что задачи должны быть разнообразными по тематике и не требовать знаний, которые не соответствуют программам вузов.
11.Комплект задач должен содержать как задачи, доступные многим участникам тестирования, так и задачи, позволяющие проявить себя наиболее сильным участникам. В этой связи количество задач должно быть не менее 8.
12.Текст каждой задачи должен содержать описание задачи, максимальное время работы программы на отдельном тесте, размер доступной программе памяти в процессе ее исполнения, форматы входных и выходных данных и примеры входных и выходных данных.
13. Комплект тестов для каждой задачи должен разрабатываться таким образом, чтобы жюри могло в максимальной степени оценить все возможные типы алгоритмов, которые могут быть использованы в решениях участников, и выявлять некорректные, неэффективные и частичные решения. Рекомендуется в комплект тестов включать следующие группы тестов:
• простые тесты;
• общие тесты (достаточно случайные тесты, разные по размеру: от простых тестов до сложных);
• тесты, проверяющие наличие эвристик в алгоритмах;
• тесты максимальной размерности (тесты с использованием максимальных значений входных переменных, позволяющие оценить эффективность предложенных алгоритмов или их работоспособность при максимальной размерности задачи).
В результате работы методической комиссии были составлены задачи различной сложности и тематики, тесты, программы, проверяющие решения участников, в Сибирском и Дальневосточном федеральных округах. Всего участникам предложено 8 задач различной степени
сложности.
В системе NSUts для участия в тестировании зарегистрировались 597 студентов, бакалавров и магистрантов из вузов Сибири и Дальнего Востока В таблицах 1 и 2 приводится статистика по количеству решенных задач и по оценке их сложности. Процент участников, не решивших задачу, определяет ее фактическую сложность.
Табл. 1. Статистика по количеству решенных задач
Количество задач 8 7 6 5 4 3 2 1 0
Количество участников, решивших данное количество задач (100 баллов) 24 7 4 8 19 24 52 85 14 1
Количество участников, решивших данное количество задач (положительное число баллов) 35 17 2 9 33 42 51 71 74 12
Табл. 2. Фактическая сложность задач
Номер задачи 1 2 3 4 5 6 7 8
Количество участников, решивших эту задачу (100 152 53 72 52 171 89 34 43
баллов)
Количество и процент 284 88 140 95 25 99 47 147
участников, не решивших 65,1 62.4 66 64.6 59.4 52.7 58 77.4
задачу
Участники, набравшие 270 80 135 89 247 99 45 128
ненулевое число баллов
Во время проведения тестирования на проверку в автоматическую систему тестирования было сделано 8299 посылок. Попытки сдать хотя бы одну задачу предпринимали 365 участников, при этом 353 из них получили более 0 баллов.
По результатам тестирования с использованием автоматизированной системы NSUts для дальнейшего мониторинга было отобрано 94 студента из спецгрупп вузов Сибирского и дальневосточного округов. Все эти студенты набрали не менее 400 баллов.
Заключение
С целью апробации учебно-методического и программного обеспечения для реализации мониторинга подготовки студентов, а также с целью отбора студентов для мониторинга было проведено тестирование знаний и навыков программирования в Сибирском и Дальневосточном федеральных округах.
Для проведения тестирования был разработан регламент тестирования, сформированы экспертная комиссия, методическая комиссия и технический комитет, в которые вошли специалисты, имеющие опыт преподавания и работы в студенческих и школьных, международных
и всероссийских олимпиадах, в соревнованиях по программированию. Были подготовлены площадки, компьютерные классы, программное обеспечение, компьютеры для работы технического и методического комитетов и серверная инфраструктура. Методической комиссией был разработан комплект задач разной тематики и сложности.
Исходя из анализа результатов тестирования, статистики по решению и сложности задач, а также бесперебойной работы технического и программного обеспечения во время проведения тестирования можно сделать вывод, что апробация учебно-методического и программного обеспечения для мониторинга подготовки студентов в Сибирском и Дальневосточном федеральных округах прошла успешно.
Литература
1. Номер открытого конкурса: 04.02-003-п-Ф-50 [Электронный ресурс]. URL: zakupki.gov.ru/pgz/documentdownload?documentId=35980492.
2. Автоматизированная система тестирования NSUts [Электронный ресурс]. URL: http://olympic.nsu.ru/nsuts-test/nsuts_new_login.cgi.
3. Е.Н. Боженкова, Т.В. Нестеренко, Т.Г. Чурина Применение автоматизированной системы тестирования NSUts в учебном процессе// Труды Ершовской конференция "Перспективы систем информатики", Секция «Информатика образования». 2011, стр. 2325.
4. Чурина Т.Г, Иртегов Д.В. Требования к автоматической системе тестирования знаний// Труды VI Международной конференция «Интеллектуальные технологии в образовании, экономике и управлении», декабрь 2009, Воронеж.
5. Киров А.В. Изолирующая среда для запуска тестовых прикладных программ // Материалы VII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Студент и современные информационные технологии». - Томск: Томский политехн. ун-т. 2009. - С. 285-286.
