CC BY
22
УДК 811.111 '243:378.662.147.014 БО!: 10.17223/19996195/38/18
ОЦЕНКА РЕЗУЛЬТАТИВНОСТИ ПРОГРАММ ЯЗЫКОВОЙ ПОДГОТОВКИ, ОБЕСПЕЧИВАЮЩИХ УСЛОВИЯ ИНТЕРНАЦИОНАЛИЗАЦИИ ВУЗА: ОПЫТ ИННОВАЦИОННОГО ТЕХНИЧЕСКОГО ВУЗА
Т.Г. Петрашова
Аннотация. Существенным препятствием на пути реализации стратегии интернационализации в российских вузах стал недостаточный уровень владения иностранным языком. Так, развивать академическую мобильность и принимать участие в международных программах способны только те студенты, уровень английского языка которых позволяет активно и свободно решать возникающие коммуникативные задачи. Иными словами, уровень владения языком становится показателем готовности к интеграции в международную профессиональную и академическую среду. Очевидный разрыв между имеющимися образовательными стандартами по иностранному языку и социальным заказом привел к тому, что проблема обучения английскому языку в российских вузах в настоящее время стоит достаточно остро. В университетах решение данной задачи в большей степени возложено на языковые кафедры. Однако отсутствие механизма получения объективной информации о качестве образовательных услуг и, соответственно, об уровне владения языком по окончании программ не позволяет адекватно оценивать языковую ситуацию в вузе и, тем более, принимать какие-либо управленческие решения, связанные с интеграцией в международную образовательную среду. Кроме того, эффективное управление процессом обучения и его совершенствование вряд ли возможны без создания системы мониторинга. На протяжении длительного времени поиском оптимального механизма диагностирования и оценки учебных достижений учащихся занимаются как зарубежные, так и отечественные ученые и практики. В данном исследовании в качестве такого механизма рассматривается независимое стандартизированное тестирование для осуществления максимально объективного контроля на основе качественных и количественных показателей. Анализ результатов мониторинга эффективности программ языковой подготовки студентов с использованием стандартизированных тестовых технологий показал целесообразность разработки и использования инструментария, позволяющего получать актуальную информацию для улучшения качества языкового образования в техническом вузе инновационного типа. Впервые результаты независимого оценивания были использованы для принятия важных управленческих решений в университете и внесения значимых корректировок в учебный процесс. Ключевые слова: интернационализация вуза; английский язык; тестирование; стандартизация теста; эффективность программы языковой подготовки; оценка результативности.
Введение
Одной из проблем, с которой столкнулись российские вузы на рубеже ХХ-ХХ! вв., стала необходимость интенсивной интернациона-
лизации образования. Интернационализация в целом оказалась одним из основных признаков современного общественного развития. Для вузов данное явление, помимо всего прочего, является мерилом их конкурентоспособности на образовательном рынке, воплощая идею доступности и открытости как образования, так и науки. В контексте развития информационных технологий одним из императивов современного процесса интернационализации исследователи называют глобализацию, выделяя в качестве основной задачи университетов подготовку специалистов, обладающих необходимыми компетенциями для жизни и успешной трудовой деятельности в поликультурной и многоязыковой среде [1, 2].
По мнению экспертов, на этом пути не у всех университетов равные стартовые позиции. Так, например, университеты США, Великобритании, Канады и Австралии уже находятся в положении лидирующих, имея явные конкурентные преимущества: официальным языком в этих странах является английский, ставший основной интернационального общения и используемый уже пятой частью населения Земли; популярность культуры; высокий уровень развития национальной экономики; средства, выделяемые на образование и науку; международное признание их исследовательских и инновационных возможностей и др. [3. С. 733]. Для вузов других стран формирование потенциала, соответствующего глобальной среде, - серьезный вызов и первостепенная задача.
Международная деятельность, распространение иностранных языков, взаимодействие учебных культур и билингвальное образование являются важными условиями интернационализации высшего образования. В процессе билингвального образования обеспечивается освоение обучающимися образцов и ценностей мировой культуры и науки средствами родного и иностранного языков [1]. Ввиду глобальности английского языка, он выступает в качестве основного инструмента, с помощью которого осуществляется познание мира специальных знаний, усвоение научного, культурно-исторического и социального опыта различных стран и культур [4. С. 158]. В связи с этим существенной потребностью вузов в формировании потенциала становится языковое развитие обучающихся.
Следует отметить, что активное внедрение стратегии интернационализации в российских вузах в течение последнего десятилетия привело к значительным успехам в формировании как внутренних, так и внешних факторов этого процесса. Однако серьезным препятствием на пути реализации данной стратегии стал недостаточный уровень владения иностранным языком. Так, например, развитие академической мобильности студентов, получая значительную ресурсную поддержку, было и остается одним из приоритетных направлений деятельности по развитию внешней интернационализации вуза. Вместе с тем студенты,
владеющие английским языком на высоком уровне, имеют больше возможностей принять участие в программах академической мобильности, международных научно-исследовательских проектах или быть зачисленными на совместные образовательные программы [5]. В сложившейся ситуации принципиально важное значение приобретает «языковой потенциал вуза». Иными словами, становится актуальным выделение доли студенческой аудитории с высоким уровнем владения английским языком. Кроме того, существует очевидная необходимость в увеличении доли таких студентов для обеспечения роста академической мобильности.
Исследование
Одним из направлений данного исследования было определение результативности программ и курсов по обучению студентов английскому языку в одном из ведущих вузов России, Томском политехническом университете, являющимся вузом инновационного типа и претендующим на передовые позиции в общемировых рейтингах.
В университете уделяется большое внимание развитию лингвистической и межкультурной компетенции студентов технических специальностей как в рамках аудиторной, так и в ходе внеаудиторной работы. Концепция программы языковой подготовки включает четыре этапа, каждый из которых имеет свои целевые установки (табл. 1).
Т а б л и ц а 1
Структура программы языковой подготовки в университете
Этап Год обучения Уровень подготовки Целевые установки развития англоязычной коммуникативной компетенции
Первый 1-2 Бакалавриат Общение в ситуациях, характерных для сфер повседневной жизни студента, включая учебную; подготовка к использованию английского языка для профессиональных целей
Второй 3-4 Бакалавриат Интеграция профессиональной и языковой подготовки, изучение специальных дисциплин на английском языке
Третий 5-6 Магистратура Профессиональная и научная деятельность, изучение специальных дисциплин на английском языке
Четвертый 7 Аспирантура Научно-исследовательская деятельность на английском языке
Реализацию концепции осуществляют пять языковых кафедр, прикрепленных к институтам, отвечающим за подготовку специалистов различных инженерных направлений. Соответственно, результативность программ и курсов по обучению английскому языку студентов на
кафедрах является важным фактором, способствующим решению задач последовательного увеличения доли студентов, вовлеченных в международный образовательный процесс, расширению научной кооперации и развитию всестороннего партнерства.
С целью получения объективной информации, позволяющей оценить степень сформированности иноязычной коммуникативной компетенции студентов, был осуществлен мониторинг результатов обучения английскому языку в университете. Использование методов мониторинговых исследований позволило решить ряд задач, а именно: разработать инструментарий и провести наблюдение за состоянием объекта на основе установленных показателей; определить степень отклонения фактически полученных данных от прогнозируемых; диагностировать отклонения в состоянии на основе полученных данных и сформировать основания для возможных путей их устранения; сформулировать предложения для оперативных, своевременных управленческих решений по улучшению процесса в соответствии с поставленными стратегическими целями и выработанными плановыми показателями вуза [6. С. 34].
Опираясь на опыт ряда передовых зарубежных стран и учитывая запланированный массовый характер оценочных процедур, а также необходимость обеспечения объективных и сопоставимых результатов оценки, в качестве основного инструмента получения данных было использовано стандартизированное тестирование с привлечением современного научно-обоснованного комплекса контрольно-измерительных материалов и технологий. Классическая теория тестов и ее основные теоретические положения, которые в настоящее время остаются ведущими в области языкового тестирования, были разработаны и представлены Л. Бахманом [7]. Следует отметить, что при всей популярности слова «тест» и возросшей в последние годы частотностью его употребления, пользователи семантизируют это слово по-разному. В массовом сознании тесты отождествляются с любыми письменными заданиями (открытые или закрытые, включающие задания множественного выбора, соответствия и др.). В данном контексте под лингводедактиче-ским тестом понимается, прежде всего, измерительный инструмент, с помощью которого выявляются и измеряются специфические образцы речевых умений и навыков индивида. Требования, предъявляемые к нему как стандартному измерительному инструменту, а именно обеспечение надежности измерения и валидности интерпретации его результатов, являются определяющими.
К особенностям стандартизированного теста, отличающим его от контрольных работ и нестандартизированных тестов, исследователи, как отечественные, так и зарубежные, относят следующее: тесты разрабатываются в строгом соответствии с теорией тестов; тесты имеют
устойчивые статистические характеристики для определенного контингента испытуемых; процедура тестирования стандартизирована (т.е. администрирование тестов, проверка, обработка и интерпретация их результатов проводятся по единым правилам); тесты ориентированы не на констатацию наличия у учащихся отдельных усвоенных знаний, навыков или умений (хотя данная информация может быть получена по результатам выполнения тестов), а на определение степени сформиро-ванности иноязычной коммуникативной компетенции или ее компонентов [8-11].
Анализ существующих работ по тестированию показал, что значительное количество исследований и дискуссий ассоциированы с интерпретацией результатов тестирований, проводимых в рамках авторитетных международных экзаменов (IELTS, TOEFL и др.). Данные работы поднимают вопросы надежности такого уровня тестов, их практичности, а также возникающие этические и политические проблемы [12, 13]. Периодически появляются исследования, описывающие результаты, полученные в процессе использования различных оценочных технологий преподавателями английского языка на практических занятиях [14-16].
В настоящей работе представлен анализ результатов независимого стандартизированного тестирования студентов технического вуза, осуществленного в рамках всего университета. Использование стандартизированной процедуры тестирования на университетском уровне способствовало понимаю того, что оценочные процедуры такого плана, и тем более их содержательная составляющая, обладают сильным когнитивным, мотивационным и дидактическим эффектами, а также способны существенно влиять на образовательные системы и процессы в целом [17]. Так, результаты проведенных тестирований были использованы для принятия решений, направленных на последовательное и значительное повышение качества языкового образования в университете.
В качестве стандартизированного средства мониторинга успешности языковой подготовки студентов всех направлений и специальностей был разработан формат Прогресс-теста по английскому языку. Стандартизация предполагала единообразие как алгоритма проведения, так и оценки результатов тестирования. Мониторинг эффективности программы языковой подготовки был интегрирован в процесс обучения бакалавров 1-2-х курсов по дисциплине «Иностранный язык» на первом этапе Программы языковой подготовки (в течение двух лет, 20122014 гг.) и проводился в соответствии с установленной процедурой: на входе в образовательную программу (входное тестирование (Т1), осень 2012 г.); по итогам первого года обучения в конце 2-го семестра (рубежное тестирование (Т2), весна 2013 г.); по итогам второго года обучения в конце 4-го семестра (рубежное тестирование (Т3), весна 2014 г.).
Согласно Программе, основной акцент на первом этапе был сделан на совершенствование лингвистического и речевого компонентов коммуникативной компетенции [18. С. 165]. В связи с этим Прогресс-тест был направлен на определение степени языковой готовности студентов к изучению специальных дисциплин на английском языке и ведению самостоятельной образовательной и научной деятельности на старших курсах по окончании данного этапа (табл. 1). По мнению исследователей, основной проблемой включения обучающихся в процесс изучения специальных дисциплин на английском языке является преодоление разрыва между общей языковой компетенцией студентов и их способностью применять полученные знания в процессе изучения специальной дисциплины. В этом плане языковые умения и навыки должны играть жизненно важную роль, помогая студентам в приобретении новых знаний. В качестве приоритетных выделяют следующие коммуникативные умения: говорение, восприятие на слух, чтение и письмо; при этом важную роль играют такие составляющие, как лексика, социокультурный компонент и грамматика [19. С. 828].
В качестве ключевых умений и навыков, контролируемых Прогресс-тестом, были определены чтение и лексико-грамматические навыки, поскольку наличие именно этих компетенций видится прочной основой для дальнейшего совершенствования коммуникативной компетенции в профессиональных и академических целях. Несмотря на то что грамматический аспект языка всегда был предметом интенсивных дискуссий, тем не менее, в обучении иноязычному общению грамматика не может не занимать важного места. С одной стороны, грамматика - «своего рода каркас», на котором базируется лексика, а с другой стороны, от грамматической корректности и вариативности грамматических структур, адекватных ситуации, зависит, будет ли взаимодействие успешным или «потерпит неудачу или даже провал» [20. С. 146].
В свою очередь, развитие навыков коммуникативного чтения является одной из основных целей обучения иностранному языку, ориентированных на его практическое использование. Чтение является главным инструментом удовлетворения познавательных потребностей будущих специалистов и основой для совершенствования коммуникативной компетенции в целом, а также отдельных ее компонентов. От сформированности умений чтения зависит развитие способностей, овладение которыми характеризует готовность студентов осуществлять профессиональную деятельность: способность самостоятельно приобретать с помощью информационных технологий новые профессиональные знания и умения; обобщать отечественный и зарубежный опыт в профессиональной области; способность и готовность специалиста к самостоятельному обучению и освоению новых знаний и умений, непрерывному профессиональному росту и самосовершенствованию на
протяжении всего периода профессиональной деятельности. Таким образом, чтение, с одной стороны, способствует совершенствованию коммуникативной компетенции, а с другой - позволяет удовлетворить профессиональные информативные потребности специалистов, предоставляя им возможность в будущем самостоятельно приобретать знания с помощью иностранного языка, тем самым способствуя формированию интегральной профессионально-личностной компетентности, основу которой составляют: learning to be - учиться быть; learning to know - учиться знать; learning to do - учиться делать; learning to live together - учиться жить вместе [21].
На ограниченный выбор проверяемых тестом умений повлияли и такие внешние факторы, как ресурсное обеспечение процедуры тестирования, время, выделенное на его проведение, и др. Уровень сложности языкового материала и проверяемых умений в тесте был соотнесен с уровнями владения иностранным языком, определенными Советом Европы [22. С. 23-30]: повышенный уровень В1 - высокий уровень В2.
Как уже говорилось выше, в рамках единого Прогресс-теста проводились три процедуры тестирования, через равные промежутки времени и с приблизительно равным количеством часов, заложенных в программы языковой подготовки на кафедрах. В тестированиях принимали участие все студенты, поступившие в университет в 2012 г. Показателем эффективности языковой подготовки каждого студента рассматривалось увеличение тестового балла по сравнению с результатами предыдущих тестирований.
Прогресс-тест состоял из двух разделов: «Использование языка» и «Чтение». В разделе «Использование языка» проверялись навыки оперирования грамматическими структурами в коммуникативно значимом контексте. В разделе «Чтение» оценивались сформированность умений выборочного и / или полного и точного понимания предложенных текстов, а также умение извлекать детальную информацию из прочитанного текста. Тест состоял из 50 заданий с выбором одного правильного ответа. В раздел «Использование языка» было включено 30 заданий на дополнение предложений правильными грамматическими структурами и 10 заданий на нахождение ошибки в одном из выделенных фрагментов предложения. В разделе «Чтение» 10 заданий: по 5 заданий к двум коротким текстам (250-350 слов) научно-популярного и / или публицистического характера. Верное выполнение каждого задания оценивалось 2 баллами. За неверный ответ или отсутствие ответа выставлялось 0 баллов. Частично правильные ответы и оценки в 1 балл за задание не были предусмотрены. Общий тестовый балл определялся суммой баллов, полученных за верное выполнение заданий теста. Максимальное количество баллов составляло 100.
Сопоставление результатов выполнения Прогресс-теста, полученных на входе в образовательную программу (Т1), в конце 1-го года обучения (Т2) и в начале 4-го семестра (Т3), позволило составить индивидуальный профиль успешности обучения студентов по дисциплине «Иностранный язык» относительно образовательных стандартов университета по аспектам «Использование языка» и «Чтение».
Прогресс-тест выполнялся в компьютерной форме в Интернете на базе системы управления обучением ЫООБЬБ. Для проведения тестирования использовались аудитории, оснащенные персональными компьютерами с доступом в Интернет. Тестирование осуществлялось в режиме онлайн в контролируемых условиях и без участия преподавателей, ведущих занятия. Для проведения тестирования привлекались наблюдатели, предварительно прошедшие инструктаж.
В ходе выполнения теста студенты могли делать черновые записи на бланках, выдаваемых организаторами перед началом тестирования. Однако черновые записи при проверке не рассматривались. Проверка выполнения отдельного задания и теста в целом производилась автоматически. Общий тестовый балл сообщался студенту сразу после окончания тестирования. Время тестирования - 45 минут с момента входа студента в тест. Инструктаж, предшествующий тестированию, не входил в указанное время. В ходе тестирования использование словарей и дополнительной методической литературы, мобильных устройств связи и других источников информации не допускалось.
Тематика текстов относилась к различным областям академического знания, вне зависимости от выбранной специальности (научно-популярные и публицистические тексты). Для понимания текстов и успешного выполнения заданий не требовались специальные знания по изучаемым студентами дисциплинам. В тесте был задействован следующий грамматический материал (табл. 2).
Т а б л и ц а 2
Используемый грамматический материал в тесте
№ п/п Английский язык
1 Временные формы глагола (tenses)
2 Залоговые формы глагола (active, passive)
3 Неличные формы глагола (инфинитив, герундий, причастия)
4 Модальные глаголы
5 Способы выражения нереальных действий (subjunctive, would + infinitive)
6 Сложные дополнения с неличными формами глаголов и прилагательными (complex object, causative)
7 Способы выражения обстоятельства времени (time expressions)
8 Местоимения
9 Степени сравнения прилагательных и наречий
10 Порядок употребления определений
О к о н ч а н и е т а б л. 2
№ п/п Английский язык
11 Числительные
12 Единственное / множественное число существительных
13 Притяжательная форма существительных
14 Артикли
15 Связующие элементы в предложениях (предлоги, союзы)
16 Фразовые глаголы (phrasal verbs)
17 Образование вопросов и вопросительные местоимения
18 Прямая и косвенная речь. Порядок слов и согласование времен
19 Структура и порядок слов в предложении. Инверсия
20 Формы выражения подлежащего. Формальное подлежащее (there, it)
21 Согласование между членами предложения (подлежащее - сказуемое, однородные члены)
На всех трех тестированиях (2012-2014 гг.) студентам предъявлялась одна и та же батарея тестов единого формата, разработанных в соответствии со спецификацией. Батарея тестов формировалась из единого банка заданий (общее количество заданий в банке 500). Из заданий автоматически формировались 15 вариантов теста, по 50 заданий в каждом. Каждое задание было включено не менее чем в двух различных вариантах теста. Для всех тестовых заданий был проведен анализ статистических характеристик. В процессе анализа использовались статистические показатели индивидуальных характеристик заданий, а также показатели параллельности вариантов.
Индивидуальные характеристики заданий и показатели неудовлетворительного качества предполагают следующее: а) трудность, выраженная в доле тестируемых, не справившихся с заданием, от общего числа тестируемых - значение, равное 0 или 1 либо близкое к ним; б) показатели корреляции между результатом выполнения задания и баллом за раздел, в который входит задание, а также показатели корреляции между результатом выполнения задания и тестовым баллом -отрицательное или равное 0 значение, а также невозможность вычислить показатель из-за деления на 0 при показателях трудности, равных 0 или 1; в) относительная дифференцирующая сила, выраженная в разности между долями справившихся с заданием в группах 28% тестируемых с высшими и низшими баллами - отрицательное или равное 0 значение.
Под параллельностью вариантов теста понимается средняя трудность, выраженная в среднем значении долей тестируемых, не справившихся с заданиями, от общего количества тестируемых - различие между значениями средней трудности, превышающее 0,1, признается значительным (различие в пределах 0,06 - незначительным).
Таким образом, опираясь на статистические данные, качество 90% заданий теста было признано удовлетворительным. Задания с неудовлетворительными статистическими показателями были подвергнуты переработке. Параллельность вариантов по трудности была также признана удовлетворительной, так как общее значение трудности всех вариантов колебалось в пределах 0,56-0,64 и было приблизительно равно 0,1.
Общее количество обучающихся, участвовавших в мероприятиях Прогресс-теста, было следующим: во входном тестировании (Т1) участвовали 1 813 (87%) студентов; в рубежном тестировании (Т2) -1 547 (79%); в рубежном тестировании (Т3) - 1 477 (83%).
Оценка эффективности языковой подготовки основывалась на сравнении индивидуального тестового балла студентов по итогам входного и последующих рубежных тестирований. При сравнении учитывались только результаты студентов, прошедших все три тестирования. Их количество составило 65% (1 154 студента). Прирост средних значений тестового балла Т3 по английскому языку по сравнению с Т1 и Т2 представлен в табл. 3.
Т а б л и ц а 3
Прирост средних значений тестового балла по результатам тестирований (Т1, Т2, Т3)
Показатель Т1 Т2 Т3
Средний балл 36,8 41,5 47,0
Коэффициент вариации 38% 37% 37%
Прирост среднего балла Т1-Т2 (+4,7) Т2-Т3 (+5,5) Т1-Т3 (+10,2)
Для анализа прироста среднего балла были определены направления динамики между двумя результатами, соответствующие знаку (+/-) разности этих результатов:
-положительная - увеличение результата тестирования в 4-м семестре (Т3) по сравнению с результатом тестирования в конце 2-го семестра (Т2);
- неизменная (отсутствие динамики) - равенство результатов тестирования в 4-м семестре (Т3) и тестирования в конце 2-го семестра (Т2) (разность равна 0);
-отрицательная - уменьшение результата тестирования в 4-м семестре (Т3) по сравнению с результатом тестирования в конце 2-го семестра (Т2).
Так, в целом по университету 732 студента (63%) получили результаты с положительной динамикой тестового балла по английскому языку.
В качестве показателя неоднородности (разброса) индивидуальных тестовых баллов относительно среднего тестового балла в табл. 3 приводятся значения коэффициентов вариации. Показателем высокой
неоднородности (разброса) тестового балла принимается значение выше 30% [23. С. 63-68; 24. С. 18]. Поскольку коэффициент вариации как по подразделениям, так и в целом по университету оказался высоким, по результатам тестирования были выделены группы тестируемых (табл. 4): 1-я группа - студенты, получившие от 0 до 32 баллов; 2-я группа - студенты, получившие от 34 до 66 баллов; 3-я группа - студенты, получившие от 68 до 100 баллов.
Т а б л и ц а 4
Доля студентов в группах
Количество баллов
0-32 34-66 68-100
ВТ 49% 48% 4%
РТ1 33% 59% 8%
РТ2 23% 62% 15%
Принимая во внимание требования к уровню владения иностранным языком, принятые в университете [25], выделенные группы можно было соотнести со следующими уровнями владения английским языком относительно шкалы совета Европы: 1-я группа - А1-А2; 2-я группа - В1; 3-я группа - В2. Целевой установкой в университете для решения стратегических задач признан уровень В2. Соответственно, данную группу в целом по университету нельзя назвать многочисленной.
Опираясь на действующий в университете стандарт, экспертная комиссия, в свою очередь, определила, что выполнение теста на 50% и более должно было бы демонстрировать готовность студента использовать иностранный язык в учебной и научно-исследовательской работе. Соответственно, именно эти студенты в дальнейшем могли бы составить потенциал вуза в реализации стратегии интернационализации. Их доля в университете по результатам тестирований увеличилась вдвое (табл. 5).
Т а б л и ц а 5
Доля студентов, получивших балл 50 и выше
Т1 Т2 Т3
Балл >50 18% 26% 41%
Анализ выполнения отдельных заданий теста также показал, что решаемость заданий Т3 повысилась по сравнению с итогами Т1 и Т2. Так, заданий с низким коэффициентом решаемости (0,3 и ниже) по итогам РТ3 не было, однако задания, показавшие такую решаемость по итогам Т1, остались наиболее трудными для студентов. Такие задания содержали следующий грамматический материал: раздел «Использование языка» (задания 1-30 на дополнение предложений правильными
грамматическими структурами): временные формы глагола - употребление страдательного залога; временные формы глагола - употребление в придаточных предложениях времени и условия; временные формы глагола - формы настоящего и прошедшего времени; структура и порядок слов в предложении. Инверсия - конструкции с (not) only.., not until.., so.., с глаголами stand, lie и т.д.; структура и порядок слов в предложении. Придаточные в форме непрямых вопросов (This is what you call...); неличные формы глагола - герундий, причастие; конструкции с формальным подлежащим - it, there; связующие элементы в предложениях - союзы: as, although, though, neither... nor, either... or, where, that, because, whether, which, like. Раздел «Использование языка» (задания 31-40 на нахождение ошибки в одном из выделенных фрагментов предложения): конструкции с формальным подлежащим - it; согласование между членами предложения.
Совпадение «траектории» решаемости заданий теста и сохранение выявленных на входном тестировании (Т1) проблемных мест может быть объяснено низкой эффективностью механизма обратной связи по результатам выполнения теста, т. е. преподаватели не учитывали их для корректировки процесса обучения в части более глубокой проработки выявленных проблемных областей.
Заключение
Подводя итог, следует отметить, что использование независимого стандартизированного тестирования подтвердило его целесообразность для мониторинга успешности обучения студентов по программам языковой подготовки. Полученные данные в целом демонстрировали положительную динамику роста результатов тестирования по университету, что позволяло сделать вывод об эффективности языковой подготовки в подразделениях. Полученные данные стали дополнительной актуальной информацией о качестве обучения английскому языку в вузе, способствуя усилению мотивации к дальнейшему совершенствованию иноязычной коммуникативной компетенции со стороны студентов, а со стороны преподавателей - к использованию инновационных методов в обучении английскому языку. Анализ представленных статистических данных по решаемости заданий теста свидетельствовал о необходимости внесения корректировок в сам учебный процесс, в частности, более активного использования образовательной концепции смешанного обучения (blended learning), в рамках которой студент получает знания и самостоятельно (онлайн), и очно с преподавателем. Такой подход дает возможность контролировать время, место, темп и путь изучения материала. Смешанное обучение позволяет эффективно
достигать поставленные цели, совмещая традиционные методики и актуальные технологии.
Выявленная тенденция увеличения тестовых баллов по результатам регулярных тестирующих мероприятий мониторинга инициировала ряд важных административных решений в университете. Так, было принято решение об интегрировании процедуры независимой оценки в структуру проведения промежуточной аттестации студентов (зачет / экзамен).
В то же время результаты исследования подчеркнули необходимость расширения формата самого теста путем включения экспертной оценки продуктивных видов речевой деятельности, так как результаты тестирования не могли быть достаточными для получения полной и объективной картины уровня сформированности иноязычной компетенции, поскольку используемый формат теста имел ограничения в плане охвата проверяемых умений и форм тестовых заданий.
Автор выражает признательность сотрудникам отдела мониторинга качества языковой подготовки ТПУ за статистическую обработку данных.
Литература
1. Певзнер М.Н., Ширин А.Г. Международная деятельность вуза как средство интер-
национализации вузовской науки // Успехи современного естествознания. 2007. № 12-1. С. 85-87. URL: https://www.natural-sciences.ru/ru/article/view?id=11859 (дата обращения: 03.03.2017).
2. Красильникова Н.В. Интернационализация высшего образования в Европе: опыт
Болонского университета // Образование и наука. 2015. № 8. С. 163-175. DOI: 10.17853/1994-5639-2015-8-163-174.
3. Yat Wai Lo W. Reflections on internationalisation of higher education in Taiwan: perspec-
tives and prospects // High Education. 2009. № 58. Р. 733-745. DOI: 10.1007/s10734-009-9209-x.
4. Найман Е.А., Гураль С.К., Смокотин В.М. Английский язык в статусе языка все-
мирного общения в сфере образования // Вестник Томского государственного университета. 2013. № 367. С. 158-164.
5. Kuteeva M., Aire J. Disciplinary differences in the use of English in higher education:
reflections on recent language policy developments // High Education. 2014. № 67. Р. 533-549. DOI: 10.1007/s10734-013-9660-6.
6. Рычихина Э.Н. Показатели эффективности управленческого мониторинга муници-
пального образования // Вопросы государственного и муниципального управления. 2009. № 1. C. 33-47.
7. Bachman L.F. Fundamental considerations in language testing. Oxford : OUP, 1990. 480 p.
8. Hughes A Testing for language teachers. Cambridge : CUP, 2003. 172 p.
9. Brown H.D. Language assessment. Principles and classroom practices. Harlow, Essex :
Pearson; Longman, 2004. 324 p.
10. Челышкова М.Б. Теория и практика конструирования педагогических тестов : учеб. пособие. М. : Логос, 2002. 432 с.
11. Мильруд Р.П., Матиенко А.В. Языковой тест: проблемы педагогических измерений // Иностранные языки в школе. 2006. № 5. С. 7-13.
12. Alderson C. The shape of things to come: Will it be the normal distribution? // European Language Testing in a Global Context. Preceedings of the ALTE Barcelona Conference. CUP, 2001. P. 1-25.
13. Lazaraton A Qualitative research methods in language test development and validation // Language Testing in a Global Context. Preceedings of the ALTE Barcelona Conference. CUP, 2001. P. 30-66.
14. Rosenkjar P. 'I want to study TOEFL!' Finding the balance between test focus and language learning in curriculum revision (Japan) // Language Teacher Research in Asia / ed. by T.S.C. Farell. Teachers of English to Speakers of Other Languages. Inc., 2006. P. 123133
15. Манвелова И.А Роль тестирования в обучении иностранному языку студентов неязыковых направлений подготовки // Филологические науки. Вопросы теории и практики Тамбов: Грамота. 2014. № 7 (37), ч. II. C. 133-135.
16. Cheng L. Language classroom assessment. Alexandria, VA : TESOL International Association, 2013. 39 p.
17. Broad B. The power of tests. A critical perspective on the uses of language tests Elana Shohamy (Longman, 2001). Review // Journal of Writing Assessment. 2001. V. 3, № 1. P. 55-60.
18. Петрашова Т. Г. Мониторинг реализации программы языковой подготовки в вузе // Филологические науки. Вопросы теории и практики. 2015. № 9 (51), ч. 2. С. 164167.
19. Gi-Zen Liu, Wan-Yu Chiu, Chih-Chung Lin, Barrett N.E. English for Scientific Purposes (EScP): Technology, Trends, and Future Challenges for Science Education // J. Sci. Educ. Technol. 2014. № 23. Р. 827-839.
20. Митчелл Л.А., Гураль С.К. Модель формирования грамматико-дискурсивных навыков у студентов неязыкового вуза на основе когнитивного подхода // Язык и культура. 2016. № 3 (35). С. 146-154. DOI: 10.17223/19996195/35/13.
21. Делор Ж. Образование - сокрытое сокровище. UNESCO, 1996 // Университетская книга. 1997. № 4. Доклад, представленный ЮНЕСКО специальной комиссией под председательством Ж. Делора.
22. Common European framework of reference for languages: learning, teaching, assessment. Council of Europe. Cambridge University Press, 2004. 260 p.
23. Bachman L.F. Statistical analyses for language assessment. Cambridge : CUP, 2004. 363 p.
24. Михайлова Н.С., Минин М.Г., Муратова Е.А., Илюхин Б.В. Разработка тестовых материалов. Томск : ТПУ, 2008. 282 c.
25. Петрашова Т.Г., Петровская Т. С., Прохорец Е.К. и др. Требования к уровню владения иностранным языком студентов Томского политехнического университета. Томск : Том. политехн. ун-т, 2011. 34 с.
Сведения об авторе:
Петрашова Тамара Георгиевна - кандидат филологических наук, доцент кафедры экспериментальной физики Физико-технического института, начальник отдела мониторинга качества языковой подготовки Томского политехнического университета (Томск, Россия). E-mail: petrashova@tpu.ru
Поступила в редакцию 27 мая 2017 г.
EVALUATION OF THE EFFECTIVENESS OF EFL INSTRUCTION THROUGHOUT THE ENGLISH LANGUAGE PROGRAM TO PROVIDE CONDITIONS FOR INTERNATIONALIZATION OF THE UNIVERSITY: EXPERIENCE OF AN INNOVATIVE TECHNICAL UNIVERSITY
Petrashova T.G., Associate Professor, Ph.D. in Philology, Head of Department for Quality Assurance in Foreign Language Training, Tomsk Polytechnic University (Tomsk, Russia). E-mail: petrashova@tpu.ru
DOI: 10.17223/19996195/38/18
Abstract. The present study aims to contribute to a deeper understanding of the relationship between internationalization of universities and a good English language command of its actors. Thus, students' mobility can be realized only by those individuals who communicate in English at a high level. Therefore, there is a great demand in obtaining urgent and objective information with regard to the English language potential of the whole students' population. The results of standardized testing employed at a tertiary level demonstrated its efficacy. The findings indicated that there were significant differences in participants' performance on the three test forms, making it possible to track their language development longitudinally. For the first time testing results were used to improve teaching and learning process at the university. The results were used as a policy tool in introducing meaningful curricular adjustments at a university level in order to modernize the current system of English language teaching at the university.
Keywords: university internationalization; English language; assessment; testing; test standardization; effectiveness of EFL instruction.
References
1. Pevzner M. N., Shirin A.G. (2007) Mezhdunarodnaja dejatel'nost' vuza kak sredstvo inter-
natsionalizatsii vuzovskoj nauki [International Activity of the University as a Means of University Science Internationalization]. Uspekhi sovremennogo estestvoznanija -Achievements of Modern Natural Science. 12-1. pp. 85-87. [Online]. Available from: https://www.natural-sciences.ru/ru/article/view?id=11859 [Accessed: 03.03.2017].
2. Krasil'nikova N.V. (2015) Internatsionalizatsija vysshego obrazovanija v Evrope: opyt bolonskogo universiteta [The Internationalization of Higher Education in Europe: The Experience of the University of Bologna]. Obrazovanie i nauka. - Education and Science. 8. pp. 163-175.
3. Yat Wai Lo W. (2009) Reflections on internationalisation of higher education in Taiwan:
Perspectives and prospects. High Education. 58. pp. 733-745.
4. Nayman E.A., Gural' S.K., Smokotin V.M. (2013) Angliyskiy yazyk v statuse yazyka
vsemirnogo obshcheniya v sfere obrazovaniya [English as language of global communication in sphere of education]. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal. 367. pp. 158-164.
5. Kuteeva M., Aire J. (2014) Disciplinary differences in the use of English in higher education:
Reflections on recent language policy developments. High Education. 67. pp. 533-549.
6. Rychikhina E.N. (2009) Pokazateli effektivnosti upravlencheskogo monitoringa munitsi-
pal'nogo obrazovaniya [Performance indicators of management monitoring of municipal education]. Voprosy gosudarstvennogo i munitsipal'nogo upravlenija. - Issues of State and Municipal Administration. 1. pp. 33-47.
7. Bachman L.F. (1990) Fundamental considerations in language testing. Oxford, UK: OUP.
8. Hughes A. (2003) Testing for language teachers. CUP.
9. Brown H.D. (2004) Language assessment. Principles and classroom practices. Pearson
Longman.
10. Chelyshkova M. B. (2002) Teorija i praktika konstruirovanija pedagogicheskikh testov: uchebnoe posobie [Theory and practice of pedagogical tests development: manual]. Mo-sow: Logos.
11. Mil'rud R.P., Matienko A.V. (2006) Jazykovoj test: problemy pedagogicheskikh izmerenij [Language Test: Problems of pedagogical measurements]. Inostrannye jazyki v shkole. -Foreign Language At School. 5. pp. 7-13.
12. Alderson C. (2001) The shape of things to come: Will it be the normal distribution? European Language Testing in a Global Context. Proceedings of the ALTE Barcelona Conference. CUP. pp. 1-25.
13. Lazaraton A. (2001) Qualitative research methods in language test development and validation. Language Testing in a Global Context. Proceedings of the ALTE Barcelona Conference. CUP. pp. 30-66.
14. Rosenkjar P. (2006) 'I want to study TOEFL!' Finding the balance between test focus and language learning in curriculum revision (Japan). Language Teacher Research in Asia (ed. T.S. C. Farell). Teachers of English to Speakers of Other Languages. Inc, pp. 123133.
15. Manvelova I. A. (2014) Rol' testirovanija v obuchenii inostrannomu jazyku studentov nejazykovykh napravlenij podgotovki [The role of testing in teaching foreign language to students of non-linguistic specialties]. Filologicheskie nauki. Voprosy teorii i praktiki -Philological Sciences. Issues of Theory and Practice. Tambov: Gramota. 7 (37). P. II. pp. 133-135.
16. Cheng L. (2013) Language Classroom Assessment. Alexandria. VA: TESOL International Association.
17. Broad B. (2001) The power of tests. A critical perspective on the uses of language tests Elana Shohamy (Longman, 2001). Review. Journal of Writing Assessment V. 3. 1. Hampton Press Inc, pp. 55-60.
18. Petrashova T. G. (2015) Monitoring realizatsii programmy jazykovoj podgotovki v vuze [Monitoring of the program realization of language training in a higher education institution]. Filologicheskie nauki. Voprosy teorii i praktiki - Philological Sciences. Issues of Theory and Practice. Tambov: Gramota. 9 (51): Part. 2. pp. 164-167.
19. Gi-Zen Liu, Wan-Yu Chiu, Chih-Chung Lin, Barrett N. E. (2014) English for scientific purposes (EScP): Technology, trends, and future challenges for science education. J Sci Educ Technol, 23, pp. 827-839.
20. Mitchell L.A., Gural' S.K. (2016) Model' formirovanija grammatiko-diskursivnykh na-vykov u studentov nejazykovogo vuza na osnove kognitivnogo podkhoda [Grammar-discursive skills formation model in students of English in non-linguistic higher educational institutions on the basis of cognitive approach]. Jazyk i kul'tura - Language and Culture. 3 (35). pp. 146-154.
21. Delor Zh. (1997) Obrazovanie - sokrytoe sokrovishhe. UNESKO, 1996. [Education - a hidden treasure. UNESCO, 1996]. Universitetskaja kniga. 4 Doklad, predstavlennyj JuNESKO special'noj komissiej pod predsedatel'stvom Zh. Delora. - University Book. The 4-th report presented to UNESCO by a special committee presided by J. Delors.
22. Anon. (2004) Common European framework of reference for languages: learning, teaching, assessment. Council of Europe: Cambridge University Press.
23. Bachman L.F. (2004) Statistical analyses for language assessment. UK: CUP.
24. Mikhajlova N.S., Minin M.G., Muratova E.A., Iljukhin B.V. (2008) Razrabotka testovykh materialov [Testing materials development]. UMK. Tomsk: TPU.
25. Petrashova T. G., Petrovskaja T. S., Prokhorets E. K. et al. (2011) Trebovanija k urovnju vladenija inostrannym jazykom studentov Tomskogo politekhnicheskogo universiteta [Foreign language level requirements for students at Tomsk Polytechnic University]. Tomsk: TPU.
Received 27May 2017
