CC BY
38
УДК 378.091.26
DOI: 10.15593/2224-9389/2018.1.9
Национальный исследовательский Томский государственный университет, Томск, Российская Федерация
С.К. Гураль, Т.О. Подъянова
Получена: 17.01.2018 Принята: 14.02.2018 Опубликована: 30.03.2018
ПОВЫШЕНИЕ УРОВНЯ КОММУНИКАТИВНОЙ КОМПЕТЕНЦИИ СТУДЕНТОВ ЧЕРЕЗ ОЦЕНКУ РЕЗУЛЬТАТИВНОСТИ ВХОДНОГО ТЕСТИРОВАНИЯ
Повышение коммуникативной компетенции учащихся играет главнейшую роль в образовательном процессе, поскольку без интеграции в международное сообщество у будущих специалистов любых специальностей нет возможности для самореализации в профессиональной среде на высококлассном уровне, соответствующем мировым стандартам, что грозит стагнацией научных достижений на уровне страны. Для того чтобы обеспечить развитие этого направления, необходим соответствующий педагогический инструментарий, отвечающий современным требованиям объективности и индивидуализации образовательных траекторий. Цель данной работы состоит в анализе результативности входного тестирования по английскому языку посредством применения модели Раша среди студентов нелингвистических направлений в одном из ведущих вузов России - Томском государственном университете, являющимся вузом инновационного типа и претендующим на передовые позиции в общемировых рейтингах. Модель демонстрирует надежность вопросов распределительного теста Oxford Placement Test и валидность выбранных заданий, тем самым позволяя оценить соотношение уровня способностей испытуемых и степень, в которой входной тест подходит для их оценки. Описательная статистика, представленная на шкале Раша, и метод факторного анализа позволяют распределить и проанализировать данные объективно. Более ранние исследования показывают, что использование независимого стандартизированного тестирования подтвердило его целесообразность для мониторинга успешности обучения студентов по программам языковой подготовки [1]. Результат исследования заключается в подтверждении предположения о том, что такой педагогический инструмент, как психометрическое тестирование, способен объективно измерить способности учащихся и повысить коммуникативную компетенцию посредством индивидуализации образовательного процесса.
Ключевые слова: повышение коммуникативной компетенции, входное тестирование, модель Раша, психометрические методы, надежность, валидность.
S.K. Gural, T.O. Podyanova
National Research Tomsk State University, Tomsk, Russian Federation
Received: 17.01.2018 Accepted: 14.02.2018 Published: 30.03.2018
ENHANCEMENT OF THE COMMUNICATIVE COMPETENCE OF STUDENTS THROUGH RASCH ANALYSIS OF THE PLACEMENT TEST RESULTS
Development of the communicative competence of students plays a major role in the educational process, since without integration into the international community, future specialists of any profile have no opportunity for self-realization in a professional environment at a high level corresponding to the world standards, which threatens to stagnate scientific achievements at the national level. In order to ensure the development of this avenue, appropriate pedagogical tools are needed that meet modern requirements of objectivity and individualization of educational trajectories. The purpose of this paper is to analyze the effectiveness of the English placement test results of non-linguistic students by applying the Rasch model. The experiment is carried out in one of the leading universities in Russia, the Tomsk State University, which is an innovative institution and pretends to be at the forefront in global ratings. The model demonstrates items reliability of the Oxford Placement Test and the validity of the selected tasks, thereby making it possible to evaluate the ratio of the level of abilities of the students and the degree to which the placement test is suitable for their assessment. Descriptive statistics presented on the Rasch scale and the factor analysis method allow to distribute and analyze the data objectively. Earlier studies show that the use of independent standardized testing has confirmed its usefulness for monitoring the success of students' progress in language training programs. The result of the study is to confirm the assumption that such a pedagogical tool as psychometric testing is able to objectively measure students' abilities and increase communicative competence through the indi-vidualization of the educational process.
Keywords: communicative competence improvement, placement test, Rasch model, psychometric methods, reliability, validity.
Введение
Глобализационные процессы, вызванные политическими и экономическими изменениями в мире и в значительной мере обусловленные прогрессом в области информационных технологий и возможностями Интернета, способствовали обеспечению тесной связи народов мира и актуализации необходимости межъязыковых и межкультурных отношений [2]. В связи с глобальными изменениями в образовательной и профессиональной средах растут потребности и в разработке измерительного инструментария для оценки гуманитарного знания. Наиболее перспективным направлением, призванным удовлетворить эти потребности, является психометрическое тестирование. Основной проблемой в создании тестов новейшего времени является разработка эффективно и надежно работающего тестирования. Одним из путей повышения эффективности является применение психометрических методов. Однако в таких системах грамотно составленный тестовый материал сопровождается последующим анализом результатов при помощи психометрических измерительных методик. Поэтому тес-
тирование необходимо разрабатывать с учетом критериев валидности и надежности заданий, а также проводить такие тесты, принимая во внимание факторы понимания, применения анализа, синтеза и оценки изучаемого материала студентами. Разработанные к настоящему времени методы тестирования не вполне удовлетворяют поставленным требованиям.
Наибольший практический интерес представляет способность такого вида тестирования готовить специалистов, отвечающих требованиям современного рынка труда, поскольку валидность такого вида тестирования находится на высоком уровне и применяется не только в сфере образования, но и в сфере подбора кадрового персонала, что свидетельствует о том, что больше не существует разрыва между теоретическим и прикладным знанием.
В России еще не слишком хорошо изучены психометрические методы измерения. Это объясняется тем, что существующая в настоящее время методика базируется на тенденциях отечественной тестологии, не удовлетворяющих характеристикам личностно-ориентированного обучения. Разработка компьютерных психометрических тестов является одним из путей, позволяющих наиболее объективно оценить знания учащихся, а также разработать задания высокого уровня валидности и надежности. Следовательно, актуальным для совершенствования современной тестологии является проведение комплексного исследования в данной области.
Совмещая компетентностные критерии и опираясь на требования современных работодателей, необходимо констатировать, что опыт создания требуемого измерительного педагогического инструмента уже присутствует в ряде стран: США, Канада, Австралия, Финляндия, Израиль, Нидерланды. Он основан на динамической индивидуализированной трактовке результатов и опирается на операционализацию измерительного процесса. Например, опыт создания когнитивных лабораторий, состоящих из группы специалистов, работающих над конструированием тестов с учетом компетентностного подхода, разработкой заданий, их анализом и интерпретацией, а также экспертной группы преподавателей, не принимающих участия в разработке экзаменов, и контролирующей группы работодателей в Нидерландах, показывает положительную динамику в изменении качества образования.
Системный подход, применяемый зарубежными странами, базируется на прочной методологии педагогических и, в частности, психометрических измерений: высокая надежность результатов измерений, минимизация ошибочного компонента и вычислительных отклонений, высокая конструктная, содержательная и прогностическая валидность, применение одномерного и многомерного шкалирования. Все эти данные помогают в полной мере реализовать ком-петентностный подход и максимально приблизить преподаваемые дисциплины к реальным условиям использования этих знаний в профессиональной среде. Поэтому, говоря о критериях достаточности уровня коммуникативной компе-
тенции как средства общения в профессиональной сфере и межкультурной коммуникации, в первую очередь, необходима проверка не уровня владения одним или несколькими языками, а умение применять их на практике, основывая свои стремления на прикладном использовании языка в зависимости от обширного спектра функций его применения, учитывая индивидуальные особенности учащихся. Разработка же соответствующего всем критериям инструментария является всего лишь вопросом времени. Одной из технологий создания такого инструментария является психометрическое тестирование.
Методология
Фундаментальные исследования, заложившие основы изучения коммуникативной компетенции, проводятся, начиная с 80-90-х годов XX века, как в России, так и за рубежом. По определению И. Л. Бим, «коммуникативная компетенция - это способность и готовность к межкультурному и межъязыковому общению с носителями языка» [3]. Компоненты коммуникативной компетенции представлены в моделях таких отечественных педагогов, как Н.М. Белякова [4], В.В. Сафонова [5], которые выделяют социолингвистическую, лингвострановед-ческую, общекультурную и другие составляющие. П.В. Сысоев также отмечает опыт общения, личностное отношение и владение способами языка как важные компоненты полноценной речевой деятельности [6].
В работах зарубежных педагогов К. Пюрена [7] и Ж.-К. Беакко описаны этнолингвистический и деятельностный компоненты коммуникативной компетенции [8].' Н. Хомский в своей теории трансформационной лингвистики впервые выявил и определил важное для современной методики обучения иностранному языку понятие «лингвистическая компетенция» [9, 10]. Все эти компоненты напрямую связаны с межкультурной коммуникацией, развитие которой также входит в задачу преподавателя при обучении иностранному языку в рамках формирования коммуникативной компетенции. Особенно актуальным этот вопрос становится при рассмотрении его в отношении студентов нелингвистических специальностей для развития у них гибкости мышления, способности к самостоятельному поведению в преодолении трудностей и принятии решения. Усилия будущего работника должны быть направлены на анализ ситуации, а не на разрешение языковых трудностей, то есть квалифицированный специалист должен владеть иноязычным инструментарием в полной мере. Кроме того, разработка вариативных форм взаимодействия в профессиональной сфере во многом сопряжена со знанием культурных особенностей и менталитета зарубежных коллег, другими словами, российский специалист должен быть готов к межкультурной коммуникации.
Внедрение коммуникативно-ориентированной методической системы, в которой основная цель обучения определяется как приобретение коммуни-
кативной компетенции, обрело большую популярность в начале 80-х годов и повлекло за собой создание новых коммуникативных и прагматических тестов. В 1972 году при Минвузе РСФСР был создан центр по тестированию под научным руководством И.А. Цатуровой, а кафедра иностранных языков стала базовой кафедрой по проблеме контроля тестов, в которую вошли такие тестоло-ги, как В.А. Коккота, Л.В. Банкевич, К.А. Иванова, Л.А. Свешникова и др. Весомый вклад в теорию отечественного тестирования внесли тестологи И.А. Рапопорт, С.К. Фоломкина, Э.А. Штульман, Ю.А. Веденяпин и др. Таким образом, с середины 60-х и до конца 80-х годов в стране была проведена большая работа по внедрению метода тестов, по теоретическим и практическим вопросам составления, использования и обработки результатов тестирования, по подготовке к переходу к тест-ориентированной системе языкового образования [11].
Сегодня первый в России центр, специализирующийся на тестировании в онлайн-обучении под названием Центр психометрических исследований в он-лайн-образовании был создан в дирекции по онлайн-обучению Высшей школы экономики (ВШЭ) в июне 2016 года. Специалисты центра занимаются разработкой измерительных инструментов для онлайн-курсов, делают психометрический анализ, работают в существующих психометрических пакетах и разрабатывают новые решения. Кроме того, приоритетное направление в работе экспертов ВШЭ связано с адаптивным обучением. Адаптивное обучение -это методика, связанная с индивидуальными образовательными траекториями, за счет которых обучающиеся могут варьировать образовательный процесс самостоятельно согласно их собственным способностям, времени, уровню знаний, финансовым возможностям, социальному статусу. Такая методика обучения является разноуровневой и предполагает гибкую систему организации учебного процесса с учетом индивидуальных особенностей обучающегося. Данное исследование будет проведено именно посредством технологии психометрического тестирования, а конкретно - на базе одной из фундаментальных моделей в данной области, то есть модели Георга Раша [12].
Модель Раша является основой для разработки современной теории тестирования (Item Response Theory). Данная модель призвана измерить определенные латентные свойства личности, заданий и иных объектов, а не просто неименованных абстрактных латентных переменных. В педагогике латентные переменные величины возникают вследствие концептуализации явлений, операционализации понятий, применения метрических операций и математических моделей к изучаемому свойству [13]. Современная теория тестирования, или IRT, позволяет оценить вероятность правильного ответа испытуемых на задания различной трудности. Она используется для того, чтобы избежать вопросов с низким уровнем надежности и валидности и в дальнейшем разработать вопросы на основе их трудности.
Исследование
Одним из направлений данного исследования было определение результативности входного тестирования по английскому языку студентов. Тестируемыми были 112 студентов первого курса радиофизического факультета Томского государственного университета, обучающиеся по направлению подготовки бакалавров 03.03.03 «Радиофизика». Участники дифференцируются по полу в следующем соотношении: 80 % - участники мужского пола, 20 % - участницы женского пола, все из них в возрасте от 17 до 22 лет. Большинство участников тестирования являются выпускниками школы. Только единицы являются выпускниками техникумов или бывшими военнослужащими, то есть отслужили в армии. Таким образом, преимущественно испытуемые изучали английский язык равное количество лет. В связи с этим ошибка измерения по критерию распределения способностей испытуемых сравнительно низкая.
Анализ конструкта включает в себя психометрические характеристики трудности заданий, подготовленности участников тестирования, точности и надежности измерений и критериальной валидности получаемых результатов.
План для оценки характеристик эффективности выстроен согласно: а) психометрическому конструкту и б) учитывает данные опроса, проведенного Oxford University Press [14] (около 300 респондентов), в котором наиболее важными критериями при разработке теста выявлены следующие:
- оценка включает не только правильное использование грамматических форм, но и измерение способности учащихся слушать и читать на английском языке;
- объем теста должен быть небольшим, а результаты надежными;
- доступ к тесту можно получить либо на сайте с отдельными данными о логине / пароле для каждого получателя, либо удаленно с помощью средств электронной почты;
- оценка результатов должна соответствовать общеевропейским компетенциям владения иностранным языком (CEFR);
- должна быть доступна подробная информация о результатах индивидуальной и групповой производительности, чтобы она могла быть использована для планирования дальнейшего обучения.
Диагностический этап, проверяющий первоначальный уровень владения коммуникативной компетенцией, базировался на бумажном тесте Д. Аллана Oxford Placement Test (далее - OPT) 2004 года. Этот тест был выбран, потому что он включает в себя систему соответствия результатов Общеевропейским компетенциям владения иностранным языком (CEFR). Он состоит из грамматической части и аудирования; причем посредством аудирования развиваются навыки чтения и устной речи. Каждая из частей содержит 100 вопросов, ориентированных на множественный выбор (3 варианта ответа по
грамматике, 2 - по аудированию). На решение вопросов грамматической части дано 50 минут, аудирование длится 10 минут. Тестирование проводилось в начале учебного года в течение 2 лет.
Итак, для начала рассматривается представленный тест с точки зрения трудности заданий в соответствии с современной теорией тестирования -Item Response Theory. Чаще всего психометрические измерения проводятся при помощи шкалы, служащей для фиксации оценок измеряемой переменной. Согласно теории В.И. Звонникова и М.Б. Челышковой, специалистов в области педагогических измерений, «шкала - это средство упорядочения результатов измерения определенных свойств эмпирических объектов» [15].
Представляется целесообразным рассмотреть только первую часть грамматического теста, поскольку именно она позволила выявить наибольшие противоречия при получении результатов, и подчеркнуть, что за грамматическую часть большая часть студентов получила в среднем 30-40 баллов, в то время как результаты аудирования превышали первую часть практически в два раза - средний балл был 60-70. Необходимо отметить первый очевидный минус OPT: хотя в таблице оценивания общее количество баллов по итогам двух частей приравнено к ряду шкал, таких как CEFR, IELTS, Cambridge Exams, Oxford Exams, LCCI Exams, и разработчик дает понять, что результаты двух частей могут быть использованы отдельно, тем не менее общее количество баллов не дает объективной оценки, поскольку трудность заданий в первой и второй частях совершенно не одинакова, о чем можно судить по итогам двухлетнего тестирования. Говоря о содержании грамматической части, необходимо сказать, что разработчик отмечает ряд отличий своего теста от других работ подобного рода: грамматический раздел поделен на две части, по 50 вопросов в каждой, что дает возможность использовать только одну часть, если время ограничено. Вторая часть может быть применена в случае, если большое количество студентов продвинутого уровня участвуют в оценивании. Преимуществом является то, что время проверки в этом случае остается на усмотрение проверяющего. Однако минусом такой стратегии является то, что 75 % грамматической части рассчитано на студентов, обладающих уровнем владения языком выше среднего, то есть из 100 вопросов примерно половина первой части (около 25) содержит вопросы невысокой трудности, в то время как вторая половина первой части, а также вся вторая часть полностью включают вопросы более высокой трудности. Поэтому именно первые 25 вопросов были расссмотрены в данном исследовании. Также автор теста отмечает, что грамматические структуры, выбранные для теста, контекстуализированы и тематически связаны. Логическая связность, безусловно, важна для лучшего понимания грамматических структур, тем не менее приведенный контекст может содержать лексику различного уровня, что порой препятствует пониманию общего смысла предложения. Выбранная в данном тесте лексика для контек-
стуализации грамматических структур также рассчитана приблизительно на 70-75 % учащихся, достаточно хорошо владеющих языком.
Итак, результативность теста будет определяться при помощи современной психометрической теории тестирования Item Response Theory. Ниже (рис. 1) представлен контрольный файл, где размещены условные обозначения вопросов, имена испытуемых, их пол и ответы на вопросы.
1 in data is "right"
Person title
Item title: TAP means "tapping pattern"
Gender indicator in column 19 of data record Use the Gender for DIF detection Subtotal by gender
1 Right 1+0 TENSES
* ; end of CLFILE=« list PERSON = Person ITEM = TAP ©GENDER = SC19W1 DIF = UGENDER PSUBTOTAL = ©GENDER &END
1.MODAL VERB - PRESENT SIMPLE - PRESENT CONTINUOUS
2.THERE IS - IS - IT IS
3.FOR - TO + INFINITIVE OR GERUND
4.A - THE - 0
5.PRESENT SIMPLE - PRESENT CONTINUOUS
6.THE - SOME - ANY
7.A - THE - 0
8.ADJECTIVE DEGREES OF COMPARISON
9.THE MOST - MOST OF - MOST SO.LESS - LITTLE - FEW
11.PRESENT PERFECT - PAST SIMPLE - PRESENT CONTINUOUS
12.PAST SIMPLE - PRESENT SIMPLE - PAST CONTINUOUS
13.MAKE + VERB
14.CONDITIONALS
15.BOTH. . .AND
16.ALL OVER THE WORLD
17.PRESENT SIMPLE - PRESENT CONTINUOUS
18.FROM - IN - OF
19 . HAD TO - MUST - SHOULDl
2 0.FUTURE IN THE PAST - FUTURE SIMPLE - PAST SIMPLE 21.0- THE - AN 22.QUITE A - A QUITE - QUITE
2 3.PRESENT CONTINUOUS - PRESENT SIMPLE - PAST PERFECT 24.LITTLE - FEW - A LITTLE 25.INFINITVE - GERUND
END LABELS
SAPOZHNIKOVA F 1100
GILYOV M 0001
TEUSHCHAKOV M 1101
MOSKALENKO F 1010
TAGANOVA F 0101
YANKINA F 0000
KLIMASHEVSKAYA F 1100
MUKASHEVA F 1011
SVERCHINSKAYA F 1111
OTARBAEVA F 0000
ALYONUSHKIN M 0100
MAKHANOV M 0010
OSTANIN M 0001
FOMIN M 0000
STARKOV M 0000
TRETYAKOV M 0001
BUKHRYAKOVA F 0100
LESING M 0001
SIMONOVA F 0000
PRIKHODKO M 0010
LOKOSOV M 0110
KOSTEROVA F 0000
MONGUSH AISH M 0000
PANOVA F 0010
SHCHERBAKOV M 0000
DEMIDOVICH M 0000
VELIKOV M 0110
SLAMBEK M 0110
KHOMENKO M 1110
MAKHMANAZAROV M 1111
MURZABEKOV M 1100
BATAEV M 0000
PUDOVKIN M 0011
GOLYAKOV M 0000
BAGREEV M 1111
YAKOVLEV M 0000
M 0001010100000001001110010
M 000001101000Ü111010010010
Рис. 1. Контрольный файл с данными
Задания в тесте оцениваются дихотомически: за верно выполненное задание начисляется 1 балл, в случае неверного выполнения - 0 баллов. В основе такого исчисления лежит дихотомическая модель Раша [12], основанная на логистической функции:
l°g,
( p Л
ni
1 - P
V ni у
= Bb - D,
где P - это вероятность правильного ответа (probability), которая зависит от испытуемого, обозначено как n, и уровня его подготовленности - Bn, i означает вопрос (item), а Di - трудность вопроса (difficulty of item).
Успешное прохождение означает, что испытуемый демонстрирует больше навыков, чем заложено в нашей предполагаемой латентной переменной, или больше, чем мы ожидаем от испытуемого, причем в этом случае он получает 1 балл за один вопрос. Неудачное прохождение означает, что испытуемый показывает меньше нашей предполагаемой переменной или меньше, чем мы от него ожидали, то есть получает 0 баллов за один вопрос. Поэтому мы должны оценивать наблюдения в соответствии с этим намерением, независимо от того, какие значения присваиваются наблюдениям во время сбора данных. Испытуемые оценивались с точки зрения их способностей/уровня подготовленности, задания - относительно их трудности. При измерении фокус заостряется на двух показателях: подготовленность испытуемого и трудность задания. Чем ниже трудность задания и/или выше подготовленность испытуемого, тем больше вероятность верного ответа на вопрос. Все измерения, включающие способности испытуемого и трудность задания, помещены на одну шкалу. В центре шкалы - 0, что означает среднюю подготовленность испытуемых и среднюю трудность заданий. Чем выше по шкале (1, 2...), тем выше подготовленность учащихся и выше трудность заданий и наоборот (-1, -2.). Программное обеспечение Winsteps [16], благодаря которому проводится исследование, находится в свободном доступе.
На рис. 2 представлена психометрическая карта диагностического теста Oxford Placement Test с маркировкой заданий, на которой показано распределение испытуемых и заданий относительно друг друга на общей метрической шкале. На карте участники располагаются с левой стороны, а задания - с правой.
Наиболее трудные задания расположены в верхней части карты выше 0, как и наиболее подготовленные испытуемые; наиболее легкие вопросы и наименее подготовленные студенты - в нижней части карты. Соответственно, психометрическая карта (см. рис. 2) позволяет определить уровень трудности заданий относительно уровня подготовленности учащихся. Измерение показывает довольно точное распределение как заданий, так и учащихся, поскольку в среднем показатели испытуемых центрированы около 0, что является средним условно заданным значением. Среднее условно заданное значе-
ние - это переменная, означающая среднюю подготовленность испытуемого и среднюю трудность задания. Распределение учащихся от 0 до 2 также является нормальным для групповой дисперсии [17]. В соответствии с визуальным представлением описательной статистики экспертам гораздо проще подобрать задания и объективно определить их критериальную валидность при составлении подобных тестов, понять основные сложности, на которые стоит обратить внимание в дальнейшем процессе обучения.
БНСН
-4 +
< 1езэ> | ■< 1 геч>
Рис. 2. Психометрическая карта теста для определения трудности заданий
При анализе первой части грамматического теста, рассчитанного на 100 испытуемых, было выявлено, что вопросы, представляющие наибольшую сложность, - это 9, 25, 30, 44, наименьшую - 6, 8, 38, 40.
Рассмотрим возможные причины затруднений с конкретными типами вопросов.
9. The most / Most of / Most people don't know what it's like in other countries.
Правильный ответ - Most. Помимо грамматического компонента данное предложение несет в себе лексическую составляющую, которая является скорее частным случаем употребления, нежели широко распространенным правилом. К тому же в базовом курсе английского языка для учащихся ниже уровня Intermediate дается правило степеней сравнения прилагательных, где превосходная степень прилагательного образуется при помощи the most, такой вариант ответа легко перепутать с правильным. Данный вариант ответа является дистрактором, поскольку он правдоподобен, однако не верен.
25. In the 19th century a few people succeeded to fly/ in flying/ into flying in balloons.
Верный ответ в этом вопросе - in flying. В предложении мы видим инфинитив и герундий. Эта тема освещается в школе при изучении английского языка, но не слишком широко, поскольку в рамках школьной программы зачастую представлены частные случаи их употребления в текстах. К тому же, для того чтобы отличить второй вариант и третий, необходимо знание предлогов на должном уровне с точки зрения их семантики, что практикуется в разговорной среде чаще, нежели при изучении грамматических правил.
30. His/ Their/ Theirs was the machine which was the forerunner of the Jumbo jets and supersonic airliner that are such a common sight today.
Теоретическая грамматика до сих пор интерпретирует принадлежность данных слов к различным частям речи. Часть ученых утверждают, что his и their - это притяжательные прилагательные, а theirs - притяжательное местоимение, другая часть относит все из них к притяжательным местоимениям, подразделяющимся на две формы (положительную/основную и абсолютную). Однако однозначно то, что после последнего варианта - theirs, являющегося верным в данном примере, никогда не следует существительное, в этом есть отличие двух категорий. Трудность для испытуемых составило то, что притяжательные местоимения чаще всего ставят в конце предложения, так как это связано с тема-рематической структурой английского предложения.
44. When these are completed it will be the first time when/ where/ that astronauts will be able to work in space in large numbers.
Часто у учащихся возникают трудности при употреблении относительных местоимений в составе сложных предложений. В особенности это касается местоимения that. Относительные местоимения, вводящие определительное ограничительное придаточное предложение, не отделяются запятой от главного предложения. Ограничительные определительные придаточные предложения содержат информацию, уточняющую значение слова (антецедента), к которому они относятся, поэтому последний вариант в данном случае будет правильным. Кроме того, русскоязычным учащимся гораздо привычнее ставить тот вариант, который они могли бы употребить в родном языке по смыслу, ближе всего был бы вариант when, хотя он неверный.
Наименее сложными вопросами стали те, которые были очень хорошо освещены в школе, и им было уделено большое внимание и время на тренировку, а также это темы начального уровня обучения: 6) неопределенные местоимения; 8) степени сравнения прилагательных; 38) неисчисляемые существительные; 40) времена Present Simple/ Present Continuous.
Для того чтобы оценить точность измерений, необходимо измерить уровень вероятности ошибки. На этой стадии рассматривается психометрическая карта (рис. 3), где продемонстрирована соотносимость количества вопросов относительно количества испытуемых. Алгоритм для трактовки данной карты следующий: чем меньше вопросов (справа) на 1 человека (слева), тем меньше точность измерения, следовательно, тем больше вероятность стандартных ошибок. На рис. 3 видно, что вопросы и учащиеся распределены относительно равномерно, поэтому вероятность ошибки измерений мала.
MEASUKE I MEASURE
< more >---------------------Person ТАР -----------------<rare>
3 + 3
Рис. 3. Психометрическая карта для определения соотносимости распределения вопросов и участников
Подводя итог анализу первых двух карт, мы определили, что распределение испытуемых и вопросов соответствует ожиданиям. Распределение не демонстрирует отклонений, что позволяет продолжить анализ, избегая вероятности высокой ошибки.
Методические рекомендации и выводы
При проведении педагогического измерения был дан ответ на вопрос о том, соответствует ли трудность заданий уровню подготовленности испытуемых. Психометрический анализ показал среднее распределение испытуемых и заданий относительно друг друга. Это означает, что в целом тест подходит для данной группы учащихся, хотя диапазон вопросов согласно языковому уровню должен быть немного шире, поскольку на рис. 2 видно, что есть студенты, которые менее подготовлены к тестированию и нуждаются в более легких вопросах. Что касается более сложных вопросов, то они присутствуют в последующей части теста.
Следует отметить, что для анализа была взята только первая часть теста, где присутствуют вопросы малой и средней сложности. Благодаря измерениям были выявлены пробелы в знаниях конкретных учащихся, сделаны попытки интерпретировать причины трудности тех или иных заданий. В последующем могут быть разработаны индивидуальные методические рекомендации для каждого испытуемого; в дальнейшем представляется целесообразным сделать перегруппировку учащихся согласно результативной оценке их тестирования. Представляется возможной корректировка учебных планов по принципу индивидуализации знаний.
Педагогический инструмент такого уровня, отвечающий требованиям индивидуализации и выстраивания личностно-ориентированных образовательных траекторий, сегодня особенно актуален, поскольку он опирается на опера-ционализацию измерительного процесса и открывает широкие возможности для построения прочной и одновременно динамичной методической модели повышения уровня профессиональной коммуникации. Необходимо отметить, что сегодняшние преобразования в методике обучения связаны с тем, что современный университет становится не просто обособленным социальным институтом, функцией которого является подготовка специалистов и передача им определенного набора знаний и умений, но и его всеобъемлющая интеграция в профессиональные коммуникативные процессы. Такие преобразования позволяют укрепить сотрудничество с промышленными предприятиями путем подготовки кадров высокой квалификации, выполнения государственных заказов с использованием университетской лабораторной базы. В связи с этим само содержание дисциплины «Иностранный язык» и методика преподавания иностранных языков требуют серьезной модернизации.
Разработка методических концепций содержания и процесса освоения новых областей знания на иностранном языке должна базироваться на взаимосвязи, преемственности и интеграции учебных предметов и дисциплин в социальную, профессиональную и производственную деятельность. Изменяются также и цели языкового образования. Основной задачей становится развитие такого лингвистического репертуара, где есть место всем умениям. В этом заключается цель современного обучения иностранному языку.
Список литературы
1. Петрашова Т.Г. Оценка результативности программ языковой подготовки, обеспечивающих условия интернационализации вуза: опыт инновационного технического вуза // Язык и культура. - 2017. - № 38. - С. 269-284.
2. Гураль С.К., Смокотин В.М. Межъязыковая и межкультурная коммуникация в период глобализации // Язык и культура. - 2013. - № 4 (24). - C. 14-23.
3. Бим И. Л. Методика обучения иностранным языкам как наука и проблемы школьного учебника: опыт системно-структурного описания. - М.: Русский язык, 1977. - 288 с.
4. Белякова Н.М. Формирование социокультурной компетенции у студентов начальных курсов языковых вузов при самостоятельной работе в сети Интернет: ав-тореф. дис... канд. пед. наук: 13.00.02. - СПб., 2008. - 24 с.
5. Сафонова В.В. Социокультурный подход к обучению иностранным языкам: монограф. - М.: Высшая школа: Амскорт интернешнл, 1991. - 311 с.
6. Сысоев П.В. Концепция языкового поликультурного образования (на материале по культуроведению США): дис. ... д-ра пед. наук. - М.: Изд-во МГУ им. М.В. Ломоносова, 2004.
7. Дегиль И.М. Analyse de contenu des manuels français // Иностранный язык и иноязычная культура в образовании: тенденции, проблемы, решения: сб. науч. ст. по материалам X Междунар. науч.-метод. конф. Томск. гос. пед. ун-та; Томск, 24 ноября 2011 г. - Томск, 2012. - С. 76-79.
8. Дегиль И.М. Анализ реализации социокультурного компонента в учебнике французского языка // М.В. Ломоносов и полиязыковое информационно-образовательное пространство: материалы междунар. науч. конф.; Архангельск 15-16 ноября 2011 г. - Архангельск, 2012. - Ч. 1. - С. 208-212.
9. Chomsky N. Aspects of a theory of syntax. - Cambridge, MA: Harvard University Press, 1965.
10. Айлазян Е.П., Обдалова О.А. Моделирование курса делового иноязычного общения в полипрофессиональном пространстве вуза // Язык и культура - Томск, 2012. - № 1 (17). - С. 62-75.
11. Цатурова И.А., Балуян С.Р. Тестирование устной коммуникации: учеб.-метод. пособие. - М.: Высшая школа, 2004. - 128 с.
12. Rasch G. Probabilistic models for some intelligence and attainment tests. -Copenhagen, 1960.
13. Аванесов В.С. [Электронный ресурс]: сайт науч.-метод. поддержки слушателей курсов В.С. Аванесова. - URL: http://testolog.narod.ru/Theory59.html (дата обращения: 07.02.2017).
14. The Oxford Online Placement Test: What does it measure and how? [Электронный ресурс]. - URL: https://www.oxfordenglishtesting.com/uploadedFiles/6_New_Look_and_Feel/ Content/oopt_measure.pdf (дата обращения: 24.09.2017).
15. Звонников В.И., Челышкова М.Б. Контроль качества обучения при аттестации: компетентностный подход: учеб. пособие. - М.: Университетская книга: Логос, 2009. - 272 с.
16. Linacre J.M. Winsteps: Rasch measurement computer program. - Beaverton, 2016.
17. Bond T., Fox C. Applying the Rasch model: Fundamental measurement in the human sciences. - Mahwah, NJ: LawrenceErlbaumAssociates, 2007.
References
1. Petrashova T.G. Otsenka rezul'tativnosti programm iazykovoi podgotovki, obespechivaiushchikh usloviia internatsionalizatsii vuza: opyt innovatsionnogo tekhnicheskogo vuza [Evaluation of the effectiveness of EFL instruction throughout the English language program to provide conditions for internalization of the university: Experience of an innovative technical university]. Language and Culture, 2017, no. 38, pp. 269-284.
2. Gural' S.K., Smokotin V.M. Mezh"iazykovaia i mezhkul'turnaia kommunika-tsiia v period globalizatsii [Interlingual and cross-cultural communication during the period of globalization]. Language and Culture, 2013, no. 4(24), pp. 14-23.
3. Bim I.L. Metodika obucheniia inostrannym iazykam kak nauka i problemy shkol'nogo uchebnika: opyt sistemno-strukturnogo opisaniia [Methods of teaching foreign languages as a science and the problems of school textbook]. Moscow, Russkii iazyk, 1977, 288 p.
4. Beliakova N.M. Formirovanie sotsiokul'turnoi kompetentsii u studentov nachal'nykh kursov iazykovykh vuzov pri samostoiatel'noi rabote v seti Internet [Formation of social competence in junior undergraduates of linguistic universities through self-study online activities]. Abstract of Ph. D. thesis. Saint Petersburg, 2008, 24 p.
5. Safonova V.V. Sotsiokul'turnyi podkhod k obucheniiu inostrannym iazykam [Sociocultural approach to foreign language teaching]. Moscow, Vysshaia shkola, Amskort interneshnl, 1991, 311 p.
6. Sysoev P.V. Kontseptsiia iazykovogo polikul'turnogo obrazovaniia (na materiale po kul'turovedeniiu SShA) [Conception of polycultural linguistic education (based on the USA culture studies). Doctor's degree dissertation. Moscow, Lomonosov Moscow State University, 2004.
7. Degil' I.M. Analyse de contenu des manuels français. Inostrannyi iazyk i inoiazychnaia kul'tura v obrazovanii: tendentsii, problemy, resheniia: sb. nauch. st. po materialam XMezhdunar. nauch.-metod. konf. Tomsk. gos. ped. un-ta; Tomsk, 24 noiabria 2011 g. Tomsk, 2012, pp. 76-79.
8. Degil' I.M. Analiz realizatsii sotsiokul'turnogo komponenta v uchebnike frantsuzskogo iazyka [Analysis of sociocultural component realization in French textbooks]. M.V. Lomonosov i poliiazykovoe informatsionno-obrazova-tel'noe prostranstvo: materialy mezhdunar. nauch. konf.; Arkhangel'sk 15-16 noiabria 2011 g. Arkhangelsk, 2012, part 1, pp. 208-212.
9. Chomsky N. Aspects of a theory of syntax. Cambridge, MA, Harvard University Press, 1965.
10. Ailazian E.P., Obdalova O.A. Modelirovanie kursa delovogo inoiazychnogo obshcheniia v poliprofessional'nom prostranstve vuza [Communication course modeling for foreign lanuage teaching in polyprofessional environment]. Language and Culture, 2012, no. 1(17), pp. 62-75.
11. Tsaturova I.A., Baluian S.R. Testirovanie ustnoi kommunikatsii [Oral communication testing]. Moscow, Vysshaia shkola, 2004, 128 p.
12. Rasch G. Probabilistic models for some intelligence and attainment tests. Copenhagen, 1960.
13. Avanesov V.S. Official web-site of trainee support. Available at: http://testolog.narod.ru/Theory59.html (accessed 07 February 2017).
14. The Oxford Online Placement Test: What does it measure and how? Available at: https://www.oxfordenglishtesting.com/uploadedFiles/6_New_Look_and_Feel/Con-tent/oopt_measure.pdf (accessed 24 September 2017).
15. Zvonnikov V.I., Chelyshkova M.B. Kontrol' kachestva obucheniia pri atte-statsii: kompetentnostnyi podkhod [Education quality control during attestation: Competence-based approach]. Moscow, Universitetskaia kniga, Logos, 2009, 272 p.
16. Linacre J.M. Winsteps: Rasch measurement computer program. Beaverton, 2016.
17. Bond T., Fox C. Applying the Rasch model: Fundamental measurement in the human sciences. Mahwah, NJ, LawrenceErlbaumAssociates, 2007.
Сведения об авторах
ГУРАЛЬ Светлана Константиновна
e-mail: gural.svetlana@mail.ru
Доктор педагогических наук, профессор, заведующая кафедрой английской филологии, факультет иностранных языков, Томский государственный университет (Томск, Россия)
ПОДЪЯНОВА Татьяна Олеговна
e-mail: tatylan@mail.ru
Преподаватель кафедры естественно-научных и физико-математических факультетов, факультет иностранных языков, Национальный исследовательский Томский государственный университет (Томск, Россия)
About the authors
Svetlana K. GURAL
e-mail: gural.svetlana@mail.ru
Doctor of Pedagogical Sciences, Professor, Faculty of Foreign Languages, National Research Tomsk State University (Tomsk, Russian Federation)
Tatyana O. PODYANOVA
e-mail: tatylan@mail.ru
Lecturer, Department of the English Language for Natural Science and Physical-Mathematic Faculties, Faculty of Foreign Languages, National Research Tomsk State University (Tomsk, Russian Federation)
