CC BY
15УДК 80-030.8 ГРНТИ 16.21
И. Ю. Павловская
Перспектива или ретроспектива?
Метафоры языкового тестирования
Статья посвящена эволюции тестирования в человеческой истории и перспективам и вызовам нашего времени. Рассматриваются такие тенденции как: дифференциация тестирования по профессиональным областям, сокращение водораздела между обучением и тестированием, применение новых технологий, акцент на интегративные тестовые задания.
Ключевые слова: языковое тестирование, рубежное тестирование, формирующее тестирование, технологии тестирования, интегративные тестовые задания, шкалы оценивания, компетенции.
I. Pavlovskaya
Perspective or Retrospective? Metafors of Language Testing
In the paper the evolution of testing in human history is observed, challengers and perspectives of the day are discussed. The author focuses on the following modern trends: testing for specific contexts; changing relationships between testing and teaching; applications of new technologies; integrated skills assessment.
Key words: language testing, summative testing, formative testing, testing technologies, interated tasks, scales of assessment, competences.
Современные тенденции и вызовы будущего в языковом тестировании включают:
1) дифференциацию тестирования по профессиональным областям;
2) сокращение водораздела между обучением и тестированием;
3) применение новых технологий;
4) акцент на интегративные тестовые задания [9].
Одни из этих направлений связаны с сугубо инновационными идеями, а другие возвращают к пройденному в истории тестологии, хотя и на новом витке спирали. В статье рассматривается каждое из указанных направлений с точки зрения перспективы и ретроспективы.
Вспомнив определения, обратимся к изобразительному искусству, откуда эти термины и пришли. Сохранился эскиз К. Петрова-Водкина к его картине, написанной для большой Московской передвижной выставки (сама картина не сохранилась). На ней были изображены и великие гео-
© Павловская И. Ю., 2017 © Pavlovskaya I., 2017
графические открытия, и избиение младенцев Иродом, и голгофа, и отшельник в пещере, что-то старательно записывающий, и войны, что-то похожее на сцену из жизни и смерти Жанны Д'Арк, и посадка деревьев в коммунистический субботник. Все это - события прошлого. Это - ретроспектива? Нет, художник назвал картину «Перспектива». Автор этой картины был большим знатоком перспективы и различал три ее вида:
1. Прямую линейную - вид перспективы, рассчитанный на неподвижную точку зрения и предполагающий единую точку схода на линии горизонта (предметы уменьшаются пропорционально по мере удаления их от переднего плана).
2. Обратную линейную - вид перспективы, применяемый в византийской и древнерусской живописи, при которой изображенные предметы представляются увеличивающимися по мере удаления от зрителя, картина имеет несколько горизонтов и точек зрения, и другие особенности. При изображении в обратной перспективе предметы расширяются при их удалении от зрителя, словно центр схода линий находится не на горизонте, а внутри самого зрителя. Обратная перспектива образует целостное символическое пространство, ориентированное на зрителя и предполагающее его духовную связь с миром символических образов.
3. Сферическую перспективу. Это позиция главной точки, которая реально не привязана ни к уровню горизонта, ни к главной вертикали. При изображении предметов в сферической перспективе все линии глубины будут иметь точку схода в главной точке и будут оставаться строго прямыми. Также строго прямыми будут главная вертикаль и линия горизонта. Все остальные линии будут по мере удаления от главной точки все более и более изгибаться, трансформируясь в окружность. Каждая линия, не проходящая через центр, будучи продлённой, является полуэллипсом.
Если мы вернемся к упомянутым нами направлениям развития тесто-логии, то увидим в них все три вида перспектив - и уходящую вдаль, в неизвестность и бесконечность, и приближающуюся к человеку, и образующую сферу, уходящую за горизонт, но возвращающуюся вновь, поскольку земной шар - наша сфера - крутится вокруг своей оси.
В плане ретроспективы, давайте обратимся к истокам тестологии.
Первые тесты на «профпригодность» проводились в Китае свыше 2200 лет до н.э. [10]. Император самолично тестировал претендентов на государственные должности по 6 аспектам, включающим, наряду с испытаниями по музыке, верховой езде, стрельбе из лука и знание порядка проведения придворных ритуалов и церемоний, тестирование умения писать и читать - наши языковые субтесты. Есть упоминания о многоаспектном тестировании в школах для мужчин в Южном Двуречье в III тысячелетия до н.э. Так, например, после тестирования по степени эрудиции и специализации различалось около двадцати видов писцов [1]. В древнем Иране в школах также готовили большое количество писцов, а на службе при дворе царя сатрапов и в армии служили переводчики, которые знали по несколь-
ку языков [3]. В античной Греции тестирование было способом получения знаний и функционально с обучением не разделялось (текущий контроль, или formative assessment).
В Древнем Египте кандидат на обучение искусству жрецов проходил ряд тестовых испытаний, который включал собеседование, с целью оценить внешние данные, проверить умение вести беседу, выяснить биографические данные, так же оценивался уровень образованности кандидата. Далее кандидат подвергался испытаниям, по результатам которых оценивались его умения слушать, молчать и трудиться. Так, например, Пифагор (570-490 гг. до н. э.) прошел эту систему тестов и после «посвящения» получил свое имя (лат. Pythagoras), которое переводится как "прозревающий гармонию", (пифии - жрецы-прорицатели в Древней Греции, гор - гармония) [2]. После возвращения в Грецию Пифагор основал свою школу, поступить в которую было можно только пройдя серию тестов, по структуре похожих на те, которым подвергался сам.
Уже приблизительно 500 лет до н.э. были выработаны важнейшие элементы тестовых испытаний, такие как: одинаковая степень трудности для всех испытуемых, последовательность этих испытаний в соответствии с принципом возрастания степени трудности заданий.
Современные системы языкового тестирования могут быть рассмотрены как в горизонтальном ряду (тестирование в разных целях), так и в вертикальном ряду (тестирование по уровням).
Началось все со скромной схемы Дейвида Картера [8]. Затем у Хатчинсона и Уотерс [13, с. 17] дерево разрослось и приобрело больше ветвей.
Разрастание дерева в горизонтальном ряду происходит через умножение навыков и умений. В горизонтальном ряду также можно рассмотреть систему заданий и технологий проверки.
Это вызывает рост бесконечно плодящихся видов компетенций, список которых на сегодня включает: коммуникативную, функциональную, языковую, рефлексивную, грамматическую, коллокационную, предметную, орфографическую, профессиональную, эмоциональную, страноведческую, корпусную, стратегическую, пунктуационную, прагматическую, дискурсивную, фонологическую, межкультурную, лексическую, социокультурную, социолингвистическую, социальную, компенсаторную, и др.
Нельзя не упомянуть и тот факт, что тестирование, как и обучение, все больше стремится отразить мультилингвальную ситуацию в глобали-зованном мире, развить межкультурную коммуникативную компетенцию, что требует особых приемов и разработок.
Рассмотрение результатов тестирования в вертикальном ряду порождает все более и более подробные шкалы, похожие на градусники, где температура, однако, не может быть равна нулю (как температура тела, так и знания кандидата, пришедшего сдавать тест).
Если шкалы Совета Европы в Общеевропейских компетенциях [9], Кембриджского экзаменационного департамента насчитывают 6-9 уровней (от А1 до С2), то шкала издательства Пирсон уже намного подробнее (от 10 до 90 «градусов»).
В вертикальном ряду можно идти либо сверху вниз (чего тестируемый не знает?), либо снизу вверх (а что же он все-таки знает?), либо разбивать шкалу на дискретные уровни, прилагая к ним соответствующие описания (дескрипторы) и программы обучения.
Тестирование в специальных целях (горизонтальный ряд) в большей степени учитывает потребности учащегося, а вертикальный ряд помогает скорее администраторам и менеджерам в образовании руководить учебным процессом и вести корабль обучения правильным курсом.
В конечном счете, дерево растет и вверх, и вширь.
В последнее время тестологи все чаще говорят о рубежном и текущем тестировании (summative and formative assessment), склоняясь в пользу второго. Оно обладает более мягким, женским подходом, в то время как рубежное тестирование - по-мужски жестко отсеивает не перепрыгнувших установленную планку и дает диагноз, который иногда может стать приговором. Отсюда еще одна англоязычная метафора - «high-stakes tests and low-stakes tests» (тесты, по которым принимаются решения с большой степенью риска (большой ставкой), или с малой).
Если обратиться к ретроспективе снова, то мы поймем, что тесты с высокой степенью риска - такие как ЕГЭ, например, дающие человеку путевку в жизнь, открывающие перед ним двери высших учебных заведений, хотя к ЕГЭ мы пришли не так давно, - в действительности далеко не новое открытие.
С древних времен в обстановке межгрупповых или межнациональных конфликтов у представителей тех или иных социальных групп возникала необходимость идентификации людей по принципу «свой - чужой» на основе общности/различий языковых явлений. И в этих случаях в качестве средства для идентификации как «пробный камень» часто использовался один и тот же прием - требование произнести определенное слово или фразу, которые сразу выдавали «чужака». Этот прием получил название «шибболет-теста» (shibboleth test). Этимология понятия «shibboleth test» такова. В Библии приводится описание войны, происходившей около трех тысяч лет назад между ефремлянами и жителями Галаада. В их языках было небольшое, но легко обнаруживаемое различие в способе произношения определенного согласного звука: в одном случае sh произносилось как па-лато-альвеолярный фрикативный звук /{/, в другом - приближалось по звучанию к /s/: «Когда ефремляне убежали по направлению к Иордану, то они были задержаны при переправе через реку галаадскими воинами, которые спрашивали каждого прибегающего: «не ефремлянин ли ты?» Если он отвечал отрицательно, то они заставляли его произнести слово «шиболет» (поток или колос); если он произносил «сибболет» и не мог иначе выгово-
рить, то его убивали. И так убили 42.000 ефремлян» [6]. Подобная практика использовалась в истории не раз, в разные эпохи и в разных странах [4].
Тест не должен быть проблемой для учащегося, он призван открывать новые возможности - карьерные, профессиональные, творческие, навыко-вые. Поэтому мы все чаще говорим о тестировании, ориентированном на обучение (LOA - Learning Oriented Testing). Оно направлено в будущее, готовит к новым достижениям, в то время как рубежное тестирование фиксирует результат, полученный в прошлом.
Итак, круг замыкается: от обучения, через независимое тестирование мы вновь возвращаемся к текущему контролю, который, однако, сохраняет связь и с независимым тестированием. Мы снова вернулись к циклу, к сферической перспективе. Если же обратить ее в прямую, то тестирование можно уподобить парусу на фоне неба и моря. Мы видим парус, но мы не видим корпус парусника, не видим людей на нем и что они делают, а это -преподаватели и ученики в учебном процессе, парус - лишь то, что их уносит вдаль, а они трудятся на борту каждый день. Многие забывают, что знаменитые CEFR [9] лишь наполовину посвящены тестированию, а первая, большая часть этой книги описывает процесс и принципы обучения. Поэтому пересмотр независимости тестирования и обучения, а также отделение работы тестора от работы преподавателя - неизбежен.
Возвращаясь к направлением развития тестологии, осталось упомянуть два из них - тенденцию к включению в тест интегративных заданий и развитие технологий.
Интегрированные задания в тестах (чтение+аудирование+говорение, или аудирование+письмо, и т.п.), безусловно, лучше отвечают естественной психолингвистической модели речевого поведения. Язык - есть средство общения, и роли слушателя/говорящего пишущего/читающего в нем постоянно меняются. Но технологически создать и обработать такие тестовые задания достаточно сложно. На помощь приходят IT-технологии, запись и расшифровка записи живой речи, машинное оценивание письменной речи.
Технологии, безусловно, идут вперед, здесь не может быть и речи о какой-то обратной перспективе, перспектива здесь линейная и прямая. Взять хотя бы автоматическое распознавание устной речи и автоматическую проверку письменной речи.
Интеллектуальные речевые решения, позволяющие автоматически синтезировать и распознавать человеческую речь, являются новой ступенью развития интерактивных голосовых систем (IVR). При этом системы распознавания являются независимыми от дикторов, то есть распознают голос любого человека.
Следующим шагом технологий распознавания речи можно считать развитие так называемых Silent Speech Interfaces (SSI) (Интерфейсов Безмолвного Доступа). Эти системы обработки речи базируются на получении и обработке речевых сигналов на ранней стадии артикулирования. Данный
этап развития распознавания речи вызван двумя существенными недостатками современных систем распознавания: чрезмерная чувствительность к шумам, а также необходимость четкой и ясной речи при обращении к системе распознавания. Подход, основанный на SSI, заключается в том, чтобы использовать новые сенсоры, не подверженные влиянию шумов в качестве дополнения к обработанным акустическим сигналам.
Развивается и автоматическая проверка эссе. Онлайн-студенты загружают свои проверочные работы на сайт курсов и желают, чтобы их знания были быстро и объективно проверены. Как создать такое программное обеспечение, которое бы оценивало студенческие эссе и короткие ответы? Эту насущную проблему взялась решить EdX [11], одна из платформ для массовых открытых онлайн-курсов (MOOC). EdX - некоммерческая организация, созданная под эгидой Гарварда и Массачусетского технологического института. Ее сотрудники заняты созданием инструмента оценки студенческих работ; предполагается, что он будет доступен для всех учебных заведений, причем его можно будет скачать через интернет совершенно бесплатно. Хоть новая технология еще не проработана до конца, но, как водится, уже вызывает много споров.
Если работу проверяет компьютер, ее можно переписывать бесконечно, раз за разом получая быструю оценку своего труда. Это гораздо эффективнее, чем ждать несколько дней или даже недель пока преподаватель найдет время зайти в систему и проверить студенческие тесты. Без преподавателя тут все равно не обойтись. Это именно он закладывает в память программы около ста ответов, присваивая им ту или оценку. Теперь у программы есть своего рода алгоритм, на который она может опираться, выставляя студентам отметки. Также она может оценить, не отошел ли студент в своем эссе от заданной темы.
Таким образом, в эволюции развития тестирования мы видим разнообразие перспектив - прямых, обратных и сферических. Создавая что-то новое, каждый раз стоит задуматься - а не было ли этого раньше, и какой опыт человек/человечество вынесло из того, что было.
Список литературы
1. Белявский В.А. Вавилон легендарный и Вавилон исторический. М.: Мысль, 1971. 319 с.
2. Бородин А.И., Бугай А.С. Биографический словарь деятелей в области математики. Под ред. И.И. Гихмана. Киев: Радянська школа, 1979. 607 с.
3. Дандамаев М.А., Луконин В.Г. Культура и экономика древнего Ирана. М.: Наука, 1980. 418 с.
4. Большакова И.Г. Шибболет-тест как метод лингводидактического оценивания// Тестология. Материалы секции XLI Международной филологической конференции / СПбГУ 26-30 марта 2012 г. СПб., 2012. С. 11-17.
5. Холл М.П. Энциклопедическое изложение масонской, герметической, каббалистической и розенкрейцеровской символической философии. Новосибирск: Наука, 1992. 480 с.
6. Нюстрем Э. Библейский энциклопедический словарь. М.: Моя планета. Библиотека ХХ! века, 2001.
7. Шмелев И.П. Феномен Древнего Египта. Минск: Университетское РИЦ "Ло-таць", 1993. 64 с.
8. Carter, D. Some propositions about ESP [J]. The ESP Journal 2, 1983. P. 131-137.
9. Common European Framework of Reference for Language Learning and Teaching. Strasburg: Europarat, 2000.
10. Du Bois, P. H. A History of Psychological Testing. Boston. Allyn and Bacon Inc., 1970. 152 p.
11. EdX URL: https://www.edx.org/ (дата обращения: 25.07.16).
12. Green, A. Current trends and future needs in language assessment / Paper presented at TEASIGIATEFL Conference, Granada, Spain, October, 2014.
13. Hutchinson T., Waters A. English for Specific Purposes: a Learner-Centred Approach. Cambridge: CUP: 1987. 183 p.
References
1. Belyavskiy, V. A. Vavilon legendarniy i Vavilon istoricheskiy. Moscow: Misl, 1971.
319 s.
2. Borodin, A.I., Bugai, A.C. Biograficheskiy slovar deyateley v oblasti matematiki / ed. I.I. Gikhman. Kiev: Radyanska shkola, 1979, 607 s.
3. Dandamaev, М.А., Lukonin, V.G. Kultura i ekonomika drevnego Irana. Moscow, Nauka. 1980. 418 s.
4. Bolshakova, I.G. Shibbolet-test kak metod lingvodidakticheskogo otsenivaniya // Testologiya. Materiali sektsii XLI Mezhdunarodnoi Philologitcheskoi konferentsii / St. Petersburg State University, 26-30 March, 2012. S. 11-17.
5. Holl, M.P. Entsiklopedicheskoye izlozhenie masonskoy, germeticheskoi, kabbalis-ticheskoi i rozenkreitserovskoi simvolicheskoi filosofii. Novosibirsk: Nauka, 1992.
6. Nustrem, E. Bibleiskiy entsiklopedicheskiy slovar. "Moya Planeta. Biblioteka ^I veka", 2001.
7. Shmelyov, I.P. Fenomen Drevnego Egipta. Minsk: Universitetskoye RITs "Lotats" 1993. 64 s.
8. Carter, D. Some propositions about ESP [J]. The ESP Journal 2, 1983. S. 131-137.
9. Common European Framework of Reference for Language Learning and Teaching. Strasburg: Europarat, 2000.
10. Du Bois, P. H. A History of Psychological Testing. Boston. Allyn and Bacon Inc., 1970. 152 s.
11. EdX. URL: https://www.edx.org/ (25.07.16).
12. Green, A. Current trends and future needs in language assessment / Paper presented at TEASIG IATEFL Conference, Granada, Spain, October, 2014.
13. Hutchinson T., Waters A. English for Specific Purposes: a Learner-Centred Approach. Cambridge: CUP: 1987. 183 p.
