CC BY
116
УДК 811'24:378.261
МЕТОД ЭКСПЕРТНЫХ ОЦЕНОК В ЛИНГВОДИДАКТИКЕ
А.С. Карамнов
Тамбовский государственный университет имени Г.Р. Державина E-mail: [email protected]
Рассматривается использование метода экспертных оценок как в общей системе научно-педагогической экспертной деятельности, так и в рамках ее лингводидактического аспекта. Дается характеристика процедуры проведения экспертизы, а также оценивается перспективность обращения к интеллектуальным компьютерным системам как инструментам экспертного анализа.
Ключевые слова:
Метод экспертных оценок, экспертная оценка учебных пособий, экспертные системы.
Постановка проблемы. Экспертное оценивание образовательной среды - это динамически развивающееся направление, которое характеризуется широкой областью применения. Экспертизе подвергаются учебники, учебные пособия и другие ресурсы, перед тем как стать неотъемлемым компонентом учебного процесса. Технологии экспертных оценок применяются при лицензировании образовательных учреждений, а также при аттестации педагогических работников. Экспертными функциями наделяются диссертационные советы, осуществляющие процедуру оценивания актуальности, научной новизны, теоретической и практической значимости исследований [1].
Г.А. Мкртычян [2] разделяет мнение о возрастающем значении экспертной деятельности в образовании и отмечает тенденцию к ее обособлению от традиционного вида профессиональной деятельности инспектора образовательной сферы.
Развитие новых информационно-коммуникационных технологий, а также текущие изменения законодательства в сфере образования, которые в первую очередь связаны с внедрением новых федеральных государственных образовательных стандартов, придают дополнительный импульс развитию и совершенствованию процедуры экспертной оценки образовательных ресурсов.
В этой связи представляется полезным рассмотреть, как метод экспертных оценок может быть использован в образовании и какая роль при этом отводится интеллектуальным экспертным системам. Не менее важным является определение места экспертизы учебных пособий в общей системе научно-педагогической экспертной деятельности и обозначение проблемных областей, связанных с лингводидактическими аспектами оценки учебных изданий.
Экспертиза в сфере образования. Д.А. Леонтьев и Г.В. Иванченко [3] относят экспертизу, при всем многообразии ее трактовок, к методу научного познания, обращая внимание на то, что у нее имеется ряд отличий. Так, по сравнению с собственно научными исследованиями, экспертиза ставит задачу прояснения реальности как таковой, в отличие от ориентации на получение нового знания. Кроме этого, экспертиза не сводится целиком к проверке и оценке, а также является менее технологичной, нормированной и стандартизованной, чем мониторинг. Отличается экспертиза и от классического эксперимента, так как не ставит своей целью вмешиваться в естественный ход событий, напротив, стремясь уменьшить подобное влияние.
В.А. Ясвин [4] отмечает необходимость разработки аппарата формального описания экспертизы образовательной среды и предлагает использовать в этих целях систему парамет-
Карамнов Антон Сергеевич, аспирант кафедры лингвистики и лингводи-дактики Тамбовского государственного университета имени Г.Р. Державина, г. Тамбов.
E-mail: [email protected] Область научных интересов: корпусная лингвистика, лингвистическая экспертиза текста, компьютерный анализ текстовых массивов.
ров. Совокупность базовых параметров в этой системе составляют широта, интенсивность, модальность, степень осознаваемости и устойчивость.
Широта образовательной среды показывает, какие субъекты, объекты, процессы и явления в нее включены. Интенсивность определяется степенью наполненности среды различными условиями, влияниями и возможностями в совокупности с частотой их проявления. Модальность характеризует образовательную среду с качественной точки зрения, показывая степень выраженности того или иного показателя, а также степень использования учащимися учебных ресурсов. Так называемая осознаваемость образовательной среды является показателем включенности в нее всех субъектов образовательного процесса. Наконец, устойчивость позволяет судить о состоянии среды в диахронической перспективе.
Не углубляясь далее в описание комплекса измерений образовательной среды как сложной системы, отметим лишь, что кроме базовых параметров экспертизы образовательной среды В.А. Ясвин [4] выделяет ряд параметров второго порядка, к которым относятся эмоциональность, обобщенность, доминантность, когерентность, принципиальность, активность.
Экспертиза учебных пособий. Учебные издания, являясь неотъемлемым компонентом образовательной среды, часто становятся объектами экспертизы. Учитывая тот факт, что создание учебного издания подразумевает расценивание его как системы знаний, дидактической системы и педагогической системы [5], экспертная оценка касается анализа всех этих компонентов.
В настоящее время в России действует Положение о порядке проведения экспертизы учебников, целью которого является обеспечение их качества и формирование федеральных перечней учебников. Согласно этому положению, «объектом экспертизы является учебное издание, содержащее систематическое изложение содержания учебного предмета» [6]. Оценка учебных изданий подразумевает проведение педагогической и научной экспертизы.
В задачи педагогической экспертизы входит определение соответствия содержания учебника федеральному государственному образовательному стандарту, возрастным и психологическим особенностям обучающихся, принадлежности издания к системе учебников, обеспечивающих преемственность изучения учебного предмета, и к результатам освоения основной образовательной программы общего образования.
В процессе проведения научной экспертизы оценивается соответствие содержания учебника современным научным представлениям, где учитываются соответствующая ступень общего образования и требования федерального государственного образовательного стандарта.
Проведением экспертизы учебников занимаются экспертные организации, в которые входят Российская академия наук, Российская академия образования и другие учреждения, действующие на основании своих уставов.
Проблематика экспертной оценки учебных пособий (в частности, по английскому языку) в теории и практике преподавания иностранных языков и культур заключается в текущей неопределенности в плане разграничения понятий «методика» и «лингводидактика» [7, 8]. В сфере экспертной оценки тематических учебных пособий эти термины также имеют неясное содержательное распределение. При этом особенно важным является соотношение методических и непосредственно языковых сторон содержания пособий, позволяющее выявить определенные признаки качества этих учебных изданий.
Исторически сложилось, что в процессе автономизации какой-либо научной области в рамках общей полинаучной системы можно выделить несколько этапов. Начальная стадия характеризуется зарождением междисциплинарных взаимосвязей между смежными или неродственными научными областями. Основной этап формирования новых научных направлений включает определение их собственных предметов, объектов, материальных баз, а также введение в научный обиход соответствующих понятий, категорий и исследовательских принципов. На заключительном этапе становления самостоятельного научного направления происходит дальнейшее углубление его дифференциации от тех наук, на стыке которых оно образовалось.
Разграничение методики и лингводидактики все еще далеко от завершения, так как разными научно-методическими школами эти термины употребляются неоднозначно. С одной стороны, их употребление бывает синонимичным, с другой стороны, они рассматриваются как отдельные научные области, где лингводидактика занимается созданием теоретических основ, в то время как методика внедряет результаты лингводидактического исследования в учебный
процесс. Существует также представление о том, что методика как наименование науки вбирает в себя как процесс обучения языку, так и его описание для конкретных целей и задач обучения, т. е. включает в себя лингводидактику как составную часть. И, наоборот, лингводидактика как общенаучное наименование «обучения языку» охватывает и все теоретические, и собственно методические проблемы описания и преподавания языка [9].
Кроме этого, считается, что теория и практика (методика) преподавания иностранных языков и культур образует единство таких сфер научного знания, как прикладная лингвистика, языковая педагогика, лингвистическая дидактика и методическая культура [10].
Прикладная лингвистика в области методики имеет свой предмет - коммуникативную компетентность, которая включает в себя практические знания, речевые умения и навыки, необходимые для эффективного решения коммуникативных задач в разных видах деятельности через аудирование, чтение, говорение и письмо.
Языковая педагогика как часть методики обучения иностранным языкам и культурам исследует педагогический процесс как учение, т. е. с точки зрения личности и познавательной деятельности учащихся.
В свою очередь, лингвистическая дидактика как составляющий элемент методики рассматривает педагогический процесс как обучение, с позиции учителя и в контексте передачи знаний в ходе обучающей деятельности.
Методическая культура в методике преподавания языков и культур представляет собой традиционно существующие и переходящие из поколения в поколение знания, компетенции и отношения, присущие определенному педагогическому сообществу.
Таким образом, провести содержательную дифференциацию методики и лингводидак-тики как в целом, так и в контексте анализа учебно-методических пособий по английскому языку представляется затруднительным. Поэтому полагается целесообразным разграничить содержание обучения иностранному языку и культурам конкретного учебника в двух направлениях. В области прикладной лингвистики это собственно язык с его звуковыми, лексическими, словообразовательными, морфологическими, синтаксическими, стилистическими и другими особенностями. В методике, в свою очередь, содержание обучения определяется совокупностью педагогических и дидактических обобщений в контексте методической культуры, обусловливающей написание того или иного учебного пособия.
Метод экспертных оценок. Любые действия, связанные с осуществлением научно-педагогической экспертизы, определяются и воплощаются в жизнь компетентными лицами, обладающими специальными знаниями в исследуемой области, - экспертами. Статус эксперта, а именно совокупность его прав, обязанностей, полномочий и отчета в своих действиях, устанавливается внутренними нормативными документами экспертных советов организаций, осуществляющих соответствующую деятельность, и утверждается президиумом.
Профессия эксперта в образовании относится к типу «человек-человек», гностична по своей природе в силу ориентирования на изучение и оценку разного рода образовательных нововведений, связана с преобладанием функциональных средств труда и повышенной моральной ответственностью, а также включает в себя элементы свободного творческого труда [2].
В общем виде метод экспертных оценок в научной литературе определяется как эмпирический метод-операция, разновидность опроса, осуществляемого с привлечением к оценке изучаемых явлений или процессов людей, общее компетентное мнение которых может служить достаточным основанием для вынесения объективного заключения о качестве анализируемого продукта [11].
В квалиметрии под экспертным методом понимается совокупность специальных процедур, логических и математических приемов, применяемых специалистами для сбора, обобщения и анализа информации [12].
По мнению ряда авторов [2. С. 12-14], использование метода экспертных оценок подразумевает проведение экспертизы, в рамках которой выделяются три основных этапа: подготовка опроса, его проведение и интерпретация полученных данных.
Начальный этап экспертизы. На данном этапе осуществляется подготовительная работа, включающая в себя разработку процедуры опроса с ориентацией на поставленные цели экс-
пертизы, формирование группы специалистов-организаторов экспертизы, а также происходит отбор экспертов и формирование экспертной группы.
Четкое формулирование целей экспертизы, исходя из существующих потребностей, является важным условием обеспечения надежности ее результатов. Для того чтобы правильно подойти к этому вопросу, необходимо подробно изучить предысторию и текущее состояние проблемы, оценить предполагаемые результаты и принимать во внимание сферу и условия их использования и форму их представления. Также отмечается, что при наличии нескольких целей оценки по различным шкалам рекомендуется привести к общей шкале, например за счет установления цели более высокого уровня [12].
Группа аналитиков, организовывающих экспертизу, призвана разработать процедуру ее проведения, в ходе которой создается методика опроса, отбираются эксперты и осуществляется собственно опрос, за которым следует анализ и обобщение полученной информации.
Непосредственно составлению списка кандидатов в эксперты предшествует изучение совокупности научных, технических и административных интересов, которые затрагиваются в ходе поиска решения поставленной задачи. Основанием для включения специалиста в список является уровень его компетентности, широта кругозора и общей эрудиции, наличие знаний в смежных областях. Соответствие указанным критериям проверяется с помощью предварительного анкетирования кандидатов, в ходе которого им предлагается оценить по регламентированной шкале уровень своей осведомленности в ряде вопросов из разных областей знаний, релевантных сфере проводимой экспертизы. В дальнейшем анализ индивидуальных самооценок позволяет измерить среднюю групповую самооценку и при необходимости внести соответствующие коррективы в состав потенциальных экспертов для оптимизации численного индекса, показывающего общий объем знаний в группе.
Не менее важным моментом при формировании экспертной группы является определение необходимого числа экспертов. Это связано с тем, что, с одной стороны, их недостаток может привести к снижению точности оценки, в то время как, с другой стороны, слишком большое количество экспертов вызывает оправданные опасения в достаточной согласованности мнений, так как их «вес» будет уменьшаться пропорционально увеличению их количества. Отчасти решить чрезвычайно сложную задачу по определению оптимального числа участников экспертной группы помогает анализ зависимости средней групповой ошибки от количества экспертов в группе [12].
Кроме этого, очевидно необходимым является выявление любых несоответствий интересов экспертизы интересам членов экспертной группы с целью исключения намеренного искажения процедуры оценивания. Вместе с тем, всячески поощряются любые действия, направленные на стимулирование объективной работы экспертной группы, такие как, например, организация пробного эксперимента с участием экспериментальной и контрольной групп с последующим сравнением результатов.
Основной этап экспертизы. На основном этапе проведения экспертизы происходит опрос участников экспертной комиссии. Анализ научно-методической литературы позволяет говорить о существовании большого количества методов осуществления этого опроса.
Э.П. Райхман и Г.Г. Азгальдов [13] выделяют индивидуальный и групповой способы опроса экспертов и отмечают, что технические приемы получения экспертных оценок схожи с применяемыми в социологии, однако менее вариативны и включают в себя интервью, интервью-анкету, анкетирование и смешанное анкетирование.
Во время интервью аналитик-организатор в процессе свободной беседы с экспертом по разработанной схеме выявляет его оценки. Формат интервью-анкеты подразумевает использование заранее подготовленного бланка, в который заносятся экспертные оценки в ходе ответов на вопросы более конкретного характера, задаваемые в строгой последовательности. Анкетирование, сопровождаемое пояснительной запиской, исключает общение эксперта с техническими работниками и влечет за собой письменные ответы эксперта на вопросы анкеты. Смешанное анкетирование, в свою очередь, предполагает общение эксперта с организатором этой процедуры, когда возможно пояснение непонятных вопросов, уточнение деталей и т. д.
Ю.В. Сидельников [14] также относит к наиболее распространенным способам опроса экспертов анкетирование, интервьюирование и смешанное анкетирование. В целом соглашаясь
с процедурой проведения опроса, описанной выше, автор особо подчеркивает, что при анкетировании необходимо грамотно учитывать формулировку, порядок следования и типы вопросов, а также наличие в них монотонности.
С.Д. Бешелев и Ф.Г. Гурвич [12] отмечают перспективность метода Дельфы. Разработанный математиком и экспертом в области системных исследований О. Хельмером, этот метод получил свое название от одноименного древнегреческого города, где находился один из главных пророческих храмов эллинского мира.
Метод Дельфы включает в себя набор последовательных процедур, в ходе которых складывается групповое мнение по проблеме. Отмечаются три основные черты, присущие классической модели применения данного метода: анонимность, наличие регулируемой обратной связи и групповые ответы. Анонимность может достигаться путем проведения опроса с помощью автоматизированных программных средств; регулируемая обратная связь возникает при использовании нескольких этапов опроса, результаты каждого из которых последовательно обрабатываются и сообщаются экспертам; групповые ответы определяются в ходе статистического анализа совокупности индивидуальных оценок экспертов.
В большинстве случаев экспертизы по методу Дельфы проводятся в четыре этапа. В первом эксперты информируются о целях и предмете экспертизы, и им предъявляется ряд вопросов в виде анкеты. Информация, содержащая экспертные оценки по окончании первого этапа опроса, поступает аналитикам, задача которых заключается в определении «крайних» показателей (самая высокая и самая низкая оценки) и усредненного общего индекса. В ходе второго этапа экспертам анонимно сообщаются выявленные показатели и их обоснование, в результате чего, как правило, происходит корректировка экспертных оценок. После этого результаты вновь поступают специалистам-аналитикам. Последующие этапы строятся по аналогичной схеме. Таким образом, от этапа к этапу сокращается разброс оценок экспертов и увеличивается их согласованность [15].
М.В. Крулехт и И.В. Тельнюк [1] говорят о зависимости выставления экспертных оценок от области их применения и подразделяют их на индивидуальные, групповые и коллективные. Выделяя последние как наиболее состоятельные при вынесении экспертных решений в образовательной среде, авторы называют такие методы коллективной работы экспертов, как совещание, дискуссия, «мозговая атака», деловая игра.
Традиционные методы совещаний и дискуссий преследуют цель выработки коллективного мнения в ходе обсуждения с высказыванием экспертами своих доводов и критическим анализом предлагаемых позиций.
Стратегия «мозговой атаки» используется при необходимости найти оригинальное решение в ограниченный промежуток времени. Обычно «мозговая атака» организуется по принципу одновременной генерации идей в нескольких рабочих группах без текущего обсуждения и замечаний с их последующим анализом в ходе экспертного оценивания.
Главной особенностью деловых игр является вовлечение экспертов в активную деятельность, при которой за каждым из них закрепляются определенная роль и обязанности в соответствии с регламентированными правилами.
Для анализа комплексных систем используются методы более высокого порядка. К таковым относятся метод системных матриц, методика «дерева целей», паттерна и др.
Метод системных (решающих) матриц был предложен Г.С. Поспеловым и в обобщенном виде представляет собой наборы условий и вариантов, наблюдаемых в ситуации принятия решений. Процедура использования этого метода подразумевает выделение основных векторов исследования в конкретной области, подвергаемой экспертизе, каждому элементу которых присваивается удельный вес. В обязанности экспертов входит оценка относительного значения каждой альтернативы в реализацию альтернативы, находящейся на предшествующем иерархическом уровне. Заполняемые таким образом строки матрицы характеризуют относительный вклад частных альтернатив в значимость и реализацию более сложных альтернатив. Таким образом, реализуется идея замены комплексных экспертных оценок последовательностью более простых.
Метод «дерева целей», предложенный У. Черчменом и Р. Акоффом, основан на принципе создания иерархической структуры, позволяющей представить полную картину взаимных связей между элементами целого, которые находятся в отношениях соподчиненности. «Дерево
целей» начинает строиться с обозначения главной цели с последующим движением к целям более низких уровней. Экспертные оценки используются как при формулировании целей, так и при определении их значимости.
Использование метода сценариев при прогнозировании развития сложных систем, начало которому положил Г. Кан, влечет за собой детальное изложение проблемной ситуации с установлением событий в их строгой последовательности, чтобы показать, каким будет состояние объекта исследования в будущем, исходя из текущего положения вещей. После структуризации проблемной области и выявления факторов, влияющих на нее, с помощью экспертной оценки происходит отбор переменных, определяющих развитие изучаемой ситуации. В дальнейшем каждой переменной присваивается шкала, включающая в себя и количественные значения, и вербальные описания содержания переменных. Так происходит их измерение. Представление сценариев позволяет исследовать критические моменты для принятия решений и проанализировать возможные последствия различных вариантов этих решений.
Методика паттерна, появившаяся в 1963 г. в США, включает в себя процедурные элементы обоих описанных выше методов системного анализа и отражает большой опыт американских ученых по присваиванию мер значимости элементам проблемной области, пока каждая подпроблема не будет всесторонне и надежно количественно оценена экспертами [16].
Процедура применения метода паттерна (от англ. pattern - модель, схема) состоит из нескольких шагов. После выбора объекта анализа и выявления его внутренних закономерностей происходит подготовка и написание сценария, формулирование целей и изучение иерархии элементов целого. Формируя таким образом внутреннюю структуру объекта («дерево целей») и внешнюю организацию (систему критериев), можно экспертно определить перечень конечных целей и их суммарные веса, которые будут являться показателями их значимости.
Завершающий этап экспертизы. Завершающий этап нацелен на обработку информации, полученной от экспертов, ее синтез со статистическими данными, оформление соответствующей документации (отчетов, рецензий, справок) и составление экспертного заключения.
После проведения опроса экспертов и получения определенного количества информации возникает потребность в ее обработке. Следовательно, основная задача заключительного этапа сводится к проведению процедуры формализации этой информации таким образом, чтобы окончательное решение можно было принять исходя из наиболее показательных значений всей системы экспертных предпочтений. Для этого используются различные системы шкалирования таких предпочтений, в то время как признаки исследуемых объектов могут выражаться и количественно, и качественно.
Существует несколько типов шкал, используемых для формализации информации, полученной от экспертов, среди которых выделяют абсолютные, номинальные, порядковые, интервальные шкалы, а также шкалы отношений и разностей [12, 17].
Номинальные шкалы используют числовые значения только для классификации объектов в виде бинарных оценок, устанавливая либо идентичность, либо различие признаков изучаемого объекта или явления.
Для того чтобы расположить по какому-либо критерию исследуемые объекты в виде некоторой последовательности, используются порядковые шкалы. При этом объекты могут не обладать ярко выраженными признаками, по которым их можно сравнить, и порядковое шкалирование позволит систематизировать объекты на основе системы экспертных предпочтений.
Шкала интервалов допускает более широкий диапазон преобразований и находит свое применение, когда измеряемый объект один и тот же, а численные оценки его признаков различны ввиду наличия множества систем счисления.
Формализация обобщенного мнения экспертов по проблеме также может осуществляться методом ранговых оценок. При ранжировании анализируемая информация располагается экспертами в порядке убывания или возрастания величины определенного признака, которому присваивается число. Это позволяет в дальнейшем подвергнуть данные математической обработке.
Процедура ранжирования представляется весьма несложной, когда речь идет о небольшом количестве параметров. Если же их совокупное количество довольно велико (от десяти), предусматриваются различные приемы, облегчающие использование этого способа формализации экспертных оценок [13]. В частности, экспертам предлагается последовательно выбирать
наиболее, на их взгляд, существенные параметры, которым присваиваются первый, второй, третий и т. д. ранги соответственно и которые затем по очереди удаляются из общего перечня. После этого первоначального ранжирования осуществляется операция преобразования рангов, в ходе которой вся их числовая последовательность меняется на противоположную. В результате параметр с минимальным рангом, равным единице, оказывается в конце ряда, а наиболее важному параметру присваивается самый высокий ранг. Необходимость этого приема объясняется тем, что психологически эксперт склонен расценивать параметры, стоящие в начале перечня, как изначально наиболее значимые. В этой же связи обоснованной является практика, при которой элементы перечня располагаются в случайном порядке, о чем заранее сообщается экспертам.
Ранжирование позволяет, таким образом, определить степень согласованности экспертной оценки с помощью коэффициента ранговой корреляции и коэффициента конкордации по соответствующим математическим формулам. Первый позволяет оценить согласованность ранжирований, произведенных двумя экспертами, второй используется для определения согласованности всех членов экспертной группы [17].
Экспертные суждения могут осуществляться и с помощью метода последовательных сравнений, большой вклад в разработку которого внес американский ученый, пионер психометрии Л.Л. Тёрстоун.
Суть этого метода заключается в максимальном упрощении работы экспертов, когда их функции сводятся к выполнению набора элементарных однотипных операций, таких как заполнение клеток матрицы или выделение элементов списка. Собственно техническая обработка полученных экспертных оценок состоит в подсчете частоты превосходства одних параметров над другими, а также суммарная для каждого эксперта частота превосходства одного параметра. Так впоследствии разрешаются задачи определения коэффициентов весомости параметра для всей совокупности экспертов.
Итак, по завершении формализации обобщенного мнения экспертной группы составляется экспертное заключение, которое состоит из нескольких пунктов: краткого описания проблемы и формулирования целей экспертизы, состава экспертов, перечня источников информации, общей характеристики объекта экспертизы, собственно экспертных оценок и экспертных рекомендаций [18].
Такова процедура экспертного оценивания, которая остается одним из самых востребованных способов обеспечения адекватной оценки объекта исследования. Вместе с тем, методика экспертных оценок не лишена недостатков.
Недостатки экспертных методов. Как справедливо отмечает Б.Г. Литвак [15], одна из главных проблем в этой области - непрофессионализм. Обеспечение профессионального уровня организации и проведения экспертизы и достижение максимальной достоверности ее результатов невозможно без привлечения высококвалифицированных специалистов в области принимаемого решения. Недостаточная компетентность членов экспертной комиссии является причиной многих ошибочных решений.
Кроме того, специфика и многообразие проблем, решаемых при участии экспертов, препятствуют созданию единых моделей экспертизы и универсальных правил ее проведения [12]. Это во многом объясняется комплексной и многофакторной природой объектов оценивания.
Организаторам-аналитикам гораздо сложнее сформулировать цели экспертизы и определить пошаговую процедуру ее осуществления, когда требуется оценить целостную многоуровневую систему, так же как и экспертам менее понятна задача оценить сразу всю совокупность отдельных факторов и частных критериев, характеризующих объект. В дополнение к этому практически отсутствует практика обоснованного подбора вида экспертной оценки в зависимости от содержания экспертной информации.
Другой момент, указывающий на недостатки этих методов, заключается в стремлении выразить оценку в виде числа, в то время как эксперт не всегда может определить количественный эквивалент своего предпочтения. В этом случае информативность количественных показателей может быть во вред достоверности экспертной оценки [15].
Несовершенство методов экспертных оценок неизбежно стимулировало поиск новых механизмов, позволяющий усовершенствовать технологии осуществления экспертной деятель-
ности. К ним относятся различные автоматизированные системы поддержки, или экспертные системы.
Экспертные системы. Внимание к интеллектуальным компьютерным системам стало проявляться во второй половине XX века на волне возрастающего интереса к открывающимся возможностям использования искусственного разума для решения мыслительных задач путем компьютерного эмулирования человеческой деятельности. Экспертные системы начали выделяться в отдельное направление в начале 80-х годов.
Экспертная система как научное понятие имеет широкий спектр исследований [15, 1920]. В целом экспертную систему можно определить как компьютерную программу, в которую включены знания в форме базы данных и работа которой направлена на выработку рекомендации или решения проблем, схожего с решением эксперта в определенной предметной области.
К преимуществам экспертных систем перед человеком-экспертом относят стабильность работы, легкость передачи знаний, устойчивость к воздействию негативных факторов.
Действительно, искусственная компетенция компьютерной системы не подвержена влиянию со стороны внешних обстоятельств, и длительный перерыв в работе никаким образом не отразится на выполняемых ей экспертных функциях. Передача информации в цифровой форме занимает гораздо меньше времени, чем передача знаний от человека к человеку. Устойчивость ко всякому эмоциональному воздействию гарантирует, что экспертная система примет одинаковое решение в тождественных ситуациях, в то время как человек может поддаться воздействию факторов, не имеющих отношения к решаемой задаче.
Вместе с тем, функционирование экспертных систем все еще далеко от идеала. Снижение их производительности может происходить ввиду трудности перевода жаргона, который свойственен общению экспертов узкой специализации, на язык логики и математики. Кроме этого, принципы, лежащие в основе экспертного знания, не всегда имеют четкую формулировку в терминах заданной компьютерной модели. Это также дополняется тем фактом, что знания, основанные на личном опыте, могут быть недостаточно формализованы, чтобы быть обобщенными в качестве набора фактов и общих принципов. Не последнюю роль здесь играет и контекст, элементы которого необходимо учитывать при принятии решения, и то, что эксперту кажется само собой разумеющимся, не всегда может быть в равной степени смоделировано системой [20].
Поэтому наиболее продуктивной представляется ситуация, при которой человек-эксперт работает в связке с экспертной системой, когда последняя выступает в роли компетентного партнера и консультанта в конкретной предметной области. Таким образом, экспертная система не старается заменить собой человека-эксперта, но, будучи сосредоточением опыта и знаний высококвалифицированных специалистов, способствует расширению сферы применения знаний авторитетного эксперта [21].
Заключение
Таким образом, использование метода экспертных оценок является неотъемлемым компонентом анализа современного состояния образовательной среды. Учебные ресурсы в целом и учебные пособия как объект лингводидактической оценки в частности представляют отдельный интерес в свете внедрения новых образовательных стандартов и быстрого развития информационно-коммуникационных технологий. При этом различные экспертные системы, основанные на идее использования искусственного интеллекта, также показывают свою перспективность.
СПИСОК ЛИТЕРАТУРЫ
1. Крулехт М.В., Тельнюк И.В. Экспертные оценки в образовании. - М.: Издательский центр «Академия», 2002. - 112 с.
2. Мкртычян Г.А. Психолого-педагогическая экспертиза в образовании: теория и практика: дис. ... д-ра психол. наук. - Н. Новгород, 2002. - 351 а
3. Леонтьев Д.А., Г.В. Иванченко. Комплексная гуманитарная экспертиза: методология и смысл. - М.: Смысл, 2008. - 133 с.
4. Ясвин В.А. Образовательная среда: от моделирования к проектированию. - М.: Смысл, 2001. - 365 с.
5. Редакторская подготовка изданий / под ред. С.Г. Антоновой. - М.: МГУП, 2002. - 468 с.
6. Приказ Министерства образования и науки Российской Федерации от 23 апреля 2010 г. № 428 «Об утверждении Положения о порядке проведения экспертизы учебников» // Бюллетень нормативных актов федеральных органов исполнительной власти. - 2010. -№ 28. - С. 38-41.
7. Гальскова Н.Д., Гез Н.И. Теория обучения иностранным языкам. Лингводидактика и методика. - М.: Издательский центр «Академия», 2006. - 336 с.
8. Крупченко А.К. Становление профессиональной лингводидактики как теоретико-методологическая проблема в профессиональном образовании: автореф. дис. ... д-ра пед. наук. - М., 2007. - 46 с.
9. Джусупов М. Лингводидактика и методика в полинаучной системе языкового образования // Русский язык за рубежом. - 2009. - № 2. - С. 26-32.
10. Millrood R. Theory of Language Teaching: linguistics, didactics, pedagogy. - Saarbrucken: Lambert Academic Publishing, 2010. - 144 p.
11. Профессиональная педагогика / под ред. С.Я. Батышева, А.М. Новикова. - М.: ЭГВЕС, 2009. - 456 с.
12. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980. - 263 с.
13. Райхман Э.П., Азгальдов Г.Г. Экспертные методы в оценке качества товаров. - М.: Экономика, 1974. - 151 с.
14. Сидельников Ю.В. Системный анализ экспертного прогнозирования. - М.: МАИ, 2007. - 453 с.
15. Литвак Б.Г. Экспертные оценки и принятие решений. - М.: Патент, 1996. - 271 с.
16. Лопухин М.М. ПАТТЕРН - метод планирования и прогнозирования научных работ. - М.: Советское радио, 1971. - 160 с.
17. Литвак Б.Г. Экспертная информация: методы получения и анализа. - М.: Радио и связь, 1982. - 184 с.
18. Хараш А.У. Гуманитарная экспертиза в экстремальных ситуациях: идеология, методология, процедура // Введение в практическую социальную психологию / под ред. Ю.М. Жукова, Л.А. Петровской, О.В. Соловьевой. - М., 1996. - С. 87-129.
19. Попов Э.В. Экспертные системы: решение неформализованных задач в диалоге с ЭВМ. -М.: Наука, 1987. - 284 с.
20. Джексон П. Введение в экспертные системы. - М.: Вильямс, 2001. - 624 с.
21. Муромцев Д.И. Введение в технологию экспертных систем. - СПб.: СПб ГУ ИТМО, 2005. - 93 с.
Поступила 07.05.2013 г.
