CC BY
34
УДК 159.923.072.5 ББК Ю937
РАЗРАБОТКА МЕТОДА ИЗУЧЕНИЯ ТОЧНОСТИ ПРОФЕССИОНАЛЬНОЙ ОЦЕНКИ
И. В. Выбойщик, ДМ. Иноземцев, Г.В. Карлышев, ЮМ. Юсупова
Рассматриваются проблемы, обусловленные спецификой профессиональной оценки. Обосновывается актуальность изучения точности оценочных суждений как критерия для подбора «хороших» экспертов-оценщиков и определения качества предоставляемой ими информации. Приводится перечень процедур, разработанный для определения точности профессиональной оценки личности. Обсуждаются результаты пилотажного эксперимента. Выделяются причины искажений в экспертных оценках.
Ключевые слова: профессиональная оценка, оценка личности, оценочные суждения, точность, критерии оценки, искажения в оценках.
Введение
Статья посвящена одному из прикладных аспектов изучения оценки как психического феномена, включенного в процессы регуляции поведения человека и его адаптации к окружающему миру. Речь идет о профессиональной оценке, которая в отличие от оценки обыденной осуществляется сознательно и выражается преимущественно в форме оценочных суждений [3].
Вопросы целенаправленного изучения профессиональной оценки являются относительно новыми для отечественной психологии и более активно обсуждаются зарубежными исследователями. Основная проблема на данный момент состоит в отсутствие единых позиций, регламентирующих практическую деятельность оценщиков. Так, существуют разногласия в подходах к определению целей и выбору «инструментов» оценивания. Не до конца определены и не согласованы нормы, регулирующие деятельность оценщиков, в том числе границы ответственности, требования к форме и содержанию предоставляемой в результате оценивания информации, диапазон цен за соответствующие «услуги» и т. п. [15]. Результаты исследований, ориентированные на решение теоретико-методологических задач, связанных с различными аспектами оценивания, не всегда принимаются во внимание при организации и проведении практических процедур профессиональной оценки.
Для преодоления отмеченных трудностей необходимо выделить общие задачи, которые в настоящее время могут быть решены путем совместных усилий ученых и практиков, задействованных в сфере оценивания. Одна из таких
задач состоит в поиске способов управления процессом профессионального оценивания на всех его этапах: от выбора основных компонентов оценки (объект, предмет, субъект, критерии) до определения «качества» полученной в результате этого процесса информации.
Исходя из данной задачи авторами статьи предпринята попытка разработать метод изучения точности профессиональной оценки как ключевого критерия ее «качества». При этом предполагается, что уровень точности, выявленный с помощью этого метода, сможет служить основанием для подбора «хороших» оценщиков, определения эффективности их деятельности, а также для анализа и нейтрализации факторов, вызывающих искажения в оценках [4].
Предмет и задачи исследования
Выбор точности в качестве предмета изучения обусловлен общей целью профессионального оценивания - получение достоверной информации, актуальной с точки зрения принятия решений и обоснования этих решений в социально значимых ситуациях.
Сложность предмета содержится уже в самом определении термина «точность оценивания», которое с учетом представлений о психологической природе оценивания и анализа информации словарей различного профиля было сформулировано следующим образом: под точностью понимается степень соответствия суждений оценщика суждениям, принятым за «эталон» для оцениваемого объекта [2, 13, 14].
Принимая во внимание данное определение, можно выделить как минимум три про-
Выбойицик И.В., Иноземцев Д.В., Карлышев Г.В., Юсупова Ю.Л.
Разработка метода изучения точности _профессиональной оценки
блемы и соответственно три задачи, связанные с разработкой заявленного нами метода. Во-первых, точность «эталонных» суждений должна быть каким-то образом обеспечена и подтверждена. Во-вторых, большое значение имеет единый набор критериев, задающих характеристики предмета оценки и размер оценочных шкал. В-третьих, необходим четко определенный объект оценки, проявления которого могли бы служить универсальным «стимульным материалом».
Решение этих задач осуществлялось на примере оценки, объектом которой являются люди и их проявления в экспериментальной ситуации, предметом - личностные характеристики этих людей, субъектом - «наивные» оценщики и психологи-профессионалы.
Третья задача была выделена в качестве основной и после уточнения свелась к созданию и апробации двух параллельных форм «стимулъного материала».
Ниже приведен перечень этапов исследования, а также краткое описание методов, использованных в процессе его проведения.
Этапы исследования
1. Формирование критериев оценки:
- выбор модели, содержащей наиболее существенные и универсальные характеристики личности;
- формулирование краткого и доступного для восприятия описания личностных характеристик модели;
- выбор размера шкал, пригодного для оценки среднестатистическим экспертом и последующей обработки результатов.
2. Выявление оценок первого порядка:
- изучение с помощью различных методов степени выраженности личностных характеристик у группы людей, знакомых между собой и объединенных ситуацией совместной деятельности.
3. Выявление оценок второго порядка:
- вычисление степени согласованности оценок, полученных с помощью различных методов;
- отбор участников исследования, в отношении которых удалось получить непротиворечивые оценки, и вычисление интегральных показателей для каждого из них.
4. Создание двух параллельных форм «стимулъного материала»:
- разработка экспериментальных заданий, позволяющих максимально полно продемонстрировать оцениваемые характеристики;
- выбор участников исследования, интегральные показатели которых имеют степень выраженности, отличную от средних значений;
- подбор двух пар участников по принципу «контрастности» интегральных показателей внутри каждой пары;
- видеозапись выполнения заданий этими участниками;
- монтаж видеоряда, иллюстрирующего проявления участников при выполнении экспериментальных заданий (для каждой из подобранных пар).
5. Выявление и анализ оценок третьего порядка:
- экспертная оценка личности по видеозаписи;
- обсуждение факторов, затрудняющих процесс оценивания и влияющих на результат экспертной оценки;
- вычисление степени согласованности экспертных оценок между собой, а также с оценками, полученными на втором и третьем этапах исследования;
- вычисление степени согласованности экспертных оценок, полученных для двух форм «стимульного материала».
6. Коррекция процедур итоговой экспертной оценки и содержания двух параллельных форм «стимулъного материала».
Методы исследования
В качестве модели, позволяющей дать оценку наиболее существенным универсальным характеристикам личности (этап 1), была выбрана «Большая пятерка» [11]. В качестве конкретных критериев оценки - пять обобщенных характеристик высокого порядка: Экстраверсия - Интроверсия, Согласие - Независимость, Самоконтроль - Импульсивность, Эмоциональная стабильность - Тревожность, Новаторство - Консерватизм. Краткое описание содержания этих характеристик приведено в таблице. Для вынесения результирующих оценочных суждений определена 5-балльная шкала, которая представляет собой компромиссный вариант с точки зрения людей, предпочитающих дробные и обобщенные оценки.
Оценки первого порядка (этап 2) выявлялись с помощью нескольких методов:
- психологическое тестирование на основе самооценки (методика В5вр1ш_6, [5]);
- прямая экспертная оценка по принципу семантического дифференциала [6];
Содержание оцениваемых характеристик личности
№ Характеристика «Позитивный» полюс «Негативный» полюс
1 Экстраверсия - Интро- версия Общительность, открытость в проявлении чувств, активная позиция в коммуникации Сдержанность, замкнутость, пассивная позиция в коммуникации
2 Согласие - Независимость Склонность к сотрудничеству, кооперации, дружелюбие Склонность полагаться на свое собственное мнение, конкурировать, соревноваться с другими людьми
3 Самоконтроль - Импульсивность Пунктуальность, последовательность, умение следовать алгоритму Ситуативность, непоследовательность поведенческих реакций, способность выйти за рамки стандартных схем действий
4 Эмоциональная стабильность - Тревожность Спокойствие, уверенность в себе, способность быстро адаптироваться к стрессовым ситуациям Общая напряженность, недостаточная уверенность в себе, трудности в адаптации к стрессовым ситуациям
5 Новаторство - Консерватизм Любознательность, открытость новому опыту, ориентация на изменения Прагматизм, сопротивление изменениям, ориентация на стабильность
- экспертная оценка по принципу парного ранжирования [8, 12].
В соответствующих процедурах были задействованы студенты 5-го курса университета (16 человек), а также преподаватели (5 человек), знакомые с этими студентами по учебным занятиям.
При подсчете интегральных показателей (этап 3) результаты оценивания по каждому методу переводились в формат единой шкалы, после чего определялась медиана распределения полученных значений [9].
Для определения степени согласованности экспертных оценок (этапы 3 и 5) использовался статистический критерий Альфа Кронбаха; в качестве критерия высокой согласованности были приняты значения этого показателя 0,9 и выше. Степень согласованности оценок, полученных с помощью разных методов, определялась исходя из уровня значимости связей, выявленных при подсчете коэффициента корреляции Спир-мена [10, 12].
Видеозапись выполнения экспериментальных заданий (этап 4) производилась в трех ситуациях: самопрезентация, индивидуальное интервью и деловая игра с последующей дискуссией в двух выделенных парах испытуемых [7].
Экспертную оценку личности по видеозаписи осуществляли профессиональные психологи (5 человек). Стимульный материал демонстрировался всем экспертам одновременно. Оценки озвучивались и обсуждались в групповом режиме (этап 5).
Результаты исследования и их обсуждение
Статистический анализ оценок первого порядка (этап 3) показал различную степень их согласованности для двух групп экспертов. Альфа Кронбаха на уровне 0,9-0,99 в группе студентов наблюдается в 80% случаев, в группе преподавателей - в 50 % случаев, что можно объяснить более длительным и более разнообразным опытом взаимодействия внутри студенческой группы по сравнению с аналогичным опытом взаимодействия и студентов этой группы с преподавателями.
Также была обнаружена низкая степень согласованности экспертных оценок с результатами психологического тестирования (корреляции статистически незначимы). Данный результат, на наш взгляд, объясняется различиями в позиции оценщиков: в ситуации тестирования они оценивают свою собственную личность, а в ситуации экспертной оценки -личность других людей. Кроме того, опросник, по которому производилось тестирование, выявляет обобщенные и глубинные личностные характеристики, проявления которых не всегда доступны для внешнего наблюдения.
Результаты качественного анализа оценок третьего порядка (этап 5) свидетельствуют о том, что они лучше согласуются между собой, чем с принятыми за эталон оценками второго порядка. Причины расхождений в оценках нуждаются в отдельном изучении и вероятнее всего связаны с влиянием различного рода искажений.
Так, эксперты-психологи отметили ряд эффектов, которые приводили к вынесению
Выбойщик И.В., Иноземцев Д.В., Карлышев Г.В., Юсупова Ю.Л.
Разработка метода изучения точности профессиональной оценки
случайных оценочных суждений либо к изменению первоначальных оценок, производимых спонтанно и осознаваемых в процессе осуществления формальных оценочных процедур:
- в случае общего негативного восприятия проявлений оцениваемой личности эксперт был вынужден преодолевать интуитивное стремление к усилению негативных и к ослаблению позитивных на его взгляд оценок;
- у экспертов возникали трудности, связанные с необходимостью оценивать личность по 5 характеристикам одновременно, преодолевая которые, они были вынуждены ориентироваться на наиболее яркие проявления объекта и игнорировать более частные детали;
- в тех случаях, когда эксперт выделял одну ярко выраженную характеристику, оценка по этой характеристике приобретала роль эталонной по отношению к оценке других проявлений объекта;
- оценки, которые давали другие эксперты, в ряде случаев стимулировали процесс рефлексии и приводили к изменению итогового результата, если эксперт являлся не первым, кто озвучивал оценку;
- профессиональный опыт способствовал тому, что один из экспертов пытался скорректировать свои оценки, исходя из имеющихся знаний о влиянии ситуации деловой игры и последующей групповой дискуссии на личностные проявления объекта оценивания;
- пятибалльная шкала была не удобна для экспертов, склонных выделять более тонкие различия, что снижало их степень уверенности в точности собственных оценочных суждений;
- при сопоставлении названий характеристик, приведенных на бланке, и их описания у большей части экспертов возникал диссонанс, обусловленный собственными представлениями о содержании этих характеристик.
Перечисленные эффекты во многом соответствуют факторам снижения точности и изменения в оценках, которые были проанализированы в предыдущих работах авторов статьи [1, 3] и позволяют сформулировать одну из наиболее актуальных проблем профессионального оценивания. На наш взгляд, эта проблема состоит в расхождениях между внутренними оценочными основаниями (экспертов, испытуемых) и внешне заданными критериями оценки. В тех случаях, когда оценщик не видит сходства между собственными представлениями о содержании предмета оцени-
вания и предложенным для оценки эталонным описанием его характеристик, вероятность случайных оценок резко повышается под влиянием естественного стремления к экономии когнитивных усилий. Менее существенные, но сходные по своей сути трудности возникают при низком соответствии между уровнем детализации, характерном для оценщика, и степенью детализации заданных метрических шкал.
Исходя из проблем, выделенных психоло-гами-экспертами, было принято решение внести изменения в процедуру экспертной оценки, осуществляемой на пятом этапе исследования, и только затем перейти к статистической проверке согласованности оценок разного порядка и оценок, полученных для двух форм «стимульного материала».
Выводы
Различия, выявленные в результатах оценивания с помощью различных методов, подтверждают актуальность использования комплексной оценки для повышения точности суждений о личности. При этом особое значение приобретает поиск оптимальных путей определения интегральных показателей, которые могут служить статистически обоснованным эталоном точности.
Разработанная и апробированная авторами методика нуждается в коррекции с учетом выявленных причин искажения и снижения точности оценочных суждений. Уточнение включенных в методику процедур позволит довести до логического завершения задачу по созданию и проверке адекватности двух параллельных форм «стимульного материала».
Литература
1. Батурин, H.A. Изменение оценок под влиянием различных факторов / H.A. Батурин, Ю.Л. Юсупова // Вестник ЮУрГУ. Серия «Психология». - 2008. -№33 (133). - Вып. 3. -С. 4-17.
2. Батурин, H.A. Оценочная функция психики /H.A. Батурин. - М.: Изд-во ИП РАН, 1997. -306 с.
3. Батурин, H.A. Психология оценки: общие представления, дифференциация понятий и области изучения / H.A. Батурин // Вестник ЮУрГУ. Серия «Психология». -2008. - Вып. 1. -№31 (131).-С. 17-31.
4. Батурин, H.A. Точность профессионального оценивания и пути ее повышения / H.A. Батурин, Г.В. Карлышев // Вестник
ЮУрГУ. Серия «Психология». - 2009. -Вып. 5.-№ 18(151). — С. 11-18.
5. Большая пятерка, сокращенная версия / HR-Лаборатория Human Technologies 2007-2010; науч. рук. А.Г. Шмелев. -www. ht. ru/tests/bank/annrtf/b5splus.php.
6. Бурлачук, Jl. Ф. Словарь-справочник по психодиагностике / Л.Ф. Бурлачук, С.М. Морозов. - СПб.: ПитерКом, 1999. - 528 с.
7. Вудраф, Ч. Центры развития и оценки: определение и оценка компетенций / Ч. Вудраф. - М ; HIPPO, 2005. - 384 с.
8. Литвак, Б.Г. Экспертные оценки и принятие решений / Б.Г. Литвак. - М.: Патент, 1996. -173 с.
9. Павлов, А.Н. Методы обработки экспертной информации: учебно-метод. пособие /А.Н. Павлов, Б. В. Соколов. - СПб.: ГУАП, 2005. - 42 с.
10. Сидоренко, Е.В. Методы математической обработки в психологии / Е.В. Сидо-
ренко. - СПб.: Социально-психологический центр, 1996. - 349 с.
11. Шмелев, А.Г. Психодиагностика личностных черт / А.Г. Шмелев. - СПб.: Речь, 2002. - 480 с.
12. Экспертные оценки и методология их использования / НЕ. Архангельский, С.А. Валуев, В.А. Половников, A.M. Черногорский. -М.: Высшая школа, 1974. - 147 с.
13. Broekens, J. Formal models of appraisal: Theory, specification, and computational model/ J. Broekens, D. DeGroot, W.A. Kosters // Cognitive Systems Research. - V. 9, I. 3. - 2008. -P. 173-197.
14. Mellers, B.A. Judgment and decision making / B.A. Mellers, A. Schwartz, A. Cooke // Annual review of Psychology. - 1998. - № 49. -P. 447-477.
15. Smith, N.L. Fundamental Issues in Evaluation / N.L. Smith, P.R. Brandon. - The Guilford press, 2007. - 266p.
Поступила в редакцию 28 января 2010 г.
Выбойщик Ирина Владимировна. Кандидат психологических наук, доцент кафедры «Психологическая диагностика и консультирование» Южно-Уральского государственного университета: [email protected].
Irina V. Vyboyshchik. PhD, docent of the chair «Psychological diagnostics and Counseling» of South Ural State University: [email protected].
Иноземцев Дмитрий Вячеславович. Студент магистратуры 2-го года обучения при кафедре «Психологическая диагностика и консультирование» Южно-Уральского государственного университета: [email protected].
Dmitrij V. Inozemcev. Second-year student of a magistracy at the chair «Psychological diagnostics and Counseling» of South Ural State University: [email protected].
Карлышев Григорий Владимирович. Аспирант кафедры «Психологическая диагностика и консультирование» Южно-Уральского государственного университета: [email protected].
Grigorij V. Karlyshev. Postgraduate student of the chair «Psychological diagnostics and Counseling» of South Ural State University: [email protected].
Юсупова Юлия Леонидовна. Аспирант кафедры «Психологическая диагностика и консультирование» Южно-Уральского государственного университета: [email protected].
Yulia L. Yusupova. Postgraduate student of the chair «Psychological diagnostics and Counseling» of South Ural State University: [email protected].
