CC BY
99
УДК 159.98 ББК Ю932+Ю948
МЕТОДОЛОГИЧЕСКИЕ ПОЛОЖЕНИЯ И СПЕЦИФИКА КОНСТРУИРОВАНИЯ ЭКСПЕРТНЫХ ПСИХОДИАГНОСТИЧЕСКИХ СИСТЕМ (ЧАСТЬ I)
K.P. Червинская
В цикле статей сформулирован ряд методологических положений конструирования особого класса психодиагностических технологий - экспертных психодиагностических систем. ЭПС представлены как специфический подкласс компьютерного психодиагностического инструментария, включающий в себя базу знаний — эксплицированные и специальным образом формализованные знания опытных психологов, обладающих умением и навыком решения практических задач. Очерчены границы такого инструментария, выделены структура и функциональные возможности, описаны стратегии построения компьютерных интерпретаций результатов тестирования, представлен опыт установления критериальной валидности компьютерного заключения.
Ключевые слова: экспертные психодиагностические системы, база знаний, извлечение экспертных знаний, компьютерная интерпретация тестовых данных, критериальная валидность компьютерного заключения.
Введение
Современная психодиагностика задает высокую планку профессиональным психологам в плане конструирования и адаптации психодиагностического инструментария. Ведь от того насколько качественной будет информация, получаемая с помощью психологической методики, зависит и качество принятия решений специалистами в той или иной сфере деятельности. Тесты в руках квалифицированных профессионалов дают возможность не только оценить те или иные психологические качества человека, но и раскрывают информацию, недоступную невооруженному наблюдателю.
Однако в последние годы, по мнению большинства авторитетных специалистов, отечественная психодиагностика переживает системный кризис [2]. Как отмечает
H.A. Батурин, главная причина кризиса заключается в слабой подготовке отечественных разработчиков в области создания и адаптации психодиагностического инструментария, недостаточная освоенность технологий психометрии. Действительно, на протяжении многих лет у отечественных разработчиков была лишь одна специализированная книга по психометрике [5].
В настоящее время наметился существенный сдвиг в издании соответствующей литературы как зарубежных, так и отечественных исследователей. Можно упомянуть только что вышедшее в свет переводное издание по пси-
хометрике, где представлены не только основы психометрики, но и рассмотрены современные психометрические подходы, так называемая высшая психометрика, в частности, теория генерализуемости тестовых баллов и теория ответов на пункты, модели Раша [7].
Особо следует выделить серию систематизированных работ Н.А. Батурина и H.H. Мельниковой, где впервые четко представлена технология разработки тестов и описан универсальный процесс создания психодиагностических методик любого типа, состоящий из 14 шагов, сгруппированных в 8 этапов [3, 4]. Актуальность таких исследований трудно переоценить не только в связи с необходимостью разработки психодиагностического инструментария, удовлетворяющего современным международным требованиям (стандарты тестов АРА, BPS, EFPA), но и в связи с подготовкой отечественных стандартов психодиагностических технологий.
Тем не менее существует значительный пробел методологических работ, касающихся создания компьютерного психодиагностического инструментария, в частности, экспертных психодиагностических систем. Терминологическая путаница возникает от непонимания, чем же являются экспертные психодиагностические системы, чем они отличаются от другого компьютерного инструментария, от компьютерных версий бланковых методик и пр. В рамках данного контекста основная цель
этой статьи состоит в том, чтобы определить специфику структуры и функций экспертных психодиагностических систем по сравнению с другим психодиагностическим инструментарием, описать стратегии построения компьютерных интерпретаций результатов тестирования, представить опыт установления критериальной валидности компьютерного заключения, а также сформулировать ряд методологических положений особого класса психодиагностических технологий.
Специфика структуры и функций экспертных психодиагностических систем (сравнительный анализ)
Экспертные психодиагностические системы (ЭПС) - это компьютерные психодиагностические методики, осуществляющие интерпретацию результатов тестирования испытуемых на основе базы знаний. Под базой знаний понимается извлеченные (эксплицированные) и специальным образом формализованные знания опытных психологов, обладающих умением и навыком использования интерпретационных схем в практических целях. Поскольку ЭПС являются все-таки подклассом компьютерного психодиагностического инструментария, следует определить место данной технологии среди других компьютерных методик. Основной вопрос, на который мы ответим в этом разделе - это чем являются и чем не являются ЭПС.
В целом, психодиагностический инструментарий с точки зрения использования компьютера в работе пользователя можно класси-
фицировать на две большие группы (рис. 1):
• бланковый инструментарий;
• компьютерный инструментарий.
Бланковый психодиагностический инструментарий иногда называют методиками «карандаша и бумаги» (от англ. «реп and pencil») и предназначены они исключительно для «ручной» работы с испытуемыми (респондентами). Очевидно, что такие методики должны быть разработаны и описаны в строгом соответствии с технологией конструирования тестов, представленной в серии работ H.A. Батурина и H.H. Мельниковой [3, 4].
Бланковая психодиагностическая методика может иметь свою компьютерную версию, а может и не иметь. Существует распространенное мнению, что любую бланковую методику необходимо компьютеризировать и что в конце концов в перспективе компьютеризирован будет весь психодиагностический инструментарий. Следует отметить, что такое мнение является заблуждением, которое основано на стремительном и повсеместном внедрении компьютерных технологий в обычную жизнь людей. Существует определенный контингент людей, для которых более предпочтительным является тестирование с бланка. В частности, к ним относятся лица, обладающие выраженной компьютерной и экзаменационно-тестовой тревожностью*.
Кроме того, можно отметить как плюсы, так и минусы использования компьютерного инструментария. Безусловными плюсами являются: быстрота проведение исследования,
Психодиагностический
инструментарий
Бланковый
Компьютерный
Методики "карандаша и бумаги" (pen and pencil) :
компьютерный аналог отсутствует
Компьютерные версии психодиагностических методик
Компьютерные
психодиагностические
методики :
бланковый аналог отсутствует
Рис. 1. Классификация психодиагностического инструментария с точки зрения использования компьютера в работе пользователя
* Несмотря на массовое использование компьютеров, феномен компьютерной тревожности остается достаточно распространенным явлением. Это показано в дипломной работе Е.Ю. Елфимовой (2008) «Когнитивные детерминанты и стратегии преодоления компьютерной тревожности», выполненной на кафедре эргономики и инженерной психологии СПбГУ под нашим руководством.
быстрая и без ошибок обработка, возможность быстрого получения результатов тестирования, обеспечение стандартных условий тестирования для всех испытуемых, контроль процедуры тестирования (невозможен пропуск вопросов, при необходимости может быть фиксация времени каждого ответа, что особенно важно для тестов на интеллект), возможность исключения психолога (один на один с машиной), наглядность и занимательность процесса (поддержка внимания с помощью цвета, звука, игровых моментов, что особенно важно для обучающих программ), легкая архивация результатов, возможность объединения тестов в батареи (пакеты программ) с единой итоговой интерпретацией, мобильность экспериментатора (весь инструментарий на одном носителе), возможность проведения массовых исследований (Интернет); при тестировании психических процессов обеспечивается точность измерений (например, при определении порогов). К минусам использования компьютерного инструментария относятся: сложность и длительность разработки инструментария; необходимость обучения как психолога, так и испытуемого (умение и навыки работы на компьютере); пропадает индивидуальный подход к испытуемому, поскольку при тестировании, например, в сети, теряется часть психодиагностической информации.
Компьютерная версия бланковой методики представляет собой ту или иную степень автоматизации этапов психодиагностического обследования испытуемого с помощью компьютерного аналога, разработанного в строгом соответствии с технологией конструирования тестов.
Основной проблемой здесь является тот факт, что при переносе «бланковой» методики в компьютер нарушаются стандартные условия предъявления стимульного материала испытуемым - одна из важнейших психометрических характеристик. Иными словами, сти-мульная ситуация, моделируемая компьютером, существенно отличается от той, когда тому же испытуемому предлагают «бланковый» вариант. Следствием этого являются очевидные искажения результатов тестирования. Если, допустим, методика измеряет «тревожность», а испытуемый недостаточно хорошо владеет компьютером или обладает компьютерной тревожностью, то исходный параметр будет измеряться с явным искажением. В этом случае необходимо проводить
дополнительные исследования либо по установлению психометрических характеристик для компьютерной версии, либо по доказательству эквивалентности компьютерного и бланкового вариантов.
Исследования, посвященные сопоставлению или выяснению эквивалентности «бланковых» методик и их компьютерных версий, появились за рубежом в начале 1980-х годов [9, 14]. В первоначальных обзорах работ на эту тему был сделан вывод о том, что компьютерные версии традиционных личностных тестов в целом эквивалентны их «бланковым» источникам. Однако в более поздних работах [11, 13] приводятся и обсуждаются примеры, в которых компьютерные версии не являются эквивалентными их «бланковым» первоисточникам. Исследователи отмечают, что у некоторых испытуемых, неуверенно владеющих компьютером, при компьютерном тестировании увеличивается уровень тревоги, что приводит к искажению результатов тестирования, особенно если конструкт, подлежащий измерению, связан с тревогой.
Эти явления заставили исследователей считать, что нельзя утверждать об эквивалентности компьютерных и «бланковых» форм тестов в общем, поскольку эквивалентность должна демонстрироваться для каждой методики в отдельности [11, 12]. Аналогично складывается ситуация и с компьютерными версиями методик, работающих в Интернете в системе WWW (Word Wide Web) [10].
Таким образом, можно сделать вывод о том, что компьютерная версия методики -это вполне самостоятельная методика, использование которой возможно только после установления групповых норм и других психометрических характеристик. Это означает, что если отсутствуют специальные исследования, касающиеся подтверждения психометрических характеристик, то тестирование испытуемого необходимо осуществлять с помощью бланка, а уже полученные ответы вводить для обработки в компьютер.
В середине 1990-х годов, когда Интернет набрал критическую массу пользователей и ресурсов, необходимую для происходящей на наших глазах сетевой революции, появились первые дистанционные тесты, то есть тесты, работающие в глобальной компьютерной сети Интернет. С этого момента использование Интернета для психологических обследований испытуемых, проблема психодиагностического тестирования в системе WWW - ста-
ли очередной темой исследований в области компьютерной психодиагностики. В отечественных исследованиях показано, что в Интернете принципиально не меняются психометрические характеристики таких классических многофакторных тестов, как например, тест Айзенка [6, 8].
Компьютерные психодиагностические методики представляют собой разновидность инструментария, разработка и использование которых возможна только при помощи компьютера, как например, системы дистанционного, адаптивного или игрового тестирования. Такой компьютерный инструментарий может не иметь своего бланкового аналога, что и очевидно, особенно когда речь идет, допустим, об игровом тестировании: предъявление теста в виде компьютерной игры, как например методика «МИМИКС», разработанная в лаборатории «Гуманитарные технологии» [www.ht.ru].
Компьютерный психодиагностический инструментарий можно классифицировать и с другой точки зрения: степени автоматизации различных этапов психодиагностического исследования испытуемых. На этапе проектирования в каждом конкретном случае определяются функциональные возможности будущей системы. Как правило, выделяют следующие функции:
• администрирование (база данных);
• предъявление стимульного материала испытуемому;
• ввод данных тестирования испытуемых с протокола(психологом);
• обработка и визуализация результатов тестирования испытуемых;
• вербальная интерпретация результатов тестирования (база знаний).
Существует распространенное мнение о том, что автоматизированы должны быть все этапы (функции) психодиагностического исследования испытуемых. Это также является некоторым заблуждением, учитывая приведенные выше исследования относительно влияния способов предъявления стимульного материала испытуемым на результаты тестирования. Иногда корректнее с психометрической точки зрения использовать не такую функцию, как предъявление стимульного материала испытуемому, а другую - ввод данных тестирования испытуемых с протокола психологом. Так, например, компьютерная версия методики «Интегративная система психодиагностики методом Роршаха» осуще-
ствляет ввод закодированного психологом протокола, а не предъявление испытуемому соответствующего стимульного материала [1].
В рамках заданных классификаций можно определить, чем являются экспертные психодиагностические системы, а чем - нет.
С точки зрения первой классификации -ЭПС могут представлять собой как компьютерные версии психодиагностических методик, так и просто компьютерные методики, у которых не существует бланкового аналога. С точки зрения функциональных возможностей компьютерного инструментария - необходимым признаком того, что компьютерный инструментарий является ЭПС - это автоматизация этапа (или функции) создания вербальной интерпретации результатов тестирования испытуемых, т. е. фактически наличие базы знаний, построенной на основе эксплицированных знаний опытных экспертов-психологов, обладающих умением и навыком решения практических задач.
Важной отличительной особенностью ЭПС от любого другого компьютерного психодиагностического инструментария является отделение базы знаний от компьютерной программы, осуществляющей автоматизированное исследование испытуемых и предъявление результатов пользователю. Это означает, что база знаний не является составной частью компьютерной методики (на языке программистов: не «прошита в код»), а существует независимо и доступна для просмотра и редактирования самим экспертам-психологам. Как правило, содержимое базы знаний оформляется в виде файла, имеющего либо формат какой-либо распространенной базы данных (например, входящей в стандартный состав Microsoft Office базы данных Microsoft Access), либо в формате обычного текстового файла (например, Microsoft Word).
Это принципиальное положение разработки ЭПС возводит базу знаний в ранг вполне самостоятельного и востребованного объекта, оперирование с которым способствует не только тиражированию экспертного опыта по интерпретации результатов тестирования, но и разрешению традиционных для психодиагностики в целом положений, связанных с необходимостью модификации методик.
Модификация экспертных психодиагностических систем осуществляется путем модификации базы знаний без необходимости перепрограммирования каких-либо функциональных возможностей методики. Модифи-
Экспертная психодиагностическая система
Рис. 2. Структура и функциональные возможности экспертных психодиагностических систем
цированная база знаний может тиражироваться простым копированием, пересылкой по электронной почте и т.д.
Возможность оперировать с базой знаний как с самостоятельным объектом порождает важный эффект социального плана. Некоторые организации, имеющие у себя как психологическую службу, так и штат программистов (например, такие ведомства, как МВД или МЧС) скорее нуждаются не в компьютерных психодиагностических методиках (запрограммировать методику не представляет собой никаких проблем даже для начинающего программиста), сколько в квалифицированной интерпретации результатов тестирования. В этом отношении база знаний как аккумулятор опыта квалифицированных психологов может оказать незаменимую службу.
Таким образом, можно определить структуру и функции экспертных психодиагностических систем (рис. 2). Отметим, что на рисунке представлен внутренний блок (функции), который может рассматриваться как вполне самостоятельный компьютерный психодиагностический инструментарий, при этом интерпретация результатов тестирования может строиться «пошкально», например, в виде прошитого в код интерпретатора правил «ЕСЛИ - ТО». Если при этом такие правила отобраны программистами из какого-либо руководства по описанию методики, то, очевидно, что такой инструментарий не будет являться экспертной психодиагностической системой в строгом смысле этого термина.
Таким образом, определив, чем же является ЭПС, а чем - нет, какова классификация
всевозможных компьютерных программ, можно формулировать критерии оценки компьютерного психодиагностического инструментария. Описанная выше попытка методологического описания и выделения специфики конструирования особого класса психодиагностических технологий - экспертных психодиагностических систем позволяет очертить границы ЭПС, выделить ее структуру и функциональные возможности. Вместе с тем, представления об ЭПС как специфическом подклассе компьютерного психодиагностического инструментария требуют своего уточнения и развития, что и предполагается выполнить в последующих публикациях по этой тематике.
Литература
1. Ассанович, М.А. Компьютеризация интегративной системы Роршаха / М.А. Ассанович, K.P. Червинская // Материалы 4-го Всероссийского съезда Российского психологического сообщества, 18-21 сентября 2007года: в 3 т. - М.; Ростов н/Д.: Изд-во «Кредо», 2007. -Т. 3.- С. 194-195.
2. Батурин, H.A. Современная психодиагностика России / H.A. Батурин // Вестник ЮУрГУ. Серия «Психология». - 2008. -Вып. 2. - С. 4-9.
3. Батурин, H.A. Технология разработки тестов: часть I / НА. Батурин,
H.H. Мельникова // Вестник ЮУрГУ. Серия «Психология». - 2009. - Вып. 6- С. 4-14.
4. Батурин, H.A. Технология разработки тестов: часть II/H.A. Батурин, H.H. Мельникова // Вестник ЮУрГУ. Серия «Психология». -2009.-Вып. 7. -С. 11-25.
5. Клайн, П. Справочное руководство по конструированию тестов / П. Клайн. - Киев, 1994.
6. Ромек, В.Г. Сохранение надежности многофакторных тестов при их использовании в сети Интернет / ВТ. Ромек, Д.К. Сатин // Психологический журнал. - 2000. -№ 21.2. - С. 70-75.
7. Фер, P.M. Психометрика: Введение / P.M. Фер, В. Р. Бакарак; пер. с англ. А.С. Науменко, А.Ю. Попова; под ред. НА. Батурина, Е.В. Эйдмана. - Челябинск: Издательский центр ЮУрГУ, 2010. - 445 с.
8. Шмелев, А.Г. Психодиагностика личностных черт / А.Г. Шмелев. - СПб.: Речь, 2002.
9. Skinner, Н.А. Challenge of computers in psychological assessment / H.A. Skinner, A. Pakula // Professional Psychology: Research and Practice. - 1986. - 17. - P. 44-50.
10. Bar tram, D. Automated testing: Past,
present and future / D. Bartram, R. Bayliss // Journal of Occupational Psychology. - 1984. -57. -P. 221-237.
11. Cohen, R.J. Psychological testing and
assessment / R.J. Cohen, M.E. Swerdlik,
D.K. Smith. - 2-nd ed. - Mountain View, CA: Mayfield Publishing, 1992.
12. Webster, J. Computer-assisted versus paper-and-pencil administration of questionnaires / J. Webster, D. Compeau // Behavior Research Methods, Instruments, and Computers. -1996.-28.-P. 567-576.
13. Meier, S. The chronic crisis in psychological measurement and assessment: A historical survey / S. Meier. - San Diego: Academic Press, 1994.
14. Buchanan, T. Using the Internet for psychological research: Personality testing on the Wold Wide Web / T. Buchanan, J.L. Smith // British Journal of Psychology. - 1999. - 90. -P. 125-144.
Поступила в редакцию 17 октября 2010 г.
Червинская Ксения Ральфовна. Кандидат технических наук, доцент кафедры эргономики и инженерной психологии психологического факультета, Санкт-Петербургский государственный университет, старший научный сотрудник лаборатории клинической психологии Санкт-Петербургского психоневрологического института им. В.М.Бехтерева: [email protected].
Kseniya R. Chervinskaya. Doctor of Computer Science, Assistant Professor of the Chair of Ergonomics and Human Engineering of the Psychological Department of St. Petersburg State University, Senior Research Scientist of the Laboratory of Clinical Psychology of the St. Petersburg V.M. Bekhterev Psychoneurological Research Institute: [email protected].
