CC BY
66
УДК 159.923-057.875
ББК Ю942-72 ГСНТИ 14.01.77 Код ВАК 05.13.10; 13.00.01
Маслак Анатолий Андреевич,
доктор технических наук, профессор, заведующий лабораторией объективных измерений, филиал Кубанского государственного университета в г. Славянске-на-Кубани; 353560, г. Славянск-на-Кубани, ул.Кубанская, 200; e-mail: [email protected].
Рыбкин Алексей Дмитриевич,
магистрант, филиал Кубанского государственного университета в г. Славянске-на-Кубани; 353560, г. Славянск-на-Кубани, ул.Кубанская, 200; e-mail: [email protected].
АНАЛИЗ КАЧЕСТВА ОПРОСНИКА ДЛЯ ИЗМЕРЕНИЯ НА ЛИНЕЙНОЙ ШКАЛЕ ЛЮБОЗНАТЕЛЬНОСТИ ШКОЛЬНИКОВ
КЛЮЧЕВЫЕ СЛОВА: качество опросника; любознательность; креативность; измерение латентных переменных; модель Раша.
АННОТАЦИЯ. Проведено измерение любознательности как одного из важных креативных качеств личности. Измерение проводилось в рамках теории измерения латентных переменных на основе модели Раша. Результаты измерения обладают хорошей дифференцирующей способностью и использовались для сравнения школьников по любознательности в зависимости от класса, пола и возраста.
Maslak Anatoly Andreyevich,
Doctor of Technical Sciences, Professor, Head of Laboratory of Objective Measurements, Slavyansk-na-Kubani Branch of Kuban State University, Slavyansk-na-Kubani, Russia.
Rybkin Aleksey Dmitrievich,
Master's Degree Student, Slavyansk-na-Kubani Branch of Kuban State University, Slavyansk-na-Kubani, Russia.
QUALITY ANALYSIS OF A QUESTIONNAIRE FOR A LINEAR SCALE MEASUREMENT OF CURIOSITY OF PUPILS
KEY WORDS: quality of questionnaire; curiosity; measurement of latent variables; the Rasch model.
ABSTRACT. The article describes the results of measurement of curiosity which is one of the most important creative qualities of a person. The measurement was performed within the framework of the theory of measurement of latent variables based on the Rasch model. The results of the measurement possess good differentiating ability and were used for comparison of pupils' curiosity of different levels of education, gender and age.
1 Введение
• Мы живем во время, когда компьютеры шаг за шагом вытесняют человека практически из всех сфер современной экономики. Человеческий труд проигрывает конкурентную борьбу технике по многим ключевым показателям: производительности труда, цене, качеству. Современные компьютеры могут с легкостью соперничать с человеком в количестве хранимой ими информации. Единственным оставшимся у человека преимуществом является творческий, креативный подход к решению поставленных перед ним проблем. Креативность сегодня приобретает важнейшее значение в наборе личностных качеств. Индивиды, не обладающие или не использующие данное преимущество, не смогут добиться успеха в современных реалиях и не будут востребованы в автоматизированной экономике.
Таким образом, развитие креативности является осознанной необходимостью человека в современном мире. У человечества не остается другого выбора, как развивать в себе творческие, креативные способности. Одним из факторов определяющих креативность является любознательность [5].
2. Постановка задачи
Конструкт (латентная переменная, интегральный показатель) «любознательность» определяется с помощью набора индикаторов [1; 2; 4]. Целью работы является анализ качества опросника как измерительного инструмента для оценивания латентной переменной «любознательность». Эта латентная переменная будет измерена на линейной шкале и использована для сравнения учеников по их любознательности в зависимости от класса, пола и возраста.
Для достижения поставленной цели необходимо решить следующие задачи.
1. Оценить совместимость набора индикаторов, из которых состоит опросник, для измерения конструкта «любознательность».
2. Определить дифференцирующую способность опросника.
3. При необходимости откорректировать набор индикаторов.
Набор индикаторов для измерения латентной переменной «любознательность» представлен в табл. 1.
© Маслак А. А., Рыбкин А. Д., 2014
Таблица 1
Операциональное определение любознательности_
№ п/п Индикаторы 3 2 0 1
1 Я люблю рассматривать предмет тщательно и подробно, чтобы обнаружить детали, которых не видел раньше.
2 Обычно я задаю вопросы, если чего-нибудь не знаю.
3 Мне нравится заниматься чем-то новым.
4 Я люблю заводить новых друзей.
5 Я часто пытаюсь представить, о чем думают другие люди.
6 Существует много вещей, с которыми мне хотелось бы поэкспериментировать.
7 Если я однажды нашел ответ на вопрос, я буду придерживаться его, а не искать другие ответы.
8 Я люблю исследовать старые чемоданы и коробки, чтобы просто посмотреть, что в них может быть.
9 Интересно браться за головоломки и игры, в которых необходимо рассчитывать свои дальнейшие ходы.
10 Меня интересуют механизмы, любопытно посмотреть, что у них внутри и как они работают.
11 Я люблю листать книги и журналы для того, чтобы просто посмотреть, что в них.
12 Я люблю задавать вопросы о таких вещах, о которых другие люди не задумываются.
Ученикам предлагается выбрать один из предложенных вариантов ответа. В зависимости степени своего согласия с положительным ответом на эти вопросы, ученик оценивает их следующим образом: 3 - в основном верно; 2 - отчасти верно; 0 - нет; 1 - не могу определиться.
3. Данные
Респондентами были ученики трех классов МБОУ СОШ № 39 х. Трудобеликов-ского Славянского района Краснодарского края, всего 74 ученика. Результаты опроса представлены в табл.2.
Результаты опроса учеников
Таблица 2
Ученики Класс Возраст, пет с о с Индикато ры
1 2 3 4 5 6 7 8 9 10 11 12
Ученик 1 5 «А» 10 м 3 3 3 3 2 3 3 3 3 3 3 3
Ученик 2 5 «А» 11 м 3 2 2 1 3 3 0 3 3 3 3 3
Ученик 3 5 «А» 11 м 2 2 2 2 0 0 1 2 2 2 1 1
Ученик 4 5 «А» 11 м 3 3 2 2 2 2 1 2 2 2 2 2
Ученик 5 5 «А» 10 м 3 0 3 3 3 3 3 0 3 3 3 0
Ученик 6 5 «А» 11 м 3 3 0 3 2 3 3 2 3 3 2 3
Ученик 7 5 «А» 11 м 2 3 3 3 0 3 1 3 3 3 0 3
Ученик 8 5 «А» 11 м 3 2 3 3 0 0 3 3 3 3 3 3
Ученик 9 5 «А» 10 ж 3 2 3 2 3 3 1 3 3 2 3 3
Ученик 10 5 «А» 11 м 2 3 3 3 3 3 2 3 3 3 3 3
Ученик 11 5 «А» 11 ж 0 2 2 2 2 2 2 2 0 0 2 0
Ученик 12 5 «А» 11 м 0 3 3 3 3 3 0 3 3 3 3 3
Ученик 13 5 «А» 11 ж 2 3 0 0 0 2 0 3 2 2 3 2
Ученик 14 5 «А» 11 м 3 3 3 3 3 3 1 3 3 3 3 3
Ученик 15 5 «А» 10 м 3 3 3 3 3 3 1 3 3 3 0 0
Ученик 16 5 «А» 11 м 3 3 3 3 0 2 1 3 3 3 3 2
Ученик 17 5 «А» 11 м 3 3 3 3 0 0 0 3 3 3 2 3
Ученик 18 5 «А» 11 ж 3 3 2 3 0 3 2 0 0 3 3 2
Ученик 19 5 «А» 11 м 2 3 2 3 0 3 1 2 3 2 0 3
Ученик 20 5«А» 11 ж 3 2 2 2 2 2 2 2 2 2 2 2
Ученик 21 5«А» 10 м 3 2 2 2 3 3 2 1 3 3 3 1
Ученик 22 5«А» 11 ж 3 3 3 3 3 3 1 3 2 0 3 3
Ученик 23 5«А» 11 м 3 3 3 3 2 3 0 3 3 3 2 3
Ученик 24 5«А» 11 ж 2 3 3 3 3 3 0 3 3 0 3 3
Ученик 25 5«А» 11 ж 2 3 3 3 3 3 0 3 3 0 3 3
Ученик 26 5«А» 10 ж 2 3 3 3 3 3 2 1 2 0 0 3
Ученик 27 5 «Б» 11 м 3 3 3 3 3 3 0 3 3 3 3 3
Ученик 28 5« Б» 10 м 0 1 3 2 2 1 1 3 1 3 0 2
Окончание таблицы 2
Ученики Класс Возраст, лет Пол Индикато ры
1 2 3 4 5 6 7 8 9 10 11 12
Ученик 29 5« Б» 11 м 2 1 3 3 3 3 0 3 3 3 3 3
Ученик 30 5« Б» 11 м 3 3 1 3 0 3 2 1 2 3 2 0
Ученик 31 5« Б» 10 M 2 3 3 3 0 3 0 3 3 3 3 3
Ученик 32 5« Б» 11 ж 3 3 3 3 2 3 1 0 3 0 2 2
Ученик 33 5« Б» 11 M 3 3 3 3 0 3 1 2 3 3 2 2
Ученик 34 5« Б» 11 M 3 3 3 3 3 0 0 3 3 3 0 3
Ученик 35 5« Б» 10 M 3 3 3 3 2 3 0 3 3 3 3 3
Ученик 36 5« Б» 11 M 3 3 3 0 3 3 3 3 3 3 3 3
Ученик 37 5« Б» 11 ж 3 2 3 3 0 3 3 3 3 3 0 0
Ученик 38 5« Б» 11 ж 3 2 2 3 1 2 1 2 3 2 1 1
Ученик 39 5« Б» 12 ж 2 2 2 3 3 2 1 3 3 3 3 3
Ученик 40 5« Б» 11 ж 3 3 3 3 3 3 3 3 3 2 3 3
Ученик 41 5« Б» 10 ж 2 2 3 2 0 0 3 2 3 1 3 3
Ученик 42 5« Б» 11 м 3 3 3 3 0 3 0 3 3 3 3 3
Ученик 43 5« Б» 11 M 0 3 3 3 0 3 3 3 3 3 0 0
Ученик 44 5« Б» 12 M 1 3 3 3 2 2 3 3 1 1 2 2
Ученик 45 5« Б» 11 ж 3 3 2 3 0 3 2 3 3 0 1 0
Ученик 46 5« Б» 12 ж 2 3 0 3 3 3 0 1 0 0 3 3
Ученик 47 5« Б» 12 ж 0 3 3 3 3 2 0 0 0 0 3 3
Ученик 48 5« Б» 11 м 2 2 2 3 0 0 0 1 1 1 2 1
Ученик 49 5« Б» 11 M 3 0 3 3 1 3 2 3 3 3 3 1
Ученик 50 5« Б» 11 ж 3 3 2 2 0 3 1 3 3 3 2 3
Ученик 51 5«В» 11 M 3 3 0 0 0 0 3 3 3 3 2 3
Ученик 52 5«В» 11 M 3 2 3 3 1 3 3 0 3 0 3 3
Ученик 53 5«В» 11 ж 3 0 3 3 3 1 2 3 3 3 3 1
Ученик 54 5«В» 10 M 2 3 2 2 3 2 3 2 0 3 2 3
Ученик 55 5«В» 11 M 3 0 3 3 3 3 1 3 3 3 0 2
Ученик 56 5«В» 11 ж 3 3 3 0 3 3 0 3 3 3 0 3
Ученик 57 5«В» 11 M 3 3 3 0 3 0 3 2 3 2 1 2
Ученик 58 5«В» 11 M 2 3 3 3 3 3 1 2 3 3 3 3
Ученик 59 5«В» 10 ж 0 1 2 2 0 3 2 1 0 1 0 1
Ученик 60 5«В» 11 ж 3 2 3 3 0 2 0 3 2 2 2 2
Ученик 61 5«В» 10 ж 3 1 2 1 2 1 2 0 1 3 3 0
Ученик 62 5«В» 10 ж 1 3 2 0 2 0 2 0 0 0 0 0
Ученик 63 5«В» 11 ж 1 0 3 3 0 0 3 0 3 0 3 1
Ученик 64 5«В» 12 ж 3 0 3 3 2 3 3 0 3 0 3 0
Ученик 65 5«В» 11 ж 2 3 3 0 0 0 0 3 0 0 0 2
Ученик 66 5«В» 11 M 3 3 3 3 2 3 1 3 3 3 3 3
Ученик 67 5«В» 11 ж 3 3 3 3 0 3 0 0 3 0 3 2
Ученик 68 5«В» 11 M 2 3 3 3 3 3 1 2 3 3 3 1
Ученик 69 5«В» 11 M 2 2 2 2 2 2 1 0 2 2 2 2
Ученик 70 5«В» 11 ж 1 3 3 3 0 3 0 3 3 2 0 3
Ученик 71 5«В» 10 M 3 0 3 0 0 3 3 0 0 0 3 0
Ученик 72 5«В» 11 ж 3 2 0 2 2 0 0 2 3 2 0 3
Ученик 73 5«В» 11 M 3 3 3 3 2 3 0 3 3 3 0 3
Ученик 74 5«В» 11 M 2 3 2 3 2 3 0 3 2 3 3 2
4. Метод
Многочисленные способы конструирования латентных переменных (такие как метод взвешивания, экспертные оценки, индексы), обладают существенными недостатками, например, это субъективность весов экспертов и нелинейность шкалы. Это затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения. Поэтому оценка любознательности учеников осуществлялась в рамках теории измерения латентных пере-
менных. Наиболее полно на русском языке эта теория представлена в [i].
Для измерения латентной переменной «любознательность» использовалась модель Раша с фиксированной длиной категорий (модель RSA - Rating Scale Analysis). Свойства этой модели подробно рассмотрены в [6].
Модель с фиксированными промежуточными категориями выполнения заданий имеет следующий вид:
ы
■ ЦК
: # - ((5; + Тк),
V ч (к-VI
где Р; ¡V - вероятность выбора г-м учеником к-и категории в /-ом индикаторе, $ - местоположение г'-го ученика на шкале «любознательность», Б] - местоположение /-го индикатора на той же шкале, - длина кой категории в каждом индикаторе.
Для обработки данных опросов использовалась диалоговая система ИЛП, разработанная в лаборатории объективных измерений Кубанского государственного университета [3].
5. Результаты измерения Первоочередной задачей при измерении латентной переменной является оценка совместимости индикаторов, т. е. определе-
ние того, в какой мере индикаторы определяют одну и ту же латентную переменную, в данном случае «любознательность». Совместимость индикаторных переменных осуществлялась на основе критерия Хи-квадрат. Значение данного критерия в нашем случае оказалось равным 33,86 при степени свободы 24. Эмпирический уровень значимости соответственно равен 0,087, что говорит о совместимости набора индикаторных переменных, а значит, и о пригодности опросника для измерения латентной переменной «любознательность».
Статистическая характеристика набора индикаторов
В табл. з приведена статистическая характеристика набора индикаторов.
Статистическая характеристика индикаторов
Таблица 3
Номер индикатора Значение индикатора (логит) Стандартная ошибка (логит) Значение статистики хи-квадрат Уровень значимости статистики хи-квадрат
5 0,489 0,109 0,709 0,701
7 0,391 0,118 0,946 0,622
11 0,160 0,114 2,724 0,256
10 0.147 0,112 1,004 0,605
12 0,024 0,123 3,968 0,137
8 0,014 0,119 4,326 0,114
6 -0,031 0,118 0,778 0,677
9 -0,201 0,127 2,428 0,296
4 -0,209 0,130 6,014 0,049
2 -0,234 0,136 1,654 0,437
1 -0,235 0,138 7,371 0,025
3 -0,315 0,147 1,933 0,380
Индикаторы в таблице упорядочены по убыванию их значений на шкале латентной переменной - от наибольшего значения (+0,489),к наименьшему (-0,316).
Другим важным условием применения теории измерения латентных переменных является адекватность индикаторов модели измерения. Выполнение данного условия так же определяется на основе критерия Хи-квадрат. Осуществляется это следующим образом, на основе модели Раша все измеряемые объекты (ученики) делятся на три группы: с высоким, низким и средним уровнями. После этого для каждой из групп вычисляется среднее значение и при помощи критерия Хи-квадрат определяется соответствие этих точек теоретическим значениям, полученным на основе модели Раша.
Критическим значением уровня значимости статистики Хи-квадрат является значение 0,01. Если уровень соответствия переменной меньше данного значения, то ее необходимо исключить из набора.
Судя по данным таблицы видно, что все индикаторы имеют значение статистики хи-квадрат больше чем о,01.Поэтому можно сделать вывод, что все индикаторные переменные совместимы, и их можно рассматривать как инструмент для измерения любознательности учеников.
Для большей наглядности проанализируем отличительные индикаторы:
- индикатор, который лучше других дифференцирует учеников с низким уровнем любознательности;
- индикатор, который лучше других дифференцирует учеников с высоким урок-нем любознательности;
- наиболее адекватный модели измерения индикатор;
- наименее адекватный модели измерения индикатор.
Лучше всего поведение индикаторов отображают характеристические кривые, показывающие зависимость уровня индикатора от измеряемой латентной переменной.
Рассмотрим характеристические кривые этих индикаторов.
Характеристическая кривая индикатора онреде.чяющего наименьший уровень любознательности
Таким индикатором является индикатор 3 «Мне нравится заниматься чем-то новым». Характеристическая кривая изображена на рис. 1.
Номер 3 Индикатор 3 Оценка -0.316 Хи-кв 1.934 Р<Хм-кв) 0.380 N-74
• _________
<
/
/
-1 —1— 1
2.5-
к
О
1.5-
0.5-
-2.0
-1.0
0.0 1.0 2.0 Местоположение объекте (логит)
3.0
4.0
Рис. 1. Характеристическая кривая индикатора 3 «Мне нравится заниматься чем-то новым»
Данный рисунок характеристической кривой, как и другие рисунки с аналогичными кривыми имеют следующую структуру.
На оси абсцисс отложены значения латентной переменной «любознательность» учеников (в логитах). На оси ординат отмечены ожидаемые значения индикатора. В данном случае значение индикатора варьируется от о до 3.
В верхней части рисунка содержится следующая информация:
- порядковый номер индикатора (Номер з);
- название индикатора, в данном случае название индикатора выбрано по умолчанию (Индикатор з);
- местоположение индикатора на шкале измеряемой латентной переменной (Оценка = -0,316);
- значение статистики хи-квадрат (хи-кв. = 1,934)
- уровень значимости статистики Хи-квадрат Р(Хи-кв. = 0,380);
- объем выборки (Ы = 74).
Этот индикатор лучше других дифференцирует учеников с низким уровнем любознательности, об этом свидетельствуют высокие значения индикаторной переменной.
Характеристическая кривая индикатора определяющего наибольший уровень любознательности
Самый высокий уровень любознательности характеризует индикатор 5 «Я часто пытаюсь представить, о чем думают другие люди». Это значит, данный индикатор лучше других дифференцирует учеников с высоким уровнем любознательности. Характеристическая кривая данного индикатора представлена на рис. 2.
Номер 5 Индикатор S Оценка 0.489 Хи-ке 0.710 Р(Хи-кв) 0.701 N-74
•
-1 —1— 1
2.5
1.5-
2
©
-
Ч
О
0.5-
-2.0
•1.0
0.0 1.0 2.0 Местоположение объекта (логит)
3.0
4.0
Рис. 2. Характеристическая кривая индикатора 5 «Я часто пытаюсь представить, о чем думают
другие люди».
Характеристическая кривая индикатора, наиболее адекватного модели измерения
Наиболее адекватным модели измерения является индикатор 5 «Я часто пытаюсь представить, о чем думают другие люди». На рис. 2 видно, что экспериментальные точки практически совпадают с теоретической кривой, это подтверждает высокое значение уровня значимости статистики Хи-квадрат (0,701).
Характеристическая кривая индикатора наименее адекватного модели измерения
Наименее адекватной модели измерения является индикатор 1«Я люблю рассматривать предмет тщательно и подробно, чтобы обнаружить детали, которых не видел раньше». Характеристическая кривая этого индикатора изображена на рис. 3.
Глядя на данный график, легко заметить, что экспериментальные точки не совпадают с теоретической кривой. Об этом так же говорит низкое значение уровня значимости статистики Хи-квадрат (0,025). Данный индикатор адекватен модели на низком уровне значимости.
Анализ результатов измерения
Расположение оценок любознательности студентов и индикаторов, характеризующих любознательность, изображено на рис. 4.
В верхней половине рисунка изображена гистограмма распределения оценок любознательности учеников, в нижней половине - распределение оценок индикаторов на той же самой шкале.
Анализируя приведенную на рисунке информацию, можно сделать следующие заключения:
- оценки любознательности варьируются в диапазоне 3,25 логит (от -0,75 логит, до +2,5логит);
- диапазон варьирования индикаторов гораздо меньше диапазона варьирования оценок учеников - 1,0 логит (от - 0,5 до 0,5 логит);
- индикаторы варьируются в узком диапазоне, поэтому необходимо расширить его варьирование. Но все же, методика позволяет достаточно хорошо дифференцировать учеников по уровню любознательности.
Так, как факторы класс (фактор А), пол (фактор В) и возраст (фактор С) являются качественными, то в качестве метода обработки был выбран дисперсионный анализ. Результаты анализа уровня любознательности испытуемых в зависимости от класса, возраста и пола представлены в табл.4.
Номер 1 Индикатор 1 Оценка -0.236 Хи-кв 7.371 Р(Хи-ка) 0.025 N-74
• *
/
г
/
-1 —I— 1
-2.0 -1.0 0.0 1.0 2.0 3.0 4.0
Местоположение объекта (логит)
Рис. 3. Характеристическая кривая индикатора 1«Я люблю рассматривать предмет тщательно и подробно, чтобы обнаружить детали, которых не видел раньше»
Количество объектов 74 среднее 0.650
■ 24.3% - - 21 6=4. --18.9* 16.24 13.5* •• 10.8% -- 814 --54% -- 2.7* 0.0*
1 2 Латентная пецеиеиная (логот)
00* 83%
- - 167*
- - 25 0*
- - 33.3* -• 41 7*
- - 50 0*
Рис. 4. Местоположение испытуемых и индикаторов на шкале «любознательность»
Таблица 4
Дисперсионный анализ любознательности школьников в зависимости от их пола и возраста и
класса
Источник Сумма Степени Средний
дисперсии квадратов свободы квадрат F3Kcn Р
Фактор А 2,709 2 1,354 3,599 0,034
Фактор В 1,017 2 0,508 1,351 0,267
ФакторС 0,368 1 0,368 0,979 0,327
Взаимодействие АВ 1,435 3 0,478 1,272 0,292
Взаимодействие АС 0,476 2 0,238 0,633 0,535
Взаимодействие ВС 0,581 2 0,291 0,773 0,466
Взаимодействие ABC 0,598 2 0,299 0,795 0,457
Ошибка 22,200 59 0,376
Всего 30,946 73
Таблица 5
Средние значения любознательности учеников в зависимости от их класса
Класс Среднее (логит) Объем выборки Стандартная ошибка (логит) Нижний порг Верхний порг
5 «А» 0,739 26 0,151 0,436 1,041
5 «Б» 0,583 24 0,175 0,232 0,933
5 «В» 0,148 24 0,176 -0,205 0,500
Исходя из результатов дисперсионного анализа, можно сделать вывод, что статистически значимым является лишь фактор А «класс». Это означает, что классы отличаются по уровню любознательности.
В табл. 5 представлены средние значения уровня любознательности классов.
Из табл. 5 следует, что наибольшая любознательность наблюдается у учеников 5 «А» классе (0,739 логит), а наименьшая у учеников 5 «В» класса (0,148 логит). Класс 5 «Б» занимает промежуточное положение (0,583 логит). Необходимо отметить, что интегральный показатель хорошо коррелирует с успеваемостью учеников.
6. Выводы
1. В данной работе сделана попытка измерения латентной переменной «любознательность» школьников.
2. Латентная переменная «любознательность» определяется операционально -через набор индикаторов.
3. Измерение латентной переменной «любознательность» осуществлялось в рамках теории латентных переменных на основе модели Раша.
4. Индикаторы варьируются в узком диапазоне, тем не менее, методика изучения личностных креативных способностей позволяет достаточно хорошо дифференцировать учеников по уровню их любознательности.
5. Набор переменных можно изменить, добиваясь более точного определения конструкта «любознательность».
ЛИТЕРАТУРА
1. Летова Л. В., Маслак А. А., Осипов С. А. Семейство моделей Раша для объективного измерения латентных переменных // Информатизация образования и науки, 2013, № 4 (20). - С. 131-141.
2. Маслак A.A. Измерение латентных переменных в социальных системах. - Славянск-на-Кубани: Издательский центр КубГУ, 2012. - 432с.
3. Маслак А. А., Осипов С. А. Измерение латентных переменных // Свидетельство о государственной регистрации программ для ЭВМ № 2013618487. Дата государственной регистрации в Реестре программ для ЭВМ 10 сентября 2013 г.
4. Маслак А. А., Поздняков С. А. Модель Раша для проверки качества метода измерения толерантности. Социология: методология, методы, математическое моделирование, 2008, № 26. - С. 87- 104.
5. Туник Е. Е. Диагностика личностной креативности) // Социально-психологическая диагностика развития личности и малых групп / Фетискин И. П., Козлов В. В., Мануйлов Г. M. - М. : Изд-во Института психотерапии , 2002. - С.42-52.
6. Wright B.D., Masters G.N. Rating Scale Analysis. - Chicago: MESA PRESS, 1982. - 206 p.
Статью рекомендует д-р психол. наук, проф. С. А. Минюрова.
