CC BY
150
Моделирование и параметризация анкеты «Гражданственность и патриотизм» для оценки общекультурных компетенций.
И.Н. Елисеев, И.И.Елисеев, И.А. Занина, А.Г. Илиев
Институт сферы обслуживания и предпринимательства (филиал) Донского государственного технического университета, г. Шахты, Ростовская обл.
Аннотация: В статье исследуются параметры и характеристики анкеты «Гражданственность и патриотизм», предназначенной для исследования общекультурных компетенций студентов методом самооценки. В качестве модели измерения используется политомическая модель Раша. По входным данным, полученным с помощью анкеты «Гражданственность и патриотизм», рассчитаны характеристики участников анкетирования и индикаторов анкеты, доказана их пригодность для оценки уровня сформированности личностных качеств, влияющих на общекультурные компетенции. Даны рекомендации по доработке анкеты.
Ключевые слова: уровень подготовки студента, латентные переменные, политомическая модель, индикатор, диагностическое средство, компетенция.
Формализация оценки уровня сформированности компетенций студентов высшего профессионального образования (ВПО), характеризующего его уровень подготовки, является необходимым условием получения объективной информации для качественного управления образованием в рамках реализации компетентностного похода. Для его выполнения необходимо иметь теоретически обоснованный методический инструментарий: модель измерения, диагностическое средство для получения входных данных об уровне сформированности компетенции и методики расчёта его формализованных оценок. Уровень сформированности компетенции студента является скрытым (латентным) параметром, поэтому его нельзя определить, используя средства измерительной техники. Оценка его носит вероятностный характер [1, 2], поэтому в качестве модели измерения целесообразно использовать вероятностные политомические модели [1-7].Допустимость и перспективность их использования для диагностики результатов обучения неоднократно обоснована в научных трудах зарубежных и отечественных учёных [1-11]. Применение моделей
совместно с теорией латентных переменных позволяет снизить погрешность вычисления значений латентных параметров «уровень сформированности компетенции» студента и «трудность индикатора» ДС за счёт разделения этих переменных.
Важным этапом решения указанной проблемы является создание диагностического средства для получения входных данных об уровне сформированности исследуемых качеств студента, определяющих его компетенцию. Как правило, это анкета, опросник или диагностический тест [1, 3-5, 7]. Готовность специалиста эффективно выполнять работу предполагает формирование представлений о своих правах и обязанностях как гражданина страны, умений использовать действующее законодательство Российской Федерации и правовые документы в профессиональной деятельности. Для исследования этих качеств в многоуровневом университетском комплексе «Южно-Российский государственный университет экономики и сервиса (ЮРГУЭС)» с использованием результатов работы [12] разработана анкета «Гражданственность и патриотизм» [1, 6]. С её помощью можно, например, исследовать уровень сформированности компетенций ОК9, ОК13 направления подготовки 140400 «Электроэнергетика и электротехника». Число индикаторов анкеты 53. Выполнение каждого из них оценивается одним из четырёх значений: 0 -если участником анкетирования выбран ответ «нет», 1 - если выбран ответ «скорее «нет», чем «да»», 2 - при выборе ответа «скорее «да», чем «нет»» и 3, если выбран ответ «да». Индикаторы 35 и 49 анкеты являются индикаторами обратного направления действия, и при подготовке к обработке они инвертируются.
Индивидуальный балл анкетируемого Хг' рассчитывается путём суммирования оценок, полученных за выполнения каждого индикатора.
Большему значению индивидуального балла соответствует более высокий уровень сформированности гражданственности и патриотизма.
Для расчёта формализованных оценок трудности индикаторов анкеты и уровня сформированности компетенций использовалась выборка студентов университетского комплекса «ЮРГУЭС». Общий объём выборки составил 144 человека. Результаты анкетирования представлялись в виде политомической матрицы ответов размером 144*53. Для их обработки использовалась диалоговая системой ЯиММ 2030 [13]. На основании полученной информации определялся уровень сформированности гражданственности и патриотизма каждого анкетируемого.
Содержание анкеты и инструкция к ней представлены ниже.
Таблица 1- Анкета «Гражданственность и патриотизм»
Инструкция: Инструкция: Внимательно прочтите каждое утверждение (индикатор). Оцените его применительно к себе, после чего в бланке ответов проставьте для каждого индикатора номер выбранного варианта ответа:
1) - нет; 2)- скорее нет, чем да; 3)- скорее да, чем нет; 4) - да.
1. Интересуюсь историческим прошлым своей страны.
2. Испытываю гордость за Россию.
3. Интересуюсь культурными ценностями (литература, искусство, архитектура и т.п.) своей страны.
4. Слежу за культурными событиями в жизни нашей страны.
5. Вызывают чувство гордости политические и экономические успехи РФ.
6. Слежу за современными политическими событиями в нашей стране.
7. Знаю Конституцию РФ.
8. Считаю, что Россия обладает достаточным потенциалом для статуса великой мировой державы.
9. Знаю основные гражданские права и обязанности граждан РФ.
10. Слежу за современными экономическими событиями в нашей стране.
11. Знаю основные положения Всеобщей декларации прав человека.
12. Осведомлен об общественно-политических событиях, происходящих в нашей стране.
13. Соблюдаю обязанности гражданина РФ.
14. Проявляю бережное отношение к историческому наследию страны.
15. Осведомлен о современном положении РФ на международной арене.
16. Проявляю бережное отношение к общественному достоянию.
17. Вызывают чувство гордости спортивные достижения России.
18. Знаю основные положения Конвенции о правах ребенка.
19. Вызывают чувство гордости технические и научные достижения РФ.
20. Активно отстаиваю свои гражданские права.
21. Вызывают чувство гордости исторические победы вооруженных сил России.
22. Проявляю бережное отношение к частной собственности.
23. Испытываю чувство гордости, когда звучит гимн России.
24. Участвую в общественной жизни учебного заведения (города, страны).
25. Проявляю бережливость и экономность в отношении личной собственности.
26. Готов отстаивать гражданские права окружающих.
27. Стремлюсь поступать достойно, уважая достоинство других.
28. Не мирюсь с бестактным поведением других по отношению к окружающим.
29. Считаю, что участие в выборах - это проявление активной гражданской позиции.
30. Участвую в деятельности общественных организаций.
31. Считаю, что, проходя службу в армии, юноши становятся настоящими мужчинами.
32. Знаю государственную символику РФ.
33. Соблюдаю правила поведения в общественных местах.
34. Считаю обязательной воинскую службу по призыву.
35. Хочу сменить гражданство.
36. Готов вести благотворительную деятельность в пользу нуждающихся.
37. Хочу служить в современной Российской армии по контракту.
38. Считаю, что защита природных ресурсов России - дело каждого.
39. Готов вести шефскую или волонтерскую деятельность.
40. Использую знания базовых ценностей мировой культуры для личностного и общекультурного развития
41. Готов трудиться на благо своей страны.
42. Считаю, что каждый гражданин РФ должен заботиться о сохранении экологического баланса.
43. Терпимо отношусь к представителям разных национальностей, проживающих в России.
44. Считаю, что многонациональность России обогащает ее культуру.
45. Предан своему отечеству.
46. Считаю, что главное в жизни - делать нечто важное, значимое для других и страны в целом.
47. Уважительно отношусь к прошлому историческому опыту своей страны.
48. Считаю, что Россия полиэтническая страна и в ней должны жить представители разных национальностей.
49. Готов уехать за границу на постоянное место жительства.
50. Уважительно отношусь к традициям представителей других национальностей проживающих в России.
51. Считаю своим долгом оказывать посильную помощь пожилым и престарелым людям.
52. Горжусь победой советского народа в Великой Отечественной войне.
53. Считаю себя патриотом своей страны.
Экспертиза качества анкеты и её чистка выполнялись по методике, описанной в работах [1, 14]. В процессе её проведения удалялись и участники анкетирования, и индикаторы. Анализ данных, полученных после чистки матрицы результатов анкетирования показал, что предположение о нормально законе распределения значений оценок латентных параметров в* допустимо. Это позволяет считать выборку анкетируемых нормативной [1, 4]. О валидности исследуемой анкеты можно судить по гистограммам распределения величин в* и в, представленным на рисунке 1.
PERSONS
80
F 60 г е Ч
u 40
е п
с
У
20 -■
ITEMS 0 5
F 10
г
е 15 q 20
Person-Item Location Distribution
(Grouping Set to Interval Length of 0,50 making 6 Groups)
11; X
■
-
ш ^ 9, логит
Ж
55,6%
■ - 41,7%
27,8%
- 13,9%
0,0%
(3,лргит
2 Location (logits) 0,0% 9,4% 18,9% 28,3% 37,7%
Рисунок 1 - Гистограммы распределения значений оценок уровня сформированности гражданственности и
патриотизма анкетируемых в* и трудности индикаторов 0*.
:
Видно, что диапазон изменения латентного параметра в перекрывает интервал варьирования латентного параметра 0, что является признаком валидности исследуемой анкеты по отношению к используемой выборке студентов.
Информация о коэффициентах, характеризующих показатели качества анкеты, для исходных результатов анкетирования и после чистки матрицы результатов приведена в конце таблицы 1. В диалоговой системе ЯиММ 2030 рассчитываются коэффициент дифференциации тестируемых ^ и коэффициент надёжности аКг (рассчитывается по формуле Кронбаха [15]). В результате чистки матрицы ответов были удалены 21 участник и шесть индикаторов. Полученные после чистки результатов анкетирования значения коэффициентов ^ (коэффициент дифференциации тестируемых) и а^-(коэффициент надёжности, рассчитанный по формуле Кронбаха [15]) свидетельствуют о хорошем качестве анкеты [16]. Для оценки совместимости и адекватности использовался критерий согласия х2 Пирсона. Условия адекватности и совместимости выполняются, если полученное по х2
значение уровня значимости р 2 превышает пороговое значение р0 2 =
ХР2 0хР2
0,05. Из таблицы 1 видно, что эти условия выполняется.
Оценки трудности индикаторов рв анкеты до чистки и р* после
чистки представлены в столбцах 2, 5, а их стандартные погрешности а и а"
10
в столбцах 3, 6 таблицы 1.
Таблица 1 - Оценки трудности индикаторов Ру анкеты «Гражданственность и патриотизм»
} Для исходной матрицы Для матрицы после чистки
Р* (логит) 8Б Рх2 Р 0 (логит) ВБ0 Рх20
1 -0,054 0,099 0,148 0,347 0,108 0,244
2 -0,647 0,114 0,788 -0,591 0,136 0,834
3 -0,006 0,099 0,156 0,332 0,108 0,184
4 0,475 0,095 0,359 0,811 0,102 0,365
5 0,559 0,088 0,220 0,918 0,096 0,191
6 0,544 0,088 0,928 0,895 0,098 0,979
7 0,970 0,093 0,154 1,360 0,099 0,097
8 -0,438 0,110 0,951 -0,220 0,126 0,684
9 -0,260 0,104 0,102 0,060 0,117 0,221
10 0,737 0,099 0,325 1,131 0,107 0,909
11 1,100 0,098 0,564 1,499 0,105 0,740
12 0,523 0,091 0,916 0,927 0,097 0,355
13 -0,781 0,131 0,031 -2,336 0,157 0,331
14 -0,499 0,109 0,310 -0,585 0,137 0,188
15 0,614 0,088 0,755 1,022 0,095 0,588
16 -0,587 0,121 0,035 -0,290 0,136 0,250
17 -0,474 0,103 0,174 -0,277 0,124 0,198
18 0,367 0,099 0,976 0,798 0,106 0,558
19 -0,286 0,100 0,760 0,080 0,111 0,534
20 -0,396 0,112 0,352 -0,185 0,127 0,487
21 -0,994 0,153 0,003 -0,763 0,198 0,137
22 -0,372 0,108 0,207 -0,403 0,148 0,476
23 -0,402 0,110 0,311 -0,126 0,129 0,115
24 0,136 0,094 0,433 0,568 0,100 0,649
25 -1,140 0,127 0,517 -2,454 0,151 0,924
26 0,200 0,106 0,012
27 -0,995 0,143 0,757 -2,354 0,164 0,745
28 -0,088 0,093 0,032 0,269 0,103 0,077
29 0,239 0,083 0,124 0,604 0,091 0,177
30 0,790 0,086 0,534 1,252 0,093 0,755
31 0,091 0,086 0,241 0,464 0,093 0,137
32 -0,238 0,093 0,135 0,129 0,104 0,327
33 -0,891 0,128 0,322 -2,464 0,167 0,727
34 0,264 0,076 0,007
35 1,112 0,078 0,000
36 -0,171 0,101 0,373 0,142 0,110 0,724
37 0,990 0,076 0,001
38 -0,224 0,099 0,079 0,141 0,110 0,073
39 0,559 0,083 0,342
40 0,021 0,099 0,105 0,327 0,110 0,112
41 0,122 0,110 0,469 0,366 0,127 0,581
42 -0,375 0,107 0,113 -0,165 0,128 0,400
43 0,214 0,083 0,959 0,645 0,089 0,852
44 0,572 0,080 0,358 0,944 0,086 0,290
45 -0,409 0,109 0,406 -0,120 0,126 0,403
46 0,098 0,097 0,777 0,438 0,107 0,268
47 -0,654 0,116 0,070 -0,330 0,135 0,310
48 0,757 0,083 0,694 1,174 0,089 0,953
49 0,573 0,077 0,002
50 0,240 0,085 0,347 0,613 0,091 0,401
51 -0,501 0,117 0,598 -0,276 0,134 0,765
52 -0,908 0,162 0,117 -4,596 0,315 0,073
53 -0,074 0,097 0,720 0,281 0,107 0,748
54 -0,054 0,099 0,148 0,347 0,108 0,244
0,000000 0,363410
Га 0,81835 0,79886
а Кг 0,82292 0,79693
Объем выборки 144 участников Объем выборки 123 участников
Для оценки валидности каждого задания предтеста анализировались оценки значений коэффициентов корреляции Я ы индикатора с индивидуальной суммой баллов анкетируемых (бисериальный коэффициент). Анализ показал, что индикаторов со значениями Я ы < 0 в анкете нет. Число индикаторов с < 0,2 после чистки матрицы ответов уменьшилось до 3 (индикаторы 8, 31, 38).
Оценка работоспособности дескрипторов индикаторов осуществлялась по их вероятностным кривым. В качестве примера на рисунке 2 изображёны такие кривые дескрипторов индикатора 2. Как видно из рисунка, каждый дескриптор имеет свой диапазон действия, что является свидетельством их работоспособности. Дескрипторы большинства индикаторов анкеты работоспособны. Исключение составляют индикаторы 21, 29, 31, 32, 38, 39, 43, 44, 50 и 52, у которых работают только дескрипторы 0 и 3.
10002 Descriptor for Hern 2 Locn = -0,591 Spread = 0,628 FitR es = -0,011 ChiS q[Pr] = 0,834 S ampleN = 123
1,0-r.................................................................................
Person Location (logits)
Рис. 2. - Вероятностные кривые дескрипторов индикатора 2 «Испытываю гордость за Россию»
Это свидетельствует о том, что данные индикаторы являются дихотомическими, а не политомическими. Поэтому их необходимо оценивать на двух уровнях: 0 и 1, что следует учесть при доработке анкеты.
По уровню сформированности гражданственности и патриотизма все участники анкетирования делятся на четыре категории О, исходя из значения их индивидуальных баллов и критериев таблицы 2.
Таблица 2 - Критерии для разделения анкетируемых на категории О по уровню сформированности гражданственности и патриотизма
х1 Категория О уровня сформированности качеств
0 < х1< 40 О1 - уровень низкий (качества сформированы недостаточно)
41 < х, < 80 О2 - пороговый уровень (качества сформированы удовлетворительно)
81 < х1 < 120 О3 - средний уровень (качества сформированы оптимально)
121< х1 < 159 О4 - высокий уровень
Анализ полученных с использованием таблицы 2 данных показал, что средний (оптимальный) уровень гражданственности и патриотизма сформирован у 92 % анкетируемых, - удовлетворительный (пороговый) - у 8%. Анкетируемых с недостаточно сформированными качествами в исследуемой выборке не оказалось.
Таким образом, анкета «Гражданственность и патриотизм» имеет хорошие показатели качества, характеристики её индикаторов известны и после корректировки индикаторов 8, 21, 29, 31, 32, 34, 35, 37 - 39, 43, 44, 49, 50 и 52 может быть использована для оценки уровня сформированности соответствующих компетенций студентов.
Литература
1. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: дис. на соискание уч. степени доктора педагогических наук: 13.00.01. Санкт-Петерб. гос. ун-т. Санкт-Петербург, 1994. 339с.
2. Елисеев И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования: монография. -2 изд., перераб. и доп. -Новочеркасск: Лик, 2013. -285 с.
3. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша // Стандарты и мониторинг в образовании. 2009. №3. С. 35-38.
4. Елисеев И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ // Стандарты и мониторинг в образовании. 2010. № 1. С. 47-49.
5. Елисеев, И.Н. Методология оценки уровня компетенций студента // Информатика и образование. 2012. №4. С. 80-85.
6. И.Н. Елисеев, И.И. Елисеев, Т.Н. Ларина, Н.В. Кривошеев Оценка коммуникативных компетенций студентов на основе политомических моделей // Инженерный вестник Дона, 2014, №1 (часть 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.
7. Елисеев И. Н., Литвиненко Л. В., Папян А. С. Оценка качества опросника «Уровень сформированности гражданственности и патриотизма» для измерения латентной переменной «Гражданственность и патриотизм» / Материалы международной научной конференции «Методы и алгоритмы принятия эффективных решений» (МАПР - 09). - Таганрог, ТТИ ЮФУ, 2009. Ч. 1 - С. 31-35.
8. Елисеев И.Н. Экспертиза качества тестов по электротехническим дисциплинам // Известия высших учебных заведений. Электромеханика. 2011. №2. С. 75-80.
9. Ларина Т.Н., Елисеев И.Н. Оценка уровня компетенции студента на основе модели Раша // Инженерный вестник Дона, 2012, №4 (часть 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.
10. Маслак А. А. Измерение латентных переменных в социальных системах: монография. - Славянск-на-Кубани Издательский центр КубГУ, 2012. -432 с.
11. Райгородский, Д.Я. Психодиагностика персонала. Методики и тесты / Д.Я. Райгородский. - Изд. Бахрах-М, 2007. Т. 1. - 440с.
12. Руководство пользователя диалоговой системой RUMM 2030 //RUMMLaboratoryPtyLtd, 2010. URL: rummlab.com.au/demo/marmgetstart.pdf. (Дата обращения 18.04.2010).
13. Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 p.
14. Cronbach L. J. Coefficient alpha and the internal structure of tests // Psychometrika, 1951. 16. pp. 297-334.
15. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199p.
16. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206p.
References
1. Avanesov V.S. Metodologicheskie i teoreticheskie osnovy testovogo pedagogicheskogo kontrolya [Methodological and theoretical bases of pedagogical control test]: dis. na soiskanie uch. stepeni doktora pedagogicheskikh nauk: 13.00.01. Sankt-Peterb. gos. un-t. Sankt-Peterburg, 1994. 339p.
2. Eliseev I.N. Metody, algoritmy i programmnye kompleksy dlya rascheta kharakteristik diagnosticheskikh sredstv nezavisimoy otsenki kachestva obrazovaniya [Methods, algorithms and software systems to calculate the characteristics of diagnostic means of independent evaluation of education quality]: monografiya. 2 izd., pererab. i dop. Novocherkassk: Lik, 2013. 285p.
3. Eliseev I.N. Standartyi i monitoring v obrazovanii. 2009. №3. pp. 35-38.
4. Eliseev I.N. Standartyi i monitoring v obrazovanii. 2010. № 1. pp. 47-49.
5. Eliseev, I.N. Informatika i obrazovanie. 2012. №4. pp. 80-85.
6. I.N. Eliseev, I.I. Eliseev, T.N. Larina, N.V. Krivosheev. Inzenernyj vestnik Dona (Rus), 2014, №1 (chast' 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.
7. Eliseev I. N., Litvinenko L. V., Papyan A. S. Otsenka kachestva oprosnika «Uroven' sformirovannosti grazhdanstvennosti i patriotizma» dlya izmereniya latentnoy peremennoy «Grazhdanstvennost' i patriotizm». Materialy mezhdunarodnoy nauchnoy konferentsii «Metody i algoritmy prinyatiya effektivnykh resheniy» (MAPR - 09). Taganrog, TTI YuFU, 2009. Ch. 1 pp. 3135.
8. Eliseev I.N. Izvestiya vysshikh uchebnykh zavedeniy. Elektromekhanika. 2011. №2. pp. 75-80.
9. Larina T.N., Eliseev I.N. Inzenernyj vestnik Dona (Rus), 2012, №4 (chast' 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.
10. Maslak A.A. Izmerenie latentnykh peremennykh v sotsial'nykh sistemakh [The measurement of latent variables in social systems]: monografiya. Slavyansk-na-Kubani Izdatel'skiy tsentr KubGU, 2012. 432 p.
11. Raygorodskiy, D.Ya. Psikhodiagnostika personala. Metodiki i testy [Psychodiagnostics personnel. Methods and tests]. D.Ya. Raygorodskiy. Izd. Bakhrakh. M, 2007. T. 1. 440p.
12. Rukovodstvo pol'zovatelya dialogovoy sistemoy RUMM 2030.RUMM Laboratory Pty Ltd, 2010. URL: rummlab.com.au/demo/marmgetstart.pdf.
13. Andrich D. Advanced Social and Educational Measurement. Perth: Murdoch University, 2001. 128 p.
14. Cronbach L. J. Coefficient alpha and the internal structure of tests. Psychometrika, 1951. 16. pp. 297-334.
15. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199p.
:
16. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206p.
