CC BY
52
иБС 378
CORPORATE ENVIRONMENT OF HIGHER SCHOOL: ANALYSIS OF TERM
V. V. Levchenko1, A. V. Levchenko2, E.A. Sokolova3
1 Samara State University
1, Ac. Pavlova str., Samara
E-mail: [email protected]
2Povolzshskaya Social-humanitarian Academy
65/67, M. Gorkiy str., Samara
E-mail: [email protected]
3Samara State University
1, Ac. Pavlova str., Samara
E-mail: [email protected]
It is analyzed the main scientific points of view on intentional structure of corporate environment in this article. It is definited the structural composition of university corporate environment and correlation of its components in our work. Sorting out of targeted, technological, sociocultural, motivational, reflexive components in the structure of university corporate environment carried out with the help of management processes. It is proved the mutually determinacy of the components with the main management functions (planning, coordination, organizing, motivation, control).
Key words: functions of management, mutually determinacy, structure of corporate environment, component.
Original article submitted 11.03.2015; revision submitted 11.03.2015
Viktoria V. Levchenko (PhD), Professor, Head of Foreign Languages Department. Alexandr V. Levchenko (PhD), Associate Professor of the Department of sport disciplines of physical culture faculty.
Elena A. Sokolova (PhD), Associate Professor of Foreign Languages Department. УДК 378.14
АНАЛИЗ КАЧЕСТВА ТЕСТА ИЗ КУРСА ВЫСШЕЙ МАТЕМАТИКИ ПО ТЕМЕ «ЛИНЕЙНАЯ АЛГЕБРА, АНАЛИТИЧЕСКАЯ ГЕОМЕТРИЯ»
Л.В. Лиманова1, Л.А. Муратова2
Самарский государственный технический университет 443100, г. Самара, ул. Молодогвардейская, 244 :E-mail: [email protected] 2E-mail: [email protected]
Проводится математико-статистический анализ качества теста по теме «Линейная алгебра, аналитическая геометрия». Качество теста определяется с помощью таких характеристик, как надежность, валидность и дискриминативность. При исследовании теста на надежность применялось три способа вычисления
Лариса Владимировна Лиманова, кандидат технических наук, доцент кафедры «Высшая математика и прикладная информатика».
Лидия Александровна Муратова, кандидат технических наук, доцент кафедры «Высшая математика и прикладная информатика».
коэффициента надежности: по вариации тестовых заданий (формула КЯ-20); с использованием среднего коэффициента корреляции всех заданий между собой (формула вычисления коэффициентов корреляции для дихотомических данных); путем расщепления теста по четным и нечетным заданиям и определения коэффициента корреляции между этими группами. В последнем случае коэффициент надежности корректировался по формуле Спирмена - Брауна. Анализ результатов показал во всех трех случаях удовлетворительную надежность теста, так как все получившиеся коэффициенты надежности превышают 0,7. Валидность теста оценивалась с помощью точечного бисериального коэффициента корреляции - коэффициента корреляции каждого задания с тестовым баллом студента (индивидуальным баллом) и общего коэффициента валидности теста. Оказалось, что общий коэффициент валидности имеет среднее значение (0,434). Для улучшения качества теста предлагается исключить задания 1, 4 и 12, имеющие либо отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента. Анализ коэффициентов дискриминативности также говорит в пользу исключения из теста указанных заданий. В целом можно сделать вывод о том, что данный тест можно использовать как средство контроля знаний студентов по теме «Линейная алгебра, аналитическая геометрия» после указанной доработки.
Ключевые слова: тест, коэффициент корреляции, коэффициент надежности, коэффициент валидности, коэффициент дискриминативности.
Для текущего контроля знаний студентов первого курса Самарского государственного технического университета по теме «Линейная алгебра, аналитическая геометрия» используется тест (табл. 1) закрытого типа, содержащий 20 заданий с выбором единственного правильного ответа из пяти предложенных. Для анализа качества данного теста использовались результаты тестирования студентов факультета автоматики и информационных технологий. Выборка составляла 106 студентов.
Проведем математико-статистический анализ качества данного теста с помощью следующих характеристик: надежность, валидность, дискриминативность.
Таблица 1
Линейная алгебра и аналитическая геометрия
1 Вычислить: Ответы: 1) 11 2 -10 3 0 -2 0 2 1 ; 2) 7; 3) -3; 4) 5; 5) 8.
2 Решить систему уравнений, приняв в качестве базисных переменных х и г : |х - 2у + г = -4 [3х + у + 2г = 1 ' |х = 9 + 5 г |х = -5 - 9г |х = -9 - 5 г Ответы: 1) [ ; 2) [ ; 3) [ ; [г = 7у +13 [г = -13у - 7 [г =-7у -13 4) |Х = -9 + 5г ; 5) |Х = 9 - 5У . [г = -7 у +13 [г = 7у -13
3 (1 2 1 3 4 Г1 3 - Л (12 6 1 Р = ^ ^ , Q = 1 1, Я = 1 1. Какие произведения существуют? 10 3 J Указать все случаи. А) Р • Я ; Б) Р • Q; В) Q • Я ; Г) Я • Р; Д) Q • Р; Е) Я • Q . Ответы: 1) А, Б, Е; 2) Г, Д; 3) А, Б, Д; 4) В, Г, Д; 5) Б, В, Е.
4 (3 -1 2 ^ Найти сумму элементов второй строки матрицы В, если В =4 0 5 2 4 3 v2 4 3у Ответы: 1) -4; 2) 12; 3) 8; 4) 15; 5) 3. (3 01 2 1 . -4 4 v 4 4 у
5 (1 0 1Л Найти сумму элементов второй строки матрицы А-1, если А =1 10 V3 2 0у Ответы: 1) -3; 2) 0; 3) -2; 4) 3; 5) 2.
Продолжение табл. 1
6 Какие матрицы имеют ранг, равный 2? Указать все случаи. Г 12 -11 , Л , Л (1 -21 А= 3 4 0 ; Б= Г 2 -31; В= Г1 5 0]; Г= 2 3 . -2 4 0 ^ 6) ^ 10 23 V242 у V21 у Ответы: 1) В, Г; 2) А, Г; 3) Б, Г; 4) Б; 5) Б, В.
7 а = (1;0;-3), Ь = (3;2;-1), с = (4;1;1). Вычислить (а + Ь)(а - с). Ответы: 1) 4; 2) 2; 3) 3; 4) 1; 5) -6.
8 Вектор а = (2; а;-6) параллелен вектору Ь = (3;2;/). Найти а + /. 23 31 3 2 2 Ответы: 1)--; 2) — ; 3)--; 4) —; 5) - . 3 3 31 23 3
9 Найти площадь треугольника с вершинами в точках А(1;2;0) , В(3;0;-3) , С(5;2;6). Ответы: 1) 21; 2) 14; 3) 7; 4) 28; 5) 10.
10 Определить, при каком а компланарны векторы а = (-1;2; а), Ь = (2;0;3), с = (0;1;2). Ответы: 1) 5; 2) 1,5; 3) 0; 4) 2,5; 5) 1.
11 Какие величины являются векторами? Указать все варианты. А) а х Ь ; Б) (а • Ь )с ; В) (а х Ь )с . Ответы: 1) А; 2) В; 3) А, Б; 4) А, В; 5) все.
12 Выбрать все верные утверждения: A) Множество А \ В является подмножеством множества А В. Б) Множество А \ В является подмножеством множества А ^ В. B) Множество А В является подмножеством множества А ^ В. Г) Множество А ^ В является подмножеством множества А В. Ответы: 1) В; 2) Б; 3) Б, В; 4) А, Г; 5) А, В.
13 Составить уравнение плоскости, проходящей через точки А(0;0;1), В(-2;1;4) , С(3;2;5). Ответы: 1) 2х-17у - г + 7 = 0; 2) 2х+2у+7г - 2 = 0; 3) 2х -17у + 7г - 7 = 0 ; 4) 2х+17у+7г-7 = 0; 5) 7х + 2у - 17г -1 = 0 .
14 Уравнение прямой, проходящей через точку А(3; -2;3) параллельно вектору
а = (3;1;-4) , имеет вид...
х + 3 у - 2 г + 3 х + 3 ^ +1 г - 4 х - 3 у -1 г + 4 Ответы: 1)-=-=-; 2)-=-=-; 3)-=-=-; 3 1 - 4 3 - 2 3 3 - 2 3
х - 3 у + 2 г - 3 х - 3 у + 2 г - 3 4) — =-—; 5) — =-—. 3 1 - 4 6 -1 -1
15 Определить, при каком а перпендикулярны прямые: х + 8 у + 3 г - 1 х - 1 у - 4 г + 5 - 3 6 4 2 - 1 а Ответы: 1) -1; 2) 3; 3) 2; 4) -2; 5) 4.
16 |2х + у - 4 = 0 Направляющий вектор прямой пересечения двух плоскостей <! может [3у - 2г + 2 = 0 иметь координаты. Ответы: 1) (1;-2;-3); 2) (2;3;-1) ; 3) (1;2;3) ; 4) (1;-2;3); 5) (1;2;-3).
17 Определить а, при котором векторы а = (5;3) и Ь = (а;1) не образуют базис. 2 5 12 1 Ответы: 1) - ; 2) -; 3) -; 4) - ; 5) -. 5 3 5 3 3
Окончание табл. 1
18 ( 2 4 ^ Найти максимальное из собственных значений матрицы 1 1. Ответы: 1) 3; 2) 2; 3) 5; 4) 1; 5) 8.
19 х2 Уравнения асимптот гиперболы у2 = 1 имеют вид. Ответы: 1) у = ±25х; 2) у = + — х; 3) у = ±5х; 4) у = + — х; 5) у = +1 х. ' ' 10 25 5
20 Найти радиус окружности х2 - 2х + у2 + 6у + 6 = 0. Ответы: 1) 4; 2) 76; 3) 42 ; 4) 2; 5) 16.
Определяя степень надежности теста, оценим трудность каждого задания, посчитав сначала величину Р] (отношение количества правильных ответов на ]-задание к общему количеству студентов), график которой представлен на рис. 1. Очевидно, что наибольшее число студентов справилось с 1-м заданием, наименьшее - с 16-м заданием.
номера заданий
Рис. 1. Мера трудности задания
Рассмотрим далее вариацию тестовых заданий рj • (qj = 1 - р^ ), которая
должна иметь нормальное распределение. Расположив по оси абсцисс номера заданий в порядке убывания количества правильных ответов, а по оси ординат -вариацию заданий, получим распределение, близкое к нормальному (рис. 2).
0,3 п
0,25 0,2
0,1 0,05
А1 А4 А3 А2 А7 А10 А18 А5 А6 А14 А8 А9 А13 А17 А11 А19 А20 А12 А15 А16
номера заданий
Рис. 2. Вариация тестовых заданий
0
0
Числовую характеристику надежности - коэффициент надежности
Г -
подсчитываем по трем разным формулам. В первом случае применяем формулу КЯ-20 [3, 4, 6, 7]:
М
М -1
1 -
М Л
X Pjqj
Здесь M - количество заданий;
л2 - дисперсия индивидуальных баллов студентов
=■
1 П
1 % ч _ 2
— X (хг - х) ; 1 1 ¿=1
xi - индивидуальный балл испытуемого; 1 "
х = — X xi - средний балл всех студентов;
I? * 1
¿=1
п - общее число студентов. В результате получаем коэффициент надежности
Г = 0,753.
Это приемлемый показатель, так как считается [4, 5], что тест можно использовать, если значение коэффициента надежности не меньше 0,7.
Второй способ вычисления коэффициента надежности связан с использованием среднего коэффициента корреляции Я всех заданий между собой:
МЯ
г =-=. (1)
' 1 + (М - 1)Я
г =
2
Л'
х
Чтобы найти Я , посчитаем коэффициенты корреляции <ртк между заданиями с
номерами т и к (т = 1,М ,к = 1,М). Для дихотомических данных (1 - правильный ответ, 0 - неправильный ответ) применяем формулу [2, 4]
„ _ Ртк " Р Рк
<тк =
VРтЧтРкЧк '
где ртк - отношение количества правильных ответов для заданий с номерами т и к к общему количеству студентов.
Полученные коэффициенты корреляции <ртк образуют корреляционную матрицу - квадратную матрицу размерности М х М, симметричную относительно главной диагонали. В табл. 2 приведены средние значения коэффициентов
корреляции для каждого задания X. Теперь можно найти средний коэффициент
корреляции Я всех заданий между собой:
М
I
гху
Я = -= 0,189 .
М
Тогда коэффициент надежности согласно формуле (1) равен
г{ = 0,824.
Таблица 2
Коэффициенты корреляции и индексы дискриминативности
А1 А4 А3 А2 А7 А10 А18 А5 А6 А14 А8 А9 А13 А17 А11 А19 А20 А12 А15 А16
Гху 0,09 0,11 0,18 0,17 0,24 0,20 0,20 0,17 0,12 0,26 0,24 0,15 0,25 0,26 0,16 0,22 0,25 0,06 0,25 0,22
грь 0,15 0,22 0,41 0,40 0,55 0,46 0,46 0,40 0,29 0,61 0,56 0,34 0,58 0,61 0,38 0,50 0,58 0,13 0,58 0,48
г] диск 0,07 0,1 0,38 0,59 0,62 0,55 0,59 0,45 0,28 0,83 0,72 0,52 0,69 0,72 0,41 0,55 0,59 0,14 0,62 0,41
Таким образом, и в этом случае получен удовлетворительный результат (0,824>0,7). Что касается коэффициентов корреляции <тк заданий друг с другом, то у качественного теста они не должны быть отрицательными и слишком высокими (< 0,3) [3, 4, 7]. В данном тесте больше всего отрицательных значений <ртк для заданий 1, 4 и 12 (теоретический вопрос), поэтому логичным будет или исключить их из теста, или заменить другими. При этом средние значения коэффициента
корреляции гХу для каждого задания меньше 0,3, что удовлетворяет требованиям экспертов.
При третьем способе определения коэффициента надежности тест расщепляется на две части по четным и нечетным заданиям, затем определяется коэффициент
корреляции Г между этими группами с последующей коррекцией по формуле
Спирмена - Брауна [1, 3, 4, 6, 7].
Вычисляя коэффициент корреляции Г по формуле
( п \
«X х'у> 1=1
п
X х • X у
V г=1 ) V г=1 )
1/2
Г \ 2 ^ Г
п
7Х х2— X
г=1
V г=1 )
Г \2 ^
/ п \
7Ху2 - X
г=1
,Уг
V г=1 )
где х7 и _у7 - индивидуальные баллы 7-го испытуемого в четных и нечетных заданиях соответственно, получаем следующее значение:
Г / 2 = 0'631-
Вносим поправку с помощью формулы Спирмена - Брауна [1, 4]
2г
1/2
и получаем
1 + Г
1/2
Г = 0,774.
Итак, можно сделать вывод, что значения коэффициента корреляции по всем трем формулам удовлетворяют требованиям качественно составленного теста.
Переходя к следующему основному критерию качества теста - валидности, отметим, что оценкой коэффициента валидности отдельных заданий может служить
точечный бисериальный коэффициент корреляции гД - коэффициент корреляции
каждого задания с тестовым баллом студента (индивидуальным баллом). Значения этих коэффициентов представлены во 2-й строке табл. 2. В расчетах использовалась формула [1, 4]
Гз =
ГрЪ =
х, — Хп
п1 • «о I п(п — 1)
где п1 - число студентов, выполнивших данное задание; п0 - число студентов, не выполнивших его; п = п1 + п0 - общее количество студентов;
X1 - средний индивидуальный балл студентов, справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, справившихся с данным заданием, к п1);
Хо - средний индивидуальный балл студентов, не справившихся с данным заданием (отношение суммы индивидуальных баллов студентов, не справившихся с данным заданием, к п0);
sx - стандартное отклонение для индивидуальных баллов всех студентов.
Для качественного теста точечные бисериальные коэффициенты корреляции
должны удовлетворять условию ^ > 0,5 [4]. В данном тесте не все коэффициенты
соответствуют этому требованию, особенно опять выделяются 1 -е, 4-е и 12-е задания. Чтобы найти общий коэффициент валидности теста, применим формулу
ГрЪ =
м
X-
:=1
рЪ
м
п
п
п
х
Г =
£
х
Границы его оценки приведены в работе [5]: 0,2-0,3 - низкое; 0,3-0,5 - среднее; свыше 0,5 - высокое значение.
В данном случае общий коэффициент валидности теста равен г 6 = 0,434, то
есть имеет среднее значение.
Рассмотрим еще одну характеристику, с помощью которой проверяется качество составленного теста: дискриминативность - способность задания дифференцировать студентов на лучших и худших [3, 6, 7, 8]. По сравнению с надежностью и валидностью этот критерий не является решающим фактором при оценке заданий в тесте, но если невалидность задания подтверждается еще и низким индексом дискриминативности, то такие задания должны быть удалены из теста.
Для вычисления индекса дискриминативности гд)иск используем формулу [3]
Гдиск = р - Р0 , (2)
где р1 - отношение количества правильных ответов на]-е задание к 27 % «лучших» студентов по результатам выполнения теста;
Р0 - отношение количества правильных ответов на ]-е задание к 27 % «худших» студентов по результатам выполнения теста.
Значения индекса гдиск лежат в интервале [-1; 1]. Свое максимальное значение индекс дискриминативности примет в том случае, если все студенты из подгруппы «лучших» верно выполнят]-е задание, а из подгруппы «худших» никто из студентов
не сможет выполнить его. Величина гдиск = 0, если в обеих подгруппах одинаковое количество студентов выполнят данное задание. И свое наименьшее значение индекс
Гдиск примет, когда в группе «лучших» никто из студентов не решит ]-е задание, а в подгруппе «худших» его решат все студенты. Логично будет исключить из теста те
задания, для которых величина Г^иск < 0.
Значения индекса гдиск, посчитанного для данного теста по формуле (2), представлены в 3-й строке табл. 2. Как видно, индекс дискриминативности для всех заданий положителен, то есть соответствует требованиям экспертов.
О дискриминативной способности задания можно судить и по точечному
бисериальному коэффициенту корреляции [8]. При оценке дискриминативности
в качестве нижней границы для коэффициента следует брать 0,2 [3], удаляя из
теста задания с меньшими значениями. В данном случае критериям эксперта не удовлетворяют задания с номерами 1 и 12.
В результате проведенного анализа по соответствию качества теста трем критериям - надежности, валидности и дискриминативности - можно сделать выводы:
1) значения коэффициента корреляции, рассчитанные по трем формулам (по формуле KR-20; с помощью среднего коэффициента корреляции всех заданий между собой; путем расщепления теста по четным и нечетным заданиям и последующего определения коэффициента корреляции между этими группами), удовлетворяют требованиям качественно составленного теста;
2) общий коэффициент валидности имеет среднее значение и удовлетворяет требованиям экспертов. В качестве оценки коэффициента валидности отдельных заданий рассматривались точечные бисериальные коэффициенты корреляции. Не все коэффициенты соответствуют критериям экспертов. Для улучшения качества теста предлагается исключить задания 1, 4 и 12, имеющие либо отрицательную корреляцию со многими другими заданиями, либо слишком низкую корреляцию с тестовым баллом студента;
3) анализ коэффициентов дискриминативности также говорит в пользу исключения из теста указанных заданий.
Таким образом, данный тест можно использовать как средство контроля знаний студентов по теме «Линейная алгебра, аналитическая геометрия» после указанной доработки.
СПИСОК ЛИТЕРАТУРЫ
1. Ащепкова Л.Я. Материалы к семинару по обработке результатов тестирования / Региональный центр проблем качества при ДВГУ, Владивосток, 2001.
2. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 496 с.
3. Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. - М.: Академия, 2007.
4. Ким В.С. Тестирование учебных достижений. - Уссурийск, 2007.
5. Психологическая диагностика: Учеб. пособие / Под ред. К.М. Гуревича, Е.М. Борисовой. - М.: УРАО, 1997.
6. Карпенко А.П., Домников А.С., Белоус В.В. Тестовый метод контроля качества обучения и критерии качества образовательных тестов: обзор // Наука и образование: Электронное науч.-техн. издание. Вып. 04/2011.
7. Олейник Н.М. Тест как инструмент измерения уровня знаний и трудности заданий в современной технологии обучения: Учеб. пособие / Донецкий государственный университет. http://opentest.com.ua/test-kak-instrument-izmereniya-urovnya-znanij/
8. Челышкова М.Б. Теория и практика конструирования педагогических тестов. - M.: Логос, 2002. - 432 с.
Поступила в редакцию 13.05.2015; в окончательном варианте 22.05.2015
UDC 378.14
THE ANALYSIS OF QUALITY OF DOUGH FROM A COURSE OF THE HIGHER MATHEMATICS ON THE SUBJECT "LINEAR ALGEBRA, ANALYTICAL GEOMETRY"
L. V. Limanova1, L.A. Muratova2
Samara State Technical University 244, Molodogvardeiskaya str., Samara, 443100 1E-mail: [email protected] 2E-mail: [email protected]
In article the mathematico-statistical analysis of quality of dough on the subject "Linear Algebra, Analytical Geometry" is carried out. Quality of dough decides on the help of such characteristics as reliability, a validity and a diskriminativnost. At research of test for reliability three ways of calculation of coefficient of reliability were applied: on a variation of test tasks (formula KR-20);
with use of average coefficient of correlation of all tasks among themselves (a formula of calculation of coefficients of correlation for dichotomizing data); splitting of dough on even and odd tasks and determination of coefficient of correlation between these groups. In the latter case the coefficient of reliability was corrected on Spirmena-Brown'sformula. The analysis of results showed in all three cases satisfactory reliability of dough, as all turned-out reliability coefficients more than 0,7. The validity of dough was estimated by means of dot biserial coefficient of correlation -coefficient of correlation of each task with test point of the student (individual point) and the general coefficient of a validity of dough. It appeared that the general coefficient of a validity has average value (0,434). For improvement of quality of dough it is offered to exclude the tasks 1, 4 and 12 having or negative correlation with many other tasks, or too low correlation with test point of the student. The analysis of coefficients of a diskriminativnost also speaks well for an exception of the test of the specified tasks. In general it is possible to draw a conclusion that this test can be used as a control device of knowledge of students of the subject "Linear Algebra, Analytical Geometry" after the specified completion.
Key words: test, reliability coefficient, validity coefficient, correlation coefficient.
Original article submitted 13.05.2015;
revision submitted 22.05.2015
Larisa V. Limanova, Candidate of Technical Sciences, associate professor "The higher mathematics and applied informatics".
Lidiya A. Muratova, Candidate of Technical Sciences, associate professor "The higher mathematics and applied informatics".
