Математическое обоснование критериев оценки компетентностных уровней освоения учебного материала на основе бинарной логики индикаторных переменных тематических тестовых заданий Текст научной статьи по специальности «Науки об образовании»

УДК 004.422.8:378 ББК 32.973.26-018.2 Т 31

Тельнов Г.В.

Кандидат технических наук, профессор кафедры компьютерных технологий и информационной безопасности Кубанского государственного технологического университета, Краснодар, e-mail: [email protected]

Математическое обоснование критериев оценки компетентностных уровней освоения учебного материала на основе бинарной логики индикаторных переменных тематических тестовых заданий

(Рецензирована)

Аннотация

Рассмотрены .методики синтеза математических критериев оценки компетентностных уровней освоения материала учебной дисциплины. Получены аналитические выражения частных и общего критериев в виде булевых функций на основе индикаторных бинарных логических переменных. Реализация полученных выражений программным или аппаратным способом позволит расширить интерфейс устройств вывода информации об уровнях освоения учебного материала для принятия соответствующих управленческих решений по формированию профессионально ориентированных компетенций обучаемых.

Ключевые слова: автоматизированный мониторинг знаний (компетенций), бинарная индикатор, , , -

.

Telnov G.V.

Candidate of Technical Sciences, Professor of Computer Technologies and Information Security Department, Kuban State University of Technology, Krasnodar, e-mail: [email protected]

Mathematical justification of criteria for an assessment of the competence-based levels of learning a curriculum material on the basis of binary logic of indicator variable thematic test tasks

Abstract

The paper discusses the techniques of synthesis of mathematical criteria for an assessment of competence-based levels of learning a curriculum material. Analytical expressions ofprivate and general criteria have been obtained in the form of Boolean functions on the basis of indicator binary logical variables. Realization of the obtained expressions by program or hardware way will allow us to expand the interface of data output devices about levels of learning a curriculum material to make the relevant administrative decisions on formation ofprofessionally focused competences of trainees.

Keywords: the automated monitoring of knowledge (competences), binary indicator variable, thematic task, criteria of level of learning a curriculum material, Boolean expressions of criteria.

Мониторинг достигнутых уровней компетентностных способностей обучаемых, а также их объективных процедур оценки знаний и умений, особенно в автоматизированном режиме по-прежнему является значимой проблемой для современной системы образования, несмотря на продолжительный научный интерес к ней [1-3].

Однако однозначного ответа на вопрос, как же оценивать компетентностные способности обучаемых или их уровень знаний, умений и навыков и, что самое важное, -по каким критериям проводить эту оценку - на сегодняшний день нет.

При этом задача математического обоснования и описания самих критериев оценки компетентностных способностей обучаемых или их уровней освоения учебного материала в своей постановке не отличается новизной и многими исследователями решается в общем виде, однако конечные выражения итогового результата порой явно затруднены для ясного понимания.

В работе [4] рассмотрены общие подходы и сформулированы основные теоретические положения по формированию частных и общего критериев освоения учебного

Х/ = «

материала применительно к конкретному тестовому модулю.

В настоящей статье представлен взгляд на синтез частных и итоговых математических выражений, определяющих соответствующий критерий уровня освоения учебной дисциплины, что особенно важно и значимо при использовании современных средств оценивания результатов обучения - компьютерном тестировании - и является актуальной задачей исследования.

Общая постановка задачи исследования

Пусть некоторый уровень освоения материала учебной дисциплины или компе-тентностная способность обучаемого описывается набором бинарных индикаторных переменных Х/ (/=1,2,3,.. однозначно связанных с номерами тематических тестовых заданий тестового модуля.

Предполагается, что содержание тематического задания определяется соответствующими уровнями обученности («знать», «уметь»), которые, в свою очередь, регламентируются требованиями ФГОС ВПО.

Введение индикаторных переменных Х/ соответствует принятому в теории тестирования [3] правилу дихотомического оценивания ответа обучаемого, которое определяется зависимостью вида:

1, если ответ тестируемого (обучаемого) на/-е тематическое задание дан правильно;

0, если ответ тестируемого (обучаемого) на/-е тематическое задание дан неправильно.

Таким образом, индикаторная переменная Х/ по существу является бинарной логической переменной, что позволяет использовать ее для формализованного описания критериев уровня освоения компетентностных способностей обучаемых на основе аппарата алгебры логики (алгебры Буля).

Требуется определить частные, промежуточный и итоговый обобщенные критерии уровня освоения учебного материала.

Выразим все тематические тестовые задания (тематические единицы) индикаторными переменными Х , которые сгруппируем в общие структурные дидактические единицы - ДЕп (п=1,2,...,£), где £ - характеризует число дидактических единиц тестового модуля.

Произведем разбивку всех тематических тестовых заданий, например, на шесть дидактических единиц (ДЕ) так, что

N = р + / + т + ц + s + ё, (1)

где р, / т, ц, 8, ё - числа (четные), характеризующие количество тематических тестовых заданий, входящих в первую, вторую и т.д. ДЕ соответственно.

Тогда промежуточный обобщенный критерий уровня освоения материала учебной дисциплины, состоящей, например, из шести ДЕ [4] на уровне не ниже 50% (достаточный уровень освоения учебного материала по каждой из ДЕ), может быть определен на

£->0,5

основе конъюнкции частных критериев &де для тестового модуля в следующем виде:

£

К >0,5 = К >0,5 = К >0,5 К >0,5 К >0,5 К >0,5 К >0,5 К >0,5

КДЕХ Л^ДЕп ЛДЕ1 Л^ДЕ2 ЛлД£з Л^Ж, А^де5 Л^ДЕ6 , (2)

п=1

где К^5 - значение частного коэффициента (двоичная переменная), характеризующего уровень освоения п-й ДЕ.

£->0,5 £->0,5 £->0,5 £->0,5 £->0,5 £->0,5

В свою очередь, значения А^ , Л^ , Л^ , Л^ , Л^ , КДЕб могут быть определены как:

где

> p/2

v >0,5 v >50%

K ,„,. — K ,„,. —

p/2

Z^>0,5 V >50% /('-2 /(>-2

1, если

0, если

1, если

0, если

V Л Xj — 1

i—i j—i

c >P/2

V Л X

l—1 j—1

: 0

C>f 2 P+f

V Л

l—1 j—P+1

c >f/2 Cf p+f

V Л

l—1 j—P+1

X, — 1

X, — 0

K

>0,5

/Щ

-K

>50%

/№3

>50%

>0,5 /№4 /(>■4

>0,5 >50%

/№5 /№5

Ст Р+/+ОТ

1, если у д X. = 1

' =1 1=Р+/+1

^>т/2 , г ,

Ст Р++т

0, если у д X. = 0

'=1 I=р+/+1

/2

Сд р+/ +т+д

1, если у д XI = 1

1=1 ]= Р+/+т+1

п>ц / 2

Сд р+/ +т+д

0, если у д XI = 0

1=1 ]= р+/+т+1 С>/2 р+/+т+д+А'

1, если у д X. = 1

I =1 1=Р+/+т+д+1

>0,5 >50%

K ,„,, — K ,„,,

0, если

1, если

0, если

V

C> p+f+m+q+s

Л

l —1 j—P+f+m+q+1

C?12 N

V Л

l —1 j—P+f+m+q+s+1

C>s/2

C s

X — 0

X, — 1

N

Л

C>p

cf2

c

>m /2

C>q/2

Cq ,

c>s/2 c

V

l —1 j—P+f+m+q+s+1 >d /2

X, — 0

(3)

(4)

(5)

(6)

(7)

(8)

^ - число различных комбинаций слагаемых (минтермов) булевого выражения соответствующего уровня критерия характеризует число сочетаний не менее: (р/2) элементов из р элементов, (//2) элементов из/элементов, (т/2) элементов из т элементов, (д/2) элементов из q элементов, (а/2) элементов из ' элементов, (ё/2) элементов из ё элементов соответственно; переменная X. в наборе записывается как X если она принимает значение, равное 1, в противном случае - записывается ее инверсное значение Х..

Таким образом, основное содержание частных критериев заключается в освоении каждым обучающимся не менее половины тематических тестовых заданий, включенных в рассматриваемую ДЕ.

Дидактические единицы тестового модуля могут содержать от 2-х до 8-и тематических тестовых заданий. Поэтому представляется целесообразным рассмотреть общий подход к формированию частных критериев уровня освоения учебной дисциплины на характерном примере.

При этом уровень критерия освоения учебного материала будет зависеть от числа

тематических тестовых заданий, входящих в рассматриваемую ДЕ. Качественное его выражение будет определяться числовым значением в относительных единицах или процентах, но не менее чем 0,5 или 50%. Минимальный уровень освоения учебного материала соответствует получению обучаемым правильных ответов не менее чем на половину всех тематических тестовых заданий из рассматриваемой ДЕ.

Пример. Дидактическая единица содержит шесть тематических тестовых заданий - тематических единиц - шесть индикаторных переменных (р=6, ^ Х1Х2Х3Х4ХХ3).

Решение примера. Для учебного материала, включающего шесть тематических единиц, возможны четыре частных критерия: «не менее 3 из 6» ^ уровень освоения не ниже 50%; «не менее 4 из 6» ^ уровень освоения не ниже 66,6%; «не менее 5 из 6» ^ уровень освоения не ниже 83,3% и «6 из 6» ^ уровень освоения 100%.

Пусть Ж={ 1,2,3,4,5,6}, ^1=Я\{/1}, ^ЩШ, ^^{¡ь^}, где г1, /2, ..., 16 - попарно различные числа из множества Ж.

При этом обобщенное выражение для частного критерия (правильный ответ получен не менее чем для трех тематических заданий из шести) будет равно:

(9)

К= V Х.х.х. X, X, X, V V Х.Х. X, X, X, X, V

ДЬ1 V '1 '2 '3 ¡4 5 '6 V '1 '2 '3 4 5 '6

!1,!2,/3€(Т г1,г2е^

г4,г5,г6е»'3* lз,l4,l5,lбeW2

V V X.хi X, X, X, X, VX, X, X, X, X, X, .

,1 ,2 ,3 ,4 ,5 ,6 ,1 ,2 ,3 ,4 ,5 ,6

'2 ,,3 ,,4 ,,5

Обобщенное выражение для частного критерия (правильный ответ получен не менее чем для четырех тематических заданий из шести) будет равно:

К-*Е66 = V X', X', X, Xl Xl Xl V V X', X, Xl Xl Xl Xl V

ДЩ V '1 ' 2 '3 '4 '5 '6 V '1 '2 '3 '4 '5 'б

'1,'2е№ 11£1Г

l3,l4,l5,lбeW2* '2 ,,3 ,,4 ,,5 ^^ (10)

V хlхlхlхlхlхl.

'1 '2 '3 '4 '5 '6

Обобщенное выражение для частного критерия усвоения учебного материала на уровне освоения не ниже 83,3% (правильный ответ получен не менее чем для пяти тематических заданий из шести) будет равно:

кя0/6 = V х.х.х.х.х.х. Vх.х.х,х.х.х, (11)

Д£1 V '1 '2 '3 '4 '5 '6 '1 '2 '3 '4 '5 '6. (11)

11£1Г

l2,l3,l4,l5,l6eW1*

Для критерия освоения такой дидактической единицы на уровне 100% (правильный ответ получен для всех тематических единиц):

К= Х1Х2 Х3 Х4 Х5 Х6. (12)

Рассмотрим решение данного примера способом, основанном на табличном представлении булевой функции из шести переменных и использовании СДНФ представления этой булевой функции для вышеприведенных критериев.

Число различных комбинаций возможных правильных ответов для частного критерия (правильный ответ получен не менее чем для трех тематических заданий из шести) будет равно:

^ ^ я с с 6! 6! 6! 6!

С6я3 = С63 + С64 + С65 + С6 = — + — + —+— = 20 +15 + 6 +1 = 42.

6 6 6 6 6 3!.3! 4!.2! 5!-1! 6!-0!

Математическое выражение этого частного критерия формируется на основе

дизъюнкции минтермов или конституент единицы, которые представляют конъюнкции индикаторных переменных. Эти комбинации слагаемых в булевом выражении частного критерия представлены ниже:

^Л50 % = К(ВД^А^, ) = X 1 X 2 X X 4 Х5Х6 у X 1 X 2 Х3Х4 X у

у X^Х2-А^з^Г^^^X6 у X^ X2у X!X2Xз X4Х^Х, у X^Х2Х3X4X^Х, у у X,Х2ХзХ4Х5Х6 у XхХ^СъХ^ХъХ6 у X^2хъИл'х^6 у X 1Х2Х3Х4Х5Хб у у X у X у X у у

у !6 у -^1X2Хз X4у 2 ^^зX4X ^Х6 у Х^Х2Х3^^4^5X 6 у уХ^2Х3Х4Х^6 уХ1Х1ХъХлХ^6 уХ^С^Х^.Х, уХ1Х1ХъХ^5Х6 у (1з) у Х^Х5 X6 у Х^Ху Х^Х5 6 у 2 ^3^4 ^5 ^6 у

у ^-4 у "^2 з ^^ 4 ^5 6 у -^4 ^5 у ^ з -^4 5 ^ 6 у

у Х^Х2Х зХ^Х у ^ ^ 6 у ^ у -^Ч^^^з ^-4 ^ 5 ^ 6 у

у у 1 2 з 4 5 6 у 1 2 з 4 5 6 у 1 2 з 4 5 6 у 1 2 з 4 5 6 у

Для частного критерия освоения учебного материала на уровне не ниже 66,6% (правильный ответ получен не менее чем для четырех тематических заданий из шести) число различных комбинаций возможных правильных ответов будет равно

С6>4 = С64 + С65 + С65 = —+ — + — = 15 + 6 +1 = 22.

6 6 6 6 4!-2! 5!-1! 6!0!

Эти комбинации слагаемых в булевом выражении представлены в частном критерии ниже:

Кл66,6% = к{х(хХх) = Х1Х 2 ХзХ4X5Х6 у X1 X2 X з Х4X5Х6 у X1 X2Хз X 4 X5Х6 у

у X1 X2 X3 X, X 5 X6 у X1 X2 X3 X, X5 X 6 у X1 X2 X3 X, X5 X6 у X! X 2 X з X, X5 X6 у

V Х1 Х 2 Х3 Х 4 Х5 Х6 V Х1 Х 2 Х3 Х4 Х 5 Х6 V Х1 Х 2 Х3Х4 Х 5 Х 6 V Х1 Х 2 Х3 Х4 Х5 Х6 V

V Х1Х2 Х 3 Х 4 Х5 Х6 V ХхХ2 Х 3 Х4 Х 5 Х6 V ХхХ2 Х 3 Х4 Х5 Х 6 V Х1Х2 Х 3 Х4 Х5 Х6 V

(14)

у X, X2 X3 X 4 X 5 X6 у X X 4 X X 6 у ад X X 4 X X6 у X, X2 X3 X4 X 5 X 6 у

у XlX^2XзX4 X 5 X'6 у X'lX^2^^зX4X 6 у X'lX^2XзX4X'5X'6.

Число различных комбинаций возможных правильных ответов для частного критерия освоения учебного материала на уровне не ниже 8з,з% (правильный ответ получен не менее чем для пяти тематических заданий из шести) будет равно

С>5 = С| + С65 = — + — = 6 +1 = 7.

6 6 6 5!-1! 6!-0!

Эти комбинации слагаемых в булевом выражении представлены в частном критерии ниже:

к>83,1% = К((х%хъхлх5хб) = х 1X2XзX4X5Х6 у Х1X 2 XзХ4Х5Х у ^Х, X 3 Х4Х5Х у

(15)

у Х1Х2Х3 Х 4 Х5 Х6 у Х1Х2 Х3 Х4 Х5 Х6 у Х1Х2 Х3 Х4 Х5 Х 6 у Х1Х2 Х3 Х4 Х5 Х6.

Для критерия освоения дидактической единицы на уровне освоения 100% (правильный ответ получен для всех тематических единиц):

£-100% _ £-100% — V V V V V V /1ЛЧ

КДЕТЕ6 = К{Х1Х2Х3Х,Х5Х6) - Х 1Х 2Х 3Х 4Х 5Х б' (1 б)

Окончательное решение об уровне освоения всего учебного материала - итоговый обобщенный критерий Коумг (или уровне сформированности компетентности - КК&) -обучаемым может быть принято на основании критерия, учитывающего индивидуальный балл при тестировании - {ИВоБУЧг} и промежуточного итогового критерия, учитывающего полноту выполнения тематических заданий всех ДЕ на необходимом уровне -

гт >0,5

согласно следующему выражению:

К - К - ' {ИБОБУЧг } 100%

К0УМ2 - КК^ --—--100% , (17)

где {ИВобуц2} - индивидуальный балл тестирования г-го обучаемого.

Следуя вышеизложенной методике, могут быть получены соответствующие значения критериев уровня освоения учебного материала для различных значений тематических тестовых заданий и для других ДЕ.

Уровни освоения учебного материала в целом за учебную дисциплину (уровни сформированной компетентности) обучаемого могут соответствовать примерному процентному соотношению итогового обобщенного критерия, указанному в нижеприведенной таблице 1.

Таблица 1

Примерное процентное соотношение итогового обобщенного критерия

Уровень освоения учебного материала Уровень сформированной ком петентностной способности Процентное соотношение (математическое ожидание) диапазона индивидуальных баллов

Высокий Оценка «отлично» 81% ... 100% (та>=90%)

Хороший Оценка «хорошо» 66% ... 80% (та>=72%)

Достаточный Оценка «удотетворителъно» 50% ... 65% (та>=58%)

Недостаточный Оценка «неудотетворителъно» Не выполнен критерий для достаточного уровня

Следует заметить, что практическое использование такого итогового обобщенного критерия позволяет выявить пробелы обучаемого в освоениии всего учебного материала, а не ориентироваться только на индивидуальные баллы при тестировании.

Пусть тестовый модуль содержит 3б тематических тестовых заданий, которые сгруппированы в шесть ДЕ по шесть тематических тестовых заданий в каждой из ДЕ. Обучаемый в результате тестирования набрал, к примеру, 30 баллов из 3б возможных, освоив при этом все ДЕ на минимальном уровне (>50%), кроме одной. Уровень освоения учебного материала для такого обучаемого следует признать недостаточным,

т.к. Коумг=0, поскольку К^ - 0. Этим самым подчеркиваетсч важность и значимость освоения всего учебного материала - всех ДЕ (полнота освоения всего учебного материала).

Таким образом, в результате синтеза бинарных индикаторных переменных получены булевы выражения для частных, промежуточного и итогового обобщенных критериев уровня освоения учебного материала, по существу представляющие логические модели эталонных ответов обучаемого.

Полученные выражения для частных критериев в виде булевых функций в СДНФ могут быть положены в основу разработки комбинационных логических интегральных схем (ПЛИС) или программируемых логических матриц (ПЛМ) соответствующих устройств формирования вывода информации об уровнях освоения учебного материала, необходимых для принятия управленческих решений и выдачи рекомендаций методи-

ческого характера, способствующих формированию требуемых профессиональных качеств у обучаемого.

Если такими индикаторными переменными возможно формализовано описать составляющие компетентностной способности обучаемого, то предлагаемый подход может быть положен и в основу синтеза оценки сформированности соответствующего компетентностного уровня.

Полученные математические выражения позволяют легко записывать логические выражения для частных критериев для конкретных тестовых модулей с большим или меньшим числом тематических единиц путем переименования и замены соответствующих номеров индикаторных переменных.

Примечания:

1. Звонников В .И., Челышкова М.Б. Контроль качества обучения при аттестации: компетент-носный подход. М.: Логос: Университетская книга, 2009. 294 с.

2. Филатова Е.В., Грабчук К. М. Компетентность и сложности оценки ее сформированное™ // Интерактивное образование. 2011. № 33. URL: http://io.nios.ru/index.php?rel=33&point=10&art= 1162

3. . ., . .

средства оценивания результатов обучения: учеб. пособие для студентов высш. учеб. заведений. 3-е изд., стер. М.: Академия, 2009. 224 с.

4. . . -

рованного мониторинга уровня освоения дисциплины «Электроника и схемотехника» // Вестник Адыгейского государственного университета. Сер. Естественно-математические и технические науки. 2013. Вып. 3 (122). С. 90-97. URL: http://vestnik.adygnet.ru

References:

1. Zvonnikov V.I., Chelyshkova M.B. Teaching quality control during certification procedure: a competence-based approach. M.: Logos: University book, 2009. 294 pp.

2. Filatova E.V., Grabchuk K.M. Competence and difficulties of assessment of its formation // Interactive education. 2011. No. 33.

URL: http://io.nios.ru/index.php? rel=33&point= 10&art=1162

3. Zvonnikov V.I., Chelyshkova M.B. Modern means of estimation of teaching results: a manual for students of high schools. 3rd ed. ster. M.: Academia, 2009. 224 pp.

4. Telnov G.V. A test module for the automated monitoring of level of mastering the academic subject «Electronics and Circuitry» // The Bulletin of the Adyghe State University. Ser. Natural-Mathematical and Technical Sciences. 2013. Iss. 3 (122). P. 90-97. URL: http://vestnik.adygnet.ru