CC BY
117
МАТЕМАТИЧЕСКИЕ И ИНСТРУМЕНТАЛЬНЫЕ МЕТОДЫ ЭКОНОМИКИ
УДК 330.4
Инна Викторовна Каюкова,
аспирантка кафедры прикладной математики
и информатики, СГСЭУ
МЕТОДИКА ОЦЕНКИ И ПРОГНОЗИРОВАНИЯ УРОВНЯ ФОРМИРУЕМЫХ КОМПЕТЕНЦИЙ
Предметом исследования является процесс оценки качества образования в высшем учебном заведении. Выработаны принципы формирования тестовых заданий для объективной оценки уровня компетенций обучаемого. Представлен алгоритм проведения тестирования, который состоит из предварительного этапа, устанавливающего диапазон предполагаемого результата, и заключительного этапа, уточняющего оценку уровня компетенции. Для сравнения целостности структуры знаний студентов предлагается также использовать профиль знаний. Построен агрегированный показатель, позволяющий оценивать уровень совокупности формируемых компетенций. Результаты могут быть использованы для оценки качества образовательного процесса при переходе к новым образовательным стандартам.
Ключевые слова: образовательный процесс, компетенция, оценка качества образования, тестирование.
I.V. Kayukova
METHOD OF ASSESSMENT AND PREDICTION OF THE LEVEL OF COMPETENCE FORMED
The paper studies the process of assessing the quality of education in higher education. The author develops principles of testing for the objective assessment of the level of competence of students. The algorithm for testing, which consists of the preliminary stage that sets the range of expected result, and the final stage that identifies the level of competence, is presented. For comparison of the integrity of the structure of knowledge of students it is suggested to use the profile of knowledge. The author shows aggregate indicators to measure the level of aggregate formed competencies. The results can be used to assess the quality of the educational process in the transition to the new educational standards.
Keywords: educational process, competence, assessment of quality of education, testing.
Внедрение новых федеральных государственных образовательных стандартов (ФГОС) требует значительной модернизации существующих вузовских систем управления качеством образования. Как известно, ФГОС
предусматривают переход к компетентностной модели описания результатов освоения основных образовательных программ (ООП). При этом серьезной проблемой является отсутствие методической базы для измерения
уровня компетенции [8, с. 286 - 290]. В данной статье предложена методика оценки уровня компетенции студентов с использованием тестирования и методов теории педагогических измерений.
Прежде всего, следует дать определение понятию компетенции. Существует большое разнообразие трактовок данного термина. В работе будем использовать определение, положенное в основу ФГОС: «Компетенция (англ. competence) - способность применять знания, умения и практический опыт для успешной трудовой деятельности». Исходя из данного определения можно сделать вывод, что компетенция может проявиться только в реальной деятельности человека. Поэтому прямое измерение уровня компетентности студента в процессе обучения не возможно [1, с.16 - 19; 3, с. 148
- 151]. Таким образом, задача оценки уровня компетенции состоит в разработке методики, позволяющей на основе некоторых косвенных измерений, доступных на этапе обучения, спрогнозировать уровень компетенции будущего специалиста.
Тесты являются единственным способом педагогических измерений, позволяющим исключить влияние субъективных факторов. Тестирование как форма педагогического измерения традиционно использовалась в высшей школе в основном для определения знаний и в какой-то степени умений и навыков. Оценка уровня компетенций с помощью тестирования является для российской высшей школы новой задачей. Поэтому при разработке подходов к измерению уровня компетенций необходимо использовать зарубежный опыт, где такие измерения проводятся достаточно продолжительное время.
В основу предлагаемой методики положен подход, использованный при проведении зарубежных исследований качества образования PISA, TIMSS, а также методы теории педагогических измерений.
Оценка компетенций в исследованиях PISA, TIMSS и им подобных основана на составлении заданий специального типа. Например, в исследовании PISA независимо от того, на проверку какой из компетентностей делается акцент (математической, естественнонаучной грамотности, грамотности чтения или умения решать проблемы), тест состоит из комплексных задач. Каждая задача - это отдельный текст, в котором описывается некоторая ситуация (проблема), обычно жизненная. К этому тесту формулируется от одного до шести заданий-вопросов различной трудности. По результатам их выполнения оценивается способность учащихся понять проблему, тем или иным образом связанную с рассматриваемой в тексте ситуацией, и решить ее, используя знания из той или иной предметной области. При этом предметное знание является для испытуемого ресурсом лишь в той степени, в которой оно помогает ему решить жизненную ситуацию. Достигается это за счет искусственного снижения сложности предметного материала и параллельно продуманными и проверенными требованиями к набору тех интеллектуальных умений, которые позволят ученику выполнить задание [7, с. 24 - 27].
При подборе текстов заданий, направленных на диагностику компетенций, следует придерживаться следующих принципов:
1. Принцип правдоподобия. В текстах должны содержаться реальные научные проблемы, противоречия
и разногласия, которые надо разрешить. Необходимо использовать тексты с описанием жизненных ситуаций.
2. Принцип вариативности. Текст может содержать фрагменты, полученные из разных источников.
3. Принцип избыточности. В каждом фрагменте должна быть часть информации, необходимая для поиска ответа на поставленные вопросы к тексту, чтобы в конечном итоге получить избыточность информации.
4. Принцип многожанровости. Текст может относиться к разным жанрам. Можно использовать художественные, авторские, публицистические, научные, научно-популярные, энциклопедические и другие тексты.
5. Принцип разноформатности. Текст может иметь различный формат: обычный текст, схема, таблица, график, диаграмма, чертеж, карта.
6. Принцип скрытой подсказки. Вопрос к тексту необходимо сформулировать так, чтобы учащийся мог найти часть ответа в материале самого текста, а часть
- смоделировать самостоятельно. В вопросе к тексту может быть заключена дополнительная информация.
Для обеспечения объективности тестов и высокого качества измерений тестовые задания также должны соответствовать требованиям теории педагогических измерений (1РТ):
1. Для каждого задания должен быть определен его уровень трудности; система должна образовывать последовательность заданий с равномерно возрастающей трудностью (желательно с интервалом 0,5 логита).
2. Тест не должен содержать заданий, на которые знают ответ все или не знает никто.
3. Коэффициент связи задания с итоговой суммой баллов всегда должен быть больше нуля.
Оценка уровня компетенции отличается от традиционного показателя уровня знаний тем, что испытуемому необходимо продемонстрировать имеющиеся знания, умения и навыки на практике в нестандартной ситуации [2, с. 40 - 43]. Поэтому результат может зависеть не только от сложности материала, но и от нестандартности ситуации, в которой студент должен эти знания проявить. Для измерения такой сложной характеристики, как уровень компетенции, предлагается учитывать как сложность задания, так и его неожиданность и нестандартность, т.е. задания в тесте должны отличаться не только по сложности, но и по степени нестандартности ситуации, которая также будет измеряться в логитах.
Статистический анализ результатов тестирования, проводимого по типовой методике, показывает, что для оценки уровня подготовленности учащегося с необходимым уровнем надежности требуется не менее 30 заданий. Для сокращения времени тестирования и повышения точности измерений уровня компетенции можно оптимизировать длину теста [6, с. 114 - 117]. Предлагается использовать опыт международного исследования ТИМБЭ. Процесс тестирования может состоять из двух этапов. Во время первого измерения определяется диапазон, в котором находится предполагаемый уровень компетенции. Для второго этапа разрабатываются варианты теста, отличающиеся сложностью и дифференцирующей способностью. В зависимости от того, в какую группу был отнесен студент, ему предоставляется второй тест, который сможет с необходимой точностью определить уровень компетенции.
Необходимая длина теста определяется по обобщенной формуле Спирмена-Брауна для определения ожидаемой надежности теста:
, ктн
Гн 1 + (к-\)ун
где k - число раз, в которое увеличивается длина теста; гн - коэффициент надежности теста до увеличения длины теста; гм’- коэффициент надежности после увеличения длины теста.
После проведения измерения и определения основных характеристик теста и испытуемых следует перейти к анализу полученных результатов.
Поскольку сложность задания разделяется на две составляющих - сложность и нестандартность, предлагается добавить дополнительное слагаемое а в показатель экспоненты классической модели Раша, который будет отвечать за степень нестандартности задания и складываться со слагаемым в, отвечающим за трудность задания. Тогда формула для вероятности правильного ответа испытуемого примет вид:
р = ехр1,7(6> - рЗ + а) ,
1 + ехр1,7(0- (Р + а)
где P(в) - вероятность правильного ответа испытуемых некоторого уровня подготовленности (0) на задание определенного уровня трудности; 0 - уровень подготовленности (знаний), латентная переменная; в, а - уровни трудности и нестандартности конкретного задания проектируемого теста соответственно.
С помощью полученной формулы можно определять вероятность проявления компетенции обучаемого в различных ситуациях. Например, вероятность правильного ответа на задания, различающиеся по степени сложности и стандартности, испытуемого с уровнем компетенции 1 логит можно представить в виде графика (рисунок).
По горизонтали откладывается суммарный показатель, характеризующий задание. Найденная точка на графике соответствует вероятности проявления компетенции при решении задачи определенного уровня сложности и нестандартности. Так, если этот уровень составит 3 логита, то данный студент выполнит его с вероятностью почти 100%. Чем выше показатели слож-
ности и нестандартности задания, тем меньше шансы испытуемого справиться с ним.
Возникает вопрос: что лучше - решать легкие, но нестандартные задачи, или трудные, но стандартные? Как в этом случае оценивать компетенции специалистов. На наш взгляд, для ответа на этот вопрос необходимо провести анализ структуры знаний обучающегося. Хотя в практической деятельности, по-видимому, нужны и те, и другие специалисты.
В отличие от традиционных средств контроля тесты позволяют выявить не только уровень компетенции, но и структуру знаний учащихся, вернее, степень ее отклонения от идеальной структуры, планируемой педагогом на момент начала обучения. Особенно привлекательно выглядит оценка структуры знаний студентов в тех случаях, когда речь идет о степени эффективности работы отдельных преподавателей либо групп преподавателей, как, например, при аттестации образовательных учреждений. На фоне многообразий существующих аттестационных моделей, методик, технологий, показателей и критериев оценка качества подготовки выпускников остается важнейшим показателем эффективности работы педагога. При этом в центре внимания аттестационных комиссий, работающих по традиционным схемам, находится, несомненно, уровень подготовки. В то время как уровень подготовленности зависит от прилежности учащегося, его способности и желания учиться, структура знаний в большей степени отражает особенности организации учебного процесса. На формирование структуры знаний обучаемых влияют умение преподавателя правильно построить программу подготовки и доступно ее изложить, его ответственность в работе по выявлению и устранению пробелов в знаниях учащихся и применение индивидуального подхода.
До настоящего времени для оценки качества образования студентов при аккредитации конкретного направления подготовки использовалась система дидактических единиц. Каждую из них студенты должны были освоить на минимально допустимом уровне [5, с. 197 -200]. В новых федеральных государственных стандартах образования эта система не прописана. Вместо нее предъявляются требования к измерению уровня достижения компетенций. Существующая методика оценки качества подготовки студентов не может быть использована как средство измерения компетенций в рамках новых образовательных стандартов.
Для оценки качества образовательного процесса в работе предлагается использовать методику оценки индекса структурированности знаний (method S-Plines). Структура знания показывает, насколько оно системное и полное. Для этого строится профиль знаний (профиль Гуттмана), представляющий собой последовательность 0 и 1, где 0 - неправильный ответ, а 1 - правильный. Поскольку каждое задание имеет две характеристики, то профиль можно строить как по каждой из них, так и в целом.
Мерой «правильности» профиля является следующая величина [4]:
Е С1 - *з Щ - £ *з
_ _у^}___________з = х +1_____
' х, к
!.*,
3 =1 3 ~к+1- х,
где X- - количество правильных ответов /-го испытуемого,
- количество правильных ответов на у-ое задание, к - количество заданий в тесте, - результат ответа
/-го испытуемого на у-ое задание теста, может принимать значения 0 (неверный ответ) и 1 (верный ответ).
Чем более сбалансированной является структура знаний студента, тем меньшей будет величина С. У студентов с идеальным «правильным» профилем С = 0, а с абсолютно «неправильным» профилем С=1.
Методы регрессионного анализа позволяют прогнозировать оценки истинных баллов испытуемых по распределению наблюдаемых баллов и коэффициенту надежности теста. Прогноз получается путем подстановки индивидуального балла испытуемого, среднего балла испытуемых и коэффициента надежности теста в регрессионное уравнение Дж. Стенли [5]:
Т = х+ГН (х, - X),
где Г - истинный балл; Х! - индивидуальный балл /-го
испытуемого; X - среднее значение баллов испытуемых; гн - коэффициент надежности теста.
На основе измерения уровня отдельных компетенций возможно построение некоторого агрегированного показателя уровня подготовки студента, в состав которого со своими весами входят отдельные компетенции [4, с. 26 - 29]. Поскольку в результате применения !РТ получаются абсолютные величины, поддающиеся сравнению, то можно получить общий показатель по нескольким компетенциям, например используя их линейную комбинацию. Веса для каждой из компетенций могут быть
определены в зависимости от требований заказчика или экспертной оценки:
Кзо = 2 ‘Кг
Таким образом, созданная методика позволяет не только измерить уровень компетенции студента с заданной точностью и достоверностью, но и прогнозировать его профессиональную пригодность, а также оценивать качество учебного процесса с использованием компетентностного подхода.
1. Гусятников В.Н., Безруков А.И., Соколова Т.Н. Инструменты интеграции систем управления качеством в образовательный процесс // Интеграция образования. 2010. № 4.
2. Гусятников В.Н., Митрофанов А.Ю., Дьякова Т.В., Носова Е.Г. Взаимосвязь результатов ЕГЭ и уровня освоения математики в высшем учебном заведении // Стандарты и мониторинг в образовании. 2010. № 6.
3. Гусятников В.Н., Митрофанов А.Ю., Дьякова Т.В., Носова Е.Г. Модели для анализа качества образовательного процесса по результатам тестирования // Вестник СГСЭУ. 2010. № 5 (34).
4. Гусятников В.Н., Соколова Т.Н., Каюкова И.В. Методики использования результатов компьютерного тестирования в системах поддержки принятия решений // Интеграция образования. 2009. № 3.
5. Гусятников В.Н., Соколова О.Ю., Соколова Т.Н., Каюкова И.В. Построение моделей для анализа качества образовательного процесса на основе технологий компьютерного тестирования // Вестник СГСЭУ. 2009. № 4 (28).
6. Гусятников В.Н., Соколова Т.Н. Технологии компьютерного тестирования как элемент системы поддержки принятия решений в образовательной деятельности // Интеграция образования. 2008. № 4.
7. Каюкова И.В. Модели для оценки уровня достижения компетенций по результатам тестирования // Наука и общество. Сер. «Информационные технологии». 2011. № 1.
8. Фионова Л.Р. Компетентность в области информационных технологий и ее использование для управления обучением // Вестник Чувашского университета. 2009. № 2.
