CC BY
42
ПРОБЛЕМЫ И ПЕРСПЕКТИВЫ ВЫСШЕЙ ШКОЛЫ
УДК 37:311.2 DOI: 10.22412/1999-5644-10-4-4
К ВОПРОСУ ОБ ИСПОЛЬЗОВАНИИ СТАТИСТИЧЕСКОГО ИНСТРУМЕНТАРИЯ ДЛЯ ОЦЕНКИ КАЧЕСТВА ОБРАЗОВАНИЯ
Овчинникова Ираида Григорьевна, доктор педагогических наук,
профессор кафедры психолого-педагогического образования и инновационной деятельности, НОУВПО «Институт бизнеса, психологии и управления», г. Химки, Московская обл., Российская Федерация, [email protected]
Курзаева Любовь Викторовна, кандидат педагогических наук, доцент кафедры бизнес-информатики и информационных технологий, ФГБОУ ВО «Магнитогорский государственный технический университет им. Г.И. Носова», Российская Федерация, [email protected]
В статье рассмотрены проблемы, связанные с управлением качеством образования, показано, что управление качеством образования невозможно без опоры на проверенные статистические инструменты. Проанализированы характерные особенности управления качеством образования, показано, что неотъемлемым элементом управления этим процессом является правильная постановка целей, обладающих свойствами операциональности и спрогнозированности в зоне потенциального развития обучающегося. Выявлена и обоснована необходимость выделения системы показателей, которые позволяют определить степень достижения целей в образовательной системе. Рассмотрена классификация показателей с точки зрения оценки качества образования, выявлен нормативный и сопоставительный характер оценки показателей, определены роль и место статистического инструментария в оценке показателей качества образовательного процесса. На основе проведенного исследования автором предлагается методика использования такого статистического инструмента, как карты Шухарта, для оценки реализации образовательного процесса и/или его результатов и принятия решения о необходимости проведения корректирующих мероприятий. В статье дается определение карты Шухарта, описано назначение данного инструмента, обозначены границы его применения, приводится анализ разновидностей карт, формулируются основные характеристики и расчетные значения, рассматривается методика их построения. Особую ценность представляет пример использования карт Шухарта для оценки качественной успеваемости студентов, который наглядно демонстрирует роль этого статистического инструмента в принятии решения о стабильности образовательного процесса или необходимости проведения корректирующихмероприятий, т.е. внешнего вмешательства в процесс. Статья может представлять интерес для специалистов-практиков в ходе прохождения курсов повышения квалификации по данной тематике и в процессе улучшения систем менеджмента качества в образовательных учреждениях. Ключевые слова: управление качеством образования, оценка качества, целеполагание, статистический инструментарий, карты Шухарта
Образование сегодня определяется как единый целенаправленный процесс воспитания и обучения, являющийся общественно значимым благом и осуществляемый в интересах человека, семьи, общества и государства, а также совокупность приобретаемых знаний, умений, навыков, ценностных установок, опыта деятельности и компетенции определенных объема и сложности в целях интеллектуального, духовно-нравственного, творческого, физического и (или) профессионального развития человека, удовлетворения его образовательных потребностей и интересов1.
1 Федеральный закон 29 декабря 2012 года № 273-Ф3 «Об образовании в Российской Федерации».
В системе образования качество, согласно образовательным стандартам, рассматривается как соответствие полученного результата целям, сформулированным на начальном этапе процесса обучения. Степень выполнения этого соответствия устанавливается на основании выполнения заданных целевых критериев и показателей. Следовательно, «цели (результаты) должны быть операциональны и спрогнозированы в зоне потенциального развития обучающегося» [1, с. 33].
«Операциональность» означает, что цели устанавливаются таким образом, чтобы в любой момент времени можно было произвести контрольное сопоставление фактически полученного
результата образовательного процесса с желаемым. «Спрогнозированность в зоне потенциального развития обучающегося» — важнейшее требование, выполнение которого позволяет перейти к реализации образовательного процесса с позиций менеджмента вообще и менеджмента качества в частности, обеспечивая возможность непрерывного совершенствования как результатов обучения, так и самого процесса обучения через процедуру мониторинга. Для этого цели образовательного процесса должны быть не просто оптимальными, они должны определять максимально возможное развитие обучающегося.
К каждой цели разрабатывается совокупность показателей, которая позволяет измерить, насколько достигнута цель в процессе обучения. Все показатели с точки зрения качества могут быть разделены на три основных группы.
Первая группа показателей связана с организацией образовательного процесса. Они отражают следующие организационные моменты:
• доступность и дифференциация процесса обучения;
• стандартизированность и вариативность образовательных программ;
• использование традиционных и инновационных технологий обучения и контроля;
• внедрение инновационных методов обучения;
• использование современных средств и методов мониторинга;
• способность к модификации форм и методов управления процессом.
Вторая группа показателей отражает условия ведения образовательной деятельности. К ней относится информация о финансировании образования, его кадровом, информационном, материально-техническом, методическом и другом обеспечении.
Третья группа показателей характеризует результаты обучения и ожидаемые позитивные изменения в процессе управления качеством обучения.
Оценка значений по показателям может носить как нормативный характер (основанный на сравнении с некоторым предустановленным критическим значением или шкалой), так и сравнительно-сопоставительный характер (основанный на сравнении объектов оценивания или состояния одного объекта в разные моменты времени с использованием, например, статистических инструментов качества).
Одним из инструментов оценки является контрольная карта Шухарта, которая предоставляет
возможность осуществить оценку реализации процесса и/или его результатов и принять решение о необходимости проведения корректирующих мероприятий. По сути, это графический метод визуализации степени стабильности и изменчивости образовательного процесса.
В теории контрольных карт Шухарта можно выделить два вида изменчивости.
Первый вид — это случайная изменчивость, обусловленная общими или случайными факторами-причинами. При этом выявление и глубокий анализ факторов-причин в данный момент может быть затруднителен, однако они присутствуют внутри системы, и их суммарный эффект присутствия определяет изменчивость процесса. Выявленная изменчивость может свидетельствовать о необходимости пересмотра внутренней организации системы.
Второй вид изменчивости обуславливается случайными вмешательствами в процесс извне, то есть наличием таких факторов-причин, которые не свойственны и не принадлежат системе, но их можно выявить и устранить, пусть даже теоретически. Такие факторы-причины называют «специальными» или «особыми» причинами вариабельности.
Целью построения и исследования контрольных карт является оценка стабильности процесса в статистически рассчитанных границах. Если в процессе присутствуют только общие причины вариабельности, то он находится в статистически управляемом состоянии. Наличие особых причин вариабельности свидетельствует о нестабильности и неуправляемости процесса. Важно иметь в виду, что границы контрольных карт Шухарта рассчитываются по данным о самом процессе, не имеют отношения к допускам и не являются линиями каких-либо вероятностей.
Контрольные карты позволяют проследить изменения состояния объекта оценки по конкретному показателю во времени (или в отдельных независимых выборках) и дают возможность установить «когда», «почему» и «как часто» происходят изменения. Такая отсылка к причинам обеспечивает потенциальную эффективность управления. К примеру, единичный случай выхода показателя за контрольные границы не может быть принят за сигнал к немедленным действиям. В случае ассиметричного смещения контролируемого показателя относительно средней линии в течение длительного временного интервала процесс требует вмешательства и разработки корректирующих мероприятий.
В контрольных картах на оси ординат откладывают значения оцениваемого параметра, а на оси абсцисс — время или номер выборки. Результаты измерений отдельного показателя процесса или суммарные значения группы показателей (например, среднее значение по группе измерений, среднее значение отклонений, процент дефектов, среднее число дефектов на единицу и т.п.), зафиксированных в конкретный момент времени, наносятся на карту в виде точек.
Кроме результатов измерений, на контрольной карте обычно отображаются три линии:
• центральная линия представляет (ЦЛ) — это «эталонное» значение показателя, которым обычно выступает арифметическое значение (—);
• верхняя контрольная граница (ВКГ), которая находится над ЦЛ;
• нижняя контрольная граница (НКГ), которая находится под ЦЛ.
Контрольные границы представляют собой предел ожидаемых изменений процесса в типичных для него условиях. Контрольные границы рассчитываются как три стандартных отклонения случайной величины от линии средних значений (3а от центральной линии, где а — внутригрупповое стандартное отклонение (используемой статистики). Для нормально распределенной случайной величины или при условии, что процесс находится в статистически управляемом состоянии, около 99,7% значений характеристик подгрупп попадет в границы -±3а. Другими словами, есть риск, равный 0,3% того, что нанесенная точка окажется вне контрольных границ. В такой ситуации может быть принято неверное решение о том, что процесс вышел из состояния статистической управляемости, и предпринята попытка выявления несуществующей проблемы. В этом случае говорят
об ошибке первого рода. Контрольные границы иногда называют «границами действий». Попадание значения какого-либо показателя за пределы границ считается сигналом к действию.
Удобно также использовать верхние и нижние предупреждающие границы (ВПГ и НПГ), рассчитываемые на расстоянии х±2а. Попадание значения показателя за пределы этих границ служит предостережением о потенциальной опасности выхода процесса из состояния статистической управляемости.
При построении карт Шухарта следует также учитывать нормативно заданные границы исследуемого показателя, а не только статистически заданные границы варьирования (х±2а или х±3а).
При сравнительно-сопоставительном анализе двух и более карт Шухарта для одного и того же процесса за разные периоды наблюдений особое внимание должно быть уделено смещению средней линии.
Рассмотрим построение карты Шухарта на примере.
Имеются данные по качественной успеваемости 7 групп (таблица 1).
Таблица 1 Table 1
Данные по качественной успеваемости The data on quality of progress in studies
Группа 1гр. 2 гр. 6 гр. 7 гр.
Качественная успеваемость,% 54 74 81 46
Необходимо проанализировать представленные в таблице данные с точки зрения качества организации процесса обучения.
После нанесения результатов расчетов был получен следующий вариант карты Шухарта (рис. 1).
Рис. 1. Качественная успеваемость в группах Fig. 1 The quality progress in groups
ЦЛ: 69,9% ВПГ: 91,5% НПГ: 48,2%
ВКГ: 102,3% (строго говоря, ВКГ находится на уровне 100%) НКГ: 37,4%
Как видно, процесс стабилен, находится в рамках контрольных границ. Однако качественная успеваемость в седьмой группе находится ниже НПГ, но не пересекает НКГ. Эта ситуация хоть и не критична, однако может вызывать некоторую озабоченность, а ее причины могут интересовать преподавателей кафедры. Более глубокое исследование сложившейся ситуации можно провести на основе других инструментов качества, например, диаграммы Парето.
Разработаны и успешно применяются различные контрольные карты, например, средних
Литература
значений, медиан, средних квадратических отклонений, размахов, числа дефектных единиц продукции, доли дефектных единиц продукции, числа дефектов, числа дефектов на единицу продукции и другие. Их выбор зависит от целей управления и уровня, на котором замерены данные (качественный или количественный). Для оценки фактических значений контролируемых параметров используется контроль по количественным признакам, а для установления соответствия этого параметра установленным требованиям производится контроль по альтернативному (качественному) признаку. Исходя из этих условий, выбираются соответствующие контрольные карты. Более глубоко вопросы использования данного инструмента качества можно изучить в ГОСТ 50779.42—99, в котором изложен подход к статистическому управлению.
1. Управление качеством образования [Текст]: практико-ориентированная монография и метод. пособие / под ред. М.М. Поташника. М.: Пед. общ-во России, 2004. 441 с. (Менеджмент в образовании). ISBN 5-93134-0793: 127-50.
2. Овчинникова И.Г. Качество образования: сущность и уровни оценки в книге: Новые информационные технологии в образовании. Материалы VII международной научно-практической конференции. Российский государственный профессионально-педагогический университет. Екатеринбург, 2014. С. 445-449.
3. Овчинникова И.Г. Методологические подходы управления качеством профессиональной подготовки в практике отечественной системы образования // Новые информационные технологии в образовании. Материалы VI Международной научно-практической конференции. 2013. С. 370-372.
4. Овчинникова И.Г. Оценивание и контроль как основа управления качеством образования. Вестник Московского государственного областного университета. Серия: Педагогика. 2007. Т. 2. № 2. С. 105-110.
5. Колесников А., Лебедева И. Статистический анализ факторов удовлетворенности учащихся образовательными программами // Педагогические измерения. 2013. № 3. С. 45-59.
6. Колесников А., Лебедева И. Мягкие и жесткие модели причинных связей в образовательных системах // Педагогические измерения. 2013. № 3. С. 29-44.
7. Белоусова И.Д., Курзаева Л.В., Новикова Т.Б. О разработке методики и алгоритмов прогнозирования оценок эффективности и качества решения задач управления в образовании // Наука и современность: сб. статей Международной научно-практической конференции. 2016. С. 25-27.
8. КурзаеваЛ.В., Новикова Т.Б. К вопросу о разработке моделей и алгоритмов интеллектуальной поддержки принятия решений в системе адаптивного управления образованием // Наука и современность: сб. статей Международной научно-практической конференции. 2016. С. 82-84.
9. КурзаеваЛ.В. Совершенствование методов идентификации требований к результатам профессионального обучения на основе экспертной информации // Информатизация образования и науки. 2015. № 4 (28). С. 167-175.
10. КурзаеваЛ.В., Овчинникова И.Г., Чичиланова С.А. К вопросу о совершенствовании методики оценки эффективности решения задач управления качеством образования на основе экспертной информации // Фундаментальные исследования. 2015. № 6-3. С. 473-478.
11. Masalimova, A.R. Experience of the development of a regional qualification framework for the system of vocational education // International Journal of Environmental and Science Education. 2016. Vol.11 Issue 6. Р. 979-987.
use of sTATisTiCAL Tools To assess THE QuAUTY of EDuCATioN
G. Ovchinnikova Iraida, PhD (Dr. Sc.) in Pedagogic, Professor
Institute of business, psychology and management, Khimki, Moscow region, Russian Federation Lyubov' V. Kurzaeva, PhD (Cand. Sc.) in Pedagogic, Associate Professor Magnitogorsk State Technical University, Magnitogorsk, Russian Federation
Abstract.
The article discusses the problems associated with the management of the quality of education, it is shown that quality management education is impossible without reliance on proven statistical tools. The authors analyze the characteristics of quality management education and show that an integral element of the management of this process is the correct setting goals, having the operational and prediction properties in the zone of potential development of the student. The authors identify andjustify the needfor the provision of a system of indicators that allow determining the degree of achievement of objectives in the educational system. They analyze the classification of indicators from the point of view of education quality assessment identified a normative and comparative nature of the assessment indicators, the role and place of statistics in the evaluation of the quality of the educational process. Based on the conducted research the authors propose the method of using this statistical tool, as Shewhart charts, and to assess the implementation of the educational process and/or results and decision on the needfor corrective actions. The article gives the definition of Shewhart charts, and describes the purpose of this instrument, marked the boundaries of its application, the analysis of varieties of charts, with the main features and the estimated values, the technique of their construction. Particular value is an example of using Shewhart charts to assess the quality of student performance, which demonstrates the role of this statistical tool in deciding the stability of the educational process or the need for corrective actions, i. e. external intervention in the process. The article may be interesting for practitioners in the course of training courses on the subject and in the process of improving quality management systems in educational institutions.
Keywords: education quality management, quality assessment, goal setting, statistical tools, Shewhart charts
References
1. Quality management education: practice-oriented monograph and guidelines / editor. M.M. Potashnik. Mosocw: Ped. obshch-vo Rossii, 2004, 441 p. (In Russ) ISBN 5-93134-079-3: 127-50.
2. Ovchinnikova I.G., The quality of education: the nature and levels of evaluation. New information technologies in education. Proceedings of VII international scientific-practical conference. Russian state vocational pedagogical University. Ekaterinburg, 2014, pp. 445-449. (In Russ).
3. Ovchinnikova I.G., Methodological approaches of quality management of professional training in the practice of the domestic system of education. New information technologies in education. Proceedings of VI international scientific-practical conference, 2013, pp. 370-372. (In Russ).
4. Ovchinnikova I.G., Estimation and check as basis of management of educational quality. Vestnik Moskovskogo gosudarst-vennogo oblastnogo universiteta. Seriya:Pedagogika, 2007, vol. 2, no. 2, pp. 105-110. (In Russ).
5. Kolesnikov A., Lebedeva I., Statistical analysis of factors of student satisfaction with educational programs. Pedagogicheskie izmereniya, 2013, no. 3, pp. 45-59. (In Russ).
6. Kolesnikov A., Lebedeva I., Soft and hard models of causal relationships in the educational systems. Pedagogicheskie izmereniya, 2013, no. 3, pp. 29-44. (In Russ).
7. Belousova I.D., Kurzaeva L.V., Novikova T.B., development of methods and algorithms for predicting estimates of the efficiency and quality of tasks decision in education management. Science and modernity: proceedings of the International scientific-practical conference, 2016, pp. 25-27. (In Russ).
8. KurzaevaL.V., Novikova T.B., Development of models and algorithms of intellectual support of decision-making in the adaptive education management. Science and modernity: proceedings of the International scientific-practical conference, 2016, pp. 82-84. (In Russ).
9. Kurzaeva L.V., Improvement of methods of vocational education outcomes requirements identification on the basis of expert information. Informatizatsiya obrazovaniya i nauki, 2015, no. 4 (28), pp. 167-175. (In Russ).
10. Kurzaeva L.V., Ovchinnikova I.G., Chichilanova S.A., To an issue of the methodology improvement of assessment of efficiency of problem solution for managing education quality on the basis of expert information. Fundamental'nye issledo-vaniya, 2015, no. 3 (6), pp. 473-478.
11. Masalimova A.R., Experience of the development of a regional qualification framework for the system of vocational education. International Journal of Environmental and Science Education. 2016, vol.11, Issue 6, pp. 979-987.
Овчинникова И.Г., Курзаева Л.В. К вопросу об использовании статистического инструментария для оценки качества образования // Вестник Ассоциации вузов туризма и сервиса. Т 10. 2016. № 4. С. 34-38. DOI: 10.22412/1999-5644-10-4-4. Дата поступления статьи: 26.08.2016.
Ovchinnikova I.G., Kurzaeva L.V., Use of statistical tools to assess the quality of education. Vestnik Assotsiatsii vuzov turizma i servisa, 2016, vol. 10, no. 4, pp. 34-38 (In Russ.). DOI: 10.22412/1999-5644-10-4-4. Received 26 August 2016.
