CC BY
0
Высшее образование в России
Vysshee obrazovanie v Rossii = Higher Education in Russia
ISSN 0869-3617 (Print), ISSN 2072-0459 (Online) http://vovr.elpub.ru
Управление образовательным процессом университета на основе прогнозирования успеваемости обучающихся
Научная статья
DOI: 10.31992/0869-3617-2024-33-11-132-148
Аликина Елена Вадимовна - д-р пед. наук, доцент, заведующий кафедрой «Иностранные языки, лингвистика и перевод», SPIN-код: 3661-9551, ORCID: 0000-0002-0908-1818, [email protected]
Мальцев Дмитрий Викторович - канд. техн. наук, доцент, начальник отдела обеспечения учебного процесса учебно-методического управления, SPIN-код: 5484-9395; ORCID: 0000-0001-5503-8784, [email protected]
Пермский национальный исследовательский политехнический университет, Пермь, Россия Адрес: 614990, Россия, Пермь, Комсомольский пр., 29
Аннотация. В статье представлен комплексный анализ учёта успеваемости обучающихся для решения задач эффективного и оперативного управления образовательным процессом в политехническом университете. Авторами проанализирована и классифицирована информация, которая потенциально может оказывать влияние на успеваемость студентов и их удовлетворённость образовательной организацией. Акцент сделан на применении прогнозных моделей, позволяющих осуществлять адаптацию содержания учебных дисциплин и контрольных мероприятий под текущий контингент обучающихся. В качестве основного средства оценивания рассматривается тестирование.
В исследовании использованы обезличенные данные, собранные о студентах первого курса политехнического вуза (2023/24 учеб. год) уровней подготовки бакалавриат и специалитет (n=1549) по таким группам факторов, как демографические, социокультурные, академические и экономические. Использованы методы математической статистики, а именно: определение вида распределения данных при помощи теста Шапиро - Уилка, установление наличия мультиколлинеарности при построении множественной регрессии критерием Пирсона, установление корреляционных зависимостей методом ранговой корреляции Спирмена. Методы машинного обучения, применённые для прогнозирования оценки на промежуточной аттестации по дисциплинам базового цикла (математика и физика), реализованы на языке программирования Python (v. 3.8) с использованием свободно распространяемой библиотеки Keras.
Основные результаты: представлена классификация факторов, влияющих на успеваемость и удовлетворённость обучающихся; при помощи методов математической статистики установлена значимость каждого фактора для прогнозирования успеваемости; разработана и представлена модель управления образовательным процессом на основе Agile Learning Design, позволяющая адаптировать конкретную дисциплину под текущий контингент обучающихся.
Контент доступен под лицензией Creative Commons Attribution 4.0 License. This work is licensed under a Creative Commons Attribution 4.0 License. © Аликина Е.В., Мальцев Д.В., 2024.
И]
Ключевые слова: успеваемость студентов, прогноз успеваемости, нейронная сеть, сохранение контингента, адаптивность образования, искусственный интеллект, Agile Learning Design
Для цитирования: Аликина Е.В, Мальцев Д.В. Управление образовательным процессом университета на основе прогнозирования успеваемости обучающихся // Высшее образование в России. 2024. Т. 33. № 11. С. 132-148. DOI: 10.31992/0869-3617-2024-33-11132-148.
Managing the University's Educational Process Based on Predicting Students' Academic Performance
Original article
DOI: 10.31992/0869-3617-2024-33-11-132-148
Elena V. Alikina - Dr. Sci. (Pedagogy), Associate Professor, Head of the Department of Foreign Languages, Linguistics and Translation, ORCID ID: 0000-0002-0908-1818, SPIN: 3661-9551, Researcher ID: rid89011, [email protected]
Dmitry V. Maltsev - Cand. Sci. (Engineering), Associate Professor, Head of the Department of Educational Process Support, Academic Affairs Office, ORCID ID: 0000-0001-5503-8784; SPIN: 5484-9395; Researcher ID: rid89010, [email protected]
Perm National Research Polytechnic University, Perm, Russian Federation Address: 29, Komsomolsky ave., 614990, Perm, Russian Federation
Abstract. The authors of the article present a comprehensive analysis of the accounting of students' academic performance in the management of the educational process of the university. The information about students that affects their academic performance and satisfaction with the educational organization is analyzed and classified. The focus of the study is on the application of predictive models in the management of the educational process in order to adapt the content of disciplines to the current contingent of students.
The study used data only on first-year students (2023/24 academic year) of bachelor's and specialist's degree levels (n=1549). The information is depersonalized and contains the following data: demographic (age, gender, citizenship), social (socio-cultural environment, place of residence, place of residence during study), academic (previous education, results of entrance tests, current academic performance, faculty, qualification level), economic (scholarship, type of competition - budget/ contract).
Methods of mathematical statistics were used to analyze the data: determining the type of data distribution using the Shapiro-Wilk test, establishing the presence of multicollinearity in the construction of multiple regression by the Pearson criterion, establishing correlation dependencies by Spearman's rank correlation method. Machine learning methods are implemented in the Python programming language (v. 3.8) using the freely distributed Keras library.
The main results. The classification of factors affecting the academic performance and satisfaction of students is presented. Using the methods of mathematical statistics, the importance of each factor for predicting academic performance has been established. An educational process management model based on Agile Learning Design has been developed and presented, which allows adapting a specific discipline to the current contingent of students.
Keywords: student academic performance, academic performance forecast, neural network, contingent retention, adaptability of education, artificial intelligence, Agile Learning Design
Cite as: Alikina, E.V., Maltsev, D.V. (2024). Managing the University's Educational Process Based on Predicting Students' Academic Performance. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 33, no. 11, pp. 132-148, doi: 10.31992/0869-3617-2024-33-11-132-148 (In Russ., abstract in Eng.).
Введение
В соответствии с Национальной стратегией развития искусственного интеллекта (ИИ) на период до 2030 г. одним из приоритетных направлений использования цифровых технологий является улучшение уровня жизни населения за счёт «повышения качества услуг в сфере образования (включая адаптацию образовательного процесса к потребностям обучающихся и потребностям рынка труда, <...> автоматизацию оценки качества знаний и анализа информации о результатах обучения)»1.
Под адаптацией в широком смысле понимается процесс установления и поддержания приспособленности системы к изменениям внешней и внутренней среды. В образовательных системах к меняющимся условиям внешней среды можно отнести экономическую конъюнктуру, демографические и геополитические тенденции, требования рынка труда и надзорных органов, запросы обучающихся, тогда как модификации внутренней среды связаны со складывающимися в рамках конкретного учреждения обстоятельствами организации образовательного процесса, среди которых обеспеченность кадровыми и материально-техническими ресурсами, развитость научно-методической базы, имеющийся контингент обучающихся и др. Успешность адаптации к внешним и внутренним условиям обеспечивает в итоге качество образования [1; 2].
Ключевыми показателями качества образовательного процесса являются удовлетворённость со стороны всех его субъектов (обучающихся, преподавателей, работодателей, родителей, общества) и успеваемость обучающихся. Оба показателя представляются комплексными и в достаточной степени субъективными, однако их повышение входит в цели управления любой образовательной организации, что требует поиска эффективных инструментов оценки, анализа, прогнозирования и корректировки.
В рамках данного исследования речь идёт об управлении успеваемостью обучающихся на основе прогнозирования образовательных результатов. Как показывает сложившаяся практика, в большинстве вузов успеваемость обучающихся определяется от процента отчисленных, т. е. от отрицательного результата, при этом задачи предобработки данных, их группировки, определения влияния на целевые показатели - не ставятся.
Основой для создания прогнозных моделей и превентивных управляющих воздействий являются большие данные [3; 4]. Как свидетельствует аналитика, представленная на глобальной платформе Statista2, генерация данных во всём мире ежегодно увеличивается примерно на 25% и к концу 2024 г. достигнет 147 зеттабайт. Этот тренд характерен и для сферы образования. Так, в соответствии с федеральными стандартами высшего образования (ФГОС ВО 3++) наличие электронной информационно-образова-
1 Национальная стратегия развития искусственного интеллекта на период до 2030 г. Утверждена Указом Президента Российской Федерации от 10 октября 2019 г. № 490. URL: http://www.kremlin.ru/ acts/bank/44731
2 Объём данных, созданных, потреблённых и хранящихся в 2010-2020 гг., с прогнозом до 2025 г. Statista. URL: https://www.statista.com/statistics/871513/worldwide-data-created/ (дата обращения: 11.05.2024).
тельной среды в российских университетах является обязательным требованием уже более 10 лет. За это время образовательными организациями собраны и хранятся существенные объёмы информации об обучающихся, однако они представляются бесполезными, если не подвергаются интерпретации.
Важную роль для управления успеваемостью играет качество используемых данных, что связано с проблемой объективности оценивания в условиях компетентностно-ори-ентированной образовательной парадигмы. Если решение о присвоении квалификации и принимается экзаменационной комиссией (экспертной группой) коллегиально, то его однозначность сводится к утверждению, что выпускник соответствует или не соответствует установленным требованиям. При этом средний балл в дипломе, а также оценка за защиту выпускной квалификационной работы не дают чёткой и однозначной дифференциации студентов. Например, сложно заключить, что выпускник со средним баллом 3,9 лучше или хуже подготовлен к выполнению трудовых функций в области профессиональной деятельности, чем тот, у кого средний балл 4,1.
Система оценивания в процессе промежуточной аттестации также не лишена субъективности. За редким исключением в вузах применяется традиционная пятибалльная (фактически - четырёхбалльная) система оценки уровня знаний и умений по случайному набору вопросов, включённых в экзаменационный билет. При таком подходе сложно не только учесть личностные качества обучающихся, степень индивидуальных целевых достижений, но и обеспечить объективное оценивание. Кроме доли «везения» и «невезения» при выборе билета, влияние оказывают размер группы, продолжительность контрольного мероприятия, опыт преподавателя и пр. По данным исследования, проведённого сотрудниками НИУ ВШЭ, высокая нагрузка на преподавателей приводит к завышению оценок [5]. Извест-
ны случаи «академического сговора», т. е. ситуаций выставления завышенных оценок при низком качестве или имитации учебного процесса [6]. Таким образом, необходим инструмент, позволяющий не только повысить объективность оценивания, но и управлять успеваемостью обучающихся, адаптируя образовательный процесс под целевую аудиторию. В качестве такого инструмента авторы рассматривают тестирование с последующей интерпретацией результатов на основе применения нейронных сетей, что позволит выполнить не только контролирующие, но и аналитические, прогностические и корректирующие функции.
Целью исследования является разработка рекомендаций по управлению успеваемостью первокурсников политехнического университета на основе прогнозных моделей.
Объектом исследования является процесс управления успеваемостью студентов в российском политехническом вузе. Предметом исследования выступают факторы, влияющие на успеваемость студентов. В качестве материала исследования использованы результаты контрольных мероприятий по двум дисциплинам базового цикла - математике и физике.
Обзор литературы
Изучение успеваемости обучающихся как ведущего показателя академической успешности на протяжении многих десятилетий входит в круг актуальных проблем психолого-педагогических исследований. Наиболее дискуссионной в данном предметном поле является проблема педагогических измерений, обеспечивающих адекватный контроль и оценку образовательных результатов.
Вследствие массовизации сначала школьного, а затем и высшего образования возникла потребность разработки низкозатратных инструментов контроля знаний. Таким инструментом стало тестирование. Наибольшую популярность в педагогиче-
ской науке и практике тестирование приобрело в США в середине ХХ в. [7]. Несмотря на то, что тестирование сыграло ключевую роль в обеспечении равенства и расширения доступа к образованию для населения [7], а результаты стали простой и понятной метрикой для сравнения образовательных организаций, данный инструмент часто подлежит критике. Если считать, что тестовые задания сформулированы корректно [8], то основная проблема связана с невозможностью комплексной оценки тестируемого. К примеру, возникают сложности в анализе хода решения задач, в поиске причин ошибок и способов их коррекции.
Проблема комплексного подхода к оцениванию обучающихся получила развитие и в отечественной науке. Так, в работе Б.Г. Ананьева «О человеке как объекте и субъекте воспитания» вводится термин «учебная успешность» [9]. Автор связывает успешность или неуспешность обучающегося с личностью учителя: «Ученик ориентируется в уровне собственных знаний и собственных возможностей на основе не только чисто субъективных мотивов, но и на основе объективных побуждений стимуляции, исходящих <...> от учителя» [9, с. 163-164]; при этом не рассматриваются средства объективного контроля знаний: «тестовый учёт успешности вреден и враждебен» [9, с. 166]. Исследователем доказывается влияние различных факторов на успеваемость школьников, среди которых психологические, такие как когнитивные особенности, темперамент, самостоятельность, работоспособность и другие, а также факторы среды, например, семейные отношения, бытовые условия, окружение, отношение учителя, ситуация опроса. Масштаб
исследований, проведённых Б.Г. Ананьевым, позволил шире взглянуть на проблему успеваемости и связать оценку с процессом обучения.
В современной образовательной системе России полномасштабное внедрение тестирования связано с единым государственным экзаменом, который стал обязательной формой государственной аттестации школьников с 2009 г.3, и с включением в 2022 г. в процедуру аккредитации высших учебных заведений диагностической работы4. Данные мероприятия обеспечивают равный доступ к образованию и генерируют ценную информацию. Однако открытыми для решения остаются такие проблемы, как невозможность учёта индивидуальных особенностей и применимость механизмов управления успеваемостью только по отношению к последующим поколениям абитуриентов и студентов, т. е. постфактум.
Идеи персонифицированного и процессного прогнозирования успеваемости обучающихся не являются новыми. Во второй половине ХХ в. в отечественной педагогике активно развивались способы индивидуализированного контроля знаний. Однако в силу того, что сбор, обработка и хранение информации представлялись чрезвычайно трудоёмкими для педагогов и методистов, длительность исследований составляла от нескольких лет до десятилетий. По этой же причине применение разработок на практике было затруднительно.
Компьютеризация, произошедшая на рубеже столетий, в значительной степени позволила упростить работу с данными. Появилась возможность обрабатывать большие массивы и использовать различные математические методы от расчёта средних значений до нечёткой логики. Наиболее распро-
3 Приказ Министерства образования и науки РФ от 24 февраля 2009 г. № 57 «Об утверждении Порядка проведения единого государственного экзамена» // Информационно-правовой портал Гарант. URL: https://www.garant.ru/products/ipo/prime/doc/95230// (дата обращения: 27.05.2024).
4 Новые правила аккредитации образовательной деятельности вступили в силу // Федеральная служба по надзору в сфере образования и науки. URL: https://obrnadzor.gov.ru/news/novye-pravila-akkreditaczii-obrazovatelnoj-deyatelnosti-vstupili-v-silu/ (дата обращения: 27.05.2024).
Рис. 1. Количество публикаций по прогнозированию успеваемости обучающихся на портале elibrary Fig. 1. The number of publications on predicting students' academic performance on the elibrary portal
странёнными оставались модели на основе текущей успеваемости обучающихся [6; 7], однако стали появляться и модели, учитывающие такие параметры, как пол, возраст, семейное положение, здоровье, гражданство обучающихся [9].
Сформировались тренды, связанные с индивидуализацией и субъектной позицией обучающихся в образовательном процессе. Акцент внимания сместился с результатов обучения на условия их достижения и обеспечения стабильности, а также на многообразие факторов, формирующих «академическую успешность» [10]. Так, в исследовании О.Б. Гилевой академическая успешность трактуется как «сумма знаний, сочетающаяся с успехом в области социальных взаимодействий и при сохранении высокого уровня познавательной мотивации и здоровья» [11, с. 234]. Автор рассматривает успешность с точки зрения психофизиологических особенностей обучающихся и делает вывод о необходимости коррекции образовательных программ под запросы обучающихся [11].
Дальнейшее развитие информационных технологий, автоматизация и цифровиза-
ция, распространяемые и на образовательную деятельность, позволили обрабатывать огромные массивы данных (big data) и использовать программы, устанавливающие закономерности между ними (нейронные сети). В литературе достаточно подробно описан опыт успешного применения нейро-сетей для прогнозирования групп риска по неуспеваемости [10; 14].
Для мониторинга научной коммуникации в сфере управления успеваемостью обучающихся авторы обратились к методам наукометрического анализа. Как показали результаты поиска, проведённого на портале elibrary, по запросу «прогнозирование успеваемости» имеется 14730 публикаций, а по запросу «факторы успеваемости» - 1829 публикаций (Рис. 1), что демонстрирует высокую заинтересованность исследователей.
При помощи машинного анализа названий статей удалось выявить наиболее частотные словосочетания (Рис. 2).
Установлено, что прогнозирование успеваемости чаще всего проводится с ориентацией на студентов вузов (2475 статей) и по таким дисциплинам, как иностранный
адаптация студента педагогнческоесопровожденпе анализ данных прогнозирование успеваемости русский язык технический вуз дистанционное обучение ^^ятй физическая культура ш ш
педагогическое условие ннформацпоннаятехнология педагогическое образование искусственный интеллект военный вуз /' МВД психолого-педагогический
младший школьник я ^^^т ш
образовательная среда успеваемость студента
обучение студентов я
пностранныпязык профессиональное образование управление качеством образовательный процесс
О 100 200 300 400 500 600 700 800 900 1000 Количество повторений в заголовках
Рис. 2. Наиболее частотные словосочетания в заголовках статей по прогнозированию успеваемости Fig. 2. The most common phrases in the headlines ofarticles on predicting academic performance
язык (395 статей), физическая культура (128 статей) и русский язык (89 статей). В качестве базы исследований рассматриваются преимущественно технические, военные и педагогические вузы. Самый широко используемый в последние годы инструмент -технологии ИИ (187 статей). К наиболее цитируемым статьям относятся исследования о прогнозировании успеваемости студентов на основе баллов ЕГЭ [12] и аналитики данных онлайн-курсов [13].
Баллы за вступительные испытания - это далеко не единственный фактор, от которого зависит успеваемость в вузе. В статье С.В. Русакова, О.Л. Русаковой, К.А. Посохиной приводится развёрнутая классификация и других факторов, влияющих на успеваемость: социальные, психологические, академические, связанные с подготовкой к поступлению и учёбой в вузе [14]. В работе В.В. Кузнецова и К.В. Косилова выделены такие объективные факторы, как качество жизни, пол, возраст, материальное положение семьи обучающегося [15]. Ю.В. Саловаровой обобщены социально-экономические факторы, среди которых уровень образования родителей, условия
проживания, уровень доходов, психологическая атмосфера в семье [16].
Таким образом, на основе анализа литературных источников к объективным факторам, оказывающим влияние на успеваемость студента, можно отнести факторы трёх подгрупп:
1) демографические (возраст, пол, семейное положение);
2) социальные (состав и благополучие семьи, уровень образования родителей / старших братьев или сестёр, место проживания на время обучения, окружение и др.);
3) психофизические (наличие ограничений, связанных со здоровьем).
Помимо этого, выделяются и субъективные факторы, среди которых необходимо прежде всего обозначить академические факторы, а именно академические достижения, основанные на когнитивных (интеллект, умственные способности) и некогнитивных (мотивация, личностные черты и качества) характеристиках личности обучающегося [17]. Влияние когнитивных характеристик подробно изучено на протяжении прошлого столетия при помощи различных метрик,
самыми известными из которых являются тесты Щ. Из некогнитивных характеристик особый интерес исследователей привлекает мотивация. Низкая мотивация является причиной как отчислений, так и ухудшения успеваемости. Более подробно эта тема рассмотрена в исследовании Д.С. Репецкого, Е.А. Лазуковой и Д.В. Мальцева [18].
Многочисленные исследования подтверждают тезис о том, что успеваемость в предыдущие периоды оказывает существенное влияние на успеваемость в будущем [6; 7; 10]. Помимо оценки качества освоения школьной программы через ЕГЭ более полную картину можно получить, проанализировав информацию о социокультурной среде, в которой обучался выпускник (населённый пункт, тип учебного заведения и пр.). На успеваемость в вузе влияет также наличие достаточного количества времени на выполнение самостоятельной работы и регулярное посещение аудиторных занятий. Основной причиной недостатка времени, как правило, является совмещение работы и учёбы, т. е. экономическая составляющая. К экономическим факторам можно отнести также наличие финансовой поддержки, стипендии.
Наконец, немаловажное влияние на успеваемость оказывает удовлетворённость качеством образования, складывающаяся из таких блоков, как удовлетворённость образовательной деятельностью, социокультурной средой, инфраструктурой и материально-техническим обеспечением университета [20]. Наиболее полно такого рода оценочные факторы представлены в исследовании Б. Адебайо [21].
Таким образом, по мнению авторов, к субъективным относятся следующие группы факторов:
1) академические (предыдущее образование, баллы при поступлении, текущая успеваемость);
2) психологические (интеллект, мотивация, работоспособность);
3) экономические (стипендия, финансовая поддержка);
4) оценочные (удовлетворённость качеством образовательной деятельности, инфраструктурой вуза и кампуса, материально-техническим оснащением).
Кроме факторов, характеризующих студента, существуют факторы внешней среды [10]. Среди них выделим требования к образовательному результату со стороны работодателей (конъюнктурные факторы), нормативно-правовое регулирование образовательной деятельности со стороны государства, организационно-педагогические условия, складывающиеся в образовательной организации.
На рисунке 3 представлена попытка осмысления и классификации рассмотренных факторов.
Представленные группы факторов взаимосвязаны и имеют большое значение для построения различных моделей, в том числе для создания цифровых двойников обучающихся. В рамках данной статьи авторы описывают зависимость влияния выборки четырёх подфакторов, а именно демографических, социальных, академических и экономических.
Методы и материалы
В исследовании использованы данные только о студентах первого курса (2023/24 учеб. год) уровней подготовки бакалавриат и специалитет. Сведения обезличены, в качестве идентификаторов применяются уникальные 32-значные ключи. Датасет содержит информацию о 1549 студентах по подгруппам:
- демографические (возраст, пол, гражданство);
- социальные (социокультурная среда, населённый пункт по прописке, место жительства во время учёбы);
- академические (предыдущее образование, результаты вступительных испытаний, текущая успеваемость, факультет, уровень квалификации);
- экономические (наличие стипендии, вид конкурса - бюджет/контракт);
- пропуск аудиторных занятий в течение семестра.
Рис. 3. Факторы, влияющие на успеваемость студентов Fig. 3. Factors affecting students' academic performance
Таким образом, набор данных содержал информацию о студентах и об их успеваемости, в том числе текущей - входные и рубежные тестирования, и итоговой - оценка за экзамен. Среди 1549 студентов были как те, кто сдавал только одну дисциплину (математику или физику), так и обе. После предобработки исходных данных получены данные о 950 студентах, прошедших входной, два рубежных и итоговый контроль по математике, и о 850 студентах, прошедших входной, один рубежный и итоговой контроль по физике.
Причины пропуска аудиторных занятий в рамках данного исследования не фиксировались и могут относиться как к состоянию здоровья, так и к низкой мотивации студентов, поэтому они вынесены в отдельную категорию.
Для анализа данных использованы методы математической статистики: определение вида распределения данных при помощи теста Шапиро-Уилка; установление наличия мультиколлинеарности при построении множественной регрессии критерием Пирсона; установление корреляционных зависимостей методом ранговой корреляции Спирмена.
Датасет состоит из данных разного типа (даты, числа, текст, булевые), поэтому для возможности их применения проводилась
предобработка. Для статистического анализа булевые данные (True, False) переводились в 0 и 1, а текстовые - разделялись на категории с присвоением номера. Например, среди типов предыдущих учебных заведений выделено восемь категорий (школы, гимназии, колледжи и пр.).
Для использования данных в обучении нейронной сети проводилось их преобразование в one-hot-encoding - вектор, состоящий преимущественно из 0 и 1, либо близких значений. Каждый фактор заменялся на нули и единицы длиной равной числу категорий. Например, если для статистического анализа школы были заменены на 1, то для нейронной сети заменены на вектор длиной 8, где принадлежность к первой категории отмечена единицей - 1000000. Вторая категория -гимназии - заменялись на 01000000. Такая предобработка необходима для исключения преобладания веса какого-либо фактора, основанного исключительно на величине чисел.
Методы машинного обучения реализованы на языке программирования Python (v. 3.8) с использованием свободно распространяемой библиотеки Keras. В связи с ограниченностью исходного набора данных выбран метод обучения модели «с учителем».
Таблица 1
Определение значимости факторов
Table 1
Determining the significance of factors
№ Наименование факторов Ранговая корреляция Спирмена ^-значение
Математика | Физика Математика | Физика
Демографические
1 Возраст 0,12 -0,12 2,7 • 10-4 7,1 • 10-4
2 Пол 0,17 0,17 1,6- 10-7 3,0 • 10-6
3 Гражданство 0,16 -0,16 1,5 • 10-6 1,4 • 10-5
Социальные
4 Тип населённого пункта по прописке 0,12 0,13 3,1 • 10-4 3,1 • 10-4
5 Проживание в общежитии 0,08 0,07 0,01 0,037
Академические
6 Тип предыдущего учебного заведения 0,01 -0,03 0,73 0,4
7 Сумма баллов при поступлении 0,36 0,38 3 • 10-30 1,7- 10-27
8 Вид вступительного испытания (ЕГЭ, экзамен) 0,03 0,25 0,31 2,2 • 10-12
9 Баллы вступительного испытания по дисциплине 0,31 0,32 2 • 10-22 3,6 • 10-19
10 Факультет 0,21 -0,36 1,7 • 10-10 3,2 • 10-25
11 Уровень квалификации 0,40 0,32 4,4 • 10-37 1,3 • 10-19
12 Вид конкурса 0,10 0,05 2,6 • 10-3 0,16
13 Входное тестирование по дисциплине 0,43 0,32 1,2 • 10-44 2,1 • 10-20
14 Первое рубежное тестирование 0,57 0,43 3,2 • 10-85 1,6- 10-36
15 Второе рубежное тестирование 0,58 - 3,2 • 10-85 -
Экономические
16 Дополнительная стипендия 0,25 0,33 8,4 • 10-15 2 • 10-20
17 Социальная стипендия 0,08 -0,06 0,01 0,08
Прочие
18 Пропуск аудиторных занятий, ч -0,26 -0,17 1,8 • 10-14 4,5 • 10-6
Результаты
Для проверки нулевой гипотезы о том, что выборки данных имеют нормальное распределение, выполнен тест Шапиро - Уилка. По результатам расчётов все выборки имеют /-значение менее 0,05 (в диапазоне от 0 до 3,0 • 10-27), нулевая гипотеза отклоняется, т. е. данные распределены не нормально. Таким образом, для анализа данных необходимо использовать непараметрические методы, в частности ранговую корреляцию Спир-мена. Были рассчитаны корреляции между факторами и оценкой за экзамен (Табл. 1).
Для р < 0,05 и количества наблюдений более 600 критическое значение коэффициента корреляции составляет 0,08. Таким образом,
незначимыми факторами являются тип предыдущего учебного заведения, проживание в общежитии и наличие социальной стипендии. Можно сделать вывод о том, что гораздо важнее не тип, а расположение учебного заведения (населённый пункт). К противоречивым данным относится вид вступительного испытания, так как он не значим для математики и значим для физики. Вероятно, причина заключается в том, что внутренний экзамен сдать легче, чем ЕГЭ. Вид конкурса (бюджет/контракт) оказывает слабое влияние или не влияет, что можно объяснить стремлением студентов контрактной формы получать хорошие отметки, чтобы в дальнейшем перевестись на бюджет.
Наибольшее влияние на итоговую оценку имеют результаты тестирований и результаты вступительных испытаний. Кроме того, важным оказался уровень подготовки. Это можно объяснить тем, что на специалите-те, как правило, успеваемость выше, чем на бакалавриате. Наличие дополнительной стипендии (например, «губернаторской» в Пермском крае) является производным показателем от суммы баллов ЕГЭ при поступлении. Влияние факультета связано с популярностью отдельных направлений подготовки, а также с тем, что программы специалитета реализуются лишь на половине факультетов ПНИПУ (4 из 8). Пропуск аудиторных занятий оказывает значимо негативное влияние на итоговую оценку по обеим дисциплинам.
Далее произведён расчёт парной корреляции по критерию Пирсона для факторов, влияющих на итоговую оценку на примере математики (Рис. 4). Зависимость наблюдается между суммой баллов при поступлении и баллами по математике (0,87), а также между результатами тестирований, что вполне логично. Кроме того, есть связь между факультетом и уровнем подготовки, это подтверждает предположение о том, что будущие специалисты учатся лучше бакалавров. Проверка на мультиколлинеарность осуществлялась при помощи коэффициента инфляции дисперсии. Для факторов из таблицы 1 рассчитанные значения коэффициента лежат в диапазоне от 1 до 5, что означает отсутствие мультиколлинеарности. Результаты расчёта парной корреляции по критерию Пирсона для физики аналогичны.
Разработана нейронная сеть, прогнозирующая оценку по дисциплине, т. е. решающая задачу регрессии. Подбор весов модели осуществлялся при помощи обучения с учителем, то есть в нейронную сеть поступали исходные данные и результат, который должен быть достигнут. В качестве результата всегда использовалась итоговая оценка по дисциплине. Обучение проводилось в несколько этапов (Табл. 2):
- набор данных о студентах и результаты входного тестирования;
- набор данных о студентах, результаты входного и первого рубежного тестирования;
- набор данных о студентах, результаты входного, первого и второго рубежного тестирования (для математики).
Нейронная сеть в данном исследовании создана после обучения студентов, и её прогнозный потенциал можно оценить только на первокурсниках набора 2024/25 учебного года и последующих. Поэтапное обучение необходимо для того, чтобы продемонстрировать, какую точность можно получить в начале (после входного тестирования) и в середине семестра (после рубежных).
Обучающая и тестовые выборки были полностью различны, чтобы избежать «запоминания» моделью входных и выходных данных. Для оценки качества прогнозов нейронной сети использовалась средняя абсолютная ошибка на тестовом наборе данных (MAE - Mean Absolute Error), результаты обучения нейронных сетей на разных наборах данных представлены в таблице 2.
Наборы данных выбраны в хронологическом порядке проведения контрольных мероприятий. Для дисциплины «Математика» ошибка прогноза после входного тестирования составляет 0,72 балла, для физики -0,32, т. е. менее 1 балла. Таким образом, уже в сентябре можно выделить группу риска, то есть обучающихся с прогнозным баллом менее 3,7, которые потенциально могут не сдать экзамен на положительную оценку, и предусмотреть для них корректирующие мероприятия. Далее, после проведения рубежных тестирований, ошибка прогноза снижается до 0,59 балла по математике и до 0,31 по физике. Это объясняется тем, что материал контролируемый в рубежных тестированиях присутствует и в программе экзамена, успешная сдача тестов напрямую влияет на успешную сдачу экзамена. Разумеется, чем точнее прогноз, тем лучше. Но для решения поставленной цели в части
Рис. 4. Результаты расчёта парной корреляции между факторами: 1 - возраст; 2 - пол; 3 - гражданство; 4 - тип населённого пункта по прописке; 5 - проживание в общежитии вуза; 8 - факультет; 9 - уровень квалификации; 10 - вид конкурса; 11 - входное тестирование; 12 - первое рубежное тестирование; 13 - второе рубежное тестирование; 14 - губернаторский стипендиат; 15 - социальная стипендия; 16 - пропуск аудиторных занятий,
в часах; 17 - оценка за экзамен
Fig. 4. Results of the calculation of the pair correlation between the factors: 1 - age; 2 - gender; 3 - citizenship; 4 - type of settlement by registration; 5 - accommodation in a university dormitory; 6 - the sum of points upon admission; 7 - points of the entrance test in the discipline; 8 - faculty;
9 - qualification level; 10 - type of competition; 11 - entrance testing; 12 - the first boundary test; 13 - the second boundary test; 14 - governor's scholarship; 15 - social scholarship; 16 - skipping classroom
classes; 17 - assessment for the exam, hours
управления успеваемостью первокурсников, точность прогноза вполне приемлема. При повышении качества прогноза возможно разделение студентов на потоки с базовым, средним и продвинутым уровнем освоения дисциплины.
При анализе результатов работы нейронных сетей интерес представляют пиковые отклонения прогноза от реального значения, а также причины их появления. При предобработке данных по обеим дисциплинам всем студентам, пропустившим тестирования (вне зависимости от причины пропуска), были выставлены оценки «неудовлетворительно». Однако модель не позволяла предсказать
пропуск и выставляла оценку, которую вероятно получил бы студент, если бы проходил контрольное мероприятие, что стало основной причиной пиковых отклонений.
На рисунке 5 представлена схема управления образовательным процессом на основе модели Agile Learning Design (ALG), предполагающая перестройку элементов образовательного процесса под целевую аудиторию.
Мониторинг данных необходим для систематического наблюдения за параметрами образовательного процесса. Это могут быть сведения о текущей успеваемости, посещаемости аудиторных занятий, активности на за-
Таблица 2
Результаты обучения нейронных сетей
Table 2
Neural network training results
№ Набор данных Математика Физика
MAE, балл Размер обучающей выборки Размер тестовой выборки MAE, балл Размер обучающей выборки Размер тестовой выборки
1 Входное тестирование 0,72 850 100 0,32 750 100
2 Входное и первое рубежное тестирования 0,64 850 100 0,31 750 100
3 Входное,первое и второе рубежные тестирования 0,59 850 100 - - -
нятиях, качестве выполнения самостоятельной работы студентов. Все данные должны быть интерпретированы с целью доведения информации до заинтересованных лиц. Эта задача сводится к кластеризации, то есть разделению объектов наблюдения на подгруппы исходя из текущего набора характеристик, перечень возможных состояний объектов должен быть определён заранее. Важной задачей интерпретации является выявление отклонений исследуемых данных от заданных величин, которые должны быть определены индивидуально подсистемой прогнозирования. На первом этапе это может быть прогноз оценки при промежуточной аттестации, в дальнейшем и прочие параметры. До начала изучения дисциплины возможен предварительный прогноз с выявлением группы риска, т. е. студентов, которые потенциально могут не сдать итоговый контроль. Во время образовательного процесса каждый цикл управления, который целесообразно связать с контрольным мероприятием, уточняет прогноз. Управляющее воздействие может быть направлено как на минимизацию неуспевающих, так и на увеличение сложности и/или объёма дисциплины для успевающих студентов. К видам управляющих воздействий можно отнести увеличение числа часов консультаций, корректировку содержания последующих занятий, индивидуальную работу со студентами. В образовательном процессе жёстко заданы временные рамки, поэтому
циклы управления могут иметь фиксированную периодичность или быть привязаны к содержанию программы дисциплины или контактной работе. Использование данной схемы предполагает, что за временной интервал, например, семестр, должно проводиться более одного цикла управления.
Выводы и заключение
Таким образом, на основе проведённого исследования установлено, что большие массивы данных об обучающихся, накопленные образовательными организациями в электронных средах, при внедрении системы их своевременной, автоматизированной и комплексной интерпретации могут служить важным инструментом управления образовательным процессом. Определены группы внутренних (объективных и субъективных) и внешних факторов, влияющих на успеваемость обучающихся политехнического вуза. На примере выборки из четырёх подгрупп факторов (демографических, социальных, академических и экономических) показано, что такие показатели, как расположение предыдущего учебного заведения, сумма баллов ЕГЭ при поступлении, уровень подготовки (бакалав-риат/специалитет), результаты тестирования по двум общеобразовательным дисциплинам (математика, физика) и количество пропусков занятий позволяют с достаточной точностью прогнозировать успеваемость обучающихся. Прогнозный потенциал нейронных сетей де-
Рис. 5. Схема управления образовательным процессом: М - мониторинг; И - интерпретация; П - прогнозирование; УВ - управляющее воздействие;
ЦУ - цикл управления
Fig. 5. Educational process management scheme: M - monitoring; I - interpretation; P - forecasting; UV - control effect; CU - control cycle
лает возможным выявление групп студентов с низкой успеваемостью по конкретной дисциплине ещё до начала обучения.
Разработанная модель управления образовательным процессом в политехническом вузе, основанная на модели Agile Learning Design, позволяет адаптировать каждую дисциплину образовательной программы под текущий контингент обучающихся и проводить необходимые корректирующие мероприятия. Данные мероприятия могут быть направлены либо на достижение всеми студентами одинакового образовательного результата за разный временной интервал (адаптивное обучение), либо на достижение разного образовательного результата (базовый, средний, углублённый) за одинаковый временной интервал.
Предлагаемая схема представляется универсальной и может использоваться как для управления успеваемостью, так и для управления удовлетворённостью. Во втором варианте контрольные мероприятия достаточно заменить на анкетирование и опросы. В качестве перспектив исследования авторы видят расширение и уточнение представленных факторов, повышение точности прогнозной модели, а также разработку стандартных сценариев управляющих воздействий.
Разработанная нейронная сеть создана на данных о студентах, уже прошедших обучение, поэтому направлением дальнейших исследований является проверка качества про-
гнозов модели на неполных данных. Интерес представляет прогнозирование успеваемости первокурсников 2024/25 года набора с поэтапным уточнением данных, как показано в таблице 2, с целью выделения групп риска и внедрения корректирующих мероприятий. При положительном опыте также интерес представляет исследование успеваемости при изучении не только фундаментальных, но и профессиональных дисциплин.
Литература
1. Аликина Е.В. Оценка качества устного последовательного перевода в реальной и учебной ситуации // Вестник Нижегородского государственного лингвистического университета им. Н.А. Добролюбова. 2011. № 13. С. 114— 123. EDN: NDVLIN.
2. Шарова Е.И. Обеспечение качества вузовского образования: адаптация первокурсников (теоретические подходы к постановке проблемы) // Вестник Адыгейского государственного университета. Серия: Педагогика и психология. 2015. № 1(157). С. 119-125. EDN: TVQEBX.
3. Шухман А.Е, Парфенов Д.И, Легашев Л.В, Гришина Л.С. Анализ и прогнозирование успеваемости обучающихся при использовании цифровой образовательной среды // Высшее образование в России. 2021. Т. 30. № 8-9. С. 125-133. DOI: 10.31992/0869-3617-2021-308-9-125-133
4. Захарова ИГ. Методы машинного обучения для информационного обеспечения управления профессиональным развитием студентов // Об-
разование и наука. 2018. Т. 20. № 9. С. 91-114. DOI: 10.17853/ 1994-5639-2018-9-91-114
5. Ternikov A., Blyakher M. Grade inflation and grading process: does faculty workload matter? // Journal of Applied Research in Higher Education. 2024. Vol. ahead-of-print. No. ahead-of-print. DOI: 10.1108/JARHE-06-2023-0247
6. ТитаевК.Д. Академический сговор // Отечественные записки. 2012. № 2(47). С. 184-194. EDN: QYORDZ.
7. Fishman J.A, Clifford P.I. What can mass testing programs do for-and-to the pursuit of excellence in American Education? // Harvard Educational Review. 1964. № 34. Pp. 63-79.
8. Аликина Е.В., Мальцев Д.В. Лингвопедаго-гический дизайн тестовых заданий открытого типа в условиях цифровизации // Высшее образование в России. 2024. Т. 33. № 1. С 128-148. DOI: 10.31992/0869-3617-2024-33-1-128-148
9. Ананьев Б.Г. Избранные психологические труды: в 2-х т. Т. 2. / под ред. А.А. Бодалева и др. М.: Педагогика, 1980. 288 с.
10. Шапоров А.М. Прогнозирование риска отчисления как результат академической неуспешности обучающегося // Ярославский педагогический вестник. 2022. № 1(124). С. 48-55. DOI: 10.20323/1813-145X-2022-1-124-48-55
11. Гилева О.Б. Психофизиологические основы успешности учебной деятельности : монография. Екатеринбург: Изд-во УрГУПС, 2012. 271 с. ISBN: 978-5-94614-223-6.
12. Польдин О.В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Прикладная эконометрика. 2011. № 1(21). С. 56-69. EDN NUEJPN.
13. Быстрова Т.Ю, Ларионова В.А, Сини-цын Е.В., Толмачев А.В. Учебная аналитика МООК как инструмент прогнозирования успешности обучающихся // Вопросы образования. 2018. № 4. С. 139-166. DOI: 10.17323/1814-9545-2018-4-139-166
14. Русаков С.В, Русакова О.Л., Посохина К.А. Нейросетевая модель прогнозирования группы риска по успеваемости студентов первого курса // Современные информационные технологии и ИТ-образование. 2018. Т. 14. № 4. С. 815-822. DOI: 10.25559/ SITITO.14.201804.815-822
15. Кузнецов В.В, Косилов К.В. Влияние объективного состояния и самооценки здоровья на академическую успеваемость у студентов старших курсов медицинских и гуманитарных
специальностей с учётом различных средо-вых факторов // Исследования и практика в медицине. 2020. Т. 7. № 3. С. 108-118. DOI: 10.17709/2409-2231-2020-7-3-11
16. Саловарова Ю.В. Влияние социально-экономических факторов на успеваемость школьников // Окружающая среда и здоровье населения. Материалы VII Всероссийской научно-практической конференции студентов и молодых учёных, Иркутск, 17 декабря 2020 г. Иркутск: Иркутский научный центр хирургии и травматологии, 2020. С. 198-201. EDN: JCOTIM.
17. Най Д.В.К, Орел Е.А, Кочергина Е.В. Факторы «Большой пятёрки» как психологические предикторы академической успеваемости студентов вузов// Психологические исследования. 2013. Т. 6. № 27. С. 4. DOI: 10.54359/ps.v6i27.723
18. Мальцев Д.В, Лазукова Е.А., Репецкий Д.С. Осознанный выбор профессии как доминантный мотив обучения в университете // Перспективы науки и образования. 2022. № 6(60). С. 10-28. DOI: 10.32744/pse.2022.6.1
19. Borrego M, Henderson Ch. Increasing the use of evidence-based teaching in STEM higher education: A comparison of eight change strategies // Journal of Engineering Education. 2014. No. 103. P. 220-252. DOI: 10.1002/jee.20040
20. Мальцев Д.В. Влияние качества образовательных услуг технического университета на трудоустройство выпускников // Перспективы науки и образования. 2020. № 6(48). С. 459-473. DOI: 10.32744/pse.2020.6.35
21. Adebayo B. Cognitive and Non-Cognitive Factors: Affecting the Academic Performance and Retention of Conditionally Admitted Freshmen // Journal of College Admission. 2008. No. 200. Pp. 15-21.
22. Ahmad S, Hussain I., AhmadR, Naseer UdDin M. Performance Based Prediction of the Students in the Physics Subject using Traditional and Machine Learning Approach at Higher Education Level // International Journal of Innovation in Teaching and Learning (IJITL). 2020. Vol. 6. No. 1. P. 174-190. DOI: 10.35993/ijitl.v6i1.997
23. Bin Mat U, Buniyamin N, ArsadP., Kassim R. An overview of using academic analytics to predict and improve students' achievement: A proposed proactive intelligent intervention // 2013 IEEE 5th Conference on Engineering Education (ICEED), 2013. DOI: 10.1109/iceed.2013.6908316
Статья поступила в редакцию 22.07.2024 Принята к публикации 30.09.2024
References
1. Alikina, E.V. (2011). Quality Assessment in Consecutive Interpreting in Real Life and Training Situations. Vestnik Nizhegorodskogo gosudarstvennogo lingvisticheskogo universiteta im. N.A. Dobrolyubova = Bulletin of the Nizhny Novgorod State Linguistic University named after N.A. Dobrolyubov. No. 13, pp. 114-123. Available at: https://www.elibrary.ru/download/ elibrary_15620557_28154580.pdf(accessed 20.07.2024). (In Russ., abstract in Eng.).
2. Sharova, E.I. (2015). Ensuring High Quality of Higher School Education: Adaptation of First-Year Students (Theoretical Approaches to Statement of the Problem). Vestnik Ady'gejskogo gosudarstvennogo universiteta. Seriya: Pedagogika i psixologiya = Bulletin of the Adygea State University. Series: Pedagogy and Psychology. No. 1(157), pp. 119-125. Available at: https://www.elibrary.ru/download/elibrary_23562661_92277657.pdf (accessed 20.07.2024). (In Russ., abstract in Eng.)
3. Shukhman, A.E., Parfenov, D.I., Legashev, L.V., Grishina L.S. (2021). Analysis and Forecasting Students' Academic Performance Using a Digital Educational Environment. Vysshee obrzovanie v Rossii = Higher Education in Russia. Vol. 30, no. 8-9, pp. 125-133, doi: 10.31992/0869- 36172021-30-8-9-125-133 (In Russ., abstract in Eng.).
4. Zakharova, I.G. (2018). Machine Learning Methods of Providing Informational Management Support for Students' Professional Development. Obrazovanie i nauka = The Education and Science Journal. No. 9(20), pp. 91-114, doi: 10.17853/1994-5639- 2018-9-91-114 (In Russ., abstract in Eng.)
5. Ternikov, A., Blyakher, M. (2024). Grade Inflation and Grading Process: Does Faculty Workload Matter? Journal of Applied Research in Higher Education. Vol. ahead-of-print, no. ahead-of-print, doi: 10.1108/JARHE-06-2023-0247
6. Titaev, K.D. (2012). [Academic Collusion]. Otechestvenny'e zapiski=Domestic Notes. No. 2(47), pp. 184-194. Available at: https://www.elibrary.ru/download/elibrary_20132710_48295266. pdf (accessed 20.07.2024). (In Russ., abstract in Eng.).
7. Fishman, J.A., Clifford, P.I. (1964). What Can Mass Testing Programs Do For-And-To the Pursuit of Excellence in American Education? Harvard Educational Review. No. 34, pp. 63-79.
8. Alikina, A.V., Maltsev, D.V. (2024). Linguo-Pedagogical Design of Open Question Items in the Context Of Digitalization. Vysshee obrazovanie v Rossii = Higher Education in Russia. Vol. 33, no. 1, pp. 128-148, doi: 10.31992/0869-3617-2024-33-1-128-148 (In Russ., abstract in Eng.).
9. Ananyev, B.G. Izbrannye psikhologicheskie trudy [Selected Psychological Works: In 2 volumes]. Moscow: Pedagogy, 1980, Vol. 2, 288 p. (In Russ.).
10. Shaporov, A.M. (2022). Forecasting the Risk of Expulsion from the University as a Result of Academic Failure of the Student. Yaroslavskij pedagogicheskij vestnik = Yaroslavl Pedagogical Bulletin. No. 1, pp. 48-55, doi: 10.20323/1813-145X-2022-1-124-48-55 (In Russ., abstract in Eng.).
11. Gileva, O.B. Psikhofiziologicheskie osnovy uspeshnosti uchebnoi deiatelnosti [Psychophysi-ological Foundations of the Success of Educational Activity]. Yekaterinburg: Publishing house of UrGUPS, 2012. 271 p. ISBN: 978-5-94614-223-6. (In Russ.).
12. Poldin, O.V. (2011). [Forecasting Academic Performance in Higher Education According to the Results of the Unified State Exam ]. Prikladnaya ekonometrika = Applied Econometrics. No. 1(21), pp. 56-69. Available at: https://www.elibrary.ru/download/eli-brary_16367420_78934762.pdf (accessed 20.07.2024). (In Russ., abstract in Eng.).
13. Bystrova, T.Y., Larionova, V.A., Sinitsyn, E.V., Tolmachev, A.V. (2018). Learning Analytics in Massive Open Online Courses as a Tool for Predicting Learner Performance. Voprosy' obrazo-vaniya = Questions of Education. No. 4, pp. 139-166, doi: 10.17323/1814-9545-2018-4-139-166 (In Russ., abstract in Eng.).
14. Rusakov, S.V., Rusakova, O.L., Posokhina, K.A. (2018). Neural Network Model of Predicting the Risk Group for the Accession of Students of the First Course. Sovremenny^e informacionnye texnologii i IT-obrazovanie = Modern Information Technologies and IT Education. Vol. 14, no. 4, pp. 815-822, doi: 10.25559/SITITO.14.201804.815-822 (In Russ., abstract in Eng.).
15. Kuznetsov, V.V., Kosilov, K.V. (2020). The Impact of the Objective State and Self-Esteem of Health on Academic Performance in Senior Students of Medical and Humanitarian Specialties, Taking into Account Various Environmental Factors. Issledovaniya i praktika v medicine = Research and Practice in Medicine. Vol. 7, no. 3, pp. 108-118, doi: 10.17709/2409-2231-2020-73-11 (In Russ., abstract in Eng.).
16. Salovarova, Yu.V. (2020). [The Influence of Socio-Economic Factors on School Performance]. Okruzhayushhaya sreda i zdorov'e naseleniya : materialy" VII Vserossijskoj nauchno-prrak-ticheskoj konferencii studentov i molody'x uchenyX, Irkutsk, 17 dekabrya 2020 goda = Environment and public health. Materials of the VII Charter of the All-Russian Scientific and Practical Conference of Students and Young Scientists, Irkutsk, December 17, 2020. Irkutsk: Irkutsk Scientific Center of Surgery and Traumatology, pp. 198-201. Available at: https://eli-brary.ru/download/elibrary_44440902_80419289.pdf (accessed 20.07.2024). (In Russ.).
17. Nai, D.V.K., Orel E.A., Kochergina E.V. (2013). ["Big Five" Factors as Psychological Predictors of Academic Performance of University Students]. Psikhologicheskie issledovaniya = Psychological Research. Vol. 6, no. 27, p. 4, doi: 10.54359/ps.v6i27.723 (In Russ., abstract in Eng.).
18. Mal'cev, D.V., Lazukova, E.A., Repeckij, D.S. (2022). Conscious Choice of Profession as the Dominant Motive of Studying at the University. Perspektivy nauki i obrazovaniya = Prospects of Science and Education. No. 6(60), pp. 10-28, doi: 10.32744/pse.2022.6.1 (In Russ., abstract in Eng.).
19. Borrego, M., Henderson, Ch. (2014). Increasing the Use of Evidence-Based Teaching in STEM Higher Education: A Comparison of Eight Change Strategies. Journal of Engineering Education. No. 103, pp. 220-252, doi: 10.1002/jee.20040
20. Maltsev, D.V. (2020). Influence of the Quality of Educational Services of a Technical University on the Employment of Graduates. Perspektivy nauki i obrazovania = Perspectives of Science and Education. Vol. 48, no. 6, pp. 459-473, doi: 10.32744/pse.2020.6.35 (In Russ., abstract in Eng.).
21. Adebayo, B. (2008). Cognitive and Non-Cognitive Factors: Affecting the Academic Performance and Retention of Conditionally Admitted Freshmen. Journal of College Admission. No. 200, pp. 15-21.
22. Ahmad, S., Hussain, I., Ahmad, R., Naseer Ud Din, M. (2020). Performance Based Prediction of the Students in the Physics Subject using Traditional and Machine Learning Approach at Higher Education Level. International Journal of Innovation in Teaching and Learning (IJITL). Vol. 6, no. 1, pp. 174-190, doi: 10.35993/ijitl.v6i1.997
23. Bin Mat, U., Buniyamin, N., Arsad, P., Kassim, R. (2013). An Overview of Using Academic Analytics to Predict And Improve Students' Achievement: A Proposed Proactive Intelligent Intervention. 2013 IEEE 5th Conference on Engineering Education (ICEED), doi: 10.1109/ iceed.2013.6908316
The paper was submitted 22.07.2024 Accepted for publication 30.09.2024
