CC BY
0Использование средств автоматизированной оценки качества информационных ресурсов
Самсонова Анастасия Станиславовна,
младший научный сотрудник отдела научно-исследовательских и научно-информационных работ, Всероссийский институт научной и технической информации Российской академии наук (ВИНИТИ РАН) E-mail: [email protected]
Ввиду увеличения цифровых ресурсов (далее - ЦР) и необходимости цифровизации всех сфер, особую роль играет оценка качества цифрового контента для принятия решений использования ЦР. Целью работы - описание инструментов работы с информационными ресурсами на примере образовательной сферы. Использование средств автоматизированной оценки качества информационных ресурсов разнообразит контент и улучшит его качество в педагогической практике. Задачи стояли в рассмотрении компонентов образовательного информационного ресурса (далее - ОИР), предложении и описании методов подбора ОИР исходя из оценки их эффективности и качества с применением автоматизированных компонентов. Использованы методы структурированного и системного анализа. Описана методика использования инструментальной системы оценивания качества учебного контента; обсуждаются особенности создания критериально-оценочного аппарата диагностики эффективности и качества инновационной модели электронных образовательных ресурсов; предлагается использование математических методов проведения оценки с учетом алгоритма нечеткого вывода Мамдани с разработкой лингвистической шкалы; описаны и представлены программные комплексы, которые позволяют выполнять автоматизированную оценку ОИР. Представленные инструменты обладают практической значимостью и зарекомендовали себя в педагогической практике.
Ключевые слова: цифровые ресурсы, качество, оценка, эффективность, база данных, учебный контент, образование.
Неразрывность связи технологического прогресса и информатизации общества является фактором формирования совершенно новой информационной среды для выполнения ряда важных стратегических задач.
Образовательный информационный ресурс (ОИР) представляет собой совокупность «средств программного, технического и организационного обеспечения, электронных изданий, которые размещаются на электронных устройствах, а также в сети» [1]. Для педагога в настоящее время становится важной задача отбора и подбора тех ОИР, в которых содержится релевантная информация, проверенная и практически значимая. Понимания специфику ОИР, становится понятным механизм проведения оценочных мероприятий и принятия решений о включении ОИР в учебных план.
Анализ научной литературы показал, что ОИР необходимо рассматривать как определенную систему [2,3], в которой можно выделить следующие компоненты:
• структурные элементы - учебные материалы (визуальная информация, аудиоинформация и др.), модуль контроля знаний (тестовый материал, задачи, опросы и др.), инструкция (описание алгоритма работы с ОИР);
• концептуальные блоки ОИР - информационный, контрольно-тестовый, глоссарий;
• направленность использования - при подготовке к занятиям, при организации дистанционного обучения, при организации активных форм работы.
Важность и обязательность использования ОИР обусловлена актуальной направленностью специфики подготовки обучающихся на всех стадия получения образования [4]. Эффективность внедрения и использования ОИР зависит от ряда его характеристик, которые необходимо подвергать оценке. В свою очередь, грамотное формирование информационной среды позволяет педагогу принимать верные управленческие решения. Именно по этой причине необходимо уделять особое внимание к оценке качества информационных образовательных ресурсов.
Опираясь на вышеизложенный анализ особенностей ОИР, необходимо описать конкретные примеры, сделав акцент на автоматизацию процесса. Использование таких инструментов позволит учитывать концепцию системного подхода к оценке ОИР. Описание практики и инструментов позволяет педагогам использовать инновационный и системный подход в создании учебных курсов с качественным контентом.
сз о со "О
1=1 А -1 о
сз т; о m
О от
З
ы о со
А.В. Городович, В.В. Кручинин, И.А. Кречетов, М. Ю. Перминова представили методику использования инструментальной системы оценивания качества учебного контента. Описан инструмент оценивания электронных учебно-методических комплексов (далее - ЭУМКД). Приложение, которое «автоматизирует процесс оценки состоит из следующих компонентов: обработка контента, оценка пользовательского интерфейса» [5]. Авторы предлагают использовать инструментальную систему оценивания, которая представлена на Рисунке 1.
о с
U
см о см
Рис. 1. Структура инструментальной системы, предложенная А.В. Городович, В.В. Кручининым, И.А. Кречетовом, М.Ю. Перминовой
Особая роль отведена базе данных, которая хранит анализируемый учебный контент. В свою очередь, стоит отметить, что выгрузка материалов и проверка их наличия в базе данных предполагает дополнительную верификацию и борьбу с неверными, псевдонаучными фактами. Это дополнительно сокращает временные ресурсы педагогу при проверке качества контента.
Алгоритм выполнения оценки следующий:
• определение набора критериев для выполнения оценки (в зависимости от целей оценки и состава оценки);
• отбор критериев из БД (если критерий в наличии, - включаем в оценку; если критерий не в наличии - рефлексия о возможности включения данного критерия в БД);
• формирование процедуры оценивания (экспертные анкеты, веса коэффициентов, определение методов нормализации, формирование пула обобщенных критериев, формирование процедуры их оценивания);
• выбор УЭМКД для дальнейшей оценки. Наличие БД позволяет оценить качество учебного контента не только методом экспертной оценки, но также и на соответствие учебного материала в предлагаемых образовательных курсах. Такой план мероприятий позволяет принимать верные управленческие решения и строить план модернизации образовательного процесса в целом, в т.ч. использовать качественную информацию для проектирования учебных заданий.
Е.А. Белова, Р.Ю. Кольцов, С.В. Дюкова, О.А. Неретина предлагают критериальный анализ оценки популярных хостингов как средства конструирования образовательных ресурсов. Ра-
бота полезна с точки зрения понимания специфики оценки именно платформ для разработки ОИР, что также влияет на принятие управленческих решений касаемо возможностей цифровой инфраструктуры для создания образовательной среды. Педагог может самостоятельно создавать в рамках цифровых платформ такие учебные курсы, которые выполняют релевантные задачи его учебного курса.
Для выполнения оценки таких платформ необходимо учитывать следующие компоненты:
1. Основные характеристики конструкторов - доступность; количество готовых шаблонов; визуальный редактор; собственный домен; уровень пользователей; возможность создания сайта с нуля; возможность редактирования; кастомизация шаблонов (если будет возможность создать что-то своё в рамках портала); наличие рекламы.
2. Отдельные параметры (возможности), которые определяют выбор конструктора для создания ОИР - адаптивность шаблонов под другие устройства (не только доступ на компьютере); возможность интеграции с соц. сетями; поддержка мультимедиа; возможность интерактивного взаимодействия.
С точки зрения инструментов, если задача стоит отбора релевантных ОИР уже созданных, можно использовать ББО-анализ как инструмент автоматизированной оценки качества с точки зрения пользовательского отклика, частоты посещений ресурса и других параметров, которые отвечают поставленной задаче оценочных мероприятий [6,7,8].
Е.Б. Заскалькин, Н.Е. Салтрукович разработали критериально-оценочный аппарат диагностики эффективности и качества инновационной модели электронных образовательных ресурсов. Данный подход внедрялся в практику и интересен с позиции внимания на отдельные компоненты ОИР. В качестве критерия выступала результативность формирования актуальных ИТ-компетенции курсантов старших курсов под воздействием ОИР (в сочетании со специальной методической системой) в процессе обучения. Показателем является оценка значимости и потенциала инновационных ОИР в процессе формирования ИТ-компетенций [9]. Образовательный контент ОИР оценивается по показателям сформированности структуры, содержания и полноты баз данных и знаний, мультимедийности и интерактивности, актуальности и адаптивности ОИР, наличия в составе ОИР средств и систем ситуационного моделирования, а также степени их интеграции в ЭИОС военного института. Среди конкретных методов были использован базово метод экспертной оценки (оценивались сформированные ИТ-компетенции в группах, где использовались и не использовались ОИР). Педагогу важно учитывать общее направление учебного плана и формирование компетенций для выбора качественного ОИР.
Э.К. Лецкий, В.В. Марчелов предложили расширить «функциональность существующих средств автоматизированной оценки качества электронных образовательных ресурсов путем включения в их число начального диалога пользователя с чат-ботом для информирования пользователя об используемых подходах и выяснения его потребностей, блок непрерывного обучения системы» [10] (на основе анализа мнений экспертов), аналитической подсистемы для выявления необходимости корректировать множества исходных признаков, используемых при оценки качества. Функциональные блоки сервиса интеллектуальной оценки представлены на Рисунке 2.
Рис. 2. Функциональные блоки сервиса интеллектуальной оценки (Э.К. Лецкий, В. В. Марчелов)
В качестве оценки обобщенного показателя качества используется линейная функция частных показателей с коэффициентами, определяемыми на основе периодической обработки мнений экспертов. Таким образом, в основе оценки лежит экспертный метод. Педагог, при использовании такого подхода, выполняет задачу инновационной поддержки учебного процесса. С другой стороны, продолжает качественно отбирать нужную информацию.
Исследователи из МГТУ им. Н.Э. Баумана предлагают использовать алгоритм нечеткого вывода Мамдани (МатЬап1А!догйИт) для оценки эффективности информационного ресурса [11]. В данном ключе интересен механизм использования математического инструмента как системной разработки учебного контента педагогом. Дополнительно, можно отметить, что при анализе построенной системы нечёткого вывода возможно принимать решение об использовании данного образовательного информационного ресурса.
Лингвистическая шкала представляет собой определенный набор терм, которые в дальнейшем для респондентов буду понятны (оценка «очень низкая», «низкая», «средняя», «высокая», «очень высокая»), и преобразованы оператором в процессе вычислений. Для фиксации результатов оценки и дальнейшего преобразования, берут во внимание обязательные входные характеристики Х], ]=1,3. Входные данные для проведения оценки представлены в Таблице 1.
Таблица 1. Входные характеристики для оценки ОИР (О.М. Полещук)
№ Параметр Характеристика параметра Термы лингвистических шкал (для оценки) Функции принадлежности входных и выходных лингвистических переменных
1 Отношение числа респондентов, положительно оценивающих данный ОИР, к общему числу респондентов незначительная [0, 0, 0.2, 0.3]
меньше половины [0.2, 0.3,0.45, 0.55]
больше половины [0.45, 0.55, 0.7, 0.8]
значительная [0.7, 0.8, 1, 1]
2 Х2 Средняя оценка респондентов, использовавших данный ОИР при подготовке к определенной дисциплине (контрольному испытанию) неудовлетворительно [2, 2, 3]
удовлетворительно [2, 3, 4]
хорошо [3, 4, 5]
отлично [4, 5, 5]
3 Х3 Отношение числа респондентов, имеющие положительные оценки по определённой дисциплине (контрольному испытанию) и использовавших данный ОИР, к общему числу респондентов меньше половины [0, 0, 0.45, 0.55]
больше половины [0.45, 0.55, 0.8, 0.9]
значительная [0.8, 0.9, 1, 1]
4 Y Эффективность использования образовательного информационного ресурса (ОИР) очень низкая [0, 0, 0.025, 0.225]
низкая [0.025, 0.225, 0.275, 0.475]
средняя [0.275, 0.475, 0.525, 0.725]
высокая [0.525, 0.725, 0.775, 0.975]
очень высокая [0.775, 0.975, 1, 1]
сз о со "О
1=1 А -1 о
сз т; о т
О от
З
и о со
По результатам преобразований, создается нечеткая база знаний согласно правилам нечеткого
вывода (17 правил - зависимостей переменных). В результате делается вывод касаемо эффектив-
о с
U
см о см
ности использования образовательного информационного ресурса по результатам полученного итогового значения. Достоинство предлагаемого метода - возможности аппроксимации сложных зависимостей, которые невозможно задать четко.
Стоит отметить, что роль базы данных в данном случае в блоке управления моделей автоматизированной оценки высока. В случае, если будет дополнительная связь с различного рода платформами (научно-технические библиотеки, электронные библиотеки, базы данных научных организаций и др.), это повысит качество подготавливаемого материала, цифровой платформы и подготовки обучающихся в целом.
Согласно представленному анализу ряда подходов, использование средств автоматизированной оценки качества информационных образовательных ресурсов релевантно для выявления особенностей учебного контента, наличия связующего звена с базами данных, эффективности, адаптивности, актуальности. В целом, данные методы позволяют определить возможности использования ОИР, сэкономить ресурсы на проведение оценочных мероприятий, помочь проанализировать педагогу учебный контент. Показано, что наличие учебной БД позволяет оценить качество учебного контента не только методом экспертной оценки, но также и на соответствие учебного материала в предлагаемых образовательных курсах. Такой системный подход к оценке качества информационных ресурсов позволяет фундаментально и методично подойти к процессу разработки учебных планов.
Литература
1. Шарифуллин Ф.С., Панкова Е.А. Электронные образовательные ресурсы, применяемые в ФГБОУ ВО КНИТУ // Управление устойчивым развитием. 2021. № 1 (32). С. 116-120.
2. Баркалова Н.В. Электронные образовательные ресурсы и их роль в обеспечении учебного процесса // Наука и образование: прошлое, настоящее и будущее: сборник статей межвузовской международной студенческой конференции (Воронеж, 11 июня 2019 г.). Воронеж: филиал ФГБОУ ВО «Ростовский государственный университет путей со- общения» в г. Воронеже, 2019. С.11-12.
3. Фадеева К.Н., Герасимова А.Г., Воронина Д.А. Роль пользовательского интерфейса электронного учебного издания // Цифровые технологии и инновации в развитии науки и образования: сборник научных статей, Чебоксары (08 апреля 2022 г.). Чебоксары: ФГБОУ ВО «Чувашский государственный педагогический университет им. И.Я. Яковлева», 2022. С. 285287.
4. Сухоруков И.С., Голубченко А.И. Успешность обучения у студентов, использующих электронные образовательные ресурсы // Психология - наука будущего: поиск молодых ученых:
материалы региональной научно-практическои конференции студентов и аспирантов (Курск, 16 мая 2019 г.). Курск: Курский государственный университет, 2019. С. 91-94.
5. Городович А.В. Многокритериальное оценивание электронных учебно-методических комплексов // EdCrunch Томск: материалы Меж-дунар. конф. по новым образовательным технологиям. - Томск: ИД Том. гос. унта, 2019. -С.103-112
6. Сабирова И.А. Повышение качества образования в профессиональной физической подготовке курсантов // Наука, инновации, образование: актуальные вопросы и современные аспекты / Под общ. ред. Г.Ю. Гуляева. - Пенза: Наука и Просвещение (ИП Гуляев Г.Ю.), 2022. - С. 101-111. - EDN HLBMOF.
7. Зиновьева Н.Б. Библиометрические и текстологические показатели качества научного текста и направления их трансформации в современной научной сфере Инновационные процессы в информационно-коммуникационной сфере: Сборник материалов Всероссийской научно-практической конференции, Краснодар, 19 марта 2020 года / Ред. А.Н. Дулато-ва, О.Н. Уржумова, Н.Б. Зиновьева. - Краснодар: Краснодарский государственный институт культуры, 2020. - С. 12-16. - EDN AX-EEQJ.
8. Горелова И.В. Технологии SEO -анализа на службе стратегического планирования / И.В. Горелова // Цифровой регион: опыт, компетенции, проекты: Сборник статей Международной научно-практической конференции, Брянск, 30 ноября 2018 года. - Брянск: Федеральное государственное бюджетное образовательное учреждение высшего образования «Брянский государственный инженерно-технологический университет», 2018. - С. 11518. - EDN VTGKGC.
9. Заскалькин Е.Б., Салтруко-вич Н.Е. Критериально-оценочный аппарат диагностики электронных образовательных ресурсов в формировании информационной компетенций выпускников вузов РОСГВАРДИИ ЦИТИСЭ 2021. № 2 (28). С. 293-301
10. Лецкий Э.К. Интеллектуальный сервис оценки качества электронных образовательных ресурсов // Интеллектуальные транспортные системы: материалы Международной научно-практической конференции, Москва, 26 мая 2022 года. - Москва: Российский университет транспорта, 2022. - С. 555-558. - EDN MCXK-WQ
11. Домрачев В.Г., Полещук О.М., Поярков Н.Г. Методы и модели создания и оценки качества образовательных информационных ресурсов // Вестник Московского государственного университета леса - Лесной вестник. 2006. № 3 (45). С. 191-195
THE USE OF AUTOMATED ASSESSMENT OF THE QUALITY OF INFORMATION EDUCATIONAL RESOURCES
Samsonova A. S.
All-Russian Institute of Scientific and Technical Information of the Russian Academy of Sciences (VINITI RAS)
Due to the increase in digital resources (hereinafter referred to as CR) and the need to digitalize all areas, a special role is played by assessing the quality of digital content for making decisions on the use of CR. The purpose of the work is to describe the tools for working with information resources using the example of the educational sphere. The use of automated assessment tools for the quality of information resources will diversify the content and improve its quality in teaching practice. The tasks were to consider the components of an educational information resource (hereinafter referred to as OIR), to propose and describe methods for selecting OIR based on an assessment of their effectiveness and quality using automated components. The methods of structured and systematic analysis are used. The methodology of using an instrumental system for evaluating the quality of educational content is described; the features of creating a criterion-evaluation apparatus for diagnosing the effectiveness and quality of an innovative model of electronic educational resources are discussed; the use of mathematical methods of evaluation is proposed, taking into account the Mamdani fuzzy inference algorithm with the development of a linguistic scale; software complexes that allow automated assessment of OIR are described and presented. The described tools have practical significance and have proven themselves in pedagogical practice.
Keywords: digital resources, quality, evaluation, efficiency, database, educational content.
References
1. Sharifullin F.S., Pankova E.A. Electronic educational resources used in KNITU // Sustainable Development Management. 2021. No. 1 (32). P. 116-120.
2. Barkalova N.V. Electronic educational resources and their role in supporting the educational process // Science and education: past, present and future: collection of articles from the interu-niversity international student conference (Voronezh, June 11, 2019). Voronezh: branch of Rostov State Transport University in Voronezh, 2019. P. 11-12.
3. Fadeeva K.N., Gerasimova A.G., Voronina D.A. The Role of the User Interface of an Electronic Educational Publication // Digital Technologies and Innovations in the Development of Sci-
ence and Education: Collection of Scientific Articles, Cheboksary (April 8, 2022). Cheboksary: FGBOU VO "Chuvash State Pedagogical University named after I. Ya. Yakovlev", 2022. Pp. 285-287.
4. Sukhorukov I.S., Golubchenko A. I . Learning Success of Students Using Electronic Educational Resources // Psychology is the Science of the Future: Search for Young Scientists: Proceedings of the Regional Scientific and Practical Conference of Students and Postgraduates (Kursk, May 16, 2019). Kursk: Kursk State University, 2019. Pp. 91-94.
5. Gorodovich A.V. Multicriteria Assessment of Electronic Educational and Methodological Complexes // EdCrunch Tomsk: Proc. of the Intern. Conf. on New Educational Technologies. - Tomsk: ID Tom. state unta, 2019. - P. 103-112
6. Sabirova I.A. Improving the quality of education in professional physical training of cadets // Science, innovation, education: current issues and modern aspects / Under the general editorship of G. Yu. Gulyaev. - Penza: Science and Education (IP Gu-lyaev G.Yu.), 2022. - P. 101-111. - EDN HLBMOF.
7. Zinovieva N.B. Bibliometric and textual indicators of the quality of a scientific text and directions of their transformation in the modern scientific sphere Innovative processes in the information and communication sphere: Collection of materials of the All-Russian scientific and practical conference, Krasnodar, March 19, 2020 / Ed. A.N. Dulatova, O.N. Urzhumova, N.B. Zinovieva. - Krasnodar: Krasnodar State Institute of Culture, 2020. - P. 12-16. - EDN AXEEQJ.
8. Gorelova I. V. SEO analysis technologies in the service of strategic planning / I.V. Gorelova // Digital region: experience, competencies, projects: Collection of articles from the International Scientific and Practical Conference, Bryansk, November 30, 2018. - Bryansk: Federal State Budgetary Educational Institution of Higher Education "Bryansk State University of Engineering and Technology", 2018. - P. 115-18. - EDN VTGKGC.
9. Zaskal'kin E. B., Saltrukovich N.E. Criteria and evaluation apparatus for diagnosing electronic educational resources in the formation of information competencies of university graduates of ROSGVARDII CITISE 2021. No. 2 (28). P. 293-301
10. Letskiy E.K. Intelligent service for assessing the quality of electronic educational resources // Intelligent transport systems: materials of the International scientific and practical conference, Moscow, May 26, 2022. - Moscow: Russian University of Transport, 2022. - P. 555-558. - EDN MCXKWQ
11. Domrachev V.G., Poleshchuk O.M., Poyarkov N.G. Methods and models for creating and assessing the quality of educational information resources // Bulletin of the Moscow State University of Forestry - Forest Bulletin. 2006. No. 3 (45). P. 191-195
