ИСПОЛЬЗОВАНИЕ ИНФОРМАЦИОННЫХ СИСТЕМ ДЛЯ ОЦЕНКИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ПРЕПОДАВАТЕЛЕЙ ВУЗА

Алисултанова Э.Д.; Моисеенко Н.А.; Албакова А.А.

Использование информационных систем для оценки научной деятельности преподавателей

вуза

Эсмира Докуевна Алисултанова

доктор педагогических наук, профессор, директор Института прикладных информационных технологий Грозненский государственный нефтяной технический университет Грозный, Россия [email protected] 0000-0000-0000-0000

Наталья Анатольевна Моисеенко

кандидат педагогических наук, доцент, заведующая кафедрой «Информационные технологии» Грозненский государственный нефтяной технический университет Грозный, Россия [email protected] 0000-0000-0000-0000

Аминат Ахмедовна Албакова

ассистент кафедры «Информационные технологии» Грозненский государственный нефтяной технический университет Грозный, Россия [email protected] 0000-0000-0000-0000

Поступила в редакцию 16.09.2021 Принята 13.11.2021 Опубликована 20.11.2021

С> 10.25726/г6946-2540-3679-е

Аннотация

В ходе всеобъемлющей цифровизации образования все больше растет интерес к оценке качества исследовательской деятельности научно-педагогических работников учреждений высшего образования, изучение возможностей открытых цифровых информационных систем, возникает вопрос определения показателей эффективности научных исследований для их оптимального представления в российском и международном образовательном пространстве. В исследованиях последних лет об отношении авторов к внедрению политики открытого доступа отмечаются перспективные тенденции и инициативы распространение исследований в открытом доступе и использования электронных журналов для распространения результатов научных исследований. Современные тенденции открытого доступа обусловили использование открытых наукометрических систем источниками данных для получения значений показателей оценивания исследовательской деятельности для самых влиятельных международных и российских рейтингов, что вызывает постоянный интерес руководства высших учебных заведений и обусловливает важность вопроса анализа результатов научной деятельности научных работников высших учебных заведений. Анализ исследований свидетельствует о положительном опыте использования открытых наукометрических и библиометрических баз в оценке результатов исследовательской деятельности научно-педагогических работников заведения высшего образования. Среди открытых информационных систем для анализа результатов исследовательской деятельности ученых педагогических работников учеными выделяются: открытые наукометрические и библиометрические системы, цифровые институциональные репозитории, системы альтернативной метрики.

Ключевые слова

Цифровизация, образование, базы, библиометрия.

Введение

Наукометрические и библиометрические базы данных позволяют осуществлять поиск научных публикаций, и также проводить наукометрический анализ публикационной активности ученых, отслеживать цитируемость научных публикаций, путем сбора с открыть источников и анализа количественных показателей - количества публикаций в ведущих научных журналах, количества цитат, индексов научного цитирования (h-индекс, индекс Хирша), определение показателя влиятельности научного издания (импакт-фактора) (Gardener, 2009).

Наиболее распространенными международными наукометрическими системами являются базы данных Scopus, Web of Science( WoS), Mendeley, Scimago Journal & Country Rank (SJR), Journal Citation Reports (JCR), Google Scholar, Research Gate. Исследователями отмечаются базы данных Scopus и Web of Science - самые авторитетные международные коммерческие реферативные и наукометрические базы данных, которые осуществляют индексирования научных публикаций во влиятельных журналах, которые включены в индекс. Индекс базы данных Scopus на сегодняшний день содержит более 5000 изданий, 70000 профилей ученых, более 70 миллионов записей. Система Scopus может использоваться научно-педагогическими работниками для поиска научных исследований в ведущих международных журналах, отслеживание динамики цитирования научных публикаций, анализа индексов цитирования авторов, определение влиятельности научного издания (импакт-фактор). Система Scopus также имеет мощный аналитический инструмент SciVal, который позволяет анализировать развитие определенного направления исследований, осуществлять стратегическое планирование развития научной деятельности, осуществлять поиск межотраслевого соавторства (Venkatesh, 2003).

Еще одной авторитетной коммерческой наукометрической и библиометрической базой данных является Web of Science (WOS) (Frydenberg, 2018). Система WOS также может использоваться как реферативная база для поиска научных публикаций и имеет наукометрические инструменты для анализа индексов цитирования, выстраивание связей, путем сравнения количественных показателей учреждений и организаций, дают возможность выявлять перспективные тенденции и направления исследований в различных областях науки, определять перспективы и эффективность сотрудничества научных работников и научных коллективов (Apuke, 2018).

Материалы и методы исследования

Системы Scopus и WOS позволяют осуществлять наукометрический анализ продуктивности ученого, путем анализа динамики количества публикаций во влиятельных международных изданиях, влиятельности и востребованности научной работы анализируя динамику количества и индексов цитирований в разрезе лет.

Среди недостатков наукометрических систем Scopus и Web of Science исследователем отмечается медленное исправление ошибок в цитировании, ошибки в транскрипции фамилии автора, наличие проиндексированных статей с отсутствующим названием или фамилией автора, отсутствует информация о принадлежности автора. Исследователем акцентируется внимание, что при оценке научной работы следует учитывать возможность технических ошибок и недостатков систем. Для эффективного анализа исследовательской деятельности научно-педагогических работников учреждения высшего образования необходимо, чтобы деятельность ученых была достаточно представлена в базах данных Scopus и WoS, то есть подавляющее большинство статей были опубликованы именно в изданиях включенных в их индекс или цитировались такими изданиями (Opri§, 2018).

Еще одной базой данных от компании Elsevier является система Mendeley - бесплатная открытая библиографическая база данных, которая позволяет осуществлять поиск научных публикаций, объединять их в собственную библиотеку, автоматически генерировать библиографические описания публикаций. Система позволяет ученым создавать и настраивать собственные профили, синхронизировать ORCID, импортировать в профиль публикации из базы Scopus или добавлять

публикации не включены в базу Scopus вручную и автоматически импортировать метаданные по DOI. Система предоставляет возможности для налаживания научного сотрудничества, создавать или становиться участником тематической сообщества, добавлять резюме и создавать и искать актуальные вакансии работы (Hsu, 2020).

Система имеет наукометрический инструмент, который предоставляет статистику цитирования публикации и количества пользователей, которые добавили данную публикацию в собственные библиотеки, их статистическое распределение по научным степеням и отраслям наук.

Результаты исследования и обсуждение

которой является то, что ее индекс не ограничивается определенным перечнем журналов, а шире охватывает веб-пространство, она индексирует публикации на сайтах электронных журналов, репозиториев е-конференций, персональных блогах ученых и тому подобное. Для эффективного индексирования веб-ресурсы должны быть основаны на платформах со специальным метатегами (EPrints, DSpace, Open Conference System), из которых роботом системы Google Scholar приобретаются основные мета-данные публикации или файлы публикаций оформленные с определенными требованиями по форматированию документа - оформление заголовков персональных данных авторов основного содержания статьи, списка использованных источников и тому подобное (Harlen, 2013).

При осуществлении поиска в системе Google Scholar по умолчанию первыми отображаются совпадения ключевого запроса с именами в профилях ученых, а после них самыми релевантными результатами отображаются публикации с наибольшим количеством цитат, которые максимально соответствуют ключевому запросу. Результаты поиска ссылку для перехода на полнотекстовые варианты публикаций, фамилии авторов с возможностью перехода на персональный профиль автора в Google Scholar, количество источников цитирования публикации. Результаты поиска можно фильтровать по периоду выпуска-за текущий год, последние два и 5 лет (McCallin, 2012).

Ученые заявляют о возможности использования системы Google Scholar для оценки исследовательской деятельности путем создания личных или коллективных профилей ученых, которые ученый формирует самостоятельно, добавляя в него проиндексированные системой публикации. Профиль ученого имеет инструментарий для анализа статистических данных о цитируемости публикаций в разрезе лет, дает возможность отслеживать где были процитированы работы, анализировать доступность собственных исследований мировому научному сообществу. Оценка цитирование содержит общее количество цитат, показатели цитирования индекс Гирша (h-индекс) и i-10 индекса, которые исчисляются на основе общего количества публикаций и количества цитат отдельным показателям за весь период научной работы и за последние 5 лет в цифровом виде и в виде сравнительной гистограммы. С помощью профиля Google Scholar ученые могут отслеживать развитие современных исследований, настроив оповещения на адрес электронной почты. Но система Google Scholar не содержит такого мощного наукометрического инструментария как в системах Scopus и Web of Science (Elphick, 2018).

Для реализации сравнительного анализа публикационной активности ученых исследователями из Центра исследований социальных коммуникаций была разработана и поддерживается информационно-аналитическая система "Библиометрика российской науки". Информационно-аналитической системой собираются индексы цитирования открытых профилей в системе Google Scholar ведущих ученых, научных коллективов и учреждений, приславшие ссылку на свои профили разработчикам системы. Системой "Библиометрика российской науки" собираются данные индексов худшая из открытых профилей Google Scholar и отражаются в сравнительной таблице, в которой можно осуществлять фильтрацию по индексу худшая, по отраслям наук, учреждениям, по городам (Roumell, 2017).

Исследования зарубежных ученых свидетельствуют, что профиль ученого в Google Scholar потенциально может быть инструментом для расширения видимости научного исследования, поскольку публичный профиль делает доступным биографию и публикации ученого открытыми и доступными для

ознакомления для ученых мира, а также является мощным инструментом для подбора научной литературы для проведения исследований (Nejkovic, 2018).

Стоит отметить еще одну открытую библиометрическую систему - Research Gate. Система Research Gate индексирует, размещены в открытом доступе научные публикации и позволяет ученому накапливать в своем профиле архив собственных публикаций, мониторить статистические данные по цитированию собственных научных разработок, группировать публикации по темам и направлениям исследования, знакомиться с публикациями коллег. Система имеет наукометрический инструментарий для определения значения цитируемости научных публикаций, цитирование без самоцитирования, собственной оценки научной репутации ученого - RG Score, которая базируется на социальном взаимодействии авторов и определяется количеством публикаций и оценкой работы других ученых с ними - количеством вопросов, ответов и подписчиков и индекса научного интереса к исследованию -Total Research Interest, который зависит от количества цитат, просмотров полнотекстовых вариантов публикаций, рекомендаций (Alfalah, 2018).

Система Research Gate позволяет налаживать научную коммуникацию и сотрудничество на международном уровне, поскольку имеет мощные инструменты социальной сети для педагогов -возможность создавать и участвовать в обсуждениях актуальных научных вопросов по тематике исследования, находить публикации по теме собственного исследования, комментировать, настраивать отслеживание за обновлениями коллег, наполнять профиль личной информацией относительно места работы, образования, знания языков, приобретенного профессионального опыта и навыков, преподаваемых дисциплин, участия в проектах, что позволяет находить единомышленников, соавторов будущих доработок, продвигая таким образом, научные исследования отечественных ученых в российском и международном научном пространстве (Abu-Al-Aish, 2013).

Полезной для ученых может быть база данных Zenodo - открытая реферативная и библиографическая база данных, в которой ученый может самостоятельно размещать в открытом доступе статьи, лекции, презентации, видео-материалы, аудио-материалы, патенты и т. п. с любых отраслей науки. Для этого ученому нужно создать профиль в системе и присоединить к нему документы, загрузив файл публикации и заполнив основные мета-данные публикации. Если публикации не было присвоен идентификатор DOI от издательства, ей может быть присвоен уникальный DOI от системы Zenodo для обеспечения корректного индексирования бибилометрическими и наукометрическими базами данных и цитирования. Публикации могут быть сгруппированы по сообществам и грантам, что дает возможность формировать архив исследований по определенной теме или Гранту. После публикации Zenodo предоставляет автору статистику общего количества просмотров и загрузок публикации, но информации по цитированию система не содержит. Возможности поиска системы ограничены собственной базой данных, но размещенные публикации могут быть проиндексированы другими библиометрическими и наукометрическими базами данных и поисковыми системами (Shepherd, 2016).

Создание профилей и присоединения публикаций в библиографических базах данных, таких как Google Scholar, Research Gate и Mendeley, имеет положительное влияние на увеличение видимости, прозрачности результатов научных исследований в Интернет-пространстве и, как следствие, на рост цитируемости ученого (Cohen, 2015).

Важность создания и актуализация данных в профилях отечественных ученых в Google Scholar подтверждается и тем, что данные из нее используются для построения международных и российских рейтингов, в частности Webometrics ranking of world's universities, Transparent ranking: Top Universities by Google Scholar Citations, "Консолидированный рейтинг заведений высшего образования России", "ТОП-100 Россия". Цитирование в влиятельных научных журналах учитываются в авторитетных международных рейтингах - «Академическом рейтинге университетов мира (ARWU), «QS Top University Ranking», вебометрическом рейтинге университетов мира «Webometrics» и русских - «Топ-100 Россия».

При размещении научных публикаций в открытом доступе вокруг научного исследования накапливается большое количество онлайновой активности, поэтому встает вопрос ее качественной оценки и статистического анализа для определения влияния и результативности. Эффективными в этом

могут быть методы альтернативной метрики - альтметрики. К альтметрическим показателям относят количество просмотров, загрузок, упоминаний научных исследований в сети Интернет.

Выделяется платформа Altmetric - платформа для анализа распространенности научного исследования, которая отслеживает онлайновые действия вокруг научной публикации - имеющиеся комментарии, онлайн-упоминания публикации, источники комментирования. Платформа Altmetric отслеживает онлайн-упоминания научного исследования в более 2000 источников СМИ, платформах для открытого рецензирования (Pubpeer, Publons), Википедии, открытых учебных программах (Open Syllabus), девяти международных патентных ведомств, наукометрических базах (Web of Science), платформа для рекомендаций ученых (Faculty Opinions), социальных сетях (Facebook, Twitter, LinkedIn), свыше 9000 академических и неакадемических блогах, мультимедийных платформах (YouTube, Reddit). Таким образом платформа Altmetric обеспечивает всеобъемлющий охват онлайн-взаимодействия вокруг научной публикации и может быть использована исследователями, организациями, грантодателями, инвесторами, иными заинтересованными лицами для анализа влияния исследования, прогнозирования перспектив дальнейшего развития научной отрасли и принятия управленческих решений.

В целом использование библиографических и наукометрических баз данных для анализа эффективности исследовательской деятельности имеет положительный опыт в российском и мировом научном пространстве, но сравнение результативности деятельности ученых по значениям индексирования, h-индекса и других наукометрических показателей содержит и ряд недостатков (Ortega-Sánchez, 2019):

- случаи дублирования цитат из индексирования библиографическими базами вариантов названий и аннотаций публикаций на нескольких языках и размещение публикаций на нескольких платформах;

- невозможность определить персональный вклад конкретного автора в исследованиях в соавторстве;

- возможность ошибок в оценке цитирования через некорректно оформленные библиографические ссылки на публикацию;

- не учитывается контекст цитирования публикации, могут быть включены цитаты публикаций, которые критикуются в научной работе;

- существуют технологии искусственного повышения значения индекса цитирования, договоренности ученых о взаимоцитировании.

Также стоит отметить, что библиометрические и наукометрические базы данных не охватывают все показатели исследовательской деятельности. Исследователями определяется, что требуют определения критерии и показатели оценки качества исследований в области образования, которые не ограничиваются только цитированием статей, а включают учебники, монографии, пособия, сборники научных трудов. При оценивании предлагается использование показателей количества просмотров и загрузок электронных копий цифровых образовательных ресурсов учебного назначения, как критерия использования научной продукции.

Для оптимального оценивания эффективности исследовательской деятельности научно-педагогических работников заведения высшего образования важным является теоретическое обоснование и определение критериев и показателей и источников данных для их получения, для применения целостной системы комплексного анализа научной деятельности, которая обеспечит полноценное охват различных аспектов исследовательской деятельности научно-педагогических работников заведения высшего образования и позволит качественно ее анализировать.

Заключение

Анализ последних исследований показал, что использование библиометрических и наукометрических баз данных в оценке результатов исследовательской деятельности поддерживает политику открытого доступа, открытости, прозрачности научных исследований в российском и мировом научном пространстве. Открытые библиометрические и наукометрические системы могут эффективно использоваться для анализа публикационной активности научно-педагогических работников учреждений

высшего образования, но использование отдельных баз и индексов имеют ряд недостатков и не обеспечивает полноценного охвата понятия исследовательской деятельности. Дальнейшего исследования требует вопрос определения показателей и критериев исследовательской деятельности научно-педагогических работников, которые позволят качественно ее измерять и анализировать; формирование и разработки единой модели системы мониторинга, которая будет обеспечивать целостное охват всех направлений исследовательской деятельности научно-педагогических работников заведения высшего образования с использованием данных из открытых источников и баз данных.

Список литературы

1. Abu-Al-Aish A., Love S. Factors influencing students' acceptance of m-learning: An investigation in higher education // The International Review of Research in Open and Distance Learning. - 2013. - Vol. 14 (5). - P. 82-107. DOI: https://doi.org/10.19173/irrodl.v14i5.1631

2. Alfalah S. F. M. Perceptions toward adopting virtual reality as a teaching aid in information technology // Education and Information Technologies. - 2018. - Vol. 23 (6). - P. 2633-2653. DOI: https://doi.org/10.1007/s10639-018-9734-2

3. Apuke O. D., Iyendo T. O. University students' usage of the internet resources for research and learning: forms of access and perceptions of utility // Heliyon. - 2018. - Vol. 4 (12). - e01052. DOI: https://doi.org/10.1016/j.heliyon.2018.e01052

4. Cohen A., Soffer T. Academic Instruction in a Digital World: The Virtual TAU Case // Procedia - Social and Behavioral Sciences. - 2015. - Vol. 177. - P. 9-16. DOI: https://doi.org/10.1016/j.sbspro.2015.02.322

5. Elphick M. The Impact of Embedded iPad Use on Student Perceptions of Their Digital Capabilities // Education Sciences. - 2018. - Vol. 8 (3). - P. 102. DOI: https://doi.org/10.3390/educsci8030102

6. Frydenberg M., Andone D. Enhancing and transforming global learning communities with augmented reality // Journal of Information Systems Education. - 2018. - Vol. 29 (1). - P. 37-44. URL: http://jise.org/Volume29/n1/JISEv29n1p37.html

7. Gardener S. K. Conceptualizing success in doctoral education: Perspectives of faculty in seven disciplines // The Review of Higher Education. - 2009. - Vol. 32 (3). - P. 383-406. DOI: https://doi.org/10.1353/rhe.0.0075

8. Harlen W. Inquiry-based learning in science and mathematics // Review of Science Mathematics and ICT Education. - 2013. - Vol. 7 (2). - P. 9-33. URL: http://grissh.gr/article/55213320d36a369b19000022

9. Hsu Y.-C. Exploring the Learning Motivation and Effectiveness of Applying Virtual Reality to High School Mathematics // Universal Journal of Educational Research. - 2020. - Vol. 8 (2). - P. 438-444. DOI: https://doi.org/10.13189/ujer.2020.080214

10. McCallin A., Nayar S. Postgraduate research supervision: A critical review of current practice // Teaching in Higher Education. - 2012. - Vol. 17 (1). - P. 63-74. DOI: https://doi.org/10.1080/13562517.2011.590979

11. Nejkovic V., Tosic M. Exploring factors for effective use of online information in SPOC within the engineering education // Computer Applications in Engineering Education. - 2018. - Vol. 26 (5). - P. 14571469. DOI: https://doi.org/10.1002/cae.21991

12. Opri§ I., Costina§ S., Ionescu C. S., Gogoa§e Nistoran D. E. Step-by-step augmented reality in power engineering education // Computer Applications in Engineering Education. - 2018. - Vol. 26 (5). - P. 1590-1602. DOI: https://doi.org/10.1002/cae.21969

13. Ortega-Sánchez D., Gómez-Trigueros I. M. Massive Open Online Courses in the Initial Training of Social Science Teachers: Experiences, Methodological Conceptions, and Technological Use for Sustainable Development // Sustainability. - 2019. - Vol. 11 (3). - P. 578. DOI: https://doi.org/10.3390/su11030578

14. Roumell E. A. L., Bolliger D. U. Experiences of Faculty with Doctoral Student Supervision in Programs Delivered via Distance // The Journal of Continuing Higher Education. - 2017. - Vol. 65 (2). - P. 8293. DOI: https://doi.org/10.1080/07377363.2017.1320179

15. Shepherd C. E., Bolliger D. U., Dousay T. A., Persichitte K. Preparing Teachers for Online Instruc-tion with a Graduate Certificate Program // TechTrends. - 2016. - Vol. 60. - P. 41-47. DOI: https://doi.org/10.1007/s11528-015-0015-2

16. Venkatesh V., Morris M. G., Davis G. B., Davis F. D. User acceptance of information technology: Toward a unified view // MIS Quarterly. - 2003. - Vol. 27 (3). - P. 425-478. DOI: https://doi.org/10.2307/30036540

The use of information systems to evaluate the scientific activity of university teachers Esmira D. Alisultanova

Doctor of Pedagogical Sciences, Professor, Director of the Institute of Applied Information Technologies Grozny State Petroleum Technical University Grozny, Russia [email protected] 0000-0000-0000-0000

Natalia A. Moiseenko

Candidate of Pedagogical Sciences, Associate Professor, Head of the Department of Information Technology Grozny State Petroleum Technical University Grozny, Russia [email protected] 0000-0000-0000-0000

Aminat A. Albakova

assistant of the Department of "Information Technology" Grozny State Petroleum Technical University Grozny, Russia [email protected] 0000-0000-0000-0000

Received 16.09.2021 Accepted 13.11.2021 Published 20.11.2021

< 10.25726/r6946-2540-3679-e

Abstract

In the course of comprehensive digitalization of education, there is an increasing interest in assessing the quality of research activities of scientific and pedagogical workers of higher education institutions, studying the possibilities of open digital information systems, the question arises of determining the effectiveness of scientific research for their optimal presentation in the Russian and international educational space. Recent studies on the attitude of authors to the implementation of the open access policy have noted promising trends and initiatives for the dissemination of research in open access and the use of electronic journals for the dissemination of research results. Modern trends in open access have led to the use of open scientometric systems by data sources to obtain the values of research activity evaluation indicators for the most influential international and Russian ratings, which arouses the constant interest of the management of higher educational institutions and determines the importance of the issue of analyzing the results of scientific activity of researchers of higher educational institutions. The analysis of the research testifies to the positive experience of using open scientometric and bibliometric databases in evaluating the results of research activities of scientific and

pedagogical staff of higher education institutions. Among the open information systems for analyzing the results of research activities of scientists and teaching staff, scientists distinguish: open scientometric and bibliometric systems, digital institutional repositories, alternative metrics systems.

Keywords

Digitalization, education, databases, bibliometry.

References