70УДК 371.3; 371.26 UDC 371.3; 371.26
Радостева Анна Геннадьевна*
Старший преподаватель, Пермский государственный гуманитарно-педагогический университет, Россия, 614990, г. Пермь, ул. Сибирская, 24, тел.: +7 (342) 2151876 (418), e-mail: [email protected]
Radosteva Anna Gennadevna
Senior Lecturer, Perm State Humanitarian Pedagogical University,
Perm, Russia
ОПЫТ ПРОВЕДЕНИЯ КОНТРОЛЯ ЗНАНИЙ НА РАЗНЫХ ЭТАПАХ ОБУЧЕНИЯ В ПЕРИОД ПАНДЕМИИ С ИСПОЛЬЗОВАНИЕМ ДИСТАНЦИОННЫХ ОБРАЗОВАТЕЛЬНЫХ ТЕХНОЛОГИЙ
EXPERIENCE IN CONDUCTING KNOWLEDGE CONTROL AT DIFFERENT STAGES OF LEARNING DURING THE PANDEMIC PERIOD WITH THE USE OF DISTANCE EDUCATIONAL TECHNOLOGIES
Аннотация
Актуальность исследованию придаёт сложившаяся ситуация, при которой, навязанный пандемией формат обучения, являющийся новым, непривычным для большинства пользователей, должен соответствовать ряду требований. А именно, в кратчайшие сроки в доступной и эффективной форме установить взаимодействие обучающихся с преподавателями, при этом быть низкозатратным и доступным в освоении пользователями, имеющими минимальные навыки. Ключевым вопросом во взаимодействии с обучающимися стало проведение текущего, промежуточного и итогового контроля знаний. В статье описано исследование доступности и эффективности применения дистанционных образовательных технологий в учебном процессе на примере корпоративной платформы Microsoft Teams и сетевой системы Moodle. Представлен метод тестирования как эффективный и надежный метод диагностики и контроля знаний в процессе обучения. Описан опыт использования в системе Moodle элемента курса «Тест». На основе диагностики 497 студентов Пермского государственного гуманитарно-педагогического университета, разных форм обучения был сделан вывод о том, что выбор оптимальных дистанционных образовательных технологий позволяет эффективно использовать тест как универсальный и надежный инструмент для диагностики и фиксации усвоенных знаний студентами. Данный ресурс способен органично вписаться в процесс очного обучения, став серьезным инструментом в образовательном процессе. В частности, возможность проведения контрольных мероприятий с помощью дистанционных технологий даже при контактной работе, снимая вопрос об онлайн прокторинге, значительно сократит затраты времени на проверку и интерпретацию результатов, что повысит эффективность работы преподавателя.
Abstract
The relevance to the present study is given by the current situation imposed by the pandemic, the new, unusual, and untested training format, which had to meet a number of requirements in its course. It was necessary to establish the interaction of students with teachers in the shortest possible time and in an accessible and effective form, make it low-cost and accessible for users who have only minimal skills. The key issue in interaction with students was the current, intermediate and final control of
© Радостева А. Г., 2020
knowledge. The article describes a study of the availability and effectiveness of the use of distance learning technologies in the educational process on the example of the corporate platform Microsoft Teams and the Moodle network system. The testing method is presented as an effective and reliable method for diagnosing and controlling knowledge in the learning process. The experience of using the "Test" course element in the Moodle system is described. On the basis of diagnostics of 497 students of Perm State Humanitarian Pedagogical University, different forms of education, it was concluded that the choice of optimal distance learning technologies allows to effectively use the test as a universal and reliable tool for diagnosing and fixing the acquired knowledge students. This resource is able to organically fit into the process of full-time education, becoming a serious tool in the educational process. In particular, the possibility of carrying out control activities using remote technologies, even with contact work, removing the question of online proctoring, will significantly reduce the time spent on checking and interpreting the results, rather than increasing the teacher's efficiency.
Ключевые слова: тест, тестирование, пандемия, дистанционные образовательные технологии, Moodle, MicrosoftTeams
Key words: test, testing, pandemic, distance learning technologies, Moodle, Microsoft Teams.
Введение
Возникший в Китае короновирус быстрыми темпами разошелся по всему миру, заставив все страны стремительно принимать меры по борьбе с распространяющейся инфекцией. Меры, принимаемые по борьбе с пандемией: введение режима самоизоляции, масочного режима с соблюдением социальной дистанции - позволили эффективно бороться с массовым распространением инфекции. Так, например, по некоторым данным, использование средств индивидуальной защиты (масок и перчаток) позволили снизить темп распространения Covid-19 в 4 раза, соблюдение социальной дистанции - в 35 раз, а введение режима самоизоляции - в 10 раз [Shutt, Retkut 2020].
Введенный режим самоизоляции потребовал перевода многих ключевых сфер жизни в дистанционный формат. В числе первых, попавших под эту трансформацию, оказались учебные заведения, так как численность обучающихся и персонала не позволяла безопасно для здоровья осуществлять дальнейшее взаимодействие в очном формате. Очевидным выходом в сложившейся ситуации, обеспечивающим непрерывное обучение, стало введение дистанционных образовательных технологий
Основная часть
Актуальность нашему исследованию придаёт сложившаяся ситуация, при которой, навязанный пандемией формат обучения, являющийся новым, непривычным для большинства пользователей, должен был соответствовать ряду требований. А именно, в кратчайшие сроки в доступной и эффективной форме установить взаимодействие обучающихся с преподавателями, при этом быть низкозатратным и доступным в освоении пользователями, имеющими минимальные навыки.
В первую очередь, необходимо пояснить, что дистанционные образовательные технологии не тождественны понятию дистанционной формы обучения. Так, дистанционная форма обучения является одной из форм обучения, наряду с очной, заочной или очно-заочной. Тогда как применение дистанционных образовательных технологий подразумевает использование таких технологий в любом формате обучения, то есть как при дистанционной форме обучения, так и при очной, контактируя через сетевые сервисы или системы [Абрамовский, Ребышева 2020: 43-52; Демцира, Якупов 2020: 37-41].
Ключевым вопросом во взаимодействии с обучающимися стало проведение текущего, промежуточного и итогового контроля знаний.
В странах Запада рейтинг образовательного учреждения напрямую зависит от уровня развития тестового контроля [Балыкина 2005: 436-472]. Из чего следует, что тест является валидным, стандартизированным средством оценивания достижений учащихся [Аванесов 2005: 63; Ефремова 2012: 99; Ефремова 2015; Ефремова 2017; Малыгин 2018: 15; Тригуб 2017].
Объектом исследования был выбран тест, явившийся способом контроля знаний обучающихся. Предметом - применение дистанционных образовательных технологий (Microsoft Teams и Moodle) в обучении.
В ходе исследования были применены общие методы научного познания, такие как наблюдение, измерение, сравнение, опрос, мысленное моделирование.
Основной задачей является исследование возможности доступного и эффективного использования дистанционных образовательных технологий в учебном процессе, в частности при проведении контроля на разных этапах обучения с помощью тестирования.
Под термином «тест» подразумевается стандартизированная система заданий, предполагающая выбор ответов на поставленные вопросы в равных для всех испытуемых условиях: количество вопросов и отведенное на выполнение время.
Предпочтение тестирования как формы контроля обусловлено рядом преимуществ данной формы над другими. В частности, широким кругом охвата тем и возможностью одновременной диагностики большого числа обучающихся, наличием точной шкалы оценивания, высокой степенью объективности, возможностью быстрой обработки, демонстрации и интерпретации результатов. При автоматизации процессов, тест может быть использован как для контроля знаний обучающихся, так и для их самоконтроля с проработкой ошибочных ответов. Безусловно, у пользователей тестирования могут возникнуть и опасения применения его как формы контроля при использовании дистанционных технологий, поскольку он не лишен тест и недостатков.
В первую очередь, сомнение вызывает способность теста отразить всю полноту знаний обучающегося. Данное опасение свидетельствует о необходимости проверки качества тестовых заданий. В этом случае, прежде всего, стоит говорить о тестологической грамотности разработчика теста. При грамотном подходе, ответственном отношении и соблюдении требований и принципов составления тестовых заданий, качество предъявляемого контрольного материала способно быть на высоком уровне, соответствующему требованиям, предъявляемым к средствам контроля знаний [Аванесов 2005: 82; Дегтярева, Колова, Ярославова 2004: 38; Семеновская 2015: 33].
Кроме этого, под сомнением находится степень осознанности предоставляемых ответов. В этом смысле можно говорить о высокой вероятности угадывания правильных ответов, что, по своей сути, не является демонстрацией усвоенных знаний [Алещанова, Фролова 2007; Пачурин, Тюмина, Шевченко 2017; Семеновская 2015: 33]. Объективно, такая вероятность существует, но её возможность обусловлена широким использованием тестов с закрытыми заданиями на множественный выбор с одним правильным ответом. Но, при этом, нужно отметить, что количество вариантов ответов значительно понижает шанс выбрать правильный случайным образом, а не руководствуясь знаниями. Так, при двух вариантах ответов, шанс угадать правильный составляет 1 к 2, при пяти - 1 к 5, а при необходимости выбрать два правильных ответа из восьми предложенных вариантов сводит шанс угадать до 1 к 28 [Technology Advice. Four Advantages of Software as a Service (SaaS) 2020].
Для того, чтобы повысить эффективность тестирования предпочтение необходимо отдавать полузакрытым и открытым формам теста.
Так, например, полузакрытое тестовое задание на сопоставление пяти пар вариантов значительно повышает охват проверяемого материала, систематизируя знания, при этом представляя задание в достаточно компактной форме и снижая вероятность угадывания до 1 к 120.
Полуоткрытое задание на составление последовательности так же расширяют диапазон проверяемых знаний от владения понятиями до, например, знания истории или закономерностей развития.
В тестовых заданиях, представленных в открытой форме, варианты ответа вовсе не представлены, поэтому вероятность угадывания стремиться к нулю.
Предпочтение массового использования тестовых заданий закрытого типа представляется возможным объяснить отсутствием собственных программных алгоритмов для обработки ответов, данных к полузакрытым или открытым заданиям. Разработка таких алгоритмов достаточно трудоёмка и не посильна рядовому пользователю, что, в свою очередь, подкрепляет убеждение в необходимости использования сторонних ресурсов, таких как Moodle, где подобные алгоритмы введены в систему.
В ходе наблюдения и анонимного опроса так же было выявлено, что однообразно предъявляемые задания повышают утомляемость и снижают концентрацию внимания. Внешним стимулирующим фактором в этом случае становится наличие ограничения времени выполнения тестирования.
В системе Moodle элемент курса «Тест» позволяет преподавателю создавать тесты, состоящие из вопросов разных типов: множественный выбор, верно / неверно, на соответствие, короткий ответ, числовой. Можно создать тест с несколькими попытками, с перемешивающимися вопросами или случайными вопросами, выбирающимися из банка вопросов. Может быть задано ограничение времени. Каждая попытка оценивается автоматически, за исключением вопросов эссе, и оценка записывается в журнал оценок. Можно выбрать, будут ли подсказки, отзыв и правильные ответы и когда они будут показаны студентам. Тесты могут быть использованы: в экзаменах курса, как мини-тесты для прочитанных заданий или в конце темы, в итоговом экзамене, используя вопросы из промежуточных экзаменов, для обеспечения немедленного отзыва о работе, для самооценки.
С пользовательской точки зрения можно говорить о том, что платформа Moodle имеет простой и интуитивно понятный интерфейс на русском языке (есть возможность выбора языка), позволяющий работать в системе преподавателю и студенту с базовыми навыками. Поддержка разных форм тестовых заданий, возможность фиксировать задания или осуществлять выбор случайным образом из базы тестовых заданий, рандомная подача заданий, экспорт и импорт заданий, возможность получения обратной связи при выполнении задания, настройка автоматического запуска тестирования, при которой не требуется личный контроль экзаменатора, выбор способа вывода заданий на экран, ограниченный или открытый доступ к тесту, вывод результатов тестирования отдельно по каждому участнику по всем заданиям, с указанием верно и неверно выполненных заданий - всё это представляет систему Moodle как универсальную, эффективную и доступную платформу для обучения.
Таким образом, можно сделать вывод, что выбор оптимальных дистанционных образовательных технологий позволяет эффективно использовать тест как универсальный и надежный инструмент для диагностики и фиксации усвоенных знаний студентами. Возможные недостатки теста преодолеваются путем грамотного составления заданий, с использованием разных комбинаций форм.
Практическая апробация
Система Moodle практически апробирована в условиях пандемии и переходе на обучение с использованием дистанционных образовательных технологий в период с марта по июнь 2020 года. На обучающей платформе Moodle были размещены тестовые задания по дисциплинам «Общая психология», «Возрастная психология» и «Педагогическая психология» для проведения текущего, промежуточного и итогового контроля. В тестировании приняли участие 497 студентов Пермского государственного гуманитарно-
педагогического университета, разных форм обучения. Наблюдение за организацией контроля знаний в более ранние периоды обучения показало, что преимущественно в бланковой форме и на внутривузовской платформе АСТ-тест преимущественно используются закрытые тесты с одним правильным вариантом ответа. Использование Moodle позволило разнообразить базу тестовых заданий и сравнить их эффективность.
По результатам проведенных тестирований представляется возможным сделать следующие выводы:
- использование тестов на базе системы Moodle позволяет сделать процесс диагностики знаний более адаптированным под индивидуальные возможности обучающихся. Выполнить тест можно дистанционно в удобное время из любого местонахождения обладая необходимыми ресурсами, доступному большинству пользователей.
- полученные результаты тестирования фиксируются в системе Moodle с отображением даты, времени выполнения и выбранными вариантами ответов, что позволяет преподавателю при необходимости просматривать индивидуальное усвоение материала каждым студентом, а так же сроки выполнения тестов.
- по результатам текущего контроля преподаватель может составить общую, групповую и индивидуальную картину усвоения материала. При необходимости скорректировать программу изложения курса, сделав дисциплину более гибкой и адаптивной к уровню усвоения материала слушателями.
- на основе результатов текущих и промежуточных тестирований становится возможным повысить эффективность консультаций перед итоговым тестированием, с акцентом на те вопросы, разделы дисциплины, которые вызвали трудности и большинства студентов.
- возможность использования изображений в тестовых заданиях делает их более наглядными и вносит разнообразие.
- автоматическая проверка и интерпретация результатов тестирования высвобождает время преподавателя, повышая образовательную и организационную эффективность.
- проведение тестирования в онлайн формате требует привлечение дополнительных технологий, в частности онлайн прокторинга, позволяющего верифицировать обучающегося и осуществлять контроль за его поведением во время прохождения контрольного испытания. В системе Moodle обучающийся имеет уникальный идентификационный номер и пароль от личной учетной записи. Благодаря этому можно регистрировать время входа, выхода и продолжительность нахождения в системе, начало и окончание выполнения тестирования. Но установление видеоконтакта, просмотр содержимого экрана в данной системе невозможно и должно осуществляться иными средствами (например, MicrosoftTeams).
- стоит признать, что далеко не весь преподавательский состав оказался готов к использованию дистанционных технологий. Но вынужденная необходимость освоить и внедрить данные технологии в свою практику наглядно повысили уровень профессионализма.
Пандемия позволила пересмотреть формат очного обучения. После завершения периода самоизоляции и при возвращении к контактной работе стало возможным создать гибридный вариант очного обучения с внедрением элементов дистанционных технологий. Данный ресурс способен органично вписаться в процесс очного обучения, став серьезным инструментом в образовательном процессе. В частности, возможность проведения контрольных мероприятий с помощью дистанционных технологий даже при контактной работе, снимая вопрос об онлайн прокторинге, значительно сократит затраты времени на проверку и интерпретацию результатов, чем повысить эффективность работы преподавателя.
Заключение
До пандемии использование технических и информационных возможностей в образовательном процесс носило рекомендательный характер, теперь это приобретает черты неотъемлемой части учебного процесса. На передовую выходят те учебные заведения, которые способны обеспечить дистанционный формат обучения без ущерба качеству образования.
В Пермском государственном гуманитарно-педагогическом университет благодаря освоению и внедрению дистанционных технологий образования не только поддерживается и продолжается непрерывный процесс обучения, но и стало возможным введение ряда элективных курсов, позволяющих принимать участие в дополнительной траектории развития большому количеству студентов, соблюдая все необходимые меры предосторожности, связанные с нестабильной ситуацией. Кроме того, на базе университета создаются онлайн-курсы, позволяющие в полном объеме реализовывать программу обучения в любом формате.
Список литературы
Абрамовский А. Л., Ребышева Л. В. Дистанционные образовательные технологии и тансформация высшего образваония в условиях пандемии COVID-19: возможности, вызовы, перспективы // Известия высших учебных заведений. Социология. Экономика. Политика. 2020. № 2. С.43-52.
Аванесов, В. С. Теория и практика педагогических измерений (материалы публикаций). Екатеринбург: ЦТ и МКО УГТУ-УПИ, 2005. 98 с.
Алещанова И. В., Фролова Н. А. Педагогическое тестирование как средство повышения качества контроля и оценки эффективности учебного процесса в вузе // Современные проблемы науки и образования. 2007. № 6-3. С. 70.
Балыкина, Е. Н. Компьютерное дидактическое тестирование в преподавании исторических дисциплин // Круг идей: алгоритмы и технологии исторической информатики: научные труды по результатам IX конференции Ассоциации «История и компьютер». 2005. С. 436-472. URL: http://docplayer.ru/51096599-Kompyuternoe-didakticheskoe-testirovanie-v-prepodavanii-istoricheskih-disciplin.html (дата обращения: 23.05.2020).
Дегтярева, Л. Т., Колова, С. М., Ярославова, Е. Н. Методические рекомендации для преподавателей по составлению контрольно-измерительных материалов (иностранный язык). Челябинск: Издательство «Южно-Уральский государственный университет», 2004. 44 с.
Демцира С. С., Якупов Р. Особенности организации образовательного процесса с ипользованием дистанционных технологий // Наукосфера. № 7. 2020. С. 37-41.
Ефремова Н. Ф. Качество оценивания как гарантия компетентностного обучения студентов // Высшее образование в России. 2012. № 11. С. 99-125.
Ефремова Н. Ф. К вопросу о создании и функционировании фондов оценочных средств в вузе // Высшее образование в России. 2015. № 7. С. 63- 67.
Ефремова Н. Ф. Мотивационный аспект независимого оценивания достижений обучающихся // Российский психологический журнал. 2017. Т. 14. № 2. С. 227-244.
Малыгин А. А. Современные форматы образовательного тестирования // Точки роста. 2018. № 6. С. 15-18.
Пачурин Г. В., Тюмина Н. С., Шевченко С. М. Анализ тестирования как средства контроля знаний обучающихся // Современные проблемы науки и образования. 2017. № 4. С. 168-177.
Семеновская С. А. Основы тестологии: Учебное пособие для студентов, обучающихся по направлению подготовки 050100 - Педагогическое образование, профиль подготовки -«Филологическое образование». Саратов: [б. и.], 2015. 57 с.
Тригуб Г. Я. Тестирование как метод обучения и контроля знаний в ВУЗе // Концепт. 2017. № 3. URL: http://e-koncept.ru/2017/470051.htm (дата обращения: 23.05.2020).
Strong Social Distancing Measures : webinar. Publishing: 03.06.2020. URL: https://www.youtube.com/watch?v=h7OYdeVhCtY (дата обращения: 22.09.2020).
Stutt R., Retkute R., Bradley M., Gilligan CA, Colvin J. A modelling framework to assess the likely effectiveness of facemasks in combination with 'lock-down' in managing the COVID19 pandemic. Proc. R. Soc. A 476: 20200376. Publishing: 10.06.2020. URL: URL:https://doi.org/10.1098/rspa.2020.0376 (дата обращения: 22.09.2020).
Turco Kyle. Technology Advice. Four Advantages of Software as a Service (SaaS). Publishing: 28.04.2020. URL: URL: https://technologyadvice.com/blog/information-technology/advantages-of-software-as-a-service-saas-2/ (дата обращения: 22.09.2020).
References
Abramovskii A. L., Rebysheva L. V. Distantsionnye obrazovatel'nye tekhnologii i tansformatsiia vysshego obrazovaniia v usloviiakh pandemii COVID-19: vozmozhnosti, vyzovy, perspektivy [Distance learning technologies and the transformation of higher education in the context of the COVID-19 pandemic: opportunities, challenges, prospects]. Izvestiia vysshikh uchebnykh zavedenii. Sotsiologiia. Ekonomika. Politika, 2020, no. 2, pp. 43-52. (In Russ.)
Avanesov V. S. Teoriia i praktika pedagogicheskikh izmerenii (materialy publikatsii) [Theory and practice of pedagogical measurements (materials of publications)]. Ekaterinburg, TsT i MKO UGTU-UPI, 2005, 98 p. (In Russ.)
Aleshchanova I. V., Frolova N. A. Pedagogicheskoe testirovanie kak sredstvo povysheniia kachestva kontrolia i otsenki effektivnosti uchebnogo protsessa v vuze [Pedagogical testing as a means of improving the quality of control and assessing the effectiveness of the educational process in higher school]. Sovremennyeproblemy nauki i obrazovaniia, 2007, no. 6-3, pp. 70. (In Russ.)
Balykina E. N. Komp'iuternoe didakticheskoe testirovanie v prepodavanii istoricheskikh distsiplin [Computer didactic testing in teaching history disciplines]. Krug idei: algoritmy i tekhnologii istoricheskoi informatiki: nauchnye trudy po rezul'tatam IX konferentsii Assotsiatsii «Istoriia i komp'iuter», 2005, pp. 436-472, available at: http://docplayer.ru/51096599-Kompyuternoe-didakticheskoe-testirovanie-v-prepodavanii-istoricheskih-disciplin.html (accessed: 23 May 2020). (In Russ.)
Degtiareva L. T., Kolova S. M., Iaroslavova E. N. Metodicheskie rekomendatsii dlia prepodavatelei po sostavleniiu kontrol'no-izmeritel'nykh materialov (inostrannyi iazyk) [Methodological recommendations for teachers on the preparation of control and measuring materials (foreign language)]. Cheliabinsk, Iuzhno-Ural'skii gosudarstvennyi universitet, 2004, 44 p. (In Russ.)
Demtsira S. S., Iakupov R. Osobennosti organizatsii obrazovatel'nogo protsessa s ipol'zovaniem distantsionnykh tekhnologii [Features of the organization of the educational process using distance technologies]. Naukosfera, 2020, no. 7, pp. 37-41. (In Russ.)
Efremova N. F. Kachestvo otsenivaniia kak garantiia kompetentnostnogo obucheniia studentov [Assessment quality as a guarantee of competence-based training of students]. Vysshee obrazovanie v Rossii, 2012, no. 11. pp. 99-125. (In Russ.)
Efremova N. F. K voprosu o sozdanii i funktsionirovanii fondov otsenochnykh sredstv v vuze [On the issue of the creation and functioning of assesment funds in higher school]. Vysshee obrazovanie v Rossii, 2015, no. 7, pp. 63- 67. (In Russ.)
Efremova N. F. Motivatsionnyi aspekt nezavisimogo otsenivaniia dostizhenii obuchaiushchikhsia [Motivational aspect of independent assessment of students' achievements]. Rossiiskii psikhologicheskii zhurnal, 2017, vol. 14, no. 2, pp. 227-244. (In Russ.)
Malygin A. A. Sovremennye formaty obrazovatel'nogo testirovaniia [Modern formats of educational testing]. Tochki rosta, 2018, no. 6, pp. 15-18. (In Russ.)
Pachurin G. V., Tiumina N. S., Shevchenko S. M. Analiz testirovaniia kak sredstva kontrolia znanii obuchaiushchikhsia [Testing analysis as a means of monitoring students' knowledge]. Sovremennye problemy nauki i obrazovaniia, 2017, no. 4, pp. 168-177. (In Russ.)
Semenovskaia S. A. Osnovy testologii [Testology basics]: uchebnoe posobie dlia studentov. Saratov, 2015, 57 p. (In Russ.)
Trigub G. Ia. Testirovanie kak metod obucheniia i kontrolia znanii v vuze [Testing as a method of teaching and control of knowledge in higher school]. Kontsept, 2017, no. 3, available at: URL: http://e-koncept.ru/2017/470051.htm (accessed: 23 May 2020). (In Russ.)
Strong Social Distancing Measures : webinar. Publishing: 03.06.2020. URL: https://www.youtube.com/watch?v=h7OYdeVhCtY (accessed: 22.09.2020).
Stutt R., Retkute R., Bradley M., Gilligan CA, Colvin J. A modelling framework to assess the likely effectiveness of facemasks in combination with 'lock-down' in managing the COVID19 pandemic. Proc. R. Soc. A 476: 20200376. Publishing: 10.06.2020. URL: URL:https://doi.org/10.1098/rspa.2020.0376 (accessed: 22.09.2020).
Technology advice. Four Advantages of Software as a Service (SaaS). Publishing: 28.04.2020. URL: URL: https://technologyadvice.com/blog/information-technology/advantages-of-software-as-a-service-saas-2/ (accessed: 22.09.2020).
