CC BY
115
УДК 37.0:004 ББК 74.00
ПРИМЕНЕНИЕ АДАПТАЦИИ ПРИ ТЕСТИРОВАНИИ ЗНАНИЙ В УСЛОВИЯХ КОМПЬЮТЕРНОГО ОБУЧЕНИЯ
Д.Ю. Альтиментова, Н.И. Гданский
Аннотация. Информационные технологии распространились и стали неотъемлемой частью всех сфер жизни современного общества, в том числе - образовательной среды. Применение их в образовании имеет двоякий аспект. С одной стороны, это проникновение готовых, уже разработанных компьютерных технологий в процесс обучения. С другой стороны, сфера образования должна готовить будущих профессиональных разработчиков информационных технологий и продуктов.
Использование такого мощного технического средства, как компьютер, создает принципиально новые возможности проведения учебного процесса. Для полноценной реализации этих возможностей должны разрабатываться особые методы обучения, которые не только, по возможности, копируют действия преподавателей, но и существенно расширяют круг применяемых дидактических приемов.
В статье изложены новые подходы к проблеме адаптивного контроля знаний в условиях компьютерного обучения. Рассмотрены адаптивные алгоритмы проверки ответов на одиночные тестовые вопросы, а также особенности изложения учебного контента и построения адаптивного алгоритма тестирования знаний по заданным разделам учебной дисциплины. Применение адаптивности позволяет существенно приблизить качество компьютерных форм образования к индивидуальному обучению.
Ключевые слова: адаптация, тестирование, компьютерное образование, одиночный тест, алгоритм тестирования.
APPLICATION OF ADAPTATION WHEN TESTING KNOWLEDGE IN TERMS OF COMPUTER TRAINING
D.Yu. Al'timentova, N.I. Gdanskiy
Abstract. Information technologies have spread and become an integral part of all spheres of modern life, including educational environment. Their application in education has a double aspect. On the one hand, this is a
4 / 2014 Преподаватель XX_
ВЕК
115
penetration of already developed compu ter technologies in the learning process. On the other hand, education sector has to train future professional developers of in formation technologies and products.
The use of such a powerful, technical tool as a computer, creates en tirely new opportunities for the educational process. To fully implemen t these opportunities there should be developed special methods of teaching, which do not only copy the actions of teachers, but also significan tly expand the range of teaching methods used.
The article presen ts new approaches to the problem of adaptive testing of knowledge in a computer education. It also considers the adaptive algorithms of checking the answers to single test questions, and features of the presentation of educational conten t and the construction of an adaptive algorithm of testing the knowledge on given sections of the discipline. The use of adaptability allows to bring the quality of computer forms of education to individual learning.
Keywords: adaptation, testing, computer learning, single test, testing algorithm.
Введение
Внедрение новых разработок в области электронного обучения является одним нз основных показателей оценки успешности учебного заведения в современных условиях. Обучение посредством применения компьютерных технологий имеет ряд особенностей, которые существенно отличают его от традиционного. Главным недостатком компьютерного обучения является отсутствие «живого» контакта ученика с учителем, позволяющим выстраивать процесс обучения с учетом индивидуальных особенностей. Однако современные компьютерные технологии, за счет высокой емкости носителей информации н высоких скоростей нх обработки, позволяют намного расширить рамки материалов, используемых в учебном процессе, а также, за счет развитых способов анализа диалога с пользователем, в значительной степени адаптировать
передачу знаний к конкретному учащемуся. Это создает на современном этапе развития компьютерных технологий предпосылки для максимального приближения общего уровня качества электронного обучения к индивидуальному обучению. Практическая реализация индивидуализации обучения — одно из самых важных условий для подготовки квалифицированных специалистов.
Процесс обучения по дисциплинам технического профиля, особенно непосредственно связанным с информационными технологиями, в настоящее время требует существенной переработки по сравнению с традиционным его построением. Это обусловлено быстрым ростом общего объема информации, повышением ее доступности, постоянным обновлением н усложнением компьютерных н других технологий. Буквально ежедневно мир меняется, объем информации нарастает, в том числе с
точки зрения новых технологий, требующих скорейшего и успешного усвоения современными студентами, ставящими перед собой цель быть востребованными на рынке труда, профессионально грамотными. Поэтому одной нз основных задач современного образования является гармоничное внедрение данных технологий во все сферы образовательного процесса.
Для того чтобы соответствовать требованиям времени и готовить востребованных на рынке труда специалистов, готовых сразу же приступить к выполнению необходимых функций на рабочем месте, учебное заведение, а также преподаватели, непосредственно ведущие дисциплины, должны решить несколько взаимосвязанных задач:
1) выделять в огромном, постоянно возрастающем море информации именно те ее составляющие, которые сегодня необходимы учащемуся;
2) оформить выбранную информацию в специфическую форму учебных материалов (лекции, лабораторные н семинарские занятия, контрольные и др.), которая позволяет ее практически освоить в условиях реального учебного процесса, ограниченного временными рамками и формами организации;
3) органично встроить данные знания в общую структуру преподаваемого направления (пли специальности) и, в частности, конкретной дисциплины;
4) разработать технологию передачи электронных знаний учащимся, наиболее полно отражающую их особенности;
5) использовать методы проверки н тестирования знаний, в макси-
мальной степени учитывающие возможности электронных технологий.
Быстрое развитие вычислительной техники и методологии компьютерного обучения позволяет значительно поднять качество компьютерного преподавания, приближая его к индивидуальному. Адаптация является наиболее подходящим, универсальным приемом повышения уровни компьютерного обучения.
При компьютерной проверке знаний наиболее удобной формой одиночного теста является задание с одним правильным ответом. Адаптация этих одиночных тестов тропу от разработки формального набора признаков, по которым возможна эффективная компьютерная реализация.
Для автоматического построения адаптивных алгоритмов проверки знаний необходимо наряду с традиционной оценочной функцией определить на каждом шаге управляющую функцию, задающую переход к следующему шагу. Желательно выбирать вид управляющей функции удобным для программной реализации.
1. Разработка набора формальных
признаков адаптивной модели одиночного альтернативного теста и общей формулы для ее функции оценивания
Компьютерная модель одиночного теста должна определять более гибкий подход к процедуре оценки знаний по сравнению с классическим пороговым подходом «да — нет». Предложено общую зависимость результата тестирования (В) от действий пользователя (V) при сдаче одиночного теста с N вариантами возможного ответа и одним
правильным ответом 1"нпт, представить в виде:
В = ВШМ,{В}) = = В+({Ц, IV) • В-(М, {В}), у '
где В - итоговая оценка полученного ответа учащегося на тестовое задание, Д+({1}, IV) - базовая составляющая оценки, функция оценивания, В'(1У, {В}) — штрафная составляющая оценки, уменьшающая ее, {V} — информация, полученная от ученика (одни или несколько вариантов правильного ответа), Л число вариантов ответа, {В} — штрафная функция.
Под базовой оценкой ответа будем понимать «чистую» численную характеристику ответа, которая оценивает только его истинность — близость к правильному варианту ответа. Классический подход заключается в использовании логической оценки:
[О - если ответ неверный
[ 1 — ответ правильный
Предлагаемый подход заключается в использовании вещественной оценки: Де[0,1]. В классической версии пороговая оценка «да — нет» фактически является логической величиной. Она более удобна для преподавательского тестирования, но, в то же время, является значительно более упрощенной по сравнению с вещественной оценкой и не позволяет тонко оценивать различные нюансы при проверке знаний. Этот недостаток призвана устранить предложенная непрерывная вещественная оценка.
{V} — информация, полученная от ученика (множество возможных ответов). Классический подход заклю-
чается в том, что множество {V} должно содержать один ответ.
Предлагаемый подход заключается в том, что учащийся может указать несколько возможных вариантов правильного ответа {V}, которые, по его мнению, включают правильный ответ УПСТ. Переход к множественному ответу позволяет более гибко учесть уровень знаний с учетом их временного забывания, психологических факторов экзаменационной обстановки. В этом случае базовую составляющую оценки В + ({V}, IV) предложено выполнять с использованием следующей зависимости (2). Такой вид функции оценивания К, + ({V}, Л) означает оценку, которая выносится при наличии правильного ответа в составе группы из I VI ответов.
|0,если|У| = 0шшУ1Ю1 е {V};
Упст е {V}, |У| > 0. (2)
В общем случае при проверке различных видов знаний наказание (штраф) может налагаться как на общие нарушения процедуры тестирования со стороны учащегося, так и на допущение смысловых ошибок. При личном тестировании преподаватель как «особая тестирующая система» имеет возможность учитывать целую совокупность штрафных факторов — несамостоятельность ответов, подсматривание в бумажных источниках, использование мобильных устройств II до.
Современные компьютеры не могут обеспечить выполнение таких дополнительных контролирующих функций. Поэтому в качестве общего нарушения процедуры тестирования предложено принять время ответа,
поскольку оно наряду с правильностью ответа также позволяет косвенно оценивать уровень подготовки учащегося. Данная дополнительная характеристика ответа — одна нз немногих, которая может быть эффективно проверена при компьютерном тестировании.
При построении функции оценивания вначале были исследованы линейная и квадратичная зависимости Д+({1}, Л?). Линейная была отброшена из-за того, что она дает завышенные оценки В + при малых | VI , например при Л = о и | \' = 2 => В+ = 0.75. Главным недостатком квадратичной зависимости является то, что уже для небольших значений ТУ она не является монотонно убывающей. Например, для случая ТУ=5 при подходе к конечной точке функция принимает отрицательные значения, что противоречит самому заданию функции как положительной оценке знаний. В точке ТУ = 4 (при N = 5) функция преждевременно принимает нулевой значение, то есть не является монотонно убывающей.
Предложено использовать кубическую зависимость, которая для геометрических условий на кривую
Д+(1,ТУ)=1;Д+(2,ТУ)=0,5; Д+(ТУ,ТУ)=0; Д+'(ТУТУ)=0
дает следующую формулу:
Д+(Л",ТУ) = (ТУ-1)2-[(-ТУ 3+9 ТУ2-21 ТУ+ 15)-
(3)
(АГ - V) + (¿V2 - 6ЛГ + 7)] / [2 (ТУ - I)2 (ТУ - 2)2].
(4)
ном угадывании ответов (0,2). С другой стороны, число вариантов ответа не слишком велико и не затягивает сам процесс тестирования. Для более удобного применения оценивания приняты следующие дискретные значения функции оценивания в узлах при ТУ = 5:
Д+(1,5) = 1;Д+(2,5) = = 0.5;Д+(3,5) = 0,2;Д+(4,5) = (5) = 0,1;Д+(5,5) = 0.
Для предложенного варианта штрафной функции, оценивающей время ответа, вначале необходимо найти оптимальное время ответа 7' ||т(Л) в секундах. Для его расчета предложено использовать следующую формулу:
Тот(ТУ) = Тотв + ТУ.Т:
■-вопр
(6 а)
Как показывает практика, оптимальным значением является N = 5. При нем, с одной стороны, невелика положительная оценка при случай-
где Тотв — время оценки правильного ответа на вопрос теста, Твопр — время оценки одного варианта ответа. Величины Тотв н Твопр должны быть назначены, исходя нз сложности вопросов. Например, если проверяется обзорный материал среднего уровня сложности, то рекомендуется принять:
Т0ТВ = 4- 5, Твопр= 1,5 + 2. (6 6)
Если требуется применить какой-либо достаточно сложный метод или алгоритм, то, исходя из опыта, следует принять:
Тотв= 10+20, Твопр=3+5. (6 в)
Для построения штрафной функции при {Р} = Т предложено исполье зовать следующие практические соображения: 1) при 0 < Т < '/', ,||т (ТУ)
время для ответа не просрочено, штраф не накладывается и // (А. {.Р}) = 1; 2) при Гопт (А) < Т < ЗГ0ПТ (АО время ответа затянуто, что свидетельствует о невысоком уровне знаний нлн обращении к подсказкам.
Предложено:
1) принять предельное время ожидания равным утроенному максимальному времени ответа:
2) линейное убывание штрафной функции {!']) от 1 ( при Т=Тот(Щ до 0 (при Т=ЗТ0Ш(Щ:
3) при Т > 3 Тоит(А) величина Л {Р}) = 0, т.е. очень завышенное времени ожидания ответа свидетельствует о применении недопустимых источников для ответа на тест. Получаемая в итоге зависимость имеет вид:
1, если Т < Топг; 0,5(3-Т/Т0П1 ),
еслиТ0ПТ<Т<ЗТ0 0, еслиТ > ЗТопт.
(V)
На рис. 1 приведен пример графика Р'(Т), когда Гопт =15 сек.
2. Разработка адаптивных стратегий опроса и оценивания результатов тестирования
Рассмотрим второй уровень адаптации при индивидуальном контроле знаний, который заключается в гибком построении всего процесса тестирования и учитывает как состав тестовых материалов, так и правильность получаемых ответов.
Использование принципа адаптации при традиционной проверке знаний преподавателем заключается в максимальной разгрузке преподавателя н максимально точной проверке знаний учащегося.
Рис. 1. Зависимость (Т) для Топт = 15сек
Применение компьютера позволяет многократно повысить производительность проверяющей стороны, то есть устранить ограничение на «производительность» преподавателя. Однако ограниченное время, отводимое в учебных планах на проверку знаний н физиологические ограничения, требует разумного ограничения суммарного числа задаваемых тестов на одном тестировании. Поэтому адаптивность при компьютерном тестировании должна существенно учитывать число возможных задаваемых вопросов.
Рассмотрим построение оценочной н управляющей функций, обеспечивающих автоматическое построение адаптивных модульных алгоритмов проверки знаний, обладающих достаточно простой структурой н удобными для программной реализации.
С точки зрения более удобной структуры для выполнения информационно-тестирующих действий представляется рациональной следующий состав основных материалов для односеместровой дисциплины.
Информационный блок состоит из 3-5 разделов с размерами от 20 до 40-50 страниц информативного текста. Каждый раздел состоит из
1ЕК
3-5 подразделов с размерами от 5 до 12-15 страниц.
Тестирующий блок. В качестве минимальной тестируемой единицы изучаемой дисциплины принят модуль (подраздел), поэтому тестирующие материалы привязываются к соответствующим подразделам разделов изучаемой дисциплины. Также предусматривается входное тестирование для проверки остаточных знаний по ранее изученным предметам как вузовской, так и школьной программы. В общем случае тестирующий блок подраздела содержит набор нз 10-30 вопросов для проверки теоретических знаний н 10-30 заданий для проверки практических навыков. Из общего объема практических заданий около 20-30% выделены как задания повышенной сложности.
Тестирование по назначению подразделяется на:
1) учебное, проводимое самостоятельно для оценки знаний самим обучающимся,
2) контрольное, проводимое под наблюдением преподавателя для объективной оценки реального уровни знаний.
Практически данные возможности обеспечиваются применением двух различных алгоритмов тестирования.
Учебное тестирование логично всегда выполнять по модулям-подразделам. Результаты анализа ответов на каждый теоретический вопрос н решение каждой задачи оперативно объявляются учащемуся. Также в результате анализа текущих ответов формируется траектория контроля — выбирается число н содержание очередных вопросов н практических за-
даний. В конце опроса выставляется общая оценка в баллах и общие рекомендации по повторному изучению материала (если в этом есть необходимость).
Контрольное тестирование может выполняться по подразделам, разделам н всему курсу — в зависимости от запроса, формулируемого преподавателем. Для сокращения времени опроса текущие результаты контроля не объявляются учащемуся. В конце опроса выставляется общая оценка в баллах. Независимо от уровня контроля для системного группового анализа знаний формируется парциальная балльная оценка знаний в отдельности по каждому подо аз делу.
Тестирование по объему проверяемого материала подразделяется на:
1) подраздел (модуль),
2) раздел (в частности — рубежный контроль),
3) вся дисциплина (в частности — итоговый контроль).
Данные возможности обеспечиваются организацией информационного и тестирующего материала по подразделам курса и учитываются в тестирующих алгоритмах.
Каждый тестирующий блок подраздела содержит базовый набор нз 20-30 вопросов для проверки теоретических знаний. Если же подраздел содержит теоретические материалы и/или методику решения задач, то базовый тестирующий раздел в зависимости от содержания учебного материала должен быть дополнен следующими материалами:
1) теоретическими вопросами повышенной сложности,
2) задачами,
3) задачами повышенной сложности.
Таким образом, каждый из двух видов тестирования (учебное и контрольное) должен быть адаптивным одновременно по двум характеристикам — по глубине опроса — уровню проверки знаний (1-уровневое, 2-уровневое, 3-уровневое) и по степени охвата материала (подраздел, раздел, дисциплина).
Адаптивность по первому признаку предложено обеспечить при помощи применения специальных отдельных базовых алгоритмов, учитывающих количество стадий опроса при минимальном числе I базовых вопросов на одной стадии, равном 2 (£ = 2).
Адаптивность по второму признаку предлагается реализовать путем масштабного увеличения чисел тестов у базового варианта алгоритма.
Для наглядности базовые и производные от них алгоритмы тестирования предложено изображать в виде деревьев.
Исходя из решаемой задачи, разрабатываемые алгоритмы модульного тестирования должны быть адаптивными по следующему набору признаков:
1) вид тестирования,
2) охват тестирования (имеется в виду объем, проверяемый общим алгоритмом),
3) количество видов тестовых материалов.
1-уровневое тестирование. Данное тестирование предложено производить при помощи 1-2 фаз опроса в зависимости от правильности ответов на первой базовой фазе. Если после базовой фазы опроса нет отрицательного ответа, то используется вторая фаза опроса с сокращенным числом вопросов
50 70
Рис. 2. Порождающее дерево для 1 -уровневого модульного тестирования
(вдвое меньшей по сравнению с базовой). Вторую фазу опроса назовем уточняющей.
Порождающим назовем дерево, которое реализует алгоритм опроса при минимальном числе одиночных тестов. В качестве порождающего дерева опроса примем структуру, указанную на рис. 2.
В нем рассмотрено минимально возможное е число базовых вопросов, равное 2. Максимальное число баллов равно 100. Верхний ярус соответствует базовой фазе опроса, нижний — уточняющей. На ребрах указано число правильных ответов в соответствующей фазе опроса. Рядом с узлами указано итоговое или промежуточное число оценочных баллов.
Дерево было построено по следующим правилам.
1. Если все базовые ответы неправильные, то окончательная оценка равна 0 балов (крайняя левая вершина в верхнем ярусе), опрос пр екр ащается.
2. Если все базовые ответы правильные, то окончательная оценка равна 100 балов (крайняя правая
1 23234345
25 35 45 50 60 70 75 85 95
Рис. 3. Масштабированный алгоритм с коэффициентом Г = 2
вершина в верхнем ярусе), опрос прекращается.
3. Если получен один правильный ответ в базовой фазе, (средняя вершина в верхнем ярусе), то промежуточная оценка равна 50 балов, опрос продолжается в уточняющей фазе (нижний ярус).
4. В уточняющей фазе задается уменьшенное вдвое число вопросов, по сравнению с базовой фазой.
5. Если на уточняющий вопрос дан неверный ответ, то количество балов остается таким же, как в промежуточной фазе, — 50 (крайняя левая вершина в нижнем ярусе).
6. Если на уточняющий вопрос дан правильный ответ, то количество балов повышается до 70 (так как в итоге процентная доля правильных ответов равна 100* (2/3) ~ 70) — (крайняя правая вершина в нижнем ярусе).
Масштабирование дерева опроса предложено осуществлять путем наращивания числа базовых вопросов в I раз. Задание параметра I позволяет адаптировать процедуру тестирования к проверяемому объему учебного материала.
Предложено:
1) при проверке всей дисциплины задавать для модуля (подраздела) минимальные значения 1-Х или 2,
2) при проверке раздела задавать в зависимости от общего числа модулей и значимости конкретного модуля значение I — 2 или 3,
3) при проверке одного модуля (подраздела) задавать значение I — 3 или 4.
Масштабированный с коэффициентом 1 = 2 алгоритм модульного одноступенчатого тестирования проиллюстрирован на дереве опроса на рис. 3.
При построении алгоритма 2-уровневого тестирования вначале необходимо установить распределение максимальных баллов, получаемых в первой и второй фазе опроса для базового алгоритма 2 уровня. Принято суммарное число баллов первой фазе равным 40, во второй — 60. Тогда стоимость одного правильного ответа в первой фазе будет равна 40/2 = 20 баллов, во второй — 60/2 = 30 баллов. В качестве штрафных санкций за ошибку в на-
(ЕК
Рис. 4. Дерево опроса 2-уровневого тестирования
Уровень 2 85
Уровень 1
чальной фазе опроса при оценке уточняющих вопросов по первой фазе предложено стоимость каждого правильного ответа оценивать числом баллов в 2 раза меньшим, чем при начальном опросе, то есть по 20/2 = 10 баллов. В итоге дерево опроса 2-уровневого тестирования, построенное с учетом вышесказанных условий, будет иметь следующий вид (рис. 4).
Масштабирование данного дерева производится аналогично 1-уров-невому тестированию.
Аналогично рассмотрено 3-уров-невое тестирование. Рекомендовано использовать распределение максимальных баллов, получаемых в первой, второй н третей фазах опроса впда: 28 — 32 — 40. Применение более высоких уровней тестирования практически не рационально.
Выводы
Рассмотренная модель одиночного альтернативного теста повышает
степень адаптивности по сравнению с пороговым классическим тестом за счет более гибкого оценивания вариантов ответа и учета временных параметров ответа. Классическая модель компьютерного тестирования подразумевает простое копирование действий преподавателя. В предложенной модели для реализации адаптивности в расширенном варианте используются возможности вычислительной системы. Это позволяет более полно реализовать индивидуальный подход в компьютерном обучении на первой ступени проверки знаний — на уровне одиночного теста.
Предложенные адаптивные алгоритмы одиночного тестирования и выстраивания процесса тестирования позволяют существенно приблизить качество компьютерного обучения к индивидуальному. Более объективное выявление текущего уровня подготовки каждого обучающегося может быть использовано для оп-
тимальной организации коррекции знаний, что особенно важно при групповых формах обучения.
СПИСОК источников И ЛИТЕРАТУРЫ
1. Аванесов, B.C. Композиция тестовых заданий: учебник для преподавателей вузов, техникумов, училищ, учителей школ, гимназий и лицеев [Текст] /B.C. Аванесов. - М.: Центр тестирования, 2002. - 238 с.
2. Анастази, А. Психологическое тестирование [Текст] / А. Анастази, С. Урбина. -СПб.: Питер, 2003.
3. Беспалъко, В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия) [Текст] / В.П. Бес-палько. - М.: Изд-во Московского психо-лого-социального института; Воронеж: МОДЭК, 2002.
4. Рябпнова, E.H. Адаптивная система персонифицированной профессиональной подготовки студентов технических вузов: монография [Текст] / E.H. Рябинова. - М.: Машиностроение, 2009. - 258 с.
5. Свиридов, А.П. Стандартизированные методы на примере контроля и диагностирования знаний: монография [Текст] / А.П. Свиридов. - М.: Издательство РГСУ, 2011.-294 с.
6. Сидоренко, С.Н. Компьютерное тестирование в вузе: преимущества, особенности, опыт внедрения [Текст] / С.Н. Сидоренко // Педагогические измерения. - 2007. -№4. - С. 67-75.
REFERENCES
1. Avanesov B.C., Kompozicija testovyh zadanij: uchebnik dlja prepodavatelej vuzov, tehnikumov, uchilishh, uchitelej shkol, gim-nazij i liceev, Moscow, 2002, 238 p.
2. Anastazi A,. Psihologicheskoe testirovanie, Santi-Petersburg, 2003.
3. Bespal'ko V.P., Obrazovanie i obuchenie s uchastieni komp 'juterov (pedagogika tret'ego tysjacheletija), Moscow, Voronezh, 2002.
4. Rjabinova, E.H., Adaptivnaja sistema per-somficirovannoj professioml'noj podgotovki studentov tehnicheskih vuzov, Moscow, 2009, 258 p.
5. Sviridov A.P., Standartizirovannye metody na priniere kontrolja i diagnostirovanija znanij, Moscow, 2011, 294 p.
6. Sidorenko S.N., Komp'jutemoe testirovanie v vuze: preimushhestva, osobennosti, opyt vnedrenija, Pedagogicheskie izmerenija, 2007, No. 4, 67-75.
Альтиментова Дина Юрьевна, старший преподаватель, Российский государственный социальный университет; соискатель ученой степени кандидата педагогических наук, dina-alt@ mail.ru
Altimentova D.Yu., Senior Lecturer, Russian State Social University; Post-graduate Student, [email protected]
Гданский Николай Иванович, доктор технических наук, профессор, заведующий кафедрой моделирования информационных систем и сетей, факультет информационных технологий, Российский государственный социальный университет, [email protected]
Gdansky N.I., Doctor of Technical Sciences, Professor, Modeling of Information Systems and Networks Department, Information Technologies Faculty, Russian State Social University, al-kp@ mail.ru
