CC BY-NC-ND
1879
ЭФФЕКТИВНОСТЬ ЦИФРОВОГО ГОСУДАРСТВЕННОГО УПРАВЛЕНИЯ: ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ АСПЕКТЫ
Сидоренко Э.Л., Барциц И.Н., Хисамова З.И.1
Аннотация
В большинстве передовых стран мира перевод системы государственного управления на «цифровые рельсы» происходит достаточно медленно, развитие далеко отстает от официально определенных и объявленных графиков. В связи с этим особую актуальность приобретает оценка эффективности цифрового управления. Эффект от цифровизации государственного управления зачастую отождествляется с повышением его качества и снижением затратности. При этом большая часть проведенных исследований направлена на оценку качества цифровизации, в то время как вопросу изучения затратности цифровизации и минимизации издержек должного внимания уделено не было. В рамках исследования предложена авторская модель анализа эффективности цифрового государственного управления, основанная преимущественно на критериях минимизации издержек, связанных с внедрением цифровых сервисов. Для демонстрации оперативных возможностей авторской модели измерения цифровизации государственного сектора приведены расчеты коэффициента затратности цифровых услуг и коэффициента полезности государственных цифровых сервисов. Предполагается, что с использованием данной модели измерения станет возможным определение технологической реализуемости цифровых решений в системе цифрового правительства и инфраструктурной готовности к цифровизации системы государственного управления, а также оценка субъективных параметров цифровизации и определение экономической целесообразности
1 Сидоренко Элина Леонидовна - доктор юридических наук, руководитель рабочей группы в Государственной Думе РФ по оценкам рисков оборота криптовалюты, профессор кафедры уголовного права, уголовного процесса и криминалистики, директор Центра цифровой экономики и финансовых инноваций Московского государственного института международных отношений (Университета) МИД России. Адрес: МГИМО (У), 119454, Москва, пр. Вернадского, д. 76. E-mail: 12011979@list.ru Барциц Игорь Нязбеевич - доктор юридических наук, профессор, директор ИГСУ Российской академии народного хозяйства при Президенте РФ, заслуженный юрист Российской Федерации, действительный государственный советник Российской Федерации 3 класса. Адрес: РАНХиГС, 119454, Москва, пр. Вернадского, д. 84. E-mail: bartsits-in@ranepa.ru
Хисамова Зарина Илдузовна - кандидат юридических наук, начальник отделения планирования и координации научной деятельности Краснодарского университета МВД России. Адрес: Краснодарский университет МВД России, 350005, г. Краснодар, ул. Ярославская, д. 128. E-mail: alise89@inbox.ru
внедрения цифровых сервисов в публичный сектор. Предлагаемую методику можно применять на регулярной основе как на региональном, так и на общегосударственном уровне для оценки динамики и статистической результативности внедряемых цифровых платформ и сервисов, запуска единой информационной базы данных для министерств и ведомств; рейтингования и ранжирования регионов в рамках полифакторного измерения, а также для оценки уровня поддержки населением политики цифровизации государственного управления (установление обратной связи «потребитель цифровой услуги - государство») и т.д.
Ключевые слова: цифровизация; государственное управление; оценка эффективности; цифровое правительство; электронное правительство; рейтинги развития электронного правительства.
Введение
Реализация ключевых задач социально-экономического развития страны неразрывно связана с успешным внедрением цифровых технологий в управленческие, социальные и бизнес-процессы. Однако эти, казалось бы, очевидные цели не могут быть достигнуты вне рамок цифровизации сферы государственного управления. Как отмечено в рекомендациях Совета ОЭСР по разработке стратегий цифрового правительства, феномен цифровой трансформации в государственном управлении рассматривается как переход от «электронного правительства» к «цифровому правительству»: переход от использования технологий для поддержки процессов в органах власти к использованию технологий для формирования результатов государственного управления. В указанных условиях становится возможным формирование полноценной системы, состоящей из органов государственного управления, бизнес-структур, граждан и организаций, в которой цифровое правительство выступает в качестве связующего звена, обеспечивая взаимодействие между указанными элементами (ОЭСР, 2014).
В России проводится большая работа по практическому внедрению и освоению цифровых сервисов и технологий в государственном управлении. Основные мероприятия по цифровизации государственного управления сформулированы в федеральном проекте «Цифровое государственное управление», включенном в состав национального проекта «Цифровая экономика Российской Федерации»2.
В пояснении к федеральному проекту отмечается, что «он направлен на достижение национальных целей, определенных п. 1 Указа Президента Российской Федерации от 7 мая 2018 г. N 204 "О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года", и, прежде всего, оказывает прямое влияние на обеспечение ускоренного внедрения цифровых технологий в экономике и социальной
2 О направлении проекта паспорта национального проекта «Цифровая экономика Российской Федерации»: письмо Министерства цифрового развития, связи и массовых коммуникаций Российской Федерации от 24.10.2018 № КН-П8-074-25124. URL: http://www.prisp.ru/images/pdf/nacproekt_cifr_economik.pdf
сфере за счет использования цифровых технологий и платформенных решений в сферах государственного управления и оказания государственных услуг, в том числе в интересах населения и субъектов предпринимательства, а также обеспечивает качественное улучшение ряда показателей, отражающих рост национальной экономики и социальной сферы»3.
В рамках федерального проекта выделено два основных направления: (1) внедрение цифровых технологий и платформенных решений в сферы государственного управления и оказания государственных услуг, в том числе в интересах населения и субъектов предпринимательства; (2) разработка и внедрение национального механизма осуществления согласованной политики государств-членов Евразийского экономического союза при реализации планов в области развития цифровой экономики.
Однако, прописав данные задачи в качестве приоритетных направлений цифровизации госуправления, разработчики не определили параметры оценки полноты и эффективности процессов. В связи с этим целесообразным видится рассмотрение результатов проведенной работы на предмет ее полноты и своевременности.
Цель настоящей статьи - проанализировать состояние современной системы оценки цифровизации и с учетом современных тенденций оценочной деятельности предложить теоретико-методологическую модель цифровиза-ции государственного управления с демонстрацией возможности ее использования, в частности при определении затратности цифровых проектов.
Современная система мониторинга и оценки цифровизации государственного и муниципального управления является важным элементом управления развитием цифровой экономики в публичной сфере и должна строиться на основе комплексного подхода с одновременным учетом объективных и субъективных критериев цифровизации. Важными условиями применимости предлагаемой авторами модели является ее адаптивность к уже существующим международным и зарубежным методикам, а также возможность оценки коэффициентов на основе имеющихся метрических данных.
Ключевые аспекты цифровизации государственного управления
В докладе Всемирного банка «Цифровое правительство 2020: перспективы для России» отмечается достижение Россией существенного прогресса в реализации концепции электронного правительства, предусматривающей предоставление государственных и муниципальных услуг в электронной форме параллельно другим каналам. При этом в числе ключевых показателей успешности проекта называются: создание многофункциональных центров и Единого портала государственных услуг; формирование системы межведомственного электронного взаимодействия; развитие базовых государственных информационных ресурсов (национальных баз данных); предоставление общих сервисов (Всемирный банк, 2016).
3 Там же.
По данным на конец 2018 г., среднесуточное число пользователей порталов госуслуг в РФ составляет 1,150 млн. человек (что в 3 раза превышает показатель аналогичного периода прошлого года). Официально на портале государственных услуг Российской Федерации зарегистрировано 85 млн. пользователей. В 2018 г. они заказали через приложения 1,3 млрд. услуг и провели 25,7 млн. платежей на сумму 50 млрд. руб.4.
За шесть лет в полную силу заработала Единая система межведомственного электронного взаимодействия органов власти (СМЭВ). По данным на апрель 2018 г., общее количество транзакций в ней достигло 20 млрд. в год.
Реализуется проект по замене бумажных уведомлений на электронные, при сохранении юридической значимости получаемой гражданами информации. В числе положительных мер стоит отметить и запрещение органам государственной власти и местного самоуправления требовать от граждан и юридических лиц при предоставлении государственных услуг документы и сведения, которые находятся в распоряжении других органов государственной власти и местного самоуправления (за исключением документов личного хранения).
С 2016 г. аналогичный запрет установлен и для органов государственного контроля (надзора) при организации и проведении проверок. Органы государственного контроля (надзора) не вправе требовать от юридических лиц и предпринимателей 188 документов, доступ к которым может быть получен с использованием Единой системы межведомственного электронного взаимодействия. В рамках развития межведомственного информационного взаимодействия с 1 февраля 2018 г. обеспечена возможность предоставления кредитным организациям документов (сведений), которые находятся в распоряжении МВД России, Росреестра, ФНС России, ФССП России, ФАС России, Росстата, Пенсионного фонда, Федерального фонда обязательного медицинского страхования, что снижает нагрузку на заявителей. Сейчас эти ведомства предоставляют по запросу кредитных организаций порядка 20 документов и сведений в электронном виде5.
Вместе с тем обращается внимание и на крайне низкий уровень использования многих электронных услуг ввиду отсутствия единства между предпринимаемыми шагами по цифровизации и существующими административными регламентами и нормативными правовыми актами.
РФ сегодня переживает «переходный» период от электронного правительства, где при оценке результативности государственного управления особое внимание уделялось адаптации государственных услуг к потребностям отдельных граждан (их групп), к этапу формирования цифрового правительства, в котором особое внимание уделяется вопросам открытости, прозрачности, качества управления и взаимодействия, вопросам доверия органам власти (ОЭСР, 2017).
4 URL: https://www.gosuslugi.ru/help/news/2018_12_28_Report_2018 (дата обращения: 20.05.2019).
5 «Электронное правительство»: некоторые важные факты за 6 лет. URL: http://government.ru/ info/32188/ (дата обращения: 20.05.2019).
Однако стоит отметить, что и лидерам построения электронного правительства (Великобритания, Австралия, Южная Корея и Сингапур) не удалось на сегодняшний день достичь полномасштабной цифровиза-ции и перейти к цифровому правительству по умолчанию, подразумевающему цифровой формат взаимодействия и максимальный уход от бумажного оборота.
Так, в упомянутом докладе Всемирного банка в числе прочих дана рекомендация Правительству РФ обеспечить трансформацию административных процессов на основе принципа «цифровые по умолчанию». Многие эксперты также отмечают, что в проекте федерального проекта «Цифровое государственное управление» указанный принцип не нашел должного отражения (см.: Косоруков, 2017).
Стоит отметить, что данный принцип во многом является основополагающим для реинжиниринга административных процессов для предоставления государственных услуг по цифровым каналам с целью извлечения из этого максимальной эффективности и продуктивности.
«Цифровое по умолчанию» означает «цифровое по сути», безальтернативно, когда не существует «бумажного» аналога. Сегодня основное требование при построении цифрового правительства сводится к изучению возможностей перехода от документов на бумажных носителях к записям в авторитетных базах данных. В связи с этим особую актуальность приобретает проблема конфиденциальности данных и достоверности обрабатываемой информации. В ее решении может быть весьма полезным применение технологии распределенного хранения данных - блокчейн, внедрение которой позволит разрешить две ключевые проблемы: сохранение истории изменений и гарантии подлинности внесенных данных, а также идентичность данных у всех участников децентрализованной платформы. Ярким примером успешного внедрения блокчейна в систему администрирования является фреймворк-платформа Ехопит компании ВШигу, которая уже обеспечивает успешное функционирование системы контроля договоров долевого участия (далее - ДДУ) Росреестра, цепочку поставок для колесных пар вагонов компании РЖД, систему распределенного реестра дипломов университета «Синергия»6.
Создание системы национального блокчейна позволит создать полноценную платформу для цифрового правительства, состоящую из доверенных базовых информационных ресурсов, персональных идентификаторов граждан и правительственных органов. Основой указанной инициативы могут быть уже успешно себя зарекомендовавшие существующие базовые компоненты инфраструктуры электронного правительства, такие как единый портал государственных услуг и муниципальных услуг, федеральный реестр государственных услуг, единая система идентификации и аутентификации, система межведомственного электронного взаимодействия, единая система нормативно-справочной информации и государственная информационная система о государственных и муниципальных платежах.
6 иКЬ: https://exonum.com/ (дата обращения: 20.05.2019).
Обзор исследований о цифровизации в государственном управлении
Основной целью реализации проектов по цифровизации государственного управления являются рационализация и интеграция рабочих и производственных процессов, эффективное управление данными и информацией, повышение эффективности предоставления государственных услуг в режиме онлайн, а также расширение каналов связи для вовлечения и расширения прав и возможностей людей (ООН, 2014). Однако единого понимания критериев и параметров цифровизации ни в РФ, ни на международном уровне пока не выработано.
Развитие электронного правительства изучается путем построения рамок, критериев и моделей этапов его развития. В частности, активным исследованием инициатив в области внедрения электронного правительства занимался A.M. Аль-Хоури (Al-Khouri, 2011), установивший, что, несмотря на большое количество предпринятых инициатив по всему миру, лишь немногие из них позволили добиться результатов, на достижение которых они изначально были ориентированы.
Одними из первых к вопросу изучения международных рейтингов развития электронного правительства обратились П. Чу и Ю. Сан (Chu, Sun 2013). Следует поддержать их вывод, что оптимальной целью электронного правительства является достижение или создание большего числа общественных ценностей, которые принесут большую выгоду многим заинтересованным сторонам, а также обеспечат социальную справедливость.
В течение последних 15 лет было внедрено несколько рамочных рейтингов, для оценки возможностей в области электронного управления. E. Сискос, Д. Аскоунис и Дж. Псаррас (см.: Siskos, Askounis & Psarras, 2014) в зависимости от субъекта изучения уровней цифровизации, делят исследования на три группы: правительственные (проводимые национальными или международными организациями, такими как ООН, ЕС), академические (проводимые исследователями и университетами) и независимые (проводимые частными компаниями или организациями).
Отметим, что среди международных организаций по количеству проведенных исследований лидирует ООН. Так, с 2001 г. было проведено 10 исследований, посвященных оценке развития электронного правительства в мире. Начав с постановки проблемы внедрения электронного правительства (ООН, 2001, 2003), ООН пришла к тезису о необходимости развития электронного правительства для поддержки преобразований в направлении устойчивого и жизнеспособного общества (ООН, 2018).
Помимо упомянутого выше ежегодно рассчитываются: индекс электронного участия; рейтинг готовности электронного правительства и цифровой экономики группы экономической разведки; рейтинг электронного правительства Васеда, индекс сетевой готовности Всемирного экономического форума (ВЭФ), индекс развития ИКТ Международного союза электросвязи (МСЭ). Всемирным банком (ВБ) разработаны показатели государственного управления, а в рамках ОЭСР рассчитывается показатель доли граждан, использующих Интернет для отправки заполненных форм че-
рез сайты государственных органов, отражающий степень цифровизации в сфере оказания госуслуг (ОЭСР, 2015).
Некоторые из этих показателей используются в качестве ориентиров, определяющих дискуссию, а также для оценки инвестиций правительств в развитие электронного правительства. Механизм расчета индексов заключается в том, чтобы сначала найти критерии, отражающие эффективность электронного правительства, а затем создать систему оценки по каждому из этих критериев для преобразования данных, собранных из несоизмеримых критериев, в числовые значения, которые имеют одинаковую основу для сравнения. Затем каждому критерию присваивается вес, представляющий относительную важность, для получения взвешенной суммы, отражающей общие показатели каждой страны в отношении развития электронного правительства. Все страны ранжируются на основе взвешенной суммы.
В то же время в ряде инструментов используются самые разные определения и различные методы измерения развития электронного правительства. Существуют также некоторые различия в показателях и их весах от индекса к индексу, в зависимости от важности этого показателя с точки зрения организации, строящей модель.
Эталонный рейтинг ООН «Индекс электронного правительства» представляет собой числовое значение, которое отражает степень экономического, социального и демократического развития конкретной анализируемой страны. Индекс электронного правительства представляет собой среднее значение трех основных показателей: наличие Интернета (измеряется путем анализа веб-сайтов), телекоммуникационная инфраструктура (измеряется с помощью показателей ИТ-оборудования конечных пользователей и их использования в Интернете) и человеческий капитал (измеряется с помощью индекса развития человеческого потенциала, индекса доступа к информации и плотности населения).
Несмотря на поддержку ценности сравнительного анализа электронного правительства и ранжирования стран на основе предоставления ими услуг в цифровой форме, среди экспертов сохраняются разногласия в части выбора приоритетных методик и практик.
В числе общих недостатков для всех рейтингов Р. Мачова и M. Льне-ничка (Machova & Lnenicka, 2015) выделяют свойственное большинству из них невнимание к национальным особенностям стран, а также к мнению пользователей цифровых сервисов, недоступность для широкой аудитории методологии рейтинга, отсутствие информации о фактическом использовании электронных государственных услуг гражданами и росте спроса на них.
К слову, глубокое исследование «принятия» цифровизации государственного управления населением и бизнес-сообществом как главными потребителями цифровых услуг было проведено некоммерческой организацией RAND в рамках исследования «Статистические критерии для оценки информационного общества. Бенчмаркинг электронного правительства в Европе и США» (2003), а также экспертами из Словении М. Вин-тар, М. Дэкман, М. Кунстелдж и Б. Берчик (см.: Vintar, Decman, Kunstelj & Bercic, 2003).
По мнению исследователей, композитные индексы легко и часто неправильно интерпретируются пользователями из-за отсутствия прозрачности в отношении того, как они генерируются, и возникающих в результате затруднений с раскрытием того, что они фактически измеряют (ОЭСР, 2015). Кроме того, если они не будут подписаны должным образом, они могут исказить государственную политику, поскольку страны могут стремиться к достижению контрольного показателя, а не учитывать реальные местные и национальные потребности (см.: Bannister, 2007). Ранжирование должно подкрепляться доступными и уточненными показателями и индексами, а также прозрачными вычислительными процедурами для максимального повышения их применимости правительствами и научным сообществом (см.: Rorissa, Demissie & Pardo, 2011).
E. Сискос, Д. Аскоунис и Дж. Псаррас (op. cit.) оценивали и ранжировали на основе многокритериальной методологии отдельные государства-члены ЕС в соответствии с их достижениями по созданию и развитию электронного правительства. Оценивались инфраструктура, инвестиции, электронные процессы и отношения пользователей по восьми критериям. Результаты оценки были подтверждены С. Као (см.: Kao, 2015). Однако с учетом появления новых возможностей в области ИКТ, таких как облачные вычисления, открытые (большие) данные, современные инструменты участия и сотрудничества или социальные сети, необходимо пересмотреть и обновить эти индексы и предложить новую систему контрольных показателей.
Эффект от цифровизации государственного управления в основном ассоциируется с повышением его качества и снижением затратности. Но если относительно качества цифровизации исследования ведутся, то по вопросу затратности надлежащей методики оценки пока не выработано.
Анализ эффективности государственного управления требует определения, с одной стороны, четкой взаимосвязи между деятельностью государственных служащих и результативностью их труда и, с другой стороны, столь же четкого обоснования объема расходов на государственное управление и объема экономической отдачи от внедрения новых сервисов и технологий. Нерешенность этих вопросов ведет к неэффективному использованию ресурсов, неполной реализации возможностей социально-экономического развития страны, недостаточной степени доверия общества к институтам государства (см.: World Bank, 2016).
Методики оценки
В мировой практике не сложилось сколько-нибудь универсальной методологии оценки эффективности государственного управления и государственной службы (см. об этом: Барциц, Борщевский, Магомедов, 2018). Для мониторинга и оценки результативности и эффективности органов государственной власти в зарубежной практике зачастую используются платформенные решения, особенно в части мониторинга и оценки качества предоставления государственных услуг.
Так, на платформе результативности правительства Великобритании («Predictiv») представлены значения показателей, характеризующих оказа-
ние государственных услуг. Каждая услуга оценивается на основе четырех показателей: (1) средняя стоимость транзакции; (2) доля заявителей, успешно получивших результат услуги; (3) общее число граждан, обратившихся за услугой; (4) уровень цифровизации.
Примечательно, что аналогичные показатели используются и для оценки предоставления государственных услуг на платформе результативности в Австралии. В США также используется специальное программное обеспечение (USA Performance) для оценки результативности профессиональной служебной деятельности федеральных государственных служащих (см.: Добролюбова, 2018).
Интересная методика оценки была предложена высшей школой урбанистики. Так, авторы разделили критерии оценки цифровизации малых и средних городов на три основных блока: человеческий фактор, экономика услуг, мобильность и потенциальный эффект. В первый блок входят: доля горожан, получающих дистанционное образование (он-лайн-курсы и обучение через Интернет); доля горожан, получивших онлайн медицинские услуги за год; увеличение уровня доверия к окружающим и к институтам; доля горожан, регулярно пользующихся онлайн государственными услугами. Вторую группу составляют: доля малого и среднего бизнеса, ориентированного на локальный рынок, в общей структуре экономики города; доля работников, занятых в ИКТ-секторе; доступные услуги; развитость сферы досуга онлайн. Третья группа индикаторов включает: количество поездок в соседние города с использованием сервисов онлайн-заказа такси, туристический поток (в том числе и внутрирегиональный) и пр.7.
Однако предлагаемая модель, несмотря на свою комплексность, не позволяет в полной мере оценить эффективность цифровизации системы госуправления во многом по причине ориентации на коммерческий сектор цифровой экономики.
Гораздо более обоснованным и верным видится проведение оценки цифровизации управленческого сектора на основе ключевых параметров цифрового и электронного правительства.
Ранее существовавшую модель электронного правительства предлагалось оценивать через Индекс электронного правительства, по показателям: наличия Интернета, телекоммуникационной инфраструктуры показателей ИТ-оборудования конечных пользователей и их использования и человеческого капитала (измеряется с помощью индекса развития человеческого потенциала, индекса доступа к информации и плотности населения).
В отличие от электронного правительства, новая концепция цифрового государства существенно расширила границы цифровизации, а вместе с ними и перечень критериев оценки. Структура цифрового правительства, согласно методике Всемирного банка, представлена следующими элемента-
7 URL: https://www.hse.ru/data/2018/06/06/1149766040/2018-06-GSU-HSE_pres_v6.pdf (дата обращения: 20.05.2019).
ми: единый портал; единые данные для совместного использования в государственном секторе; межведомственные сервисы для совместного использования; государственная инфраструктура совместного использования; улучшенные сенсорные сети и аналитика; кибербезопасность и конфиденциальность. Комплексный анализ этих показателей при оценке эффективности цифрового правительства должен проводиться одновременно в трех плоскостях: технологическая, организационная (политическая) готовность и экономическая целесообразность. При этом в основу методики должны одновременно закладываться как цифровые критерии, создающие технологическую основу для цифровизации сектора государственного управления (цифровые платформы и порталы, цифровая инфраструктура, информационная безопасность и т.д.), так и нецифровые критерии, формирующие оптимальные основы для цифровизации государственного управления.
Комплексный подход к критериям анализа даст возможность проводить оценку по тем параметрам, которые изначально не предполагают количественного измерения, не имеют единиц измерения и не охвачены мониторингом, но приобретают важное значение при их комплексном соотнесении с другими метрическими данными.
Комплексная методика оценки цифровизации позволит определить:
- технологическую реализуемость цифровых решений в системе цифрового правительства (распространенность широкополосного Интернета, количество субъектов, имеющих технологические возможности для получения онлайн-услуг, количество онлайн-офисов, объем и качество документооборота в рамках основных блоков цифрового правительства (единый портал; единые данные для совместного использования в государственном секторе; межведомственные сервисы; государственная инфраструктура совместного использования; аналитика; кибербе-зопасность и конфиденциальность);
- инфраструктурную готовность к цифровизации системы государственного управления. Важно определить зрелость институциональной среды и управления, возможность интеграции принципов и методов цифрового правительства в систему управления и контроля. При этом в основе исследования должен быть анализ как нормативных и инфраструктурных барьеров, препятствующих внедрению цифровых проектов, так и мер, направленных на совершенствование административных процессов;
- возможности использования предлагаемых методов конечными потребителями, их удовлетворенность качеством и скоростью оказанных услуг и пр., т.е. субъективные параметры цифровизации;
- экономическую целесообразность внедрения цифровых сервисов в публичный сектор. Если применительно к частному сектору экономическая выгода напрямую связана с получением дохода, то для системы управления ключевым параметром является минимизация расходов на предоставление государственных (муниципальных) услуг.
В рамках обозначенных выше задач авторская методика оценки эффективности цифровизации государственного сектора может быть представлена в виде следующего инструментального набора.
Методы измерения цифровизации государственного управления (по целевым направлениям анализа).
Таблица 1
Методика оценки технологической реализуемости цифровых решений для системы государственного управления
Показатель Критерии оценки Применяемые методики / используемые данные
Распространенность компьютеров и Интернета Оценка общего количества компьютерных устройств и Интернета Статистический анализ / данные статистического учета*
Количество субъектов, имеющих технологические возможности для получения онлайн-услуг Число пунктов коллективного пользования (доступа), имеющих выход в сеть Интернет, на 100 человек населения Статистический анализ / данные статистического учета
Число абонентов фиксированного широкополосного доступа в Интернет на 100 человек населения
Число абонентов мобильного широкополосного доступа в Интернет на 100 человек населения
Доля органов государственной власти (ОГВ) и местного самоуправления (ОМС), использовавших персональные компьютеры, в общем числе обследованных организаций
Число персональных компьютеров в ОГВ и ОМС в расчете на 100 работников организаций
Число персональных компьютеров в домашних хозяйствах
Доля организаций-потребителей госуслуг, использовавших Интернет, в общем числе обследованных организаций Статистический анализ / данные статистического учета
Доля организаций-потребителей госуслуг, использовавших широкополосный доступ к сети Интернет, в общем числе организаций
Доля организаций, использовавших системы электронного документооборота, в общем числе обследованных организаций
Доля организаций, использовавших электронный обмен данными между своими и внешними информационными системами по форматам обмена, в общем числе обследованных организаций
Доля домашних хозяйств, имеющих широкополосный доступ к сети Интернет, в общем числе домашних хозяйств и пр.
Показатель Критерии оценки Применяемые методики / используемые данные
Реализация программ электронного правительства Доля ОГВ и ОМС, использовавших в отчетном году специальные программные средства для предоставления доступа к базам данных организации Статистический анализ / данные статистического учета
Доля ОГВ и ОМС, использовавших в отчетном году системы электронного документооборота
Доля ОГВ и ОМС, использовавших в отчетном году автоматический обмен данными между своими и внешними информационными системами по форматам обмена
Доля ОГВ и ОМС, использовавших в отчетном году цифровые подписи
Распространенность цифровых услуг Доля ОГВ и ОМС, использовавших Интернет, в общем числе обследованных организаций ОГВ И ОМС -всего Статистический анализ / данные статистического учета
Доля размещенных заказов на поставки товаров, выполнение работ и оказание услуг для государственных и муниципальных нужд с использованием цифровых технологий
Доля электронного документооборота между органами государственной власти в общем объеме межведомственного документооборота
Доля населения, использовавшего сеть Интернет для получения государственных и муниципальных услуг, в общей численности обследуемого населения
Доля населения, использовавшего сеть Интернет для получения государственных и муниципальных услуг, в общей численности населения, получившего государственные и муниципальные услуги
Информационная безопасность Доля организаций, использовавших средства защиты информации, передаваемой по глобальным сетям, в общем числе обследованных организаций Статистический анализ / данные статистического учета
Примечание: *Под данными статистического учета понимаются данные Росстата, полученные в рамках программы «Мониторинг развития информационного общества в Российской Федерации».
Таблица 2
Методика оценки инфраструктурной готовности к цифровизации
Показатель Критерии оценки Применяемые методики / используемые данные
Проникновение цифровизации в сектор государственного управления Доля взаимодействий граждан и коммерческих организаций с государственными (муниципальными) органами и бюджетными учреждениями, осуществляемых в цифровом виде Статистический анализ / Перечень показателей федерального проекта «Цифровое государственное управление» национального проекта «Цифровая экономика Российской Федерации»* (далее - Перечень показателей национального проекта)
Доля внутриведомственного и межведомственного юридически значимого электронного документооборота государственных и муниципальных органов и бюджетных учреждений
Доля основных данных, прошедших гармонизацию (соответствие мастер-данным)
Доля приоритетных государственных услуг и сервисов, соответствующих целевой модели цифровой трансформации (предоставление без необходимости личного посещения государственных органов и иных организаций, с применением реестровой модели, онлайн (в автоматическом режиме)
Доля электронного документооборота между органами государственной власти Российской Федерации с органами государственной власти государств-членов ЕАЭС и ЕЭК в общем объеме документооборота
Доля граждан, использующих механизм получения государственных и муниципальных услуг в электронной форме Статистический анализ / Официальная статистическая информация по показателям, содержащимся в указах Президента РФ от 7 мая 2012 г. № 596-606, в соответствии с разделом 2.6. Федерального плана статистических работ**
Инвестиционный интерес Объем инвестиций в основной капитал на оборудование для информационно-коммуникационных технологий, в фактически действующих ценах Статистический анализ / данные статистического учета
Нормативные и инфраструктурные барьеры Доля отказов при предоставлении приоритетных государственных услуг и сервисов от числа отказов Статистический анализ / Перечень показателей национального проекта
Производительность цифровых услуг Соотношение долей обработанной информации онлайн и офлайн Расчет количества входящих и исходящих документов (шт.) и среднесписочная численность работников, предоставляющих услуги онлайн и офлайн
Коэффициент исполнимости (К) Соотношение фактически исполненных предписаний, связанных с внедрением цифровых технологий (Е), с количеством документов, подлежащих исполнению Соотношение официальных статистических данных
Показатель Критерии оценки Применяемые методики / используемые данные
Коэффициент использования информации Количество использованной информации, полученной через цифровые платформы и порталы, к общему количеству полученной на них информации Соотношение официальных статистических данных
Коэффициент оперативности работы Соотношение директивных сроков исполнения применительно к онлайн-и офлайн-сервисам Анализ статистических данных о нарушении сроков оказания государственных услуг
Примечания: *URL: http://www.gks.ru/metod/fed-proekt/FP1105.htm (дата обращения: 20.05.2019). ** URL: http://www.gks.ru/free_doc/new_site/rosstat/pok-monitor/inf-pok2019.htm (дата обращения: 20.05.2019). Таблица 3 Методика оценки экономической целесообразности внедрения цифровых сервисов в публичный сектор
Показатель Критерии оценки Применяемые методики / используемые данные
Расходы на развитие цифровых сервисов в системе государственного управления Удельный вес затрат на информационные и коммуникационные технологии (ИКТ) в общем объеме отгруженной продукции Официальная статистическая информация по показателям, содержащимся в указах Президента Российской Федерации от 7 мая 2012 г. N 596-606, в соответствии с разделом 2.6 Федерального плана статистических работ
Доля размещенных заказов на поставки товаров, выполнение работ и оказание услуг для государственных и муниципальных нужд
Коэффициент затратности управления Снижение стоимости государственных (муниципальных) услуг: - снижение расходов на проверку и контроль качества оказания услуг; - сокращение количества жалоб и времени на их проверку; - сокращение затрат на содержание дополнительного персонала; - сокращение платы за аренду и содержание помещений для хранения бумажной документации; - оптимизация сбора налогов и иных социальных выплат. Показатель строится на соотношении расходов при предоставлении управленческих услуг в режимах онлайн и офлайн (на одну ед. учета) Соотношение статистических данных по направлениям оценки: содержания онлайн-и офлайн-офисов, издержек документооборота, использования кадровых ресурсов (количество работников и уровень заработной платы), затрат на содержание инфраструктуры
Коэффициент полезности государственных цифровых сервисов для бизнеса Оценка глубины проникновения государственных цифровых технологий в современные бизнес-процессы и оценка эффективности бизнеса С использованием метода прогнозной аналогии рассчитывается сумма доходов и оптимизированных расходов вследствие внедрения этих сервисов в бизнес-процессы; экспертная оценка
Показатель Критерии оценки Применяемые методики / используемые данные
Коэффициент результативности управления Объем оказанных информационных услуг к численности аппарата Соотношение статистических данных по оказанным услугам
Коэффициент управляемости Соотношение количества руководителей (уровней управления) к фактическому и нормативному числу работников, занятых в сфере цифрового управления Соотношение статистических данных по кадровому составу ОГС и ОМС
Таблица 4 Методика оценки субъективных параметров цифровизации
Показатель Критерии оценки Применяемые методики / используемые данные
Принятие населением цифровых услуг Поддержка населением развития программ цифровизации по отдельным показателям: - понимание целей, задач и направлений цифровизации; - качество и оперативность работы цифровых сервисов; - отношение к программам внедрения цифрового правительства; - доступность и простота внедряемых цифровых сервисов Социологические опросы (анкетный опрос); экспертный анализ
Оценка последствий цифровизации Оценка населением и организациями последствий цифровизации по направлениям: электронное взаимодействие, цифровые платформы, цифровые сервисы Социологические опросы (анкетный опрос); экспертный анализ; дискурс-анализ
Прогнозы цифровизации государственного сектора Анализ мнений по перспективным направлениям цифровизации государственного и муниципального секторов, оценка последствий для государства, общества, бизнеса и граждан Социологические опросы (анкетный опрос); экспертный анализ; дискурс-анализ
Цифровые навыки Доля лиц (организаций), получающих дистанционные государственные (муниципальные) услуги Анализ статистических данных; дискурс-анализ
Количество лиц, прошедших обучающие программы по цифровым государственным услугам Анализ статистических данных; дискурс-анализ
Отношение населения к цифровому образованию по следующим показателям: оценка важности цифрового образования; оценка качества образования; оценка полезности образования; готовность к прохождению специального обучения Социологические опросы (анкетный опрос); экспертный анализ; дискурс-анализ
Особенности и преимущества предлагаемой методики
Официально утвержденной методики оценки цифровизации как на национальном, так и на международном уровне пока нет, поэтому так высока актуальность выработки методики оценки цифровизации государственного и муниципального управления, которая, с одной стороны, позволила бы обрабатывать информацию, полученную от статистических служб и иных официальных источников, а с другой - создавала бы возможность для оценки этих показателей в их системном единстве.
С этих позиций предлагаемая в работе методика имеет ряд преимуществ:
- широта применяемых методов анализа: предлагается использовать методы статистического анализа, экспертных оценок, социологических опросов, математические, прогнозные методы и др.;
- простота и прозрачность критериев оценки. Большинство из них основывается на данных официальных статистических отчетов Росста-та и других организаций, поэтому они могут быть проанализированы в динамике. Большинство из предложенных индикаторов коррелируют с международными и зарубежными моделями измерения цифровой экономики и могут быть с ними совмещены;
- полифункциональность методики. Широта используемых методов позволяет оперативно оценивать динамику цифровизации государственного/муниципального секторов и проводить их рейтингование. Кроме того, по мере апробации методики будет целесообразно выделение критериев-индикаторов, позволяющих отследить качественные изменения в динамике цифровизации;
- сочетание статистических и социологических методов анализа позволяет также оценить реальную картину цифровизации государственного сектора, определить степень поддержки концепции цифрового правительства населением, коммерческими и некоммерческими организациями и т.д.
Сфера применения методики
Данная методика рассчитана на применение как на региональном, так и общегосударственном уровне для:
- оценки динамики и статистической результативности внедряемых цифровых платформ и сервисов, запуска единой информационной базы данных для министерств и ведомств;
- рейтингования регионов в рамках полифакторного измерения;
- оценки уровня поддержки населением политики цифровизации государственного управления (установление обратной связи «потребитель цифровой услуги - государство») и пр.
Глубокий анализ данных в рамках предлагаемой модели может осуществляться под руководством аппарата Правительства РФ, в то время как обработка и измерение данных могут осуществляться профильными министерствами и ведомствами на основе единой информационной базы.
Апробация методики (по выборочным показателям)
К сожалению, объемы настоящего исследования не позволяют привести данные по предложенным выше критериям. Для демонстрации оперативных возможностей авторской модели измерения цифровизации государственного сектора ограничимся отдельными результатами. В частности, коэффициент затратности управления подсчитывался нами на основе оценки:
- снижения стоимости доставки информации и услуг;
- снижения расходов на проверку и контроль качества оказания услуг;
сокращения количества жалоб и времени на их проверку;
- сокращения затрат на содержание дополнительного персонала;
- сокращения платы за аренду и содержание помещений для хранения
бумажной документации;
- оптимизации сбора налогов и иных социальных выплат.
На основе анализа официальных данных о расходах органов государственной власти в рамках обозначенных выше направлений для онлайн-и офлайн-офисов с последующей оценкой общего количества таких органов мы пришли к выводу, что только в 2019 г. коэффициент затратности цифровых услуг (в сравнении с офлайн-услугами) может составить по показателям «снижение стоимости доставки информации и услуг» 1,3 млрд. руб. в год; «снижение расходов на проверку и контроль качества оказания услуг, сокращение количества жалоб и времени на их проверку» - 500 млн руб. в год; «сокращение затрат на содержание дополнительного персонала» - 1,2 млрд. руб. в год; «сокращение платы за аренду и содержание помещений для хранения бумажной документации» - 700 млн руб. в год; «оптимизация сбора налогов и иных социальных выплат» - 390 млн руб. в год.
Таким образом, на основе проведенных расчетов между показателями работы госучреждений с использованием и без использования электронных устройств, а также с учетом динамики и объемов их использования для получения и оплаты услуг объем сэкономленных средств государственных и муниципальных органов в рамках данной методики составит в 2019 г. в среднем 4 млрд. руб.
Интерес представляет и интегральный показатель полезности государственных цифровых сервисов для бизнеса. С использованием метода прогнозной аналогии рассчитывается сумма доходов и оптимизированных расходов вследствие внедрения этих сервисов в бизнес-процессы.
В процессе подсчетов были получены следующие данные об интегральных показателях полезности государственных сервисов применительно к различным направлениям бизнес-процессов.
За основу были взяты данные анкетирования экспертов в области цифровизации системы государственного управления. Было опрошено 56 государственных служащих, 37 бизнесменов, 25 ученых, вовлеченных в процесс применения и (или) внедрения цифровых государственных сервисов. В рамках проведенного опроса было изучено их мнение о глубине проникновения цифровых технологий в отдельные направления управленческой деятельности. Средние числовые значения предполагаемого влияния циф-
ровизации на оптимизацию управленческих процессов позволили вывести следующие базисные показатели полезности государственных цифровых сервисов для бизнеса (1ПМП):
- индекс оптимизации документооборота (1д - 2,3%);
- индекс оптимизации финансовых расчетов (1ФР - 1,2%);
- индекс оптимизации контрольных, управленческих и экономических
задач (1уз - 1,7%);
- индекс оптимизации информационного обмена (I - 3,1%).
При этом для простоты расчетов использовался средний индекс полезности мобильных приложений по следующей формуле:
1ПМП = (1д + 1ФР + 1ИО + 1УЗ) / 4 = 2,075
На основе проведенных расчетов можно предположить, что коэффициент полезности государственных цифровых сервисов в 2018 г. составил в среднем 2%.
В дальнейшем на основе этого показателя можно рассчитывать реальные объемы средств, сэкономленных хозяйствующими субъектами при использовании государственных (муниципальных) цифровых сервисов.
При секторальной оценке во внимание могут быть приняты коэффициенты включенности государственных сервисов в отдельные производственные отношения. Они умножаются на объем ВВП каждой из отраслей экономики. Таким образом рассчитывается показатель ВВП с учетом использования хозяйствующими субъектами государственных цифровых сервисов.
Важно подчеркнуть, что отдельные приведенные результаты не могут быть оценены сами по себе, вне связи с критериями технологической реализуемости цифровых решений в системе цифрового правительства, инфраструктурной готовности и социальной поддержки развития цифрового правительства, разрабатывать методику которых еще только предстоит.
Государства, приступившие к реализации своих стратегий оценок цифрового правительства, уже столкнулись с проблемой мониторинга прогресса на социальном, политическом и технологическом уровнях по причине отсутствия общемировых показателей и критериев.
Таким образом, у Правительства Российской Федерации имеется возможность уже на начальном этапе принять участие в разработке сопоставимых показателей с учетом глобальных тенденций и синхронизировать свою систему мониторинга с международной системой.
ЛИТЕРАТУРА
Всемирный банк. 2016. Цифровое правительство 2020. Перспективы для России. -URL: http://www.iis.ru/docs/DigitalGovernmentRussia2020RUS.pdf (дата обращения: 19.05.2019).
2. Добролюбова Е.И., Южаков В.Н., Ефремов А.А., Клочкова Е.Н., Талапина Э.В., Старцев Я.Ю. Цифровое будущее государственного управления по результатам. -М.: Издательский дом «Дело» РАНХиГС, 2019. -114 с.
3. Косоруков А.А. Цифровое правительство в практике современного государственного управления (на примере Российской Федерации) // Тренды и управление. - 2017. -№ 4. - С. 81-96.
4. Al-Khouri A.M. An Innovative Approach for e-Government Transformation // International Journal of Managing Value and Supply Chains. 2011. Vol. 2. No. 1. P. 22-43.
5. Bannister F. The curse of the benchmark: an assessment of the validity and value of e-govern-ment comparisons // International Review of Administrative Sciences. 2007. Vol. 73. No. 2. P. 171-188.
6. Bryson J., Crosby B., Bloomberg L. Public value governance: Moving beyond traditional //Public administration and the new public management. Public Administration Review.
2014. Vol. 74. No. 4. P. 445-456.
7. Chu P., Sun Y.A Prospective Survey on Future e-Governance Research Directions. Proceedings of the 13th European Conference on e-Government (ECEG 2013). Academic Conferences and Publishing International Limited. 2013. P. 127-134.
8. Dobrolyubova E., Yefremov A., Aleksandrov O. Is Russia Ready for Digital Transformation? // Communications in Computer and Information Science. 2017. Vol. 745. P. 431-444.
9. Graafland Essers I., Ettedgui E. Statistical Indicators Benchmarking the Information Society. Benchmarking e-Government in Europe and the US. RAND. 2013. URL: http://www. rand.org/ (дата обращения: 20.05.2019).
10. Kao C. Evaluation and improvement of e-government: The case of European countries in proceedings of the second international conference on eDemocracy & eGovernment (ICEDEG 2015), IEEE. 2015. P. 104-107.
11. Mächovä R., Lnenicka M. Reframing E-Government Development Indices with Respect to New Trends in ICT // Review of Economic Perspectives. Närodohospodärsky Obzor.
2015. Vol. 15. No 4. P. 383-411.
12. OECD Government at a Glance 2017. OECD Publishing. Paris, 2017.
13. OECD. Recommendation of the Council on Digital Government Strategies. OECD Publishing, Paris. 2014. URL: http://www.oecd.org/gov/digital-government/Recommendation-digital-government-strategies.pdf (дата обращения: 19.05.2019).
14. OECD. Recommendation of the Council on Open Government 2017. OECD Publishing, Paris. 2017. URL: http://www.oecd.org/gov/Recommendation-Open-Government-Approved-Council-141217.pdf (дата обращения: 19.05.2019).
15. Rorissa A., Demissie D., Pardo T. Benchmarking e-Government: A comparison of frameworks for computing e-Government index and ranking // Government Information Quarterly. 2011. Vol. 28. No 3. P. 354-362. URL: http://dx.doi.org/10.1016/j.giq.2010.09.006 (дата обращения: 20.05.2019).
16. Siskos E., Askounis D., Psarras J. Multicriteria decision support for global e-government evaluation // Omega. 2014. No. 46. P. 51-63. URL: http://dx.doi.org/10.1016/j.omega.2014.02.001 (дата обращения: 20.05.2019).
17. United Nations e-Government Survey 2001: Benchmarking E-Government: A Global Perspective. UN Publishing Section. New York, 2001.
18. United Nations e-Government Survey 2003 World Public Sector Report: E-Government at the Crossroads. UN Publishing Section. New York, 2003.
19. United Nations e-Government Survey 2014: E-Government for the Future We Want. UN Publishing Section. New York, 2014.
20. United Nations e-Government Survey 2018. UN Publishing Section. New York, 2018.
21. Vintar M., Decman M., Kunstelj M., Bercic B. Integral E-Government in Slovenia // Information Polity. 2003. Vol. 8, No 3, 4. P. 133-149.
THE EFFICIENCY OF DIGITAL PUBLIC ADMINISTRATION ASSESSING: THEORETICAL AND APPLIED ASPECTS
Elina L. Sidorenko
Ph.D. (in Law), Head of the Working Group on the Risks of Cryptocurrency Turnover, State Duma of the Russian Federation; Professor at the Department of Criminal Law, Criminal Procedure and Criminology, Director of the Center for Digital Economy and Financial Innovation, Moscow State Institute of International Relations (University), Ministry of Foreign Affairs of the Russian Federation. Address: 76, Vernadskogo Av., 119454 Moscow, Russian Federation. E-mail: 12011979@list.ru
Igor N. Bartsits
Doctor of Law, Professor, Director of the Institute of Public Administration and Civil Service, Russian Academy of National Economy and Public Administration under the President of the Russian Federation, (RANEPA). Merited Lawyer of the Russian Federation, Active State Advisor of the Russian Federation, 3rd class. Address: 82, Vernadsky Av., 119454, Moscow, Russian Federation. E-mail: bartsits-in@ranepa.ru
Zarina I. Khisamova
Ph.D. (in Law), Head of Planning and Coordination of Scientific Activity Department, Krasnodar University of the Ministry of the Internal Affairs of Russia.
Address: 128, Yaroslavskaya Str., 350005 Krasnodar, Russian Federation. E-mail: alise89@inbox.ru
Abstract
In the most of the developed countries digital transformation of public administration is rather slow; the development is far behind of the officially defined and announced schedules. In this regard, the assessment of the effectiveness of digital management becomes particularly relevant. The authors note that the effect of digitalization of public
administration is often identified with improving its quality and reducing costs. However, most of the research is aimed at assessing the quality of digitalization, while the issue of studying the cost of digitalization and minimizing costs has not been given due attention. The study proposes the author's model of the analysis of digital public administration effectiveness, based mainly on the criteria of minimizing the costs associated with the introduction of digital services. To demonstrate the operational capabilities of the author's model of measuring the digitalization of the public sector, the calculations of the cost coefficient of digital services and the utility coefficient of public digital services are given. It is assumed that a suggested model will make it possible to determine the technological feasibility of digital solutions in the system of digital government and infrastructure readiness for the digitalization of public administration; evaluation of subjective parameters of digitalization and determination of the economic feasibility of the introduction of digital services in the public sector. The proposed methodology can be applied on a regular basis both at the regional and national level to assess the dynamics and statistical effectiveness of the implemented digital platforms and services, launch a single information database for ministries and departments; rate and rank regions within the framework of the multifactor measurement, as well as to assess the level of public support for the policy of digitalization of public administration (establishing feedback «consumer of digital services - state»), etc.
Keywords: digitalization; public administration; efficiency assessment; digital government; e-government; e-government development ratings.
Citation: Sidorenko, E.L., Bartsits, I.N. & Khisamova Z.I. (2019). Sidorenko, E.L., Bartsits, I.N. & Khisamova Z.I. (2019). Otsenka effektivnosti tsifrovogo gosudarstven-nogo upravleniya: Teoreticheskie i prikladnye aspekty [The Efficiency of Digital Public Administration Assessing: Theoretical and Applied Aspects]. Public Administration Issues, no 2, pp. 93-114 (in Russian).
REFERENCES
1. Al-Khouri, A.M. (2011). An Innovative Approach for e-Government Transformation. International Journal of Managing Value and Supply Chains. 2011, vol. 2, no. 1, pp. 22-43.
2. Bannister, F. (2007). The Curse of the Benchmark: An Assessment of the Validity and Value of E-Government Comparisons. International Review of Administrative Sciences, vol. 73, no 2, pp. 171-188.
3. Bryson, J., Crosby, B. & Bloomberg, L. (2014). Public Value Governance: Moving Beyond Traditional. Public Administration and the New Public Management. Public Administration Review, vol. 74, no 4, pp. 445-456.
4. Chu, P. & Sun, Y.A. (2013). Prospective Survey on Future e-Governance Research Directions. Proceedings of the 13th European Conference on E-Government (ECEG 2013). Academic Conferences and Publishing International Limited, pp. 127-134.
5. Dobrolyubova, E., Yefremov, A. & Aleksandrov, O. (2017). Is Russia Ready for Digital Transformation? Communications in Computer and Information Science, vol. 745, pp. 431-444.
6. Dobrolyubova, E.I., Yuzhakov, V.N., Efremov, A.A., Klochkova, E.N., Talapina, E.V. & Startsev, Ya.Yu. (2019). Tsifrovoe budushchee gosudarstvennogo upravleniya po rezul'tatam [Digital Future State of Performance Management]. Moscow: "Delo".
7. Graafland, E.I. & Ettedgui, E. (2013). Statistical Indicators Benchmarking the Information Society. Benchmarking e-Government in Europe and the US. RAND. Available at: http:// www.rand.org/ (accessed: 19 May, 2019)
8. World Bank (2016). Tsifrovoe pravitel'stvo 2020: perspektivy dlya Rossii. [Digital Government 2020. Prospects for Russia]. Available at: http://www.iis.ru/docs/DigitalGovernmen-tRussia2020RUS.pdf (accessed: 19 May, 2019)
9. Kao, C. (2015). Evaluation and Improvement of E-Government: The Case of European Countries. Proceedings of the Second International Conference on eDemocracy & eGovernment (ICEDEG 2015), IEEE, pp. 104-107.
10. Kosorukov, A.A. (2017). Tsifrovoe pravitel'stvo v praktike sovremennogo gosudarstvennogo upravleniya (na primere Rossiyskoy Federatsii) [Digital Government in the Modern Public Administration Practice (the Example of the Russian Federation)]. Trendy i upravlenie, no 4, pp. 81-96.
11. Machova R. & Lnënicka M. (2015). Reframing E-Government Development Indices with Respect to New Trends in ICT. Review of Economic Perspectives. Närodohospodärsky Obzor, vol. 15, no 4, pp. 383-411.
12. OECD. (2017).Government at a Glance 2017. OECD Publishing, Paris. 2017.
13. OECD. (2014). Recommendation of the Council on Digital Government Strategies. Paris: OECD Publishing. Available at: http://www.oecd.org/gov/digital-government/Recommen-dation-digital-government-strategies.pdf (accessed: 19 May, 2019)
14. OECD. (2017). Recommendation of the Council on Open Government 2017. OECD Publishing, Paris. 2017. Available at: http://www.oecd.org/gov/Recommendation-Open-Govern-ment-Approved-Council-141217.pdf (accessed: 19 May, 2019).
15. Rorissa, A., Demissie, D. & Pardo, T. (2011). Benchmarking E-Government: A Comparison of Frameworks for Computing E-Government Index and Ranking. Government Information Quarterly, vol. 28, no 3, pp 354-362. Available at: doi.org/10.1016/j.giq.2010.09.006 (accessed: 19 May, 2019).
16. Siskos, E., Askounis, D. & Psarras, J. (2014). Multicriteria Decision Support For Global E-Government Evaluation. Omega, no 46, pp. 51-63. Available at: doi.org/10.1016/j.omega. 2014.02.001(accessed: 19 May, 2019).
17. United Nations (2001). United Nations E-Government Survey 2001: Benchmarking E-Govern-ment: A Global Perspective. New York: UN Publishing Section.
18. United Nations (2003). United Nations e-Government Survey 2003 World Public Sector Report: E-Government at the Crossroads. New York: UN Publishing Section.
19. United Nations (2014). United Nations e-Government Survey 2014: E-Government for the Future We Want. New York: UN Publishing Section.
20. United Nations (2018). United Nations e-Government Survey 2018. New York: UN Publishing Section.
21. Vintar, M., Decman, M., Kunstelj, M. & Bercic, B. (2003). Integral E-Government in Slovenia, Information Polity, vol. 8, no 3, 4, pp. 133-149.
