CC BY
67
УДК 352.075:005.01
DOI: 10.17072/2218-9173-2018-1-272-293
ИНДИКАТОРЫ «СООТВЕТСТВИЯ», «ЭФФЕКТИВНОСТИ», «ВЛИЯНИЯ» В СИСТЕМЕ ОЦЕНКИ ПРОГРАММ КРУПНЕЙШЕГО ГОРОДА
А. М. Елохов
Пермский государственный национальный исследовательский университет, г. Пермь, Россия
Т. А. Арбузова
Пермский государственный национальный исследовательский университет, г. Пермь, Россия
Для цитирования:
Елохов А. М., Арбузова Т. А. Индикаторы «соответствия», «эффективности», «влияния» в системе оценки программ крупнейшего города // Ars Administrandi (Искусство управления). 2018. Том 10, № 2. С. 272-293. DOI: 10.17072/2218-9173-2018-1-272-293.
Введение: в статье рассматривается актуальный для крупнейших городов Российской Федерации вопрос: как превратить оценку муниципальных целевых программ из ограниченного контрольного инструмента городской администрации в действенный метод городского программного развития.
Цель: показать необходимость и возможность использования в программной оценке новых индикаторов «соответствия» программ стратегии городского развития, «эффективности» выполнения программных мероприятий, «влияния» программ на социально-экономическое развитие муниципалитета.
Методы: общенаучные, методы логического, системного, сравнительного и статистического анализа нормативно-правовых документов крупнейших городов России, регулирующих оценку целевых программ.
Результаты: определен новый состав индикаторов программной оценки, предложены и апробированы алгоритмы оценки эффективности программных мероприятий и влияния муниципальных программ на развитие крупнейшего города Перми за 2009-2017 годы.
Выводы: использование предлагаемых индикаторов дополняет методологию оценки программ, повышает достоверность оценки программ городскими властями и жителями города, оптимизирует бюджетные расходы в зависимости от результативности программных мероприятий, повышает ответственность программных управляющих за итоги воздействия программ на социально-экономическое развитие крупнейшего города.
Ключевые слова: крупнейший город; целевая программа; оценка программ; оценка соответствия; оценка эффективности программ; оценка воздействия программ на социальное и экономическое развитие города
ВВЕДЕНИЕ
В соответствии со сводом правил1 города с населением свыше 1 млн чел. отнесены к группе крупнейших. В Российской Федерации увеличивается
1 СП 42.13330.2016 «СНиП 2.07.01-89* Градостроительство. Планировка и застройка городских и сельских поселений») [Электронный ресурс]: утв. приказом Минстроя России от 30.12.2016 № 1034/пр. URL: http://www.minstroyrf.ru/docs/14465/ (дата обращения: 04.04.2018).
272 © Елохов А. М., Арбузова Т. А., 2018
количество городов и численность проживающих в них жителей. За 19262017 годы количество городов выросло в 2,4 раза (с 461 до 1112), удельный вес горожан в общей численности населения страны в этот же период повысился с 18 % до 70 %. Больше 32 % городского населения живет в крупнейших городах2.
Крупнейшие города традиционно являются административными центрами субъектов Российской Федерации, значительными культурными, хозяйственными, политическими, центрами, несущими звеньями в организации территории, лидерами социально-экономических изменений в стране. Возрастающая роль крупнейших городов в социально-экономическом развитии России во многом определяется эффективностью городского управления.
В современных условиях одним из основных инструментов городских властей стало программно-целевое управление. В числе важнейших причин активного использования программирования в практике городского управления можно назвать следующие. Во-первых, в условиях разрыва связей отраслевого и территориального планирования программная концентрация сил и средств на ключевых направлениях городского социально-экономического развития обеспечивает решение проблем, которые не регулируются рыночными механизмами. Во-вторых, программно-целевое управление позволяет увязать разнонаправленные интересы субъектов экономических рыночных отношений в рамках решения стратегических задач устойчивого социально-экономического развития города в рамках Федерального закона «О стратегическом планировании в Российской Федерации» № 172-ФЗ от 28 июня 2014 года (далее - закон № 172-ФЗ). В-третьих, формирование и исполнение городского бюджета с 2012 года осуществляется только на базе программно-целевых методов, призванных обеспечивать зависимость между программным расходованием бюджетных средств и реальными результатами достижения целей городской социально-экономической политики.
Оживление программно-целевого планирования в России, начавшееся в 1993-1994 годы, привело к последующему бурному росту количества осуществляемых целевых программ. По состоянию на начало 2018 года в 22 327 муниципальных образованиях реализуются десятки тысяч целевых программ. По нашим подсчетам, на основе данных сайтов городских администраций, в крупнейших городах России разработаны и реализуются 250 программ: в Москве - 10 программ, Санкт-Петербурге - 17, Нижнем Новгороде - 22, Казани - 26, Новосибирске - 7, Екатеринбурге - 26, Челябинске - 7, Омске - 11, Самаре - 15, Ростове-на-Дону - 20, Уфе - 25, Красноярске - 11, Перми - 25, Воронеже - 14, Волгограде - 15. Динамика программирования на примере крупнейшего города Российской Федерации - Перми отражена в табл. 1.
2 Численность населения Российской Федерации по муниципальным образованиям [Электронный ресурс]. URL: http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/ publications/catalog/afc8ea004d56a39ab251f2bafc3a6fce (дата обращения: 12.04.2018).
Таблица 1 / Table 1 Динамика программирования в г. Перми / Dynamics of programming in Perm
Показатель Годы
2004 2009 2013 2017 2018
Количество целевых программ (ЦП), ед. 22 32 32 25 25
Объем программных бюджетных средств, млрд руб. 0,065 3,1 9,06 22,1 21,4
Удельный вес ЦП в расходной части бюджета города, % 5,1 14,4 36,5 90,3 90,4
Бюджетных средств на ЦП, млрд руб. 0,003 0,097 0,283 0,884 0,856
Источник: составлено авторами по (Елохов и Елохова, 2015, с. 61), данным сайта администрации города Перми3.
Развитие системы программирования городского развития обусловило повышение интереса к оценке целевых программ. К настоящему времени на муниципальном уровне в основном сформирована ее нормативная основа. Анализ указанных документов крупнейших городов показал, что оценка целевых программ производится по показателям: достижения целей программы; выполнения мероприятий, входящих в программу; освоения планового объема финансирования программы. Несмотря на информативность, указанные виды оценок не позволяют оценить эффективность реализации программных мероприятий и не отражают влияние программ на социально-экономическое развитие муниципалитета в целом. Особо актуальной остается проблема соответствия программ стратегии городского социально-экономического развития, инструментом реализации которой они провозглашены в законе № 172-ФЗ. Сложившаяся ситуация требует выработки и внедрения подходов, направленных на повышение эффективности оценки городских программ.
Целью работы является предложение расширить горизонт программной оценки за счет использования новых индикаторов «соответствия» программ стратегии городского развития, «эффективности» выполнения программных мероприятий, «влияния» программ на социально-экономическое развитие муниципалитета. Для достижения поставленной цели в статье последовательно решаются следующие задачи: рассматриваются подходы к оценке целевых программ в отечественных и зарубежных исследованиях, уточняются индикаторы эффективности и влияния программ на показатели социально-экономического развития города, вводится индикатор соответствия программ стратегии развития города, на практических примерах города Перми исследуются алгоритмы использования предлагаемых критериев в системе оценки городских программ.
3 Расходы бюджета города Перми по муниципальным программам на 2017-2019 гг. [Электронный ресурс]. URL: http://budget.gorodperm.ru/approved_budgets/expenses_activities2017 (дата обращения: 13.04.2018).
МЕТОДОЛОГИЯ (ТЕОРЕТИЧЕСКИЕ ОСНОВЫ) ИССЛЕДОВАНИЯ
Методологическую основу исследования составляет сравнительный подход, в рамках которого использовались общенаучные методы и принципы, методы логического, системного и статистического анализа содержания федеральных законодательных и нормативных актов крупнейших городов.
Информационно-теоретической основой исследования послужили закон № 172-ФЗ, определяющий структуру и содержание стратегических документов в том числе на муниципальном уровне управления; программа «Цифровая экономика Российской Федерации», утвержденная Правительством Российской Федерации в 2017 году4; нормативные документы органов местного самоуправления крупнейших городов России, регулирующие оценку целевых программ; материалы Департамента планирования и мониторинга администрации города о развитии Перми за 2009-2017 годы.
Теоретическая основа исследования представлена эволюционной моделью оценки проектов (от англ. project evaluation) как инструментов устойчивого развития. Изучение теоретических трудов зарубежных и отечественных исследователей позволило выделить в эволюции теории оценки четыре этапа: 1) 60-70-е годы XX века: приходит понимание необходимости оценки; 2) конец 70-х-80-е годы XX века: появляется идея оценки эффективности использования ресурсов; 3) 90-е - 2000-е годы: ориентация на достижение не только экономических, но и социальных результатов; 4) с 2000 года: идея устойчивого развития подкрепляется ценностно-ориентированным программно-целевым управлением, отражающим влияние программ на социально-экономическое развитие территориального сообщества.
Первые теоретические исследования и оценочные проекты в области городского развития и управления имеют отношения к середине 1980-х годов. Среди зарубежных центров в сфере программной оценки можно назвать Институт города (The Urban Institute), некоммерческую организацию United Way of America (США), финансируемую за счет частных пожертвований в 41 стране мира, Всемирный банк (World Bank). Г. Хатри в книге «Мониторинг результативности в общественном секторе» обобщил итоги почти тридцатилетней научно-исследовательской деятельности специалистов указанных институтов (Хатри, 2005).
В России оценку программ осваивают специалисты отдельных исследовательских центров и некоммерческих организаций. В частности, можно отметить работы экспертов Леонтьевского центра из Санкт-Петербурга, ООО «Процесс-Консалтинг», Института экономики города, центра поддержки НКО из Москвы. Наработки российских исследовательских центров достаточно подробно отражены в работе «Оценка муниципальных программ» (Ветров и др., 2003) и широко приняты в практике мониторинга и оценки городских программ.
Однако теоретические рекомендации используются при оценке городских программ не в полном объеме. В большинстве случаев оценивают выполнение
4 Программа «Цифровая экономика Российской Федерации» [Электронный ресурс]: утв. распоряжением Правительства Рос. Федерации от 28.07.2017 № 1632-р. URL: http://government. ru/docs/28653/ (дата обращения: 14.04.2018).
намеченных мероприятий и степень освоения выделяемых финансовых ресурсов. При этом ни ожидаемый, ни полученный эффект от выполнения программных действий чаще всего никто не оценивает. Более того, пока программа не воспринимается как инструмент городского развития, а эффективность выполнения ее мероприятий не оценивается. Таким образом, для российских городов в условиях программно-целевой управления остается актуальной задача освоения новых инструментов оценки программ.
Теоретическая база оценки была заложена в трудах (Weiss, 1972; Franklin and Thrasher, 1976; Scriven, 1980; Mishan, 1988, Patton, 1997). В последствие наиболее заметными в сфере оценки стали исследования (Гараджа, 2002; Dolan and Edlin, 2002; Vanclay et al., 2015; Хатри, 2005; Peacock, 2008; Miller et al., 2010). По мнению западных специалистов, к концу ХХ века оценочные исследования (evaluation research) считаются главным инструментом регулирования правительственных программ в сфере социальной политики. Вопросы оценочной деятельности стали предметом рассмотрения в специальных журналах: Evolution and Program Planning, Evolution Review, научных сборниках Evolution Studies Review Annual, в ряде университетов открыта соответствующая специализация (например, Franklin and Thrasher, 1976). Применение методологии оценки в российской практике исследовано в ряде работ (Кузьмин, 2001; Ветров и др. 2003; Визгалов, 2005; Шакина, 2008; Ильичев, 2009; Минченко, 2012; Афанасьев и Шаш, 2013; Алабина и Ершова, 2014; Воронин, 2014; Патра-хина, 2015; Елохов и Елохова, 2015; Ноженко, 2016; Кораблева, 2017).
Анализ указанных работ позволяет сформулировать цели программной оценки. Так Т. А. Алабина, А. Л. Александрова, Н. Н. Ершова, А. Г. Воронин значительное внимание уделяют оценке финансовой обеспеченности программ и соблюдению режима бюджетного финансирования мероприятий целевых программ (Алабина и Ершова, 2014; Александрова и др., 2003; Воронин, 2014). М. Ю. Гараджа рассматривает оценку как метод, определяющий результативность исполнения программ. Целью оценки, по его мнению, должно быть достижение результатов по отношению к программным целям (Гараджа, 2002). А. А. Кузьмин и А. А. Кораблева особое внимание уделяют выполнению мероприятий программ и проектов (Кузьмин, 2001; Кораблева, 2017). Г. Хатри, определяя цель оценки, указывает на измерение полученного эффекта и эффективности программ (Хатри, 2005, с. 11). По мнению Е. А. Шаки-ной, А. В. Ильичева, цель оценки заключается в определении значимости и результативности программы, а также анализе ее эффективности и обоснованности (Шакина, 2008; Ильичев, 2009). Авторы статьи разделяют позицию специалистов Института экономики города, которые считают, что единую цель осуществления оценки программ муниципальных образований можно рассмотреть как способствование эффективному социально-экономическому развитию городов (Ветров и др., 2003, с. 12; Визгалов, 2005; Елохов и Елохова, 2015). О. С. Минченко предлагает оценивать соответствие реализации программ достижению общественных целей и социально значимых результатов (Минченко, 2012). Д. Ю. Ноженко указывает на необходимость увязки оценки программ с формированием и развитием стратегического планирования на соответствующей территории (Ноженко, 2016). М. П. Афанасьев и Н. Н. Шаш
считает, что нужно не только оценивать расходы на достижение программной цели, но и сопоставить достигнутые результаты с затратами в рамках конкретного мероприятия (Афанасьев и Шаш, 2013).
Выделяемые исследователями цели программной оценки вытекают и из положений закона № 172-ФЗ, касающихся муниципального управления. Так, ст. 3 Федерального закона, раскрывая содержание понятия «муниципальная программа», предопределяет и цели ее оценки: комплекс программных мероприятий, задачи, сроки и ресурсы; эффективность достижения целей и решения задач развития муниципалитета. Статья 7 закрепляет цели оценки в формулировке принципов, которым должны соответствовать стратегические документы, в том числе муниципальные программы: результативность и эффективность, сбалансированность, преемственность и непрерывность, ответственность участников стратегического планирования, единство и целостность, прозрачность (открытость), реалистичность, разграничение полномочий, ресурсная обеспеченность, измеримость целей, соответствие показателей стратегическим целям.
В рамках компаративистского методологического подхода произведем исследование степени реализации теоретических положений и нормативных принципов в практике программной оценки на примере города Перми.
РЕЗУЛЬТАТЫ ИССЛЕДОВАНИЯ
Изучение нормативно-правовых актов, регулирующих оценку программ и утвержденных указанными в первой графе таблицы 2 постановлениями органов местного самоуправления в крупнейших городах Российской Федерации, позволяет сделать выводы о применимости на практике некоторых видов оценки программ (табл. 2).
Анализ табл. 2 показал, что наиболее часто используется оценка городских программ по показателям финансирования, достижения программных целей и задач, выполнения программных мероприятий, отражающих предмет и особенности реализации программ. Оценка соответствия программ документам стратегического планирования, определенным законом № 172-ФЗ, используется только в Екатеринбурге, на основе показателя соответствия программ стратегии развития города.
Оценка конечных результатов реализации программы, проявляющихся в изменении показателей социально-экономического развития города в результате реализации программ, отмечена в документах администрации Москвы, Волгограда и Перми. В остальных городах применяется оценка промежуточных, но не конечных результатов программ. Между тем, согласно исследованиям Г. Хатри, главным принципом при определении результатов программы является поиск элементов, которые имеют прямое отношение не только к удовлетворенности клиентов программы, но и к населению в целом и значимы для них. Поскольку удовлетворенность клиентов и прочие подобные характеристики услуг (вежливость персонала, доступность услуги) соответствуют описанию, как правило, промежуточных результатов, постольку они не могут заменить собой оценку реального состояния клиента
Таблица 2 / Table 2
Применимость видов оценки программ в практике городского управления в России / Applicability of evaluation programs types in urban governance practices in Russia
Город Отражение видов оценки программ в документах городов
Оценка соответствия программы стратегии Оценка финансирования программы Оценка процесса реализации программы Оценка продукта программы Оценка конечных результатов программы Оценка эффективности программы Оценка воздействия программы
Москва (пост, от 08.04.2015 № 190-ПП) - + + + + - -
Санкт-Петербург (пост, от 25.12.2015 № 1186) - + + + - + (баллы) -
Новосибирск (пост, от 25.10. 2017 № 4830) - + + + - + (баллы) -
Екатеринбург (пост, от 14.10.2015 № 2880) + + + - - + (баллы) -
Нижний Новгород (пост, от 18.12.2017 № 1228) - + + + - + (индекс в %) -
Казань (пост, от 19.04.2016 № 1719) - + + + - + (индекс в %) +
Челябинск ( пост, от 11.09.2015 № 177-п) - + + + - + (баллы) -
Омск (пост, от 22.04.2016 № 513-п) - + + + - + (индекс в %) -
Самара (пост, от 12.10.2015 № 1126) - + + + - + (индекс в %) -
Ростов-на-Дону (пост, от 23.08.2017 № 776) - + + + - + (индекс в %) -
Уфа (пост. 12.10.2016 № 1578) - + + + - + (доли единицы) -
Красноярск (пост, от 03.03.2015 № 105) - + + + - + (доли единицы) -
Пермь (пост, от 06.12.2016 № 1080) - + + + + + (баллы) -
Воронеж (пост, от 07.11.2014 № 1580) - + + + - + (индекс в %) -
Волгоград (пост, от 09.10.2014 № 1315) - + + + + + (индекс в %) -
Источник: составлено авторами; порядок городов в таблице определен по убыванию численности постоянного населения.
после получения программной услуги (Хатри, 2005, с. 33). В качестве показателя конечного эффекта программ используются индикаторы количественной оценки изменения состояния целевых систем, на что и ориентированы государственные или муниципальные программы (Визгалов, 2005).
Весьма разнообразны подходы к оценке эффективности городских программ. Во-первых, эффективность определяется по всей программе на основе расчета интегрального показателя, объединяющего несколько взвешенных показателей, отражающих, как правило, достижение программных целей и финансирование программ. Оценка эффективности программных мероприятий не ведется. Во-вторых, расчет интегральных показателей эффективности программ производится по разным методикам: по сумме баллов, долях от единицы, процентных индексах, что затрудняет сравнительный анализ однотипных программ в разных городах. В-третьих, при расчетах эффективности не используется общепризнанное соотношение эффекта программы к программным затратам, виды программных эффектов сводятся к достижению целевых индикаторов. Г. Хатри считает, что истинным индикатором полезности программных усилий является не произведенный продукт, а обретенный результат (эффект). Результаты - это события или изменения состояния, свидетельствующие о продвижении к цели программы (Хатри, 2005, с. 15). В работах М. Гараджи оценку эффекта целевых программ предлагается производить на основе показателей достижения результата по отношению к целям (Гараджа, 2002).
Наконец, необходимость оценки воздействия программ на социально-экономическое развитие города зафиксирована только в программных документах администрации Казани. В остальных городах оценка влияния применяется лишь в части промежуточных результатов программ без оценки их интегрального воздействия на развитие соответствующей территории. Между тем важнейшим принципом реализации программ является обеспечение повышения качества жизни населения соответствующей территории (общественного благополучия), а не только уровня жизни отдельных категорий граждан. А. Вильямс, И. Джиардин выделяют в составе социального эффекта программ общественную выгоду и внешний эффект (Williams and Giardina, 1993). При этом под общественной выгодой (social benefit) понимается обобщенная польза от различных видов деятельности, включающая выгоду самого субъекта, осуществляющего программу, а также выгоду людей, ее не оплачивающих. Под внешним эффектом (externality) подразумеваются добавочная экономия или издержки, не зависящие от программных действий, но влияющие на их конечные результаты. Фрэнк Ванклей выделяет социальный эффект программы в виде позитивных или негативных социальных и культурных изменений общественного положения (Vanclay et al., 2003).
Таким образом, приведение прикладных аспектов оценки программ в крупнейших городах России в соответствие с теоретическими положениями является актуальной задачей, решение которой, по нашему мнению, позволит повысить практическую значимость и объективность программного управления городским развитием.
обсуждение
Рассмотрим вопрос необходимости и возможности использования индикаторов «соответствия», «эффективности мероприятий программ», «влияния программ» в практике программного управления на примере крупнейшего города Перми.
Индикатор «соответствия» программ стратегическим документам.
В Перми разработана стратегия развития до 2030 года, которая является основным документом долгосрочного планирования социально-экономического развития, устанавливает цель на долгосрочную перспективу, наиважнейшие задачи и направления развития города. В составе стратегии развития города выделено пять стратегических направлений (СН) и 59 задач. Для реализации задач Стратегии в городе по состоянию на 1 января 2017 года было разработано и реализовалось 34 целевые программы (ЦП), в которых намечено 173 задачи (табл. 3). Рассмотрим, насколько городские целевые программы соответствуют стратегическим задачам.
Таблица 3 / Table 3
Сопоставление целевых программ города Перми с функционально-целевыми направлениями Стратегии / Comparison of target programs of Perm with the functional and target
directions of the Strategy, %
Количество задач по СН Состав ЦП Количество задач в ЦП Отношение гр. 2 к гр. 1,% Соотношение задач ЦП и СН, %
общее совпадающие по количеству (гр. 3 к гр. 1) по содержанию (гр. 4 к гр. 1)
Социальное направление - 18 10 58 10 55,5 322,2 55,5
Обеспечение безопасности - 5 3 10 5 60,0 200,0 100,0
Развитие экономики - 7 2 11 7 28,6 157,1 100,0
Инфраструктура - 16 5 35 8 31,2 218,7 50,0
Развитие территории - 7 4 14 5 57,1 200,0 71,4
Система муниципального управления - 6 9 34 1 150,0 566,7 16,6
Итого: 59 34 173 36 57,6 293,2 61,0
Источник: составлено авторами по данным сайта администрации города Перми5.
5 Стратегия социально-экономического развития города Перми [Электронный ресурс]. URL: http://www.gorodperm.ru/actions/strategy/conception_development/dok/strategia
Исследование разделения целевых программ по направлениям Стратегии развития Перми дает возможность сделать следующие выводы.
Во-первых, обращает на себя внимание неравномерное распределение программ по стратегическим направлениям. Например, направление «Социальное развитие» содержит 10 целевых программ и 18 задач, в то время как направление «Развитие инфраструктуры» - только 7 целевых программ и 16 задач, а направление «Развитие системы муниципального управления» содержит 9 целевых программ и 6 задач. В общем, стратегические задачи покрываются целевыми программами на 57,6 %, что означает, что половина задач Стратегии развития города не связана с целевыми программами. Количество задач в программах в три раза больше количества стратегических задач.
Во-вторых, анализ показал, что в программах отсутствует упоминание Стратегии развития города и не подчеркивается, что программа выступает инструментом, который призван реализовать стратегические задачи.
В-третьих, отдельные целевые программы имеют ведомственную адресность и не имеют связи с целевыми установками Стратегии развития города. Примером этого является программа «Приведение в нормативное состояние образовательных учреждений города Перми». Всего лишь 61 % стратегических задач отражен в целевых программах города. Отдельно следует подчеркнуть полное отражение стратегических задач в программах по направлениям «Экономическое развитие» и «Общественная безопасность». Меньше всего совпадений (16,7 %) было выявлено по направлению «Развитие системы муниципального управления».
Посмотрим, насколько целевые программы города соответствуют требованиям программы «Цифровая экономика Российской Федерации» (табл.4).
Таблица 4 / Table 4
Отражение в задачах муниципальных программ г. Перми целей развития цифровой экономики в России на период до 2024 года/ The aims of digital economy development in Russia for the period up to 2024 as reflected in the goals of Perm municipal programs
Муниципальная целевая программа (МЦП) Количество задач МЦП Совпадение задач МЦП и целей программы «Цифровая экономика»
количество %
1 2 3 4
1. «Благоустройство и содержание объектов озеленения общего пользования и объектов ритуального назначения на территории города Перми» 8 0 0,0
2. «Градостроительная деятельность на территории города Перми» 6 1 16,6
3. «Развитие муниципальной службы в администрации города Перми» 3 0 0,0
(дата обращения: 13.04.2018); Муниципальные программы [Электронный ресурс]. URL: http:// www.gorodperm.ru/actions/strategy/conception_development/dok/Municipal_programs/ (дата обращения: 13.04.2018).
1 2 3 4
4. «Культура города Перми» 8 1 12,5
5. «Обеспечение доступности качественного предоставления услуг в сфере образования в городе Перми» 12 0 0,0
6. «Обеспечение жильем жителей города Перми» 5 0 0,0
7. «Обеспечение платности и законности использования земли на территории города Перми» 2 0 0,0
8. «Общественное участие» 3 0 0,0
9. «Организация дорожного движения и развитие регулярных перевозок автомобильным и городским наземным электрическим транспортом в городе Перми» 3 1 33,3
10. «Организация дорожной деятельности в городе Перми» 6 0 0,0
11. «Осуществление мер по гражданской обороне, пожарной безопасности и защите от чрезвычайных ситуаций в городе Перми» 6 0 0,0
12. «Охрана природы и лесное хозяйство города Перми» 4 0 0,0
13.«Потребительский рынок города Перми» 3 0 0,0
14. «Приведение в нормативное состояние образовательных организаций города Перми» 2 0 0,0
15. «Профилактика правонарушений в городе Перми» 3 0 0,0
16. «Развитие сети образовательных организаций города Перми» 3 0 0,0
17. «Развитие системы жилищно-коммунального хозяйства в городе Перми» 10 1 10,0
18. «Развитие физической культуры и спорта в городе Перми» 5 0 0,0
19. «Семья и дети города Перми» 5 1 20,0
20. «Социальная поддержка населения города Перми» 4 0 0,0
21. «Укрепление межнационального и межконфессионального согласия в городе Перми» 3 0 0,0
22. «Управление муниципальным имуществом города Перми» 2 1 50,0
1 2 3 4
23. «Экономическое развитие города Перми» 9 1 11,1
24. «Молодежь города Перми» 2 0 0,0
Итого 117 7 5,98
Источник: составлено авторами по данным сайта администрации города Перми и программы «Цифровая экономика Российской Федерации»6.
Из 24 городских программ, отраженных на сайте администрации города Перми в разделе стратегические документы, только в семи программах сформулировано по одной задаче, связанной с целями развития цифровой экономики, что составило 5,98 % от общего числа программных задач города.
Таким образом, сравнительный структурный анализ муниципальных программ Перми и стратегических документов города и России позволяет сделать вывод о неполной реализации в программных разработках принципа соответствия показателей, содержащихся в документах стратегического планирования органов местного самоуправления, целям обеспечения национальной безопасности и социально-экономического развития страны, зафиксированного в ст. 7 № 172-ФЗ. Этого несоответствия можно было избежать, если бы в состав программной оценки был включен индикатор, отражающий степень соответствия целевых программ стратегическим документам муниципального, регионального и федерального уровней. Для расчета этого индикатора можно использовать опыт Екатеринбурга.
Индикатор «эффективности» программных мероприятий. Принцип результативности и эффективности стратегического планирования, отраженный в п. 6 ст. 7 № 172-ФЗ, говорит, что выбор методов и способов достижения целей социально-экономического развития должен строиться на обязательности получения заданных результатов с минимальными затратами ресурсов. Вместе с тем анализ документов по оценке эффективности муниципальных программ в крупнейших городах Российской Федерации показал, что требование сравнения программных результатов и затрат не реализуется.
Покажем возможность расчета эффективности программ на основе сопоставления затрат и результатов на примере муниципальной программы «Профилактика правонарушений в городе Перми», утвержденной администрацией города Перми в 2015 году на 2016-2018 годы 7. И хотя в настоящее время действует другая одноименная программа8, но рассмотрен-
6 Муниципальные программы...; Программа «Цифровая экономика Российской Федерации»...
7 Муниципальная программа «Профилактика правонарушений в городе Перми»: утв. постановлением администрации города Перми от 20.10.2015 № 850 [Электронный ресурс]: сИурегш. ru/upload/pages/6597/Dokument4.docx (дата обращения: 15.04.2018).
8 Муниципальная программа «Профилактика правонарушений в городе Перми»: утв. постановлением администрации города Перми от 19.10.2017 № 899 [Электронный ресурс]: http://www. goгodpeгm.гu/docs/offDocs/?id=9564 (дата обращения: 15.04.2018).
ный нами документ представляет живой интерес, т.к. в нем наиболее выпукло и наглядно проявились недостатки действующего механизма формирования и оценки муниципальных целевых программ.
Финансирование программы из средств городского бюджета по годам составляло одинаковую сумму - 6513,8 тыс. руб. В результате реализации однотипного ежегодного набора мероприятий программы было запланировано снижение показателя «Уровень преступности на 10000 населения»: 220,8 - в 2015 году, 192,5 - в 2016 году, 186,7 - в 2017 году, 181 - в 2018 году. По уровню достижения этого показателя и оценивалась эффективность программы. Предлагаем рассчитать затраты на единицу снижения программного показателя. В 2016 году на единицу уменьшения показателя «Уровень преступности на 10000 населения» пришлось 6513,8: 28,3=230,17 тыс. руб. бюджетного финансирования, в 2017 - 6513,8: 5,8=1123,07 тыс. руб., в 2018 году затратоемкость единицы результата программы должна была достигнуть 6513,8: 5,7=1142,77 тыс. руб. Таким образом, затратоемкость прироста программного показателя за 2016-2018 годы выросла в 4,96 раза, а эффективность программы, как показатель обратной затратоемкости, снизилась с 0,0043 в 2016 году до 0,001 ед. результата на рубль затрат в 2018 году, т. е в 4,3 раза.
Изменение целевого программного показателя (ЦПП) произошло из-за реализации программных мероприятий. Для нахождения изменения ЦПП под воздействием каждого мероприятия определим произведение долевого коэффициента мероприятия (доля от общего числа мероприятий программы) и показателя изменения ЦПП. Например, влияние мероприятия «Количество районных ДНД» на показатель уровня преступности определяется следующим образом: (7:952) Х 28,3 = 0,00735X28,3= 0,20801. Таким образом, рассмотренное мероприятие воздействовало на уменьшение уровня преступности на 0,735 %, или на 0,20801 единицы на10000населения.Эффективностьданногомероприятияв2016годусоставляла 0,735Х 0,0043=0,00316.
Проведение подобных расчетов способствует выявлению городскими властями той части мероприятий муниципальных программ, которые обеспечивают лишь небольшой процент изменения ЦПП, т. е. несущественно воздействуют на перемену ситуации, но на которые направляется значительная часть бюджета. В нашем случае на мероприятия, обеспечивающие лишь 0,110,32 % изменения ЦПП, были запланированы более 80 % расходов из бюджета программы. Эти средства можно было сэкономить и направить на осуществление иных мероприятий, например, на профилактику употребления молодежью города психоактивных веществ (38,0 % влияния на ЦПП), занятости несовершеннолетних (37,0 %).
Целесообразно корректировать финансирование программ исходя из достигаемых результатов изменения целевого показателя. Например, если по программе «Профилактика правонарушений в городе Перми» показатель уменьшения преступности в 2017 году составил 20,5 % от уровня предыду-
щего года (5,8:28,3), то и объем программных затрат должен был быть соразмерно уменьшен.
Применение индикатора «влияние» программ на развитие города предполагает выполнение следующих условий. Во-первых, определение общего и частных показателей, отражающих социально-экономическую ситуацию в городе; во-вторых, установление эталонного изменения показателей развития; в-третьих, контроль за приближением параметров городского развития к эталонным (целевым) индикаторам под воздействием программ. Главным условием реализации указанных критериев становится использование программного подхода в качестве основного метода формирования и распределения городского бюджета.
Определение показателей, фиксирующих социально-экономическую ситуацию в городе, основано на том, что реализация муниципальных программ должна обеспечить рост привлекательности города как места удобного для проживания и трудовой деятельности. В качестве общего индикатора, отражающего динамику комфортности городской жизни, предлагается использовать рост численности постоянного населения. Если город имеет хорошие условия для жизнедеятельности людей, то численность постоянного населения в нем увеличивается за счет миграции и естественного прироста. В качестве частных индикаторов, обеспечивающих рост численности постоянного населения города, можно назвать количество и качество рабочих мест и возможности трудоустройства, наличие и доступность товаров и услуг, жилья, в том числе степень его благоустройства, уровень заработной платы, показатели безопасности жизнедеятельности и др., т.е. применять систему показателей качества жизни (Елохов, 2007, с. 56).
Установление эталонного изменения показателей развития предполагает, что власти должны программировать процесс развития отдельных сфер жизнедеятельности города или города в целом таким образом, чтобы темпы роста показателей качества жизни опережали темп роста численности постоянного населения (см. группу 4. табл. 5). В этих условия будет обеспечиваться развитие города.
Показателем, позволяющим осуществлять контроль за приближением параметров городского развития к эталонным (целевым) индикаторам под воздействием программ, оценить эти отклонения за конкретный промежуток времени, может стать коэффициент ранговой корреляции Спирмена. При положительном значении коэффициента, особенно при значении близком к 1, можно сделать вывод, что мероприятия целевых программ оказывают положительное влияние на повышение степени комфортности жизни и деятельности людей в городе. При отрицательном значении коэффициента, особенно при значении, близком к (-1), мероприятия целевых программ не оказывают влияние (или слабо влияют) на социально-экономическое развитие города.
Данные для расчета влияния программ на развитие Перми в 20092017 годы приведены в табл. 5.
Таблица 5 / Table 5
Оценка влияния программ на развитие города Перми за 2009-2017 годы / Evaluation of programs impact on Perm city development in 2009-2017
Показатель Значение Темп ро- Эталонное Фактическое Отклонение
показателя, 2017 ста (2017 к 2009), % изменение показателя (эталонный ранг) изменение показателя (фактический ранг)
(гр. 4-гр. 5) (гр. 4-гр. 5)2
Численность 1048,0 106,3 5 3 2 4
населения, тыс.
чел.
Занято в эконо- 275,8 88,2 4 4 0 0
мике, тыс. чел
Жилая пло- 24,8 116,9 3 2 1 1
щадь, кв. м/чел.
Заработная плата, руб./мес. 40043,2 200,5 2 1 1 1
Преступлений 204,2 50,9 1 5 -4 16
на 10 тыс. чел.
Источник: составлено авторами по данным сайта администрации города Перми9.
Коэффициент ранговой корреляции Спирмена равен: Кс = 1-6*(4+0+1 + 1+16): 120=1-132:120=1-1,1=-0,1. Отрицательное значение данного показателя говорит о том, что в рассмотренном периоде отмечается слабое влияние программ на социально-экономическую обстановку в городе. На наш взгляд, это объясняется тем фактом, что программы муниципалитетов стали документами, обеспечивающими не решение задач и проблем города, а распределение средств бюджета. Программа стала тактической, и ее финансирование утверждается ежегодно на очередной финансовый год. Вместе с тем глава города, используя действующую методику оценки эффективности программ, в «Сводном годовом докладе о ходе реализации и оценке эффективности муниципальных программ города Перми по итогам 2016 года» признал низкоэффективными только четыре программы из 24, т. е. фактически дал положительную оценку программной деятельности в городе10.
ЗАКЛЮЧЕНИЕ
Проведенное исследование показало, что к настоящему времени в крупнейших городах страны сформировались нормативно-правовая база и практика оценки целевых программ. Преобладают показатели, отражающие сте-
9 Итоги социально-экономического развития города Перми [Электронный ресурс]. URL: http://www.gorodperm.ru/actions/strategy/ (дата обращения: 10.04.2018).
10 Сводный годовой доклад о ходе реализации и оценке эффективности муниципальных программ города Перми по итогам 2016 года [Электронный ресурс]. URL: http://www.gorodperm. ru/actions/strategy/conception_development/monitorig/svod_doklad/ (дата обращения: 10.04.2018).
пень достижения целей программы, выполнения мероприятий, входящих в программу, освоения планового объема финансирования. При оценке программ не используется индикатор, отражающий степень их соответствия стратегическим документам муниципалитета, региона и Российской Федерации, что противоречит требованиям № 172-ФЗ. В оценке программ не анализируется эффективность программных мероприятий как соотношение затрат и результата программ. Оценка эффективности реализации муниципальных программ определяется по шкале, основанной на экспертных оценках, и допускает субъективное толкование, приводящее к некорректным управленческим выводам. Не оценивается влияние программ на конечные результаты социально-экономического развития города. Программное влияние определяется по промежуточным результатам, устанавливаемым муниципальными ведомствами.
Отсутствие в городских методиках оценки программ указанных видов оценок противоречит теории оценки, нормативным требованиям № 172-ФЗ, снижает ценность выводов оценки для городской власти. Поэтому действующие методики оценки программ в крупнейших городах нельзя признать совершенными и комплексными.
Для совершенствования методики оценки программ предлагается следующее.
1. Использовать компаративный анализ целей и задач городских программ и стратегических документов городского, регионального и федерального уровней, определять степень соответствия программных задач целевым установкам стратегических документов, актуализировать программы при появлении новых стратегических установок.
2. Выбор способов и методов достижения программных целей должен строиться на обязательности достижения заданных результатов с минимальными затратами ресурсов. В этих целях заменить расчетные интегральные показатели эффективности программ методом расчета эффективности программ на основе сопоставления затрат и прироста программных результатов. Определять изменение ЦПП под воздействием каждого мероприятия как произведение показателя изменения ЦПП и долевого коэффициента мероприятия (доля от общего числа мероприятий программы). Корректировать финансирование программы и отдельных мероприятий в зависимости от эффективности и влияния на изменения целевого показателя.
3. Оценка «влияния» программ на показатели экономического и социального развития города предлагает выполнение следующих условий. Во-первых, определение общего и частных показателей, отражающих социально-экономическую ситуацию в городе; во-вторых, установление эталонного изменения показателей развития; в-третьих, контроль за сближением параметров городского развития к эталонным (целевым) индикаторам под воздействием программ. Главным условием реализации указанных критериев становится использование программного подхода в качестве основного метода формирования и распределения городского бюджета. В качестве общего индикатора, отражающего динамику комфортности городской жизни, предлагается использовать показатель роста численности постоянного населения.
В качестве частных индикаторов, обеспечивающих рост численности постоянного населения города, применять систему показателей качества жизни. При оценке целевых программ учитывать их влияние на направление отклонений фактических показателей социально-экономического развития города от эталонной динамики на основе коэффициента ранговой корреляции Спирмена.
На примере одного из крупнейших городов Российской Федерации -города Перми показана возможность использования индикаторов «соответствия», «эффективности» и «влияния» в системе оценки городских программ.
Оценка соответствия целевых программ Стратегии развития города Перми привела к следующие выводам. Во-первых, стратегические задачи покрываются целевыми программами на 57,6 %, а это означает, что половина задач Стратегии развития города не связана с целевыми программами. Количество задач в программах в три раза больше количества задач в стратегических направлениях. Во-вторых, ни в одной городской программе не подчеркнуто, что целевая программа выступает инструментом, который позволяет реализовать стратегические задачи. В-третьих, только чуть больше 60 % стратегических задач содержится в целевых программах города.
Предложенный алгоритм расчета влияния программных мероприятий на достижение программного результата позволяет более объективно оценить эффективность программы и разработать систему мер, способствующих ее повышению за счет сокращения малоэффективных мероприятий, корректировки объемов финансирования программы пропорционально изменению целевого программного показателя.
Оценка городских программ в 2009-2017 годы по методике, предложенной авторами, показала, что коэффициент ранговой корреляции Спирмена равен -0,1, что свидетельствует о слабом влиянии программ на социально-экономическую обстановку в городе.
Итоги исследования показывают, что действующие положения о разработке и реализации городских программ необходимо и возможно дополнить оценкой их соответствия стратегическим документам, расчетом эффективности программных мероприятий, учетом влияния программ на экономическое и социальное развитие города. По нашему мнению, это будет способствовать повышению эффективности программного управления городским развитием, созданию более действенной системы программных мер, обеспечивающих рост качества жизни в городе, в том числе в русле указа Президента РФ от 7 мая 2018 года № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года».
Библиографический список
Алабина Т. А., Ершова Н. Н. Оценка эффективности долгосрочных целевых программ: теория и практика (на примере Кемеровской области). Барнаул: Изд. группа «Си-пресс», 2014. 146 с.
Александрова А. Л., Садовская З. Л., Страйк Р. Дж., Чагин К. Г. Эффективность муниципальных социальных программ: возможность и необходи-
мость оценки. Пример оценки программы «От пособия к зарплате» в г. Пермь. М.: Фонд «Институт экономики города», 2003. 88 с.
Афанасьев М. П., Шаш Н. Н. Инструментарий оценки эффективности бюджетных программ // Вопросы государственного и муниципального управления. 2013. № 3. С. 48-69.
Ветров Г. Ю., Визгалов Д. В., Пинегина М. В., Шевырова Н. И. Оценка муниципальных программ. М.: Фонд «Институт экономики города», 2003. 89 с.
Визгалов Д. В. Методы оценки муниципальных программ. М.: Фонд «Институт экономики города», 2005. 108 с.
Воронин А. Г. Муниципальное хозяйствование и управление: проблемы теории и практики. 2-е изд., перераб. и доп. М.: Финансы и статистика, 2014. 176 с.
Гараджа М. Ю. Мониторинг результативности бюджетных расходов: основные этапы внедрения на местном уровне. М.: Фонд «Институт экономики города», 2002.135 с.
Елохов А. М. Стратегическое управление развитием муниципального образования. Пермь: Изд-во Перм. гос. ун-та, 2007. 176 с.
Елохов А. М., Елохова Т. А. Стратегическое программно-целевое управление. Пермь: Изд-во НОУ ВПО ЗУИЭП, 2015. 334 с.
Ильичев А. В. Основы анализа эффективности и рисков целевых программ: истоки, формализация, реализация. М.: Науч. мир, 2009. 332 с.
Кораблева А. А. Методические основы оценки эффективности муниципальных программ // Региональная экономика: теория и практика. 2017. Т. 15, № 4. С. 691-705.
Кузьмин А. А. Особенности проведения отдельных этапов оценки проектов и программ [Электронный ресурс]. 2001. URL: http://www.ipen21.org/ipen/ (дата обращения: 19.04.2018).
Минченко О. С. Подходы к оценке целевых программ в российской практике // Вопросы управления. 2012. № 2. С. 14-20.
Ноженко Д. Ю. Государственные программы как инструмент стратегического управления: межрегиональный анализ // Вопросы управления. 2016. № 4. С. 8-15.
Патрахина Т. Н. Подходы к оценке эффективности государственных целевых программ // Проблемы экономики и менеджмента. 2015. № 2. С. 65-68.
Хатри Г. П. Мониторинг результативности в общественном секторе / пер. с англ. И. Л. Толстовой. М.: Фонд «Институт экономики города», 2005. 276 с.
Шакина Е. А. Многоуровневая оценка целевых программ как метод управления расходами региональных и муниципальных бюджетов: автореф. дис... канд. экон. наук. М.: ГУ-ВШЭ, 2008. 27 с.
Dolan P., Edlin R. Is It Really Possible to Build a Bridge between Cost-Benefit Analysis and Cost-Effectiveness Analysis? // Journal of Health Economics. 2002. Vol. 21, № 5. P. 827-843.
Franklin J., Thrasher J. An Introduction to Program Evaluation. N.Y.: Wiley, 1976. 233 p.
Miller G. I., Hildreth W. B., Rabin J. Performance-Based Budgeting. Boulder, CO: Westview Press, 2010. 504 p.
Mishan E. Cost-Benefit Analysis. L.: George Allen and Unwin, 1988. 447 р.
Patton М. Q. Utilization-Focused Evaluation. Thousand Oaks, CA: Sage Publications, 1997. 667 p.
Peacock S. An Evaluation of Program Budgeting and Marginal Analysis Applied in South Australian Hospitals. Melbourne: Centre for Health Program Evaluation, 2008. 128 p.
Scriven М. The Logic of Evaluation. Inverness, CA: Edgepress, 1980. 125 p.
Vanclay F., Esteves A. M., Aucamp I., Franks D. Social Impact Assessment: Guidance for Assessing and Managing the Social Impacts of Projects. Fargo, ND: International Association for Impact, 2015. 108 p.
Weiss C. H. Evaluation Research. Methods of Assessing Program Effectiveness. Englewood Cliffs, NJ: Prentice-Hall, 1972. 160 p.
Williams A., Giardina E. Efficiency in the Public Sector: The Theory and Practice of Cost - Benefit Analysis. Cambridge: University Press, 1993. 184 р.
Информация об авторах
Елохов Александр Михайлович - канд. экон. наук, доцент, доцент кафедры менеджмента ФГБОУ ВО «Пермский государственный национальный исследовательский университет», 614990, г. Пермь, ул. Букирева, 15
ORCID: 0000-0003-2781-8112
ResearcherID: I-8706-2018
Электронный адрес: reader1201@rambler.ru
Арбузова Татьяна Александровна - ассистент кафедры менеджмента ФГБОУ ВО «Пермский государственный национальный исследовательский университет», 614990, г. Пермь, ул. Букирева, 15
ORCID: 0000-0003-0258-3505
ResearcherID: J-5968-2018
Электронный адрес: businesspyt@gmail.com
Статья получена 1 мая 2018 года
UDC 352.075: 005.01
DOI: 10.17072/2218-9173-2018-2-272-293
INDICATORS OF "CONFORMITY", "EFFICIENCY", "INFLUENCE" IN THE ESTIMATION SYSTEM OF THE LARGEST CITY PROGRAMS
Aleksandr M. Elokhov
Perm State University, 15 Bukirev str., Perm, 614990, Russia ORCID: 0000-0003-2781-8112 ResearcherID: I-8706-2018 E-mail: reader1201@rambler.ru
Tatiana A. Arbuzova
Perm State University, 15 Bukirev str., Perm, 614990, Russia ORCID: 0000-0003-0258-3505 ResearcherlD: J-5968-2018 E-mail: businesspyt@gmail.com
For citation:
Elokhov, A. M. and Arbuzova, T. A. (2018), "Indicators of "Conformity", "Efficiency", "Influence" in the Estimation System of the Largest City Programs", Ars Administrandi, vol. 10, no. 2, pp. 272-293, doi: 10.17072/2218-9173-2018-2-272293.
Introduction. This article considers the issue still actual for the largest cities of the Russian Federation: how to turn the evaluation of municipal target programs from a limited control tool of the city administration into an effective method of urban program development.
Aims. To show the need and possibility of using in program evaluation the new indicators: "conformity" of programs on urban development strategy, "effectiveness" of program activities implementation, "impact" of programs on the socio-economic municipal development.
Methods. The study employed the general scientific methods, methods of logical, systemic, comparative and statistical analysis of normative and legal documents regulating evaluation of target programs in the largest Russian cities.
Results. Conditions and limitations of the new indicators use in the system of program evaluation are determined, the proposed approach is tested on the example of improving the assessment of municipal programs of the largest city -the city of Perm - in 2009-2017.
Conclusion. The use of the proposed indicators supplements the methodology of program evaluation, improves the reliability of program evaluation by city authorities and city residents, optimizes budget expenditures depending on the effectiveness of program activities, increases the responsibility of program managers for the impact of programs on the socio- economic development of the largest city.
Keywords: the largest city; the target program; program evaluation; conformity assessment; evaluation of program effectiveness; assessment of the impact of programs on the socio-economic city development
References
Alabina, T. A. and Yershova, N. N. (2014), Otsenka effektivnosti dolgosrochnykh tselevykh programm: teoriya i praktika (na primere Kemerovskoy oblasti) [Evaluation of long-term target programs effectiveness: theory and practice (exemplified by the Kemerovo region)], Publishing group "Si-press", Barnaul, Russia.
Aleksandrova, A. L., Sadovskaya, Z. L., Strayk, R. Dzh. and Chagin, K. G. (2003), Effektivnost' munitsipalnykh sotsialnykh programm: vozmozhnost i neobkhodimost otsenki. Primer otsenki programmy "Ot posobiya k zarplate" in Perm [Efficiency
of municipal social programs: the possibility and necessity of evaluation. An example of "From benefits to wages" program evaluation in Perm], The Institute for Urban Economics, Moscow, Russia.
Afanasiev, M. P. and Shash, N. N. (2013), "Assessment Methodologies of the State-Funded Program Efficiency", Public Administration Issues, no. 3. pp. 48-69.
Vetrov, G. Yu., Vizgalov, D. V., Pinegina, M. V. and Shevyrova, N. I. (2003), Otsenkamunitsipalnykhprogramm [Evaluation of municipal programs], The Institute for Urban Economics, Moscow, Russia.
Vizgalov, D. V. (2005), Metody otsenki munitsipalnykh program [Methods for evaluation of municipal programs], The Institute for Urban Economics, Moscow, Russia.
Voronin, A. G. (2014), Munitsipalnoye khozyaystvovaniye i upravleniye:problemy teorii i praktiki [Municipal management and management: problems of theory and practice], Finansy i statistika, Moscow, Russia.
Garadzha, M. Yu. (2002), Monitoring rezultativnosti byudzhetnykh raskhodov: osnovnyye etapy vnedreniya na mestnom urovne [Monitoring of effectiveness of budget expenditures: the main stages of implementation at the local level], The Institute for Urban Economics, Moscow, Russia.
Elokhov, A. M. (2007), Strategicheskoye upravleniye razvitiyem munitsipalnogo obrazovaniya [Strategic management of the municipal formation development], PSU Publishing House, Perm, Russia.
Elokhov, A. M. and Elokhova, T. A. (2015), Strategicheskoye programmno-tselevoye upravleniye [Strategic program-target management], West Ural Institute of Economics and Law Publishing House, Perm, Russia.
Ilichev, A. V. (2009), Osnovy analiza effektivnosti i riskov tselevykh programm: istoki, formalizatsiya, realizatsiya [Bases of efficiency and risks analysis of target programs: sources, formalization, realization], Nauchnyy mir, Moscow, Russia.
Korableva, A. A. (2017), "A Methodological Framework for Assessing the Effectiveness of Municipal Programs", Regional Economics: Theory and Practice, vol. 15, no. 4, pp. 691-705.
Kuz'min, A. A. (2001), "Peculiarities of conducting separate stages of evaluation of projects and programs" [Online], available at: http://www.ipen21.org/ipen/ (Accessed April 19, 2018).
Minchenko, O. S. (2012), "Approaches to the targeted programs assessment in the Russian practice", Voprosy upravleniya, no. 2, pp. 14-20.
Nozhenko, D. Yu. (2016), "Government Programs as a Tool for Strategic Management: An Interregional Analysis", Voprosy upravleniya, no. 4, pp. 8-15.
Patrakhina, T. N. (2015), "Approaches to Assessing the Effectiveness of Government Programs", Problemy ekonomiki i menedzhmenta, no. 2, pp. 65-68.
Hatry, H. P. (2005), Monitoring rezultativnosti v obshchestvennom sektore [Measuring Productivity in the Public Sector], Translated by Tolstova, I. L., The Institute for Urban Economics, Moscow, Russia.
Shakina, Ye. A. (2008), Multi-level evaluation of targeted programs as a method of managing the costs of regional and municipal budgets, Abstract of Ph.D. dissertation, Finances, Monetary Circulation and Credit, Higher School of Economics, Moscow, Russia.
Dolan, P. and Edlin, R. (2002), "Is It Really Possible to Build a Bridge between Cost-Benefit Analysis and Cost-Effectiveness Analysis?", Journal of Health Economics, vol. 21, no. 5, pp. 827-843.
Franklin, J. and Thrasher, J. (1976), An Introduction to Program Evaluation, Wiley, N.Y., USA.
Miller, G. I., Hildreth, W. B. and Rabin, J. (2010), Performance-Based Budgeting, Westview Press, Boulder, CO, USA.
Mishan, E. (1988), Cost-Benefit Analysis, George Allen and Unwin, L., UK.
Patton, M. Q. (1997), Utilization-Focused Evaluation, Sage Publications, Thousand Oaks, CA, USA.
Peacock, S. (2008), An Evaluation of Program Budgeting and Marginal Analysis Applied in South Australian Hospitals, Centre for Health Program Evaluation, Melbourne, Australia.
Scriven, M. (1980), The Logic of Evaluation, Edgepress, Inverness, CA, USA.
Vanclay, F., Esteves, A. M., Aucamp, I. and Franks, D. (2015), Social Impact Assessment: Guidance for Assessing and Managing the Social Impacts of Projects, International Association for Impact, Fargo, ND, USA.
Weiss, C. H. (1972), Evaluation Research. Methods of Assessing Program Effectiveness, Prentice-Hall, Englewood Cliffs, NJ, USA.
Williams, A. and Giardina, E. (1993), Efficiency in the Public Sector: The Theory and Practice of Cost - Benefit Analysis, University Press, Cambridge, UK.
Received May 1, 2018
