CC BY
38
А. В. Курочкин
ОЦЕНИВАНИЕ ПРОГРАММ И ПОЛИТИК В КОНТЕКСТЕ АДМИНИСТРАТИВНОЙ РЕФОРМЫ В РФ
В статье рассматривается проблема оценивания эффективности государственных программ в методологическом и прикладном аспектах. Автор анализирует опыт применения различных методик оценивания программ и политики на Западе и перспективы их применимости в российских условиях. Особый интерес представляют распространение данных методик в контексте текущей административной реформы и оценка их роли в успешном завершении последней.
Ключевые слова: эффективность государственного управления, политические и административные решения, новый публичный менеджмент, процедуры оценивания политики.
Оценка эффективности государственного управления представляет собой самостоятельную сложную проблему для теории административно-государственного управления. Сложность этой проблемы предопределена, во-первых, отсутствием в государственном секторе единственного показателя результатов, каким в частном секторе обычно является прибыль, и, во-вторых, тем, что продукция организаций государственного сектора плохо поддается оценке в денежном эквиваленте и не предназначена для вывода на рынок.
В этих условиях непросто определить такие показатели деятельности, которые удовлетворяли бы требованиям содержательности, сопоставимости и контролируемости. Однако создано и апробировано много различных методик измерения эффективности, в которых их создатели попытались преодолеть указанные выше недостатки.
Комплексным подходом к оценке эффективности системы государственного управления является оценивание программ и политики (Policy and Programm Evaluation). Под ним понимается в общем случае «эмпирическое исследование, в котором широко привлекаются методы социальных наук, проводимое с целью повышения общего качества политики в любой отрасли, результаты которого позволяют корректировать реализуемую политическую программу, предсказывать и влиять на ее результаты» (см.: Маршаков, 2006), либо «комплекс мероприятий, направленный на изучение результатов и эффектов политических и административных решений и действий и обратное включение этой информации в процесс принятия решений» (Измерение эффективности..., 2006).
© А. В. Курочкин, 2011
Оценивание программ как самостоятельная управленческая функция возникла в 1960-х годах ХХ в. в США вследствие активизации государственной политики (прежде всего, в социальной сфере), при которой резко возросли государственные обязательства и расходы. В конечном итоге увеличилось количество государственных и муниципальных программ, появились принципиально новые функции, как, например, городское и региональное планирование и т. д. Реакцией на разрастающиеся масштабы государства стала необходимость контроля и оценки исполнения многочисленных программ. Ряд исследователей отмечают в качестве дополнительной причины возникновения и распространения практики оценивания кризис доверия к системам государственного управления, что вполне логично, поскольку рост государственных обязательств и государственной бюрократии неизбежно вел к бюджетному кризису и проблемам с легализацией политического курса.
В этот же период наблюдался определенный ренессанс технократических идей научного управления, выразившийся в повышении веры в силу новых технологий и научного знания в сфере социального управления. Это, в частности, подкреплялось активным использованием в управлении общей теории систем и кибернетики. Закономерно, что на первом этапе своего развития в 1960-е годы в качестве приоритетной цели оценивания было избрано обеспечение эффективного планирования и поддержки реализации государственных программ. В этот период оценивание «проводилось внешними научно-исследовательскими учреждениями... по заказу органов государственной власти. При этом изучались в основном социальные эффекты реализуемых программ» (Там же, 2006, с. 8). Примерами подобных оценочных исследований, проводившихся в систематическом порядке, являются «Программа социального действия» («Social Action Programm», США) и «Система бюджетного планирования и программирования» («Planning Programming Budgeting Systems», США).
На втором этапе развития (1970-1980-е годы) оценивание становится неотъемлемым атрибутом реализации государственных программ. В этот период акцент делается на экономической эффективности и сокращении госбюджетных расходов. В условиях экономического кризиса конца 1970-х годов в государственном управлении наблюдается существенный рост использования различных методов оценивания, однако подавляющее большинство их являлось внутренним оцениванием, проводимым правительством или отдельными органами государственной власти. Как и на первом этапе, в это время важную роль играла ориентация государства на оценивание как механизм повышения легитимности его решений. В
этот же период в США были образованы первые сетевые организации в сфере оценки: «Сеть оценки» и «Общество оценочных исследований», объединившихся в 1984 г. в «Американскую ассоциацию оценки».
Ситуация с оцениванием принципиально изменилась в 1990-е годы в связи с появлением и широким распространением в государственном секторе менеджериальных методов управления. С одной стороны, рыночные отношения вытесняли традиционные методы оценивания, распространенные в 1960-1980-е годы: оценивание как инструмент легитимации должен был заменить рыночный выбор граждан (так называемое «голосование долларом»). С другой стороны, появились новые, заимствованные из менеджмента механизмы оценивания, базовыми для которых стали методы бюджетирования, ориентированного на результат (БОР) и всеобщее управление качеством (TQM). Введение в государственный сектор элементов конкурсного рыночного тестирования и отбора, аутсорсинга, управления по результатам, четкая дифференциация политического руководства (функция которого — определить, какие задачи предстоит решать) и управления (функция которого заключается в пошаговой реализации поставленных целей) привели к появлению принципиально новых систем оценивания, адекватных изменениям, указанным выше. Это — система внешнего оценивания в Великобритании (так называемое «best value regime» — система внешнего оценивания в США, основанная на Законе об оценке эффективности, принятом в 1992 г., и др.).
Значимость и перспективность методики оценивания программ и политик в зарубежной теории и практике государственного администрирования сегодня подтверждаются наличием специальных программ подготовки специалистов в этой сравнительно узкой области. Программы подготовки специалистов наличествуют на всех уровнях образования: курсы и модули в образовательном цикле бакалавриата, отдельные дополнительные образовательные программы, специальные магистерские программы, программы «doctoral student» и т. д.
Перечислим лишь ключевые, которые реализуются в ведущих университетах мира: магистр в сфере политического анализа и оценивания (Университет Л. Стэнфорда-мл., США), магистр в сфере численных методов и оценивания (Университет Беркли, Калифорния, США), магистр в сфере оценивания и социальных исследований (Метрополитенский университет, Великобритания), программа курса «Аналитические рамки оценивания политик» Лондонской школы экономики и политических наук, программа курса «Оценивание программ и политик» Принстонского университета (США) и
_ 119
ЛОЯИШЭКС. 2011. Том Г. № 1
т. д. Очевидно, что Россия, включившаяся в разработку цикла оценивания, также будет вынуждена развивать различные программы обучения оцениванию, чтобы располагать в обозримом будущем компетентными кадрами в данной сфере.
Рассмотрим подробнее содержание современных методов оценивания программ и политик. Как выше было отмечено, оценивание подразделяют на внутреннее и внешнее. Отличительные особенности этих двух видов оценивания представлены в табл. 1.
Таблица 1. Внутреннее и внешнее оценивание программ и политик
Ключевые характеристики Внутреннее оценивание Внешнее оценивание
1.Субъект осуществления оценки Осуществляется органом государственной власти, реализующим программу. Иногда к оцениванию дополнительно подключается парламент или Счетная палата. Независимые (от органа власти, реализующего программу или стратегию) эксперты. Часто внешнее оценивание выступает как часть процедуры внешнего консультирования заказчика.
2. Преимущества вида оценки 1. Учитывает всю полноту информации по меняющейся ситуации. 2. Обеспечивает экономию на издержках, неизбежно высоких в случае внешнего оценивания. 3. Сравнительно быстрее достигаются результаты оценивания. 1. Большая объективность результатов оценивания, поскольку заказчику представляется оценка происходящего извне. 2. Такая оценка более эффективна в кризисных ситуациях, когда положение действующей власти шатко или же она еще не имеет достаточного влияния.
Составлена по: Маршаков, 2006.
Однако внешнее и внутреннее оценивание представляет нам лишь две весьма обширные группы моделей оценивания. Разнообразие этих моделей в рамках каждой группы весьма существенно. Исчерпывающей систематизации этих моделей пока нет, однако одна из наиболее полных представлена в работе Э. Веданга «Модели оценки политики» (Vedung, 2000). Веданг выделил восемь основных моделей, представленных и кратко проанализированных в табл. 2.
Таблица 2. Модели оценивания программ и политик
Модель оценивания Содержание модели
1 2
1. Оценка достижения цели Модель состоит из двух ключевых компонентов: оценки достижения цели и оценки результата. Соответственно, основная задача модели: определение того, достигнуты ли в ходе реализации программы заявленные результаты и насколько достигнутые результаты согласуются с целями программы. Данная модель берет цели программы за основу, а затем собирает доказательства того, действительно ли эти цели были достигнуты на практике. Цели являются единственным стандартом оценки реализации программы. Основной недостаток модели: слабый учет непредвиденных результатов.
2. Оценка побочных результатов Является усовершенствованной модификацией предыдущей модели. Так же, как и модель оценки достижения цели, фокусирует внимание на результатах, однако учитывает не только заявленные результаты, но и побочные («выходящие за рамки целевой области программы»). При этом побочные результаты могут иметь как положительные, так и отрицательные эффекты для системы управления в целом. Основной недостаток модели: отсутствие заранее сформулированных критериев оценки побочных результатов, что приводит к проблеме определения конечной оценки программы, исходя из соотношения побочных и основных результатов.
3. Оценка отсутствия цели или модель анализа результатов Модель, предложенная в начале 1970-х годов. Майклом Сри-веном, методологически близка управлению по результатам и сконцентрирована на оценке всех последствий внедрения программы или политики. При этом ее пользователи практически игнорируют заданные цели. Основной недостаток модели: проблематичность определения критериев оценки результатов и, как следствие, проблематичность самой оценки, что приводит данную модель к необходимости анализа потребностей лиц и организаций, которых затрагивает данная программа, и дальнейшему сопоставлению полученных результатов и выявленных потребностей.
4. Комплексная оценка Комплексная оценка предполагает включение в процесс оценивания не только результатов программы, но и хода ее реализации. «Элементы процедуры оценки рассматриваются как составляющие компоненты более целостного процесса... в комплексной оценке первоочередной задачей эксперта является противопоставление запланированных результатов фактическим, сравнение целей с реальностью» (Vedung, 2000, р. 47). Основные недостатки модели: высокая степень сложности и, соответственно, стоимости такой оценки. Слабое внимание к побочным или непредвиденным результатам программ.
Окончание табл. 2
1 2
5. Оценка, ориентированная на клиента Как следует из наименования модели, эта оценка фокусирует внимание на потребностях и ожиданиях потребителей, чьи интересы затрагивает оцениваемая программа. Оценка, ориентированная на клиента, базируется на рыночных принципах определения эффективности (голосование долларом) и предполагает активного, критически настроенного потребителя, готового и способного сформулировать свои предпочтения. Во многом эта модель построена на мониторинге мнений граждан относительно изменений в какой-либо сфере услуг, произошедших после реализации программы. Основные недостатки модели: зачастую низкая объективность потребителей, исходящих из принципиально различных критериев и масштабов оценки. Дополняющий характер данной модели.
6. Модель заинтересованных сторон Эта модель схожа с предыдущей. Ключевым отличием является то, что она учитывает не только мнения потребителей, но и интересы всех стэйкхолдеров (заинтересованных в результатах политики групп, организаций и лиц). Целью, таким образом, становится не просто выяснение степени удовлетворенности интересов одной или нескольких групп, а выяснение того, насколько сбалансирована та или иная программа с точки зрения обеспечения интересов всех участвующих сторон. Основные недостатки модели: высокая (часто запретительно высокая) затратность модели оценивания. Сложность определения круга заинтересованных сторон.
7. Модель продуктивности Экономическая модель, ориентированная на оценку соотношения полученной продукции и затраченных ресурсов. Это — наиболее ясная с точки зрения методологии и определения полученных результатов модель. Основной недостаток модели: как любая экономическая модель, применяемая в государственном секторе, страдает от невозможности оценивания многих государственных программ, не имеющих четко определяемых в денежной форме результатов (величины доходов).
8. Модели экспертной оценки Чаще всего эта модель состоит из трех основных стадий: а) самооценки группы или организации, на которую направлено оценивание; б) предварительной экспертной оценки, производимой специалистами в конкретной, актуальной для данного оценивания области; в) окончательной экспертной оценки, учитывающей реакцию оцениваемой аудитории на суждения экспертов. Отличительная черта модели — жесткий и объективный отбор субъектов оценивания, т.е. состава экспертной группы. Основной недостаток модели: чаще всего — узость экспертной оценки, проводимой специалистами в ограниченной предметной области.
Составлена по: Vedung, 2000.
122 _
ПОЛИТЭКС. 2011. Том 7. № 1
В процессе реализации различных моделей оценивания политик применяется достаточно широкий спектр методов, объединенных в четко организованный комплекс (Беляев, Маршаков, http://politanaliz.ru/articles_520.html; Беляев, Кузнецова, Смирнова, Цыганков, 2005; Колегов, 2008, с. 7-9; Оценка программ..., 2009; Цыганков, Беляев, 2004). Среди них выделим ключевые.
1. Методы наблюдения за изменениями в оцениваемой области, включающие индивидуальный опрос, экспертный опрос, дискуссии экспертных групп, анализ случаев (case study) и др.
2. Методы структурирования оценки: SWAT анализ (определение сильных и слабых сторон страны, региона, муниципалитета, а также возможности и угрожающие факторы среды, в которой будет проводиться данная политика), цветовое голосование (голосование по принимаемым решениям, построенное с применением цветовых карточек, ассоциируемых с согласием/частичным согласием/несогласием с принимаемым решением), составление концептуальной карты, включающей «систематическое обсуждение для определения влияния вариантов политики и разработку "карты влияния", взвешивая результаты оценки каждого партнера» (Маршаков, 2006) и др.
3. Методы анализа данных: сдвиговый анализ (результаты политики определяются сравнением реального положения дел в регионе и прогнозируемой ситуации, которая наблюдалась бы при следовании курсу разрабатываемой политики), использование системы географической информации (GIS), облегчающей составление социально-экономической карты региона, использование макроэкономического моделирования (моделирование поведения экономики при различных сценариях общественного воздействия) и т. д.
4. Методы подведения итогов оценивания: эталонное сравнение (оценка эффективности политики путем качественного сравнения с другим воздействием, которое признается в качестве эталонного), анализ стоимостной эффективности (определение сравнительного стоимостного эффекта от реализации политики по отношению к возможной альтернативной политике) и т. д.
В качестве общего вывода можно сказать о хороших перспективах развития оценивания в мире в целом и в РФ в частности. Об этом свидетельствует резкий рост числа национальных ассоциаций оценивания. К 2009 г. таких ассоциаций в мире насчитывалось более 60. В 2003 г. была учреждена Международная организация сотрудничества в области оценки. В 2008 г. с целью «содействовать исполнению надежд на лучшую жизнь, способствуя проведению качественной оценки влияния и использованию получаемых результатов для принятия политических решений, которые позволят
улучшить программы социального и экономического развития в странах с низким и средним уровнем доходов» (цит. по: Пэттон, 2009, с. 373), была учреждена Международная инициатива по развитию оценки влияния. В конечном итоге можно смело говорить о процессе глобализации оценивания программ и политик за последние 10 лет.
В РФ внедрение методик оценивания программ и политик постепенно становится важным направлением совершенствования государственного управления. Здесь видится прямая связь с содержанием административной реформы, проводимой в стране с 2004 г. «Концепция реформирования бюджетного процесса в РФ в 2004-2006», Указ Президента РФ «О системе и структуре федеральных органов исполнительной власти» № 314 от 9 марта 2004 г., Постановление Правительства РФ «Об утверждении Положения о разработке, утверждении и реализации ведомственных целевых программ» № 239 от 19 апреля 2005 г., Программа социально-экономического развития Российской Федерации на среднесрочную перспективу (2006-2008 гг.), а также непосредственно Концепция административной реформы в Российской Федерации в 2006-2010 гг., заложили институциональный фундамент и определили необходимость внедрения различных видов оценивания в сфере государственной политики и управления.
С 2004 г. в РФ в пилотном режиме осуществлялось внедрение методов всеобщего управления качеством (Total Quality Management) и бюджетирования, ориентированного на результат (Performance budgeting) в практику государственного управления.
В конечном итоге к 2009 г. в этой сфере были осуществлены: а) реализация реформы межбюджетных отношений; б) переход в федеральных органах исполнительной власти к управлению по результатам и среднесрочному бюджетированию, ориентированному на результат; в) проведение оптимизации сети бюджетных организаций; г) повышение эффективности и результативности бюджетных расходов. Все эти меры предполагают встраивание процедур оценивания как неотъемлемого элемента цикла принятия и реализации административных и политических решений.
Безусловно, административная система РФ обладает рядом специфических особенностей, которые требуют разработки и внедрения отечественных методик оценивания и исключают возможность слепого копирования западного опыта. В частности, высокий уровень коррупции, бюрократической волокиты, устойчивые в ряде регионов системы клиентелизма и патронажа и т. д. делают наиболее эффективным видом оценивания внешнее оценивание. Здесь, помимо мониторингов, проводимых научным сообществом, важно
создание системы публичной отчетности и контроля над действиями органов государственной власти. Внешний контроль должен концентрироваться на качестве выполнения государственными органами их функций, проверять целевое использование средств бюджетов различных уровней, осуществлять ревизию контрактов. Необходимо обеспечивать его реальную объективность и независимость. Только в этом случае оценивание программ и политик станет реальным и существенным инструментом повышения эффективности государственного управления.
Литература
1. Беляев А. Н., Маршаков В. А. Обзор международного опыта применения оценки регулирующего воздействия для анализа качества и эффективности регулирующих актов // http://politanaliz.ru/articles_520.html
2. Беляев А. Н., Кузнецова Е. С., Смирнова М. В. , Цыганков Д. Б. Измерение эффективности и оценивание в государственном управлении: международный опыт // Препринт WP8/2005/01. М., ГУ-ВШЭ, 2005.
3. Измерение эффективности госуправления: международный опыт // Оценивание программ и политик: методология и применение. Сборник материалов. Вып. 1. М., 2006.
4. Колегов В. Межрегиональный семинар «Перспективы внедрения оценки регулирующего воздействия на региональном уровне» // Государственная власть и местное самоуправление. 2008. № 8. С. 7-9.
5. Маршаков В. А. Оценивание политик и измерение результативности: мировой опыт и российские перспективы // Оценивание программ и политик: методология и применение. Сборник материалов. Вып. 1. М., 2006.
6. Оценка программ: методология и практика / Под ред. А. И. Кузьмина, Р. О'Салливан, Н. А. Кошелевой. М.: Издательство «Престо-РК», 2009.
7. Пэттон М. Будущее оценки // Оценка программ: методология и практика, 2009. С. 362-377.
8. Цыганков Д., Беляев А. Оценивая эффективность реформ // Вестник актуальных программ «Россия. Третье тысячелетие». 2004. № 11.
9. Vedung E. Public Policy and Program Evaluation. New Brunswick: Transaction Publishers, 2000. P. 37-92.
