CC BY
11
ла того высокого уровня, который необходим для обеспечения разработки стратегических решений». Все еще существуют границы между результатами оценки и принятием решений. В Седьмой рамочной программе предполагается усовершенствовать систему оценки, в частности, повысить «используемость» и воздействие результатов, полученных в ходе оценки. Ключевые изменения должны коснуться введения «внутреннего мониторинга» деятельности при реализации программ, внедрения «завершающей оценки» каждой Рамочной программы в течение двух лет после ее окончания. Предлагается также проводить «промежуточную» оценку качества исследований и их продвижение. Такая оценка должна проводиться через три года после начала программы.
В заключение автор выражает уверенность, что исследования, результаты которых представлены в специальной подборке реферируемого журнала, демонстрируют готовность решать и совершенствовать систему оценки исследований.
Т.В. Горбунова
2006.04.024. ГАЙ К., АМАНАТИДУ Э., ПСАРРА Ф. ОЦЕНКА ВОЗДЕЙСТВИЯ ПЯТОЙ РАМОЧНОЙ ПРОГРАММЫ: ОБЗОР, ЯВЛЯЮЩИЙСЯ ЧАСТЬЮ ДОКЛАДА ОБ ОЦЕНКЕ ИССЛЕДОВАТЕЛЬСКОЙ ДЕЯТЕЛЬНОСТИ ЕС В 1999-2003 гг. GUY K., AMANATIDOU E., PSARRA F. Framework programme 5 (FP 5) impact assessment: a Survey conducted as part of the five-year assessment of European Union research activities (1999-2003) // Science a. publ. policy. - Guildford, 2005. - Vol. 32, N 5. - P. 349-366.
Ключевые слова: Рамочные программы ЕС в сфере ИР; оценка Пятой и Шестой РП; организация РП; исполнители; характер стимулируемых ИР; мотивы и результаты для соискателей.
К. Гай - директор компании «Wise guys Ltd» (г. Шорем, Западный Суссекс, Великобритания), Э. Аманатиду и Ф. Псарра -сотрудницы консалтинговой компании «ATLANTIS consulting SA» (г. Салоники, Греция).
Реферируемая статья представляет результаты обследования, проведенного в 2004 г. в рамках программы третьего очередного оценочного обзора деятельности ЕС в сфере науки и технологии. Перед обследователями была поставлена задача - выявить воздей-
ствие реализуемых проектов (в контексте Пятой рамочной программы - РП-5). Особое внимание предлагалось обратить на степень реализации намеченных целей, значимость проектов и их оценку участниками Программы. В ходе первого этапа обследования опросом охвачено 1,7 тыс. респондентов; последним предлагалось дать оценку Программе в целом. На втором этапе в обследовании участвовали около 1,0 тыс. непосредственных участников одного из проектов РП-5.
Респондентам были предложены вопросы, ответы на которые позволили бы обследователям получить информацию об участниках РП-5: о характере выполняемых ими работ; о мотивах участия; о полученных результатах; об условиях, необходимых для успеха проекта; о результативности РП-5 и ее роли для развития Европы. Перечисленные моменты авторы использовали для формирования структуры реферируемой статьи.
Рамочная программа. Программа входит в структуру Европейской исследовательской и инновационной политики с момента ее учреждения в 1984 г. Первоначально задумывалась как механизм поддержки исследований, ориентированный на поощрение «научного превосходства» и повышение конкурентоспособности западноевропейской промышленности. К 1998 г., когда вводилась в действие очередная РП-5, эта структура обладала «более сложным набором механизмов», обеспечивающих поддержку исследований в интересах достижения «широких социально-экономических целей». Рамочная программа явилась неотъемлемой «платформой» для развития Европейского исследовательского пространства, создание которого в 2000 г. было объявлено в качестве главной цели европейской научной политики.
РП-5 отличается от аналогичных РП предшествующего периода как с точки зрения механизмов, так и по способу их применения. Речь идет о так называемых «ключевых акциях», в рамках которых исследования концентрируются на наиболее важных проблемах научного и общественного характера. Еще один вид усилий РП в сфере исследований - «побуждающая деятельность в исследованиях, разработках и технологии» (generic RTD activities). Третье направление РП-5 - «поддержка исследовательской инфраструктуры».
Участники Пятой рамочной программы. Авторы отмечают, что существует распространенное мнение о том, что условием успеха инновационных систем является взаимодействие исполнителей (акторов) и «институтов». Такое представление основывается на том, что инновационная активность компаний зависит от успеха их взаимодействия с другими «организованными исполнителями»: фирмами, университетами, регулирующими и контрольными организациями и т. п.
Характеризуя типы исполнителей РП-5, авторы выделяют учреждения сферы высшего образования (29%), исследовательские институты (25%), промышленные организации (мелкие и средние фирмы (МСФ) - 30%; крупные - 9%). Классификация исполнителей с точки зрения форм собственности дает следующую картину: государственный сектор - 47%, частный - 40, полугосударственные учреждения и прочие структуры - 13%.
В ходе проведенного обследования данные по РП-5 удалось сопоставить с аналогичными данными РП-3 и РП-4 (по состоянию на 2000 г.): доля вузов тогда составила 33%, доля исследовательских институтов - 26, доля МСФ - 20. Участие крупных фирм характеризовалось показателем 17% (с. 351).
Анализируя данные о составе исполнителей РП-5, авторы обратили внимание на такой показатель, как «стаж» участников: соотношение исполнителей, участвующих в предыдущих РП; доля случайных акторов и тех, кто впервые стал участником РП. На взгляд авторов, разумный баланс указанных категорий может служить показателем «здоровья» анализируемой системы. Слишком высокая доля «старожилов» может свидетельствовать о том, что либо слишком высоки барьеры для привлечения в РП «новичков», либо программа является неинтересной для потенциальных партнеров. Данные, полученные в ходе обследования РП-5, не содержат убедительных доказательств излишнего преобладания «старожилов» или чересчур высоких барьеров для новичков. Доля тех, кто ранее принимал участие в других РП, составила 62%, однако лишь 33% можно отнести к категории «старожилов», остальные участники признались, что были исполнителями лишь одной из предшествующих РП. Доля респондентов-«старожилов», сообщивших, что они участвовали в четырех РП, составила 21%.
В ходе обследования выяснилось, насколько широко исполнители из РП-5 были представлены в следующей РП (6). Оказалось, что почти 3/4 респондентов, занятых ранее в РП-5, представили свои заявки на участие в РП-6, причем для 56% этот шаг оказался успешным (с. 351). В связи с этим авторы обращают внимание на то обстоятельство, что, как видно из ответов респондентов, при подаче заявок в РП-6 участники РП-5 оказались менее успешными, чем более «опытные» соискатели. На взгляд авторов, вызывает беспокойство и тот факт, что «новички» из РП-5 менее охотно, чем «старожилы», подают заявки на участие в РП-6: отказались подавать заявки на участие в РП-6 35% «новичков» и лишь 9% «старожилов». В группе «отказников»-новичков особенно высокой оказалась доля промышленных исполнителей - 47% (с. 352). Подобная тенденция, на взгляд авторов, может иметь нежелательные последствия для состава исполнителей будущих рамочных программ.
Характеризуя круг исполнителей и участников РП-5, авторы обращают внимание на два момента: «партнерские связи» и «проектные связи». Кооперационные программы типа РП ориентированы на укрепление существующих связей между исполнителями ИР в рамках инновационной системы, на установление новых контактов. Как показало обследование, РП-5, выполняя обе задачи, тем не менее отдает приоритет укреплению уже существующих связей. Как видно из ответов респондентов, 74% участников проектов вели совместные ИР со своими старыми партнерами. Указанный показатель оказался сходным как для университетских, так и для промышленных исполнителей, при этом 25% респондентов сообщили, что продолжат сотрудничество со всеми своими партнерами, а 72% -с некоторыми из них (с. 352).
Анализируя информацию о «проектных связях», авторы обращают внимание на тот факт, что многие новые ИР проекты возникают на базе проектов из предшествующих РП. Предполагается, что РП будет стимулировать некоторых ее участников к переходу в новые области исследований. Как показало обследование, большая часть проектов в РП-5 (78%) базируется на предшествующих внутренних ИР, а еще более высокая доля (84%) ведет соответственно к другим внутренним ИР (с. 352). Информация, полученная обследователями,
свидетельствует о том, что около 25% участников РП-5 были стимулированы к переходу в совершенно новые области ИР (с. 353).
Характер выполняемых работ. Исследования, которые проводятся в рамках кооперационных программ, часто определяются как «доконкурентные», занимающие часть спектра ИР, предшествующую коммерциализации. Совместные ИР программы рассматриваются также как способ изысканий в новых областях, лежащих в стороне от основной деятельности в сфере технологии или бизнеса. Считается, что кооперирование в рамках совместных программ снижает потенциальный риск при проведении новых ИР.
Авторы отмечают, что в действительности ИР, реализуемые в ходе кооперационных программ, могут относиться к разным участкам спектра исследовательских усилий: от фундаментальных до прикладных. Такие совместные проекты встречаются и в сфере основных технологий, что, как полагают авторы, может иметь важное «стратегическое значение» для организаций-партнеров.
Проблема характера выполняемых работ явилась предметом опроса в ходе обследования РП-5. Респондентам предложили оценить значимость каждого типа исследовательских усилий по пятибалльной шкале - от 1 до 5. Подобную шкалу применили, например, для оценки высоко- или низкозатратных проектов, для работ с высокой или низкой степенью риска. Картина, сложившаяся в результате обследования РП-5, похожа на ту, которую получили в ходе анализа данных по РП-3 и РП-4. Большая часть проектов РП-5 оценивалась респондентами как «стратегически важные в ключевых областях технологии». Преобладают ИР «высокой научной и технической сложности» долгосрочного характера. В целом прикладные ИР представлены в РП-5 более широко, чем фундаментальные, что особенно заметно в информации, полученной от промышленных респондентов. Большая часть опрошенных расценивают свои проекты как умеренно или низкозатратные с умеренной степенью научного, технического или коммерческого риска. Как и в РП-3 и РП-4, число высокозатратных и высокорискованных проектов оказалось невелико. В целом бюджетные обязательства отдельных организаций (т.е. сумма их собственных средств плюс поступления от ЕС) для большинства респондентов (67%) не превысила 250 тыс. евро. Лишь 6% организаций оценили свои обязательства как превышающие 1 млн. евро (с. 354).
Мотивы, побуждающие к участию в РП. Причины, в силу которых государственный сектор поддерживает кооперационные программы ИР, могут быть самыми разнообразными: от желания получить «материальные» результаты для своих исследователей (в виде публикаций, новых инструментов, оборудования и т.д.) до таких «неосязаемых», как расширение существующих научных возможностей и навыков. Особую группу составляют такие мотивы, которые авторы обозначают как «сетевые цели» (network-related goals). Сюда входит, например, желание получить доступ к «дополнительной экспертизе», отсутствующей в собственной организации. Респонденты выделили и такой мотив, как стремление обрести новых партнеров, установить связи с исполнителями ИР в других секторах, формировать новые сети, как исследовательские, так и рыночно -ориентированные.
Еще одна группа целей относится к категории, «ориентированной на эксплуатацию». Для промышленных компаний это означает расширение возможностей разработки новых продуктов, процессов и услуг; повышение продуктивности, прибыльности, конкурентоспособности. Для непромышленных участников РП к мотивам такого рода можно отнести расширение возможностей для влияния на принятие политических решений, на механизмы государственного регулирования. Еще одну категорию целей для участия в РП авторы определяют как «ориентирование на стратегическое управление». Такие цели связаны с возможностями для сокращения затрат или риска, получения доступа к дополнительным источникам финансирования ИР, открытия «новых исследовательских горизонтов развития, инновационных долгосрочных исследовательских и коммерческих стратегий».
В ходе опроса респондентам предложили оценить в баллах перечисленные цели с точки зрения их значимости для исследовательской группы, для организации в целом. Указанные категории обследователи обозначили соответственно как цели первого и второго круга (сферы). Внешние организации были отнесены к категории третьего круга. При оценке целей первого круга наиболее высокие баллы респонденты присудили расширению знаний и развитию сетей. Авторы обращают внимание на то, что подобного мнения в равной степени придерживаются как университетские, так и про-
мышленные исследователи. Правда, первые весьма высоко оценили возможность увеличения числа публикаций.
Менее популярными оказались такие цели, как сокращение риска, карьерный рост и развитие новых стратегий ИР. Характеризуя отношение промышленных партнеров, авторы отмечают значительную заинтересованность в формировании структур промыш-ленно-университетского сотрудничества.
При оценке целей второго круга, полагают авторы, «различие в подходе университетских и промышленных партнеров оказалось поразительно скромным». Наиболее высоко оценена возможность использования результатов ИР в границах собственных организаций. Респонденты отдали данной цели 3,6 балла (по пятибалльной шкале). Достаточно высоко (3,0 балла) оценено повышение конкурентоспособности. Что касается наименее популярных целей, то, как подчеркивают авторы, ни университетские, ни промышленные участники РП-5 не отдали приоритета таким направлениям, как разработка новой коммерческой стратегии, образование дочерних компаний, получение авторских прав, патентов, лицензионных поступлений и др.
Результативность участия в РП-5. Участие в программе типа РП, подчеркивают авторы, дает возможность партнерам получить выгоды, которые оцениваются исходя из нескольких факторов. Во-первых, следует понять, превышают ли выгоды от участия затраты, которые несет исполнитель. В какой мере успех является результатом партнерства в РП, а не определяется иными факторами. Во-вторых, необходимо выяснить, позволяет ли участие в РП реализовать такие программы, которые в ином случае были бы нереализованными, оказались бы хуже или заняли бы больше времени. В-третьих, достижение целей в рамках РП следует оценивать с точки зрения их значимости для непосредственных заинтересованных партнеров.
Обследование показало: большинство респондентов полагают, что выгоды от участия превысили понесенные ими издержки. На это сослались 55% опрошенных. При этом доля респондентов из университетского сектора, положительно оценивших результативность своего участия в РП, составила 63% (против 40% у промышленных респондентов).
При ответе на вопрос, проводили бы они свои ИР при отсутствии финансирования от РП, 57% респондентов согласились, что это было бы невозможно. В ходе обследования был проведен телефонный опрос среди «отвергнутых соискателей». 84% таких респондентов признались, что не будут продолжать работу над проектами, которые не нашли одобрения у экспертов РП (с. 356).
При опросе успешных респондентов авторы решили выяснить, от каких проектов или прочих инициатив отказались бы участники РП, если бы они не получили статуса партнеров Рамочной программы: 36% заявили, что им пришлось бы частично свернуть объем ИР; 10% попытались бы заменить поступления от ЕС собственными фондами; 20% обратились бы к другим внешним источникам финансирования (с. 357).
Насколько велика значимость индивидуальных целей в ИР, и как респонденты оценивают степень достижения ими таких целей? Опрошенным предложили ответить на указанные вопросы, использовав пятибалльную шкалу. При оценке целей первого круга от 75 до 94% респондентов оценили их как «очень важные» или просто «важные», причем большая часть опрошенных полагают, что им удалось достичь или превзойти намеченные цели (соответствующее соотношение 63 и 11%). Наряду с общими оценками целей обследователи предложили респондентам оценить сравнительную значимость конкретных целевых направлений. Оказалось, что 73% опрошенных участников РП-5 полагают в качестве важной или очень важной цели «расширение базы знаний».
Часть вопросов касалась целей второго круга. Выяснилось, что многие исследовательские группы приняли участие в РП-5, рассчитывая на то, что такой шаг «повысит репутацию и имидж их организации». Кроме того, большая доля участников намеревалась использовать результаты проекта в своей собственной организации. Выяснилось, что 80% опрошенных реализовали или превзошли такого рода ожидания.
Достаточно высокий балл получила оценка такой роли, как повышение конкурентоспособности: 72% респондентов признали, что данная ситуация «соответствовала их ожиданиям» (с. 358). Что касается реализации ожиданий в области продуктов, процессов и услуг, то очень важными или важными ее сочли соответственно 38, 39 и 26% респондентов (с. 359).
Анкета для участников РП-5 содержала вопросы относительно коммерческой отдачи разрабатываемых проектов. Учитывая низкую долю ответивших (44% для университетских исследователей и 58% для промышленных), авторы полагают, что провести интерпретацию полученных результатов весьма затруднительно. Если судить по полученной информации, то примерно половина участников РП-5 получили прибыль, однако лишь 8% пользовались к моменту опроса значительной коммерческой отдачей от своих ИР (с. 360).
Условия, необходимые для успешных проектов. Хотя большинство участников РП-5 сообщили обследователям, что добились поставленных целей, что полученный ими выигрыш превысил понесенные расходы, существуют заметные различия в оценках респондентов. Такие различия, подчеркивают авторы, объясняются разными факторами, внешними и внутренними, для конкретного проекта. К числу подобных факторов авторы относят качество руководства, технические возможности партнеров, четкость сформулированных целей, качество сотрудничества партнеров.
В ходе обследования респондентам предложили оценить факторы, включенные в перечень из 25 причин разного рода. Оценка проводилась по пятибалльной шкале. Большая часть опрошенных (69%) к числу решающих факторов успеха отнесла высокое качество руководства проектом. На второе по значимости место респонденты поставили высокий уровень технических возможностей собственной организации (67%), далее (по степени убывания) следуют такие факторы, как высокий технологический потенциал партнеров, взаимодополняемость кооперационных усилий, хорошо налаженные связи между партнерами (соответственно 65, 62 и 60%). Среди факторов, мешающих успеху, наиболее значительная часть опрошенных (31%) указала на такой фактор, как недостаточные возможности для дополнительного финансирования. Значительно меньшая доля респондентов (8-10%) рассматривает в качестве нежелательных барьеров невысокий административный потенциал сотрудников ЕС; нежелательные стратегические изменения в поведении партнеров, трудности при оформлении авторских прав на интеллектуальную собственность (с. 362). Какие организации сталкиваются с наибольшими проблемами, участвуя в РП-5? Обследование показало: самой уязвимой группой оказались мелкие и средние фирмы (МСФ).
Информация, собранная обследователями, явилась базой для проведения многомерного анализа с использованием пяти наборов переменных: природы проводимых работ; факторов для успеха проектов; уровней достижения целей; воздействия уровней первого, второго и третьего круга; индикаторов успеха проекта - соотношения затрат и прибыли. Наиболее значимые соотношения переменных авторы представили в виде таблицы на с. 362. Проведенный анализ позволил им утверждать, что, в частности, собственные возможности и заинтересованность партнеров в соединении с благоприятными внешними технологическими и коммерческими явлениями «положительно связаны» с такими результатами, как патентные заявки, авторские права и лицензионные поступления.
Удалось установить также, что потенциал партнеров и хорошее взаимодействие между ними положительно влияют на такие показатели, как сокращение затрат и снижение риска. Еще одна зависимость, установленная авторами, - положительное воздействие «хорошо сформулированных целей и их взаимодополняемость» у партнеров -на научный и сетевой потенциал исследовательских групп.
Результативность РП-5. Если оценивать данный показатель с точки зрения участников РП-5, отмечают авторы, то вопрос о результативности можно рассматривать с двух сторон: удовлетворены ли участники тем, как исполняется данная программа, в том числе по сравнению с другими РП; принесло ли участие в РП-5 результаты, на которые рассчитывали ее участники.
В ходе обследования респондентам предложили оценить «степень удовлетворенности» некоторыми аспектами РП-5. Выяснилось, что доля участников, полностью или частично удовлетворенных научно-технической стороной РП-5, составила соответственно 24 и 57%. Неудовлетворенность организацией процесса подачи заявок, управлением Программой в целом, финансовыми вопросами выразили соответственно 35 и 26% опрошенных (с. 364).
Один из аспектов обследования касался сравнения двух РП -Пятой и Шестой. Большинство опрошенных признали более высокий уровень административных усилий в РП-6. Высокую оценку получил такой аспект РП-6, как более гибкие по сравнению с РП-5 механизмы реализации, предоставляющие участникам Программы
большую степень свободы в контексте изменения содержания проекта или его структуры.
Роль РП-5 в развитии Европы. Оценка общего воздействия РП-5, подчеркивают авторы, - это тема, которую невозможно раскрыть лишь на основании опроса участников Программы.
Косвенным свидетельством успешного функционирования РП может явиться достижение участниками своих собственных целей. Цели РП реализуются постепенно: некоторые, как, например, развитие научно-технического потенциала ЕС и повышение конкурентоспособности региона, остаются неизменными на протяжении многих лет. Социально-экономические цели можно отнести к сравнительно новым аспектам Рамочных программ. Участникам обследования предложили оценить по пятибалльной шкале вклад проектов, разрабатываемых ими в рамках Программы.
Полученные авторами результаты говорят о том, что большинство респондентов считают вклад своих проектов значительным. При этом на обучение и мобильность кадров указали в первую очередь университетские участники опроса, а на повышение конкурентоспособности - промышленные. В связи с этим авторы подчеркивают, что достижения РП-5 в сфере расширения базы знаний, подготовки и мобильности персонала соответствуют целям ЕС, поскольку «если ЕС должен превратиться в ведущее общество, основанное на знаниях, необходимым условием является обеспечение большего числа хорошо подготовленных исследователей».
В заключительной части реферируемой статьи авторы отмечают, что установление прямой связи между экономическим ростом на уровне ЕС и специфическими исследовательскими проектами невозможно, поскольку такого рода проекты составляют небольшую часть тех усилий в ИР, которые прилагаются в странах -членах ЕС. Равным образом обследования проведенного типа не являются самым эффективным способом сбора информации. Тем не менее подобные обследования могут многое сказать о достижении целей, о воздействии участия в РП на собственные проекты участников Программы и в конечном счете - на эффективность самой РП. Кооперационные программы типа РП обычно рассматривают с точки зрения их роли в экономическом росте, поскольку они стимулируют взаимодействие отдельных исполнителей ИР в рам-
ках инновационной системы. Считается, что такое взаимодействие расширяет их научную и эксплуатационную компетентность.
Обследование РП-5 дало убедительное свидетельство ее эффективности. Существуют, однако, признаки того, что уровень удовлетворенности участников РП снижается. Это касается процедуры приема заявок и их оценки, оплаты проектов.
Т.В. Горбунова
2006.04.025. СИУНЭ К., ШМИДТ Э.К., ОГОР К. РЕАЛИЗАЦИЯ ЕВРОПЕЙСКОЙ НАУЧНОЙ ПОЛИТИКИ.
SIUNE K., SCHMIDT E.K., AAGAARD K. Implementation of European research policy // Science a. publ. policy. - Guildford, 2005. -Vol. 32, N 5. - P. 375-384.
Ключевые слова: политика ЕС в области ИР; рамочные программы; механизмы реализации РП-5 и РП-6; тематика проектов; организация работы РП.
Реферируемая публикация - результат исследования, выполненного при финансовой поддержке Комиссии ЕС. Исполнители -сотрудники Датского центра по изучению исследований и научной политики при Орхусском университете (г. Орхус, Дания). Авторы отмечают, что Комиссия ЕС регулярно оценивает научно-техническую деятельность, реализуемую Рамочными программами (РП). Задачи последней из таких программ - РП-6, охватившей период с 2002 по 2006 г., состоят в организации финансового механизма, призванного обеспечить формирование Европейского исследовательского пространства (ERA). В силу постановки новых задач, полагают авторы, переход от РП-5 к РП-6 может оказаться более сложным по сравнению с предшествующими РП.
Особенности РП-6 и ее отличие от других РП авторы рассматривают по следующим направлениям: приемлемость механизмов РП; управление процессом реализации; стимулы и барьеры на пути целевых групп.
Приемлемость механизмов РП. Авторы обращают внимание на то, что в РП-6 используются новые правила участия, новый подход к оценке, управлению проектами и мониторингу. Главное отличие РП-6 состоит в запуске нового набора инструментов, ориентированных на достижение целей, поставленных перед РП-6.
