CC BY
38
КРЕАТИВНАЯ ЭКОНОМИКА
Том 11 • Номер 9 • сентябрь 2017 ISSN 1994-6929
Journal of Creative Economy
>
Креативная экономика
издательство
методы оценки
инновационном устойчивости региона
Руйга И.Р. 1
1 Сибирский федеральный университет, Красноярск, Россия
АННОТАЦИЯ:
В статье представлено авторское видение понятия инновационной устойчивости региона, а также методов ее оценки. Теоретической базой для исследования послужили результаты проведенного анализа накопленного зарубежного опыта и действующей российской практики по вопросам оценки инновационного развития на федеральном и региональном уровнях. Ориентируясь на изученные подходы, автором предложен алгоритм оценки инновационной устойчивости региона на основе использования метода сравнительного анализа данных с установлением пороговых значений, а также метода Data Envelopment Analysis. Результаты исследования могут быть использованы региональными органами государственной власти для мониторинга состояния инновационной сферы региона, а также с целью корректировки действующего инструментария реализуемой инновационной политики. Предложенный подход к оценке уровня инновационной устойчивости может транслироваться на так называемые инновационные экосистемы различного типа (региональные, локальные, корпоративные) с учетом определения соответствующей системы критериев и показателей, распределения их на входные и выходные, а также формирования пороговых значений в случае необходимости для соответствия параметров основным принципам предлагаемых к использованию методов. ФИНАНСИРОВАНИЕ. Исследование выполнено при финансовой поддержке краевого государственного автономного учреждения «Красноярский краевой фонд поддержки научной и научно-технической деятельности» в рамках научного проекта № 2017030701550 «Модели формирования инновационных индустрий Красноярского края на основе интеграции региональной и национальной инновационных экосистем».
КЛЮЧЕВЫЕ СЛОВА: инновационная устойчивость региона, Data Envelopment Analysis, пороговые значения, инновационная экосистема.
Введение
Инновационную устойчивость можно рассматривать как одну из характеристик успешного инновационного развития социально-экономической системы. В этой связи вопрос оценки инновационной устойчивости на региональном уровне становится особенно актуальным.
Под инновационной устойчивостью региональной социально-экономической системы, по мнению автора, следует понимать способность
Methods for assessing the region's innovative sustainability
Ruyga I.R.1
1 Siberian Federal University, Russia
системы в течение определенного периода времени генерировать создание объектов интеллектуальной собственности с последующей их коммерциализацией в производственный сектор с целью существенного изменения структуры промышленности и развития производств нового технологического уклада. Инновационная устойчивость отражает прочность и надежность элементов региональной инновационной системы, ее динамическое равновесие, а также способность выдерживать внутренние и внешние воздействия негативного характера.
В целях определения соответствующих методов количественной оценки инновационной устойчивости региона, целесообразно взять за основу методологию оценки эффективности инновационной деятельности на федеральном и субфедеральном уровнях.
В аспекте международной практики интересен опыт стран Евросоюза и соединенных штатов Америки, достаточно подробно представленный в ряде исследований отечественных и зарубежных авторов [1, 2, 4, 5] (Perani, Sirilli, 2008; Hollanders, Tarantola, Loschky, 2009; Klowden, Wolfe, 2012; Bortnik, Senchenya, Mikheeva, Zdunov, Kadochnikov, Sorokina, 2012). Особенность европейской системы оценивания заключается в формировании системы индикаторов, которые в итоге являются составляющими некого
ABSTRACT:_
The article presents the author's view on the concept of region's innovation sustainability and on methods of its assessment. The results of the analysis of the accumulated foreign experience and the current Russian practice on the assessment of innovative development at the federal and regional levels serve as a theoretical basis of this article. Focusing on the studied approaches, the author suggests an algorithm for assessing region's innovation sustainability on the basis of the use of the method of data comparative analysis with the establishment of threshold values and considering Data Envelopment Analysis. The results of the study can be used by regional government authorities to monitor the state of innovation sphere in the region, and to adjust the existing tools of the implemented innovation policy. The proposed approach to the assessment of the level of innovation sustainability can cover the so-called innovation ecosystems of various types (regional, local, corporate), taking into account the definition of the appropriate system of criteria and indicators, their classification on input and output, and can also cover the formation of threshold values, if necessary, to meet the parameters of the basic principles of proposed methods.
KEYWORDS: region's innovative sustainabi1ity,Data Envelopment Analysis, threshold values, innovation ecosystem.
JEL Classification: o00, o10, o12 Received: 18.10.2017 / published: 31.10.2017
© Author(s) / Publication: CREATIVE ECONOMY Publishers For correspondence: Ruyga I.R. (IRuiga@sfu-kras.ru)
CITATION:_
Ruyga I.R. (2017) Metody otsenki innovatsionnoy ustoychivosti regiona [Methods for assessing the region's innovative sustainability]. Kreativnaya ekonomika. 1 1. (10). - 1025-1038. doi: 10.18334/ce.11.10.38411
интегрального показателя, заложенного в основу европейской рейтинговой системы инновационной деятельности на федеральном уровне. Что касается оценки на субнациональном уровне, то в большинстве стран европейского континента применение целевых индикаторов как таковое отсутствует.
Система количественной оценки уровня инновационного развития территорий в Соединенных Штатах Америки имеет свои характерные отличия. Инициатором разработки специальных интегральных показателей инновационной сферы на уровне штатов и округов выступает Управление экономического развития Торгового департамента США. Непосредственными разработчиками являются национальные исследовательские центры [3] и специализированных структуры по составлению рейтинговых систем [4] (Klowden, Wolfe, 2012). Как правило, поэлементная структура интегрального показателя характеризуется объединением как ресурсных параметров инновационной деятельности, так и результатов ее эффективности.
По мнению И.М. Бортника [5] (Bortnik, Senchenya, Mikheeva, Zdunov, Kadochnikov, Sorokina, 2012), методологические основы американской и европейской системы оценивания могут выступать проекцией в качестве базовой составляющей при построении системы оценки уровня инновационности Российской Федерации в региональном разрезе.
По аналогии с зарубежными странами в качестве разработчиков рейтинговых систем инновационной активности регионов выступают исследовательские центры при ведущих образовательных учреждениях, а также специализированные институты развития (Национальная ассоциация инноваций и развития информационных технологий, Центр стратегических разработок «Северо-Запад», Ассоциация инновационных регионов России).
Ряд авторских подходов к проблеме оценки уровня инновационного развития субъектов федерации изложен в трудах отечественных исследователей [5-12] (Bortnik, Senchenya, Mikheeva, Zdunov, Kadochnikov, Sorokina, 2012; Gusev, 2016; Kiselev, 2010; Vladimirova, 2011; Vasileva, Likhacheva, Filimonenko, 2005; Zemtsov, Baburin, 2017; Makarov, Ayvazyan, Afanasev, Bakhtizin, Nanavyan, 2014; Vcherashniy, Ruyga, 2016) .
В результате проведенного сравнительного анализа действующих в зарубежной и отечественной практике систем оценки уровня инновационного развития регионов сформирован вывод о наличии двух основных подходов. Первый подход базируется на
ОБ АВТОРЕ:_
Руйга Ирина Рудольфовна, зав. кафедрой «Экономика и управление бизнес-процессами», кандидат экономических наук (IRuiga0sfu-kras.ru)
ЦИТИРОВАТЬ СТАТЬЮ:_
Руйга И.Р. Методы оценки инновационной устойчивости региона // Креативная экономика. - 2017. -Том 11. - № 10. - С. 1025-1038. doi: 10.18334/ce.11.10.38411
формировании индексов инновационного развития, определяющих положение региона относительно других субъектов; результатом оценки является построение рейтинговой системы. Итоговые индексы уровня инновационного развития региональных экономик в целом составляют агрегированную оценку на основе двух главных групп показателей: 1) условия, способствующие развитию инновационной составляющей экономики региона; 2) результаты эффективности инновационной деятельности на уровне субъекта.
Такой подход позволяет количественно оценить уровень инновационного развития региональной экономики относительно лидеров, иметь представление о наличии некой дистанции, отделяющей регион от инновационно развитых субъектов, и, как результат, наметить комплекс задач по повышению эффективности функционирования региональной инновационной системы. В связи с изложенным можно утверждать, что система рейтингования, основанная на формировании сводного индекса инновационного развития, может быть использована для оценки уровня инновационной устойчивости региона с учетом определенной модификации.
Второй подход базируется на методах сравнительного анализа комплексной системы инновационных показателей, представленных в динамике. С одной стороны, оценка динамики инновационных показателей является удобным способом анализа темпов инновационного развития территории. С другой стороны, возникают проблемы адекватного восприятия показателей: как интерпретировать темпы роста, кроме констатации фактического состояния наличия спада или наличия роста. По мнению автора, динамика инновационных показателей при оценке инновационного развития региона в действительности не может являться основанием для определения уровня инновационной устойчивости. Это обусловлено отсутствием определенной базы для сравнения, так называемого эталонного значения показателя, при сопоставлении с которым можно дать оценку относительно фактического состояния инновационного развития в регионе. Следовательно, динамика может дать оценку относительно темпов развития, но не уровня состояния инновационной устойчивости.
Наиболее показательным, по мнению автора, с точки зрения определения уровня инновационной устойчивости региона может являться метод сравнения фактических показателей инновационного развития с установленными эталонными параметрами. Более того, в аспекте обеспечения состояния устойчивости обязательным условием является как соответствие пороговому значению, так и улучшение выборки показателей в динамике. Такой подход характеризуется большей трудоемкостью по причине необходимости формирования эталонных параметров.
В целом, формирование системы пороговых значений широкое распространение получило при определении уровня экономической безопасности государства [13-15] (Oleynikov, 2004; Senchagov, 2005; Шarionov, 1998). Недостижение эталонного показателя сигнализирует о наличии определенных проблем (так называемых угроз), требующих принятия управленческого решения для повышения уровня экономической безопасности социально-экономической системы.
Таким образом, опираясь на теорию экономической безопасности, по мнению автора, целесообразно определить критерии и показатели инновационного развития на уровне региона, а также допустимые (эталонные) их значения, соответствие которым дает основание утверждать о наличии устойчивости социально-экономической системы. Корректное определение количественных параметров пороговых значений в данном случае будет существенным образом влиять на достоверность результатов оценки. При этом наличие критерия множественности пороговых значений, дифференцированных по своему наполнению и специфике, требует практически такой же множественности методов их расчета. В условиях воздействия ряда факторов в каждой конкретной экономической ситуации перечень пороговых значений, а также система методов их оценки должны быть подвержены корректировке.
Для определения числовых параметров пороговых значений в современной практике имеется несколько подходов [16] (Kalina, Saveleva, 2014):
1) экспертный подход основывается на системе валидности отечественных и зарубежных практик с учетом ряда среднемировых показателей и тенденций развития;
2) подход, основанный на специальных математических методах. Данный подход, как правило, используется в условиях повышенного уровня неопределенности исходной информации, а также при наличии расхождений в результатах оценки экспертов по тому или иному процессу. В качестве примера можно привести расчет по каждому показателю среднего значения, дисперсии и среднеквадратического отклонения. Используя за базу полученные значения, производится расчет пороговых значений;
3) подход, основанный на применении методов теории распознавания образов;
4) подход, основанный на составлении аналогий (сопоставление российских показателей с данными схожих зарубежных государств, эталонными величинами и т.п.).
Перечисленные методы можно сочетать, т.к. большинство пороговых значений взаимосвязано и взаимозависимо. В основе этой взаимозависимости заложены объективные балансовые связи, что является основанием для проверки расчетов взаимо-увязанности отдельных пороговых значений.
Таким образом, при установлении достаточного количества оценочных факторов (показателей) инновационной устойчивости на региональном уровне и разработке пороговых норм может быть сформирована система количественной оценки уровня инновационной устойчивости региона. При этом результатом данного подхода будет являться расчетное отклонение фактического значения показателя от установленного эталонного параметра.
При определении уровня инновационной устойчивости региона необходимая информация может быть обеспечена при сравнении субъектов федерации между собой, в связи с этим предлагается использовать метод Data Envelopment Analysis (DEA) для выполнения подобного сопоставления [17] (Dorofeeva, Katsik, Morgunov, Smirnov, 2002). Данный метод успешно применен в российской и международной практике для определения эффективности функционирования однородных объектов в
различных социально-экономических системах. Такими объектами могут быть корпоративные структуры, финансово-кредитные учреждения, учреждения различной сферы деятельности, органы управления, регионы и т.д.
В настоящее время в российской практике отсутствует общепринятый эквивалент англоязычному названию метода DEA, в основном используются такие варианты, как «анализ среды функционирования» или «анализ оболочечной среды данных» [18] (Krivonozhko, Propoy, Senkov, Rodchenkov, Anokhin, 1999). В соответствии с методологией DEA в большинстве случаев применим термин «эффективность функционирования», характеризующий уровень результативности, с которой исследуемые объекты преобразуют входы (input) в выходы (output). В данном исследовании под критерием эффективности следует понимать уровень инновационной устойчивости региона.
Теоретические и практические возможности использования метода DEA на примере функционирования хозяйственной системы широко представлены в работах отечественных и зарубежных ученых [17-23] (Dorofeeva, Katsik, Morgunov, Smirnov, 2002; Krivonozhko, Propoy, Senkov, Rodchenkov, Anokhin, 1999; Fried, Lovell, Schmidt, 1993; Morgunov, 2003; Katsik, 2003). В качестве основных преимуществ использования Data Envelopment Analysis выделяют [19, 22, 23] (Morgunov, 2003; Katsik, 2003):
• возможность расчета комплексного показателя для каждого субъекта оценки на основе применения входных параметров с целью получения желаемых выходных значений;
• возможность одновременной обработки множества входных и выходных параметров различной соразмерности;
• возможность учета внешних факторов окружающей среды;
• возможность применения переменных, не требующих обязательного использования весовых коэффициентов;
• возможность использования функциональной формы зависимости между входами и выходами, не требующей формирования каких-либо ограничений;
• осуществление необходимой процедуры количественной оценки желательных изменений как во входных, так и выходных параметрах, которые позволили бы вывести неэффективные хозяйственные системы на соответствующий уровень результативности;
• наличие множества точек, соответствующих результативным системам, оптимальным по Парето;
• фокусирование на идентификации примеров лучших практик, исключая при этом усредненные тенденции.
В связи с тем, что в методе Data Envelopment Analysis постановка задачи осуществляется в терминах inputs и outputs, следовательно, обязательным условием при его использовании для оценки уровня инновационной устойчивости является необходимость отнесения одной составляющей системы показателей, характеризующих ситуацию в регионе, ко входам, а другую составляющую совокупности показателей - к выходам.
Рассматривая системы критериев и показателей, которые используются для оценки инновационного развития, приходим к выводу о проблематичности разделения показателей на входные и выходные.
Одним из подходов к решению указанной проблемы может быть следующий [23] (Katsik, 2003): к показателям на входе можно условно отнести те из них, для которых более предпочтительными считаются меньшие значения, а к показателям на выходе -те из них, которые сориентированы на увеличение. В результате после проведения ряда вычислительных операций по методу DEA получим для «неэффективных» регионов рекомендации по снижению значений входных и увеличению значений выходных показателей, что соответствует логике предметной области, т.е. проблеме оценки уровня инновационной устойчивости. Возможны и другие подходы к решению задачи разделения показателей на входные и выходные [17, 23] (Dorofeeva, Katsik, Morgunov, Smirnov, 2002; Katsik, 2003). При этом следует учитывать, что в методике входные параметры упрощенно представляются как ресурсная составляющая системы, а выходные - как результирующая составляющая деятельности системы.
Для отбора и обоснования параметров оценки уровня инновационной устойчивости региона автором предлагается адаптировать показатели инновационного развития к требования метода DEA следующим образом. Поскольку инновационная устойчивость реализуется в системе тесных взаимосвязей инновационной сферы с экономикой региона, то в качестве выходных параметров предлагается использовать показатели, отражающие условия, способствующие развитию инновационной экономики региона, а в качестве выходных параметров - показатели, характеризующие результаты инновационной деятельности региона.
Согласно основному принципу метода DEA, безопасное состояние системы достигается либо за счет устремления к минимуму значений input-параметров, либо устремлению к максимуму output-параметров. Соответственно, с позиции обеспечения заданного уровня инновационной устойчивости все input-параметры должны ориентироваться на снижение, а output-параметры - на увеличение своих значений.
Однако система показателей, используемых в качестве входных параметров, может характеризоваться их разнонаправленностью (в том случае, когда их значения стремятся либо к увеличению, либо к снижению). Применение же в качестве входных параметров для оценки инновационной устойчивости региона показателей, ориентированных с позиции инновационного развития на увеличение, будет противоречить требованиям метода Data Envelopment Analysis (стремление всех input-параметров к минимизации). Поэтому для адаптации выбранных показателей к обязательным условиям применения метода DEA необходимо разграничение выбранных в качестве входных показателей по «направлению»: с позиции устойчивости, ориентированные на снижение (1 группа); с позиции устойчивости, ориентированные на увеличение (2 группа).
В результате при использовании метода Data Envelopment Analysis информационной базой для первой группы показателей будут приниматься их фактические
значения. Для второй группы показателей, по мнению автора, обязательным условием будет являться определение эталонных параметров, отклонение фактических значений от которых для достижения устойчивого состояния устремляется к минимуму. В связи с этим для показателей второй группы в качестве исходных данных целесообразно учитывать отклонение, которое определяется как разница между фактическим значением показателя и установленным порогом. Следовательно, в этом случае не будет нарушено утверждение о том, что чем меньше отклонение, тем более инновационно устойчивым является регион. Применяя указанный метод, можно получить сравнительный срез в регионах России по уровню инновационной устойчивости.
В результате использования метода Data Envelopment Analysis будет получен один интегральный показатель для каждого из исследуемых в выборке субъектов Российской Федерации, на основании значения которого может быть проведено ранжирование и, как следствие, построение специальной системы рейтингования субъектов Российской Федерации по уровню их инновационной устойчивости. Кроме того, производятся конкретные оценки желательных изменений во входах/выходах, которые позволили бы вывести неэффективные регионы на так называемую границу эффективности (при этом термин «неэффективные», как отмечалось выше, в этом случае будет означать инновационно неустойчивые, находящиеся в менее благоприятной ситуации с точки зрения устойчивого инновационного развития).
Дополнение к использованию подхода формирования пороговых значений для соответствия принципам метода Data Envelopment Analysis расчета данного агрегированного показателя в динамике позволяет обеспечить комплексность оценки уровня инновационной устойчивости на региональном уровне. В итоге анализ результатов оценки становится основой для разработки региональными органами власти комплекса мероприятий, механизмов обеспечения инновационной деятельности и в общем виде предполагает принятие управленческого решения по реализации мер, направленных на устойчивое инновационное развитие (рис.).
заключение
Предложенный автором алгоритм оценки инновационной устойчивости на региональном уровне имеет следующие преимущественные характеристики:
Наличие комплексного подхода - процедура количественной оценки осуществляется на основании системы критериев и показателей, характеризующих уровень инновационного развития субъекта. Исходя из целей и задач исследования, набор показателей, используемых для оценки, может корректироваться. При этом целесообразно осуществлять агрегированную оценку на основе дифференциации показателей на две укрупненные группы: 1) показатели, характеризующие условия, способствующие развитию инновационной составляющей экономики региона; 2) показатели, отражающие результаты эффективности инновационной деятельности на уровне субъекта.
Рисунок. Алгоритм оценки инновационной устойчивости региона Источник: составлено автором
Возможность задавать различный горизонт планирования при проведении оценки (краткосрочный, среднесрочный и долгосрочный период) в зависимости от масштабности целей государственных органов власти на уровне субъектов.
Предложенный алгоритм оценки (рис.) может быть применим для разной совокупности территорий (в разрезе федеральных округов) и разных типов регионов с учетом особенностей их отраслевой специфики (финансово-экономические центры, агропромышленные регионы, регионы сырьевой направленности, регионы с опорой на обрабатывающую промышленность, экспорто-ориентированные регионы и пр.).
Предложенный подход к оценке уровня инновационной устойчивости может транслироваться на так называемые инновационные экосистемы различного типа (региональные, локальные, корпоративные) с учетом определения соответствующей системы критериев и показателей, распределения их на входные и выходные (в случае необходимости), а также формирования пороговых значений для соответствия параметров основным принципам предлагаемых к использованию методов.
Объективность итоговых результатов оценки. Процедура оценивания осуществляется на основе официально публикуемых статистических данных. Для определения количественных параметров пороговых значений возможно применение совокупности методов, которые можно сочетать, т.к. большинство пороговых значений взаимосвязано и взаимозависимо.
Использование обоснованной выборки параметров оценки уровня инновационной устойчивости и установленных к ним пороговых значений в качестве целевых индикаторов в стратегических документах региона.
Возможность использования полученных результатов региональными органами государственной власти для мониторинга состояния инновационной сферы региона, а также с целью корректировки действующего инструментария реализуемой инновационной политики.
ИСТОЧНИКИ:
1. Перани Дж., Сирилли С. Бенчмаркинг инновационной деятельности европейских
стран // Форсайт. - 2008. - № 1(5). - с. 4-15.
2. Hollanders H., Tarantola S., Loschky A. Regional Innovation Scoreboard. Pro Inno
Europe. [Электронный ресурс]. URL: http://www.proinno-europe.eu/page/regional-innovation-scoreboard.
3. Crossing the next regional frontier: Information and Analytics Linking Regional Competitiveness to Investment in a Knowledge Based Economy. U. S. Economic Development Administration. [Электронный ресурс]. URL: http://www.statsamerica. org/innovation.
4. Klowden K., Wolfe M. State Technology and Science Index 2012. Enduring Lessons for
the Intangible Economy. Milken Institute. [Электронный ресурс]. URL: http://www. milkeninstitute.org/pdf/STSI2013.pdf.
5. Бортник И.М., Сенченя Г.И., Михеева Н.Н., Здунов А.А., Кадочников П.А., Сорокина
А.В. Система оценки и мониторинга инновационного развития регионов России // Инновации. - 2012. - № 9(176). - с. 48-61.
6. Гусев А.Б. Формирование рейтингов инновационного развития регионов России
и выработка рекомендаций по стимулированию инновационной активности субъектов Российской Федерации. Innovation. [Электронный ресурс]. URL: http:// innovation.gov.ru/sites/default/files/documents/2016/25317/3923.pdf.
7. Киселев В. Сравнительный анализ инновационной активности субъектов Российской Федерации // Инновации. - 2010. - № 4(138). - с. 44-55.
8. Владимирова О.Н. Инновационная восприимчивость региона: условия формирова-
ния и управление. / монография, 2011. - 146 с.
9. Васильева З.А., Лихачева Т.П., Филимоненко И.В. Стратегическое развитие террито-
рий: методические подходы и инструментарий. / монография, 2005. - 272 с.
10. Земцов С.П., Бабурин В.Л. Как оценить эффективность региональных инновационных систем в России? // Инновации. - 2017. - № 2(220). - с. 60-66.
11. Макаров В.Л., Айвазян С.А., Афанасьев М.Ю., Бахтизин А.Р., Нанавян А.М. Оценка эффективности регионов РФ с учетом интеллектуального капитала, характеристик готовности к инновациям, уровня благосостояния и качества жизни населения // Экономика региона. - 2014. - № 4. - с. 9-30.
12. Вчерашний П.М., Руйга И.Р. Методическое обеспечение оценки влияния инвестиционных потоков на инновационное развитие региона // Инновационное развитие экономики. - 2016. - № 6(36). - с. 17-25.
13. Олейников Е.А. Экономическая и национальная безопасность. - М.: Экзамен, 2004.
14. Сенчагов В.К. Экономическая безопасность России: Общий курс. / Учебник под ред. В.К. Сенчагова, 2-е изд. - М.: Дело, 2005. - 896 с.
15. Илларионов А. Критерии экономической безопасности // Вопросы экономики. -1998. - № 10.
16. Калина А.В., Савельева И.П. Формирование пороговых значений индикативных показателей экономической безопасности России и ее регионов // Вестник ЮжноУральского государственного университета. Серия: Экономика и менеджмент. -2014. - № 4. - с. 15-24.
17. Дорофеева Ю.В., Кацик Д.Е., Моргунов Е.П., Смирнов А.И. Система обеспечения экономической безопасности региона. - Красноярск: НИИ СУВПТ, 2002.
18. Кривоножко В.Е., Пропой А.И., Сеньков Р.В., Родченков И.В., Анохин П.М. Анализ эффективности функционирования сложных систем // Автоматизация проектирования. - 1999. - № 1. - с. 2-7.
19. Data Envelopment Analysis: theory, methodology, and application. / A. Charnes, W.W. Cooper, A.Y. Lewin, L.M. Seiford // Kluwer Academic Publishers, Boston, 1994
20. Coelli T., Prasada Rao D.S., Battese G.E. An introduction to efficiency and productivity analysis // Kluwer Academic Publishers, Boston, 1998
21. Fried H.O., Lovell C.A.K., Schmidt S.S. (Eds.) The Measurement of Productive Efficiency and Productivit Growth. , 1993. - 653 p.
22. Моргунов Е.П. Многомерная классификация на основе аналитического метода оценки эффективности сложных систем. / дис. ... канд. физ.-мат. наук, 2003. - 160 c.
23. Кацик Д.Е. Теоретические аспекты экономической безопасности регина как субъекта внешнеэкономических отношений (на примере Красноярского края). / дис. . канд. экон. наук, 2003. - 199 c.
REFERENCES:
Bortnik I.M., Senchenya G.I., Mikheeva N.N., Zdunov A.A., Kadochnikov P.A., Sorokina A.V. (2012). Sistema otsenki i monitoringa innovatsionnogo razvitiya regionov Rossii [System for assessment and monitoring innovative development of Russian regions]. Innovations. (9(176)). 48-61. (in Russian). Crossing the next regional frontier: Information and Analytics Linking Regional Competitiveness to Investment in a Knowledge Based Economy. U. SEconomic Development Administration. Retrieved from http://www.statsamerica.org/ innovation
Dorofeeva Yu.V., Katsik D.E., Morgunov E.P., Smirnov A.I. (2002). Sistema obespecheniya ekonomicheskoy bezopasnosti regiona [Economic security system of the region] Krasnoyarsk: NII SUVPT. (in Russian). Fried H.O., Lovell C.A.K., Schmidt S.S. (Eds.) (1993). The Measurement of Productive
Efficiency and Productivit Growth Oxford University Press. Hollanders H., Tarantola S., Loschky A. Regional Innovation ScoreboardPro Inno Europe. Retrieved from http://www.proinno-europe.eu/page/regional-innovation-scoreboard
Illarionov A. (1998). Kriterii ekonomicheskoy bezopasnosti [Criteria for economic
security]. Voprosy Ekonomiki. (10). (in Russian). Kalina A.V., Saveleva I.P. (2014). Formirovanie porogovyh znacheniy indikativnyh pokazateley ekonomicheskoy bezopasnosti Rossii i ee regionov [Formation of threshold values of indicative indicators of economic security of Russia and its regions]. Bulletin of the South Ural State University. Series: economics and management. 8 (4). 15-24. (in Russian). Katsik D.E. (2003). Teoreticheskie aspekty ekonomicheskoy bezopasnosti regina kak subekta vneshneekonomicheskikh otnosheniy (na primere Krasnoyarskogo kraya) [Theoretical aspects of economic security of the region as an entity engaged in foreign economic relations (by the example of the Krasnoyarsk Territory)] Krasnoyarsk. (in Russian). Kiselev V. (2010). Sravnitelnyy analiz innovatsionnoy aktivnosti subektov Rossiyskoy Federatsii [Comparative analysis of innovative activity of the constituent entities of the Russian Federation]. Innovations. (4(138)). 44-55. (in Russian).
Klowden K., Wolfe M. State Technology and Science Index 2012. Enduring Lessons for the Intangible EconomyMilken Institute. Retrieved from http://www. milkeninstitute.org/pdf/STSI2013.pdf
Krivonozhko V.E., Propoy A.I., SenkovR.V., Rodchenkov I.V., Anokhin P.M. (1999). Analiz effektivnosti funktsionirovaniya slozhnyh sistem [Analysis of the efficiency of complex systems]. Avtomatizatsiya proektirovaniya. (1). 2-7. (in Russian).
Makarov V.L., Ayvazyan S.A., Afanasev M.Yu., Bakhtizin A.R., Nanavyan A.M. (2014). Otsenka effektivnosti regionov RF s uchetom intellektualnogo kapitala, kharakteristik gotovnosti k innovatsiyam, urovnya blagosostoyaniya i kachestva zhizni naseleniya [Efficiency assessment of the regions of the Russian Federation taking into account intellectual capital, the characteristics of readiness for innovation, the level of welfare and the quality of life of the population]. Economy of the region. (4). 9-30. (in Russian).
Morgunov E.P. (2003). Mnogomernaya klassifikatsiya na osnove analiticheskogo metoda otsenki effektivnosti slozhnyh sistem [Multi-dimensional classification based on analytical method for assessing the efficiency of complex systems] Krasnoyarsk. (in Russian).
Oleynikov E.A. (2004). Ekonomicheskaya i natsionalnaya bezopasnost [Economic and national security] M.: Ekzamen. (in Russian).
Perani Dzh., Sirilli S. (2008). Benchmarking innovatsionnoy deyatelnosti evropeyskikh stran [Benchmarking of innovation activities in European countries]. Foresight. (1(5)). 4-15. (in Russian).
Senchagov V.K. (2005). Ekonomicheskaya bezopasnost Rossii: Obschiy kurs [Russian Economic Security: general course] M.: Delo. (in Russian).
Vasileva Z.A., Likhacheva T.P., Filimonenko I.V. (2005). Strategicheskoe razvitie territoriy: metodicheskie podkhody i instrumentariy [Strategic development of territories: methodological approaches and tools]Krasnoyarsk. (in Russian).
Vcherashniy P.M., Ruyga I.R. (2016). Metodicheskoe obespechenie otsenki vliyaniya investitsionnyh potokov na innovatsionnoe razvitie regiona [Methodology for assessing the influence of investment streams on region's innovative development]. Innovative development of the economy. 2 (6(36)). 17-25. (in Russian).
Vladimirova O.N. (2011). Innovatsionnaya vospriimchivost regiona: usloviya formirovaniya i upravlenie[Innovative susceptibility of the region: conditions of formation and management] Krasnoyarsk. (in Russian).
Zemtsov S.P., Baburin V.L. (2017). Kak otsenit effektivnost regionalnyh innovatsionnyh sistem v Rossii? [How to assess an efficiency of regional innovation systems in Russia?]. Innovations. (2(220)). 60-66. (in Russian).
