CC BY
87
Интернет-журнал «Науковедение» ISSN 2223-5167 http ://naukovedenie. ru/
Том 9, №3 (2017) http://naukovedenie.ru/vol9-3.php
URL статьи: http://naukovedenie.ru/PDF/114EVN317.pdf
Статья опубликована 11.07.2017
Ссылка для цитирования этой статьи:
Чеченкина Т.В. Оценка результативности проектов прикладных исследований, финансируемых в рамках федеральной целевой программы "Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы" // Интернет-журнал «НАУКОВЕДЕНИЕ» Том 9, №3 (2017) http://naukovedenie.ru/PDF/114EVN317.pdf (доступ свободный). Загл. с экрана. Яз. рус., англ.
Исследование выполнено при финансовой поддержке ФГБНУ «Дирекция научно-технических программ» (договор № 2016-09 от 05.12.2016)
УДК 338.28
Чеченкина Татьяна Валерьевна
ФГБУ «Российский научно-исследовательский институт экономики, политики и права
в научно-технической сфере», Россия, Москва1 Старший научный сотрудник E-mail: [email protected] РИНЦ: https://elibrary.ru/author_profile.asp?id=610460
Оценка результативности проектов прикладных исследований, финансируемых в рамках федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы»
Аннотация. В статье представлены итоги работы по оценке результативности проектов федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы», реализованных в 2014-2016 годах. Основой для анализа послужили сведения о результатах проектов, представленные в отчетной документации и полученные путем анкетирования организаций-исполнителей. Собранная информация свидетельствует о том, что в ходе выполнения 96% проектов были получены запланированные результаты. Однако перспективы коммерциализации результатов прикладных научных исследований и экспериментальных разработок оцениваются значительно ниже. В числе внешних факторов: дефицит финансовых ресурсов, изменения в кредитно-денежной сфере, санкционные ограничения, снижение потребительской активности. Причины, обусловленные действиями исполнителей программы, включают недостаточную проработку стратегии коммерциализации результатов на стадии планирования проекта, недостаточный уровень квалификации организации-индустриального партнера, слабое взаимодействие между головными исполнителями и представителями реального сектора экономики. Сделан вывод о том, что негативное влияние перечисленных причин может быть снижено за счет изменения критериев конкурсного отбора
1 105064, Российская Федерация, Москва, ул. Земляной вал, 50А, строение 6
проектов на предоставление субсидий и даны предложения по изменению требований к участникам конкурса и содержанию заявок.
Ключевые слова: научно-техническая политика; федеральная целевая программа; расходы федерального бюджета; приоритетные направления развития науки, технологий и техники; прикладные научные исследования и экспериментальные разработки; оценка результативности; коммерциализация результатов интеллектуальной деятельности
Введение
Оценка результативности - важный этап реализации любых программ прикладных исследований с государственной поддержкой. Полученные на этом этапе выводы и рекомендации позволяют выполнить работу над ошибками, повысить эффективность управления сектором исследований и разработок и улучшить качество бюджетного планирования.
Комплексная оценка целевой программы федерального уровня включает:
1. оценку процесса выполнения программы;
2. оценку результативности и эффективности программы;
3. оценку влияния программы на социально-экономическое развитие страны [1, 2].
Оценка, осуществляемая на стадии реализации программы, является промежуточной и «выполняется с целью корректировки программы в случае отклонения фактических значений показателей от плановых» [3].
Данная статья содержит итоги работы по промежуточной оценке результативности мероприятий Федеральной целевой программой «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20142020 годы»2 (далее - Программы).
Основной целью Программы является формирование конкурентоспособного и эффективно функционирующего сектора прикладных научных исследований и разработок.
Для достижения этой цели в структуре Программы было предусмотрено несколько мероприятий. Объектом нашего исследования являются проекты прикладных исследований, поддержанные в рамках программных мероприятий 1.2, 1.3 и 1.4. Ниже представлено краткое описание задач по каждому из них (таблица 1).
Таблица 1
Основные задачи и ожидаемые результаты мероприятий 1.2, 1.3 и 1.4 Федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы»
Программное мероприятие Задачи Ожидаемые результаты проектов
Мероприятие 1.2 Проведение прикладных научных исследований (ПНИ) для развития отраслей экономики: решение прикладных научно- а) Новые технические (технологические) решения и результаты интеллектуальной деятельности, полученные при исследовании
2 Постановление Правительства Российской Федерации от 21 мая 2013 года № 426 «О федеральной целевой программе «Исследования и разработки по приоритетным направлениям развития научно -технологического комплекса России на 2014-2020 годы». «Собрание законодательства Российской Федерации», 03.06.2013, N 22, ст. 2810.
Программное мероприятие Задачи Ожидаемые результаты проектов
технических и научно-технологических задач, в том числе межотраслевого характера, для последующего создания новых типов (видов) продукции и технологий. свойств и (или) особенностей функционирования и (или) применения материалов (устройств, процессов) с использованием созданных макетов, моделей, экспериментальных образцов, отраженные в научно-методической, нормативно-технической, эскизной технической (конструкторской, программной, технологической) документации и направленные на решение практических задач; б) проекты технических заданий на последующие прикладные научные исследования и (или) опытно-конструкторские (опытно-технологические) работы для создания новых видов продукции и технологий.
Мероприятие 1.3 Проведение прикладных научных исследований и разработок, направленных на создание продукции и технологий: создание востребованных научно-технических решений. а) аналогичны пункту (а) мероприятия 1.2, но рассматривают в качестве возможного результата также и опытные образцы; б) аналогичны пункту (б) мероприятия 1.2; в) комплект технической документации, отражающий новые технические (технологические) решения, подтвержденные результатами исследовательских и других испытаний моделей, макетов, натурных составных частей изделий и экспериментальных образцов продукции в целом в условиях, как правило, имитирующих реальные условия эксплуатации (потребления), и предназначенный для использования в последующем промышленном внедрении.
Мероприятие 1.4 Проведение ПНИ, направленных на решение комплексных научно -технологических задач: обеспечение решения важнейших научно-технических (научно-технологических) проблем (задач) в интересах государства, общества, регионов, отраслей, имеющих определяющее значение для инновационного развития экономики, решение которых обычными инструментами нецелесообразно или невозможно.
Источник: текст федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 20142020 годы»
Отличительной особенностью вышеописанных программных мероприятий является поддержка прикладных научных исследований и экспериментальных разработок (ПНИЭР), в которых потребитель результата известен уже на стадии подачи заявки на участие в конкурсе. В соответствии с условиями программы, помимо организации-получателя государственной субсидии в каждом проекте предусмотрено наличие хотя бы одного индустриального партнера (ИП), который несет обязательства по софинансированию работ, а по их завершении осуществляет разработку, производство и эксплуатацию конечной продукции.
Индустриальный партнер не является субъектом соглашения о выделении субсидии для финансового обеспечения затрат на выполнение ПНИЭР, которое заключает Министерство образования и науки РФ с головной организацией - победителем конкурса. Однако договор между головной организацией и индустриальным партнером о дальнейшем использовании результатов ПНИЭР, определяющий среди прочего распределение прав на результаты интеллектуальной деятельности, является неотъемлемой частью конкурсной заявки.
По данным федерального казначейства на 01.04.2017, за период с начала действия Программы на прикладные научные исследования и экспериментальные разработки из федерального бюджета было выделено около 43 млрд руб.3 Значительная часть проектов, поддержанных в 2014-2016 гг. к настоящему времени завершена, что позволило приступить к оценке их результативности.
Анализ исходных данных
Основными источниками информации для оценки результативности проектов на данном этапе стали:
1. данные о конкурсных заявках, представленные на официальном сайте Программы (fcpir.ru);
2. отчетные данные о проектах в Системе экспертиз (sstp.ru);
3. результаты собственного анкетирования получателей субсидии и индустриальных партнеров, проведенного Российским институтом экономики, политики и права в научно-технической сфере в апреле 2017 г.
В течение 2024-2016 годов по результатам открытых конкурсов, объявленных по мероприятиям Программы 1.2, 1.3 и 1.4, было отобрано 1239 проектов.
По девяти из них соглашения на выполнение работ заключены не были, главным образом, по причине отказа индустриального партнера софинансировать проекты.
Впоследствии еще 36 соглашений было расторгнуто. Причины расторжения оказались иные. В случае многочисленных нарушений и отставания исполнителя от плана-графика инициатором расторжения контракта и возврата субсидии выступало Минобрнауки России. Ряд контрактов завершились по согласию сторон из-за нецелесообразности продолжения научных исследований, выявленной в ходе работы. Несколько проектов были закрыты по экономическим причинам: в связи с ликвидацией организации-индустриального партнера; снижением потребительской активности в стране в результате кризиса и, как следствие, невозможностью обеспечить коммерциализацию полученных результатов. Действие одного из соглашений было прекращено по инициативе исполнителя с формулировкой: «в связи с несоразмерностью объемов трудозатрат на подготовку отчетной документации и незначительным конечным результатом выполнения работ».
Таким образом, количество проектов, о результативности которых можно судить на данном этапе, сократилось до 984-х.
По каждому проекту нами были проанализированы:
• сведения о планируемых результатах, представленные в техническом задании;
• сведения о достигнутых результатах, формах и сроках их коммерциализации, содержащиеся в проектном резюме, аналитических справках о выполнении условий выделения субсидии и в отчетах по ПНИЭР;
• сведения о регистрации результатов интеллектуальной деятельности в Единой государственной информационной системе учета результатов научно-
3 Федеральные целевые программы России. Официальный ресурс Минэкономразвития России. http://fcp.economy. gov.ru/cgi-bin/cis/fcp.cgi/Fcp/ViewFcp/View/2015/414?yover=2017.
исследовательских и опытно-конструкторских работ, выполняемых за счет средств федерального бюджета (ЕГИСУ НИОКТР)4
Из проектов, завершенных до 1 января 2017 года, большая часть (60%) приблизительно равномерно распределена между тремя приоритетными направлениям науки, технологий и техники: индустрия наносистем; науки о жизни; энергоэффективность, энергоснабжение и ядерная энергетика. В меньшей степени в исследуемой совокупности представлены проекты в ^-сфере (15%), проекты, связанные с развитием транспорта и космической отрасли (13%), а также проекты, направленные на рационализацию природопользования (12%). Если исследование могло быть отнесено одновременно к нескольким приоритетным направлениям развития науки и технологий, в рамках данного анализа в качестве критерия классификации использовалось то из них, которое исполнители проекта указали как основное. Распределение количества проектов по приоритетным направлениям представлено на диаграмме (рисунок 1).
Индустрия наносистем
Энергоэффективность, энергосбережение, ядерная энергетика
Науки о жизни
Информационно-телекоммуникационные системы Транспортные и космические системы Рациональное природопользование
0 50 100 150 200 250
■ Количество отобранных проектов ■ Количество завершенных проектов
Рисунок 1. Распределение проектов Программы, отобранных и завершенных до 01.01.2017,
по приоритетным направлениям развития научно-технологического комплекса (источник: отчетные данные о проектах в Системе экспертиз (sstp.ru))
Наиболее капиталоемким оказались исследования в области энергоэффективности, энергоснабжения и ядерной энергетики: на завершенные исследования по этому приоритетному направлению из бюджета было выделено более 7,5 млрд руб., на развитие «индустрии наносистем» - около 6,7 млрд руб., на «науки о жизни» - 5,3 млрд руб., на остальные направления - от 4,3 до 4,4 млрд руб.
Значительное влияние на распределение бюджетного финансирования между приоритетными направлениями оказывают проекты мероприятия 1.4, направленные на решение комплексных научно-технологических задач: объем средств, выделенных на один подобный проект, достигает 300 млн руб.
Большая часть бюджетных средств, выделяемых в рамках мероприятия 1.4, была направлена на исследования в области энергетики: 13 из 30-ти соглашений с объемом финансирования превышающим 100 млн руб. относятся к этой сфере. В качестве примера подобных масштабных исследований можно назвать 4 проекта по созданию компонентов для оборудования Большого адронного коллайдера, выполненных в НИЦ «Курчатовский
4 http://rosrid.ru/.
институт» и Институте ядерных исследований РАН в рамках реализации сотрудничества Российской Федерации с Европейской организацией по ядерным исследованиям. В общей сумме из бюджета на четыре проекта было выделено 725 млн руб., т.е. в среднем 181,25 млн руб. на один проект.
В разрезе научных дисциплин наиболее востребованными Программой оказались исследования в области физики, энергетики и медицины. Следующая диаграмма дает представление о том, как завершенные проекты распределены по областям научных исследований (рисунок 2).
ФИЗИКА ЭНЕРГЕТИКА МЕДИЦИНА И ЗДРАВООХРАНЕНИЕ ЭЛЕКТРОНИКА. РАДИОТЕХНИКА ХИМИЧЕСКАЯ ПРОМЫШЛЕННОСТЬ И ТЕХНОЛОГИЯ
ПРИБОРОСТРОЕНИЕ ХИМИЯ МАШИНОСТРОЕНИЕ ИНФОРМАТИКА БИОТЕХНОЛОГИЯ БИОЛОГИЯ МЕТАЛЛУРГИЯ
АВТОМАТИКА. ВЫЧИСЛИТЕЛЬНАЯ ТЕХНИКА
ТРАНСПОРТ
ОХРАНА ОКРУЖАЮЩЕЙ СРЕДЫ. ЭКОЛОГИЯ ЧЕЛОВЕКА
ЭЛЕКТРОТЕХНИКА КОСМИЧЕСКИЕ ИССЛЕДОВАНИЯ ГЕОФИЗИКА и ГЕОЛОГИЯ КИБЕРНЕТИКА МЕХАНИКА ЯДЕРНАЯ ТЕХНИКА ГОРНОЕ ДЕЛО СВЯЗЬ ПРОЧИЕ
20 40 60 80 100 120 140 160 180
число проектов
0
Рисунок 2. Распределение проектов Программы, завершенных до 01.01.2017, по областям научных исследований (источник: отчетные данные о проектах в Системе экспертиз (sstp.ru))
Помимо информации, представленных на официальных ресурсах Программы, для анализа были использованы данные, собранные в ходе анкетирования исполнителей проектов.
Вопросы, поставленные в анкете, разработанной Российским институтом экономики, политики и права в научно-технической сфере, касались организации взаимодействия между головными организациями и их партнерами из производственного сектора; полученных результатов интеллектуальной деятельности и степени их практического внедрения. В анкетном опросе приняли участие 265 организаций-получателей субсидий и 265 индустриальных партнеров.
Методология
Оценка результативности подразумевает анализ достижения поставленных целей и
задач.
В нашем исследовании анализ достижения поставленных целей для каждого из проектов рассматриваемой совокупности базировался на:
1. сопоставлении полученных результатов с заявленными целями и ожидаемыми результатами проекта;
2. оценке вклада проекта в решение задач Программы и отдельных мероприятий;
3. оценке вклада проекта в обеспечение глобальной конкурентоспособности отечественного сектора прикладных научных исследований и разработок.
Первому подходу было уделено важное внимание, поскольку в значительной степени на основании заявленных целей и ожидаемых результатов профинансированным проектам было отдано предпочтение в ходе конкурса.
В отличие от мониторинга реализации ФЦП, задачей которого является контроль достижения заданных значений программных индикаторов и хода выполнения работ на основе плана-графика, в нашем случае упор был сделан на анализ основных результатов.
По каждому проекту сформулированные в конкурсной заявке ожидаемые результаты были сопоставлены с реальными результатами, представленными в отчетной документации.
Итоги сопоставления заносились в таблицу в виде оценки от 2-х до 5-ти, которая выставлялась по следующему критерию:
2 - заявленный результат не достигнут;
3 - заявленный результат достигнут частично;
4 - заявленный результат достигнут;
5 - получен результат, не заявленный в конкурсном предложении.
Далее по каждому проекту вычислялась суммарная оценка посредством свертки оценок по каждому результату с весами, характеризующими степень готовности результата к дальнейшему использованию. Для различных областей исследования использовались индивидуальные наборы показателей в силу принципиальных различий между формами результатов. Общий подход можно описать следующим образом: оценка по каждому результату на уровне создания лабораторного образца или отчета об испытаниях в лабораторных условиях учитывалась с весом 0,2; макет/модель/экспериментальный образец и соответствующая документация - с весом 0,3; экспериментальная/опытная партия, технические условия на производство- с весом 0,5.
В рамках одного мероприятия объем выделенных бюджетных средств значительно варьировался: по мероприятию 1.2 разброс составил от 2-х до 43,5 млн руб., по мероприятию 1.3 - от 5-ти до 87 млн руб., по мероприятию 1.4 - от 100 до 300 млн руб. Данный факт учитывался при сравнении эффективности проектов посредством нормирования суммарной средневзвешенной оценки по показателю «доля бюджетных средств, выделенных на 1 проект».
Второе направление исследования было связано с оценкой выполнения программных задач, в числе которых:
• «привлечение потребителей результатов исследований и разработок на всех стадиях выполнения прикладных научных исследований и экспериментальных разработок»;
• «получение результатов прикладных научных исследований и экспериментальных разработок, направленных на создание продукции и технологий, востребованных отраслями экономики»;
• «увеличение объема полученных в рамках Программы результатов исследований и разработок, принятых к дальнейшей реализации в организациях корпоративного сектора в отраслях экономики».
Данные для этой стадии исследований были получены из ответов индустриальных партнеров на вопросы нашей анкеты, касающиеся:
• качества взаимодействия между головными организациями и их партнерами из реального сектора экономики;
• востребованности полученных результатах интеллектуальной деятельности в производстве или науке;
• сведений о передаче результатов интеллектуальной деятельности индустриальным партнерам для дальнейшей коммерциализации.
Третье направление работы - по оценке вклада реализованных проектов в повышение конкурентоспособности отечественной науки и технологий - было организовано в форме сопоставления полученных результатов с мировым уровнем. В качестве исходной информации для этого анализа были использованы сведения, предоставленные исполнителями проектов в отчетной документации.
Обсуждение
I. Сопоставление полученных результатов с заявленными целями и ожидаемыми результатами
Согласно представленным отчетным данным, за редким исключением планируемые и полученные результаты ПНИЭР по проектам совпадали. Помимо 45 проектов, соглашения по котором были расторгнуты или не заключены, в ряде случаев исполнителям не удалось обеспечить выполнение ТЗ полностью.
Например, разработчики лазерного аппарата для прецизионной атравматической хирургии мягких тканей в нейрохирургии и офтальмологии (Соглашение №14.579.21.0015) и нового высокочувствительного метода масс-спектрометрического определения химических соединений, основанного на лазерной десорбции-ионизации путем переноса электрона (Соглашение №14.579.21.0016) обратились в Минобрнауки России с просьбой о продлении последнего этапа проекта.
На момент написания статьи 1033 проекта находились на стадии сбора отчетной документации и формально не считались завершенными. Однако представленные их исполнителями сведения о выполненных работах позволяют учитывать их при анализе результативности. Изучение представленных в системе экспертиз документов по заключенным соглашениям позволило сделать вывод, что доля проектов, по которым были достигнуты ожидаемые результаты, составляет 96%.
В ходе анализа были проверены гипотезы о существовании зависимости между полученной обобщенной оценкой результативности и значением программного индикатора
«число патентных заявок, поданных по результатам проекта». Значимой корреляции между этими показателями не обнаружено.
Сравнение результативности проектов, инициированных исполнителями проектов и сформированных с учетом интересов федеральных ведомств, не выявили принципиальных различий: соотношение между более успешными и менее успешными проектами приблизительно одинаково в обеих совокупностях.
В обеих категориях есть проекты, изначально не предусматривавшие коммерциализации. Среди проектов по директивным тематикам таковых 6 (12% от общего числа). Четыре из них - упомянутые выше проекты НИЦ КИ и ИЯИ РАН по усовершенствованию компонентов детекторных устройств для использования в составе Большого адронного коллайдера.
В числе проектов, реализуемых по инициативным тематикам, коммерциализация не предусмотрена в 4% случаев. В основном, это проекты в области медицины, генетики, экологии, сельского хозяйства, микроэлектроники, а также энергетики и информационных технологий. В частности, не предусмотрена коммерциализация проекта, реализуемого в интересах структур ОАО «Газпром», и проекта компании NAUMEN - поставщика ГС-решений для госструктур и частных корпораций - по развитию облачных технологий.
Успешные проекты, призванные решать комплексные директивно определенные задачи, оказывают более значительное влияние на социально-экономическое развитие, однако и цена ошибки здесь намного выше.
В качестве примера проекта, выполненного по директивной тематике, но не получившего коммерческой реализации, можно привести Соглашение №14.582.21.0003 о предоставлении субсидии Инновационной компании ГМК в размере 264 млн руб. на создание системы автоматического управления пилотной транспортной системой типа H-Bahn. Индустриальным партнером выступило ООО «НТС «Стрела» (Группа компаний «Мортон»). Проект был доведен до стадии натурных испытаний макета системы управления на экспериментальном участке. Индустриальный партнер должен был обеспечить «внедрение (промышленное освоение) результатов ПНИЭР не позднее 2019 года посредством строительства и ввода в эксплуатацию не менее 3-х линий надземной транспортной системы», соединяющей микрорайон в Подмосковье и станцию московского метрополитена [4]. Однако в отчете получателя субсидии о ПНИЭР подчеркивалось, что индустриальный партнер не способен обеспечить ввод системы в опытную эксплуатацию ввиду отсутствия необходимых организационных структур, нормативных и правовых документов, квалифицированного персонала.
Дальнейшее развитие событий подтвердило прогноз авторов отчета по ПНИЭР. В сентябре 2016 г. ГК «Мортон» была продана группе ПИК, которая пока не взяла на себя обязательств по развитию проекта «воздушного метро». По информации СМИ проект «Стрела» прекратил свое существование. Отсутствие у ГК «Мортон» производственных мощностей, опыта пассажирских перевозок, нормативной правовой базы для развития нового вида транспорта породило обсуждение вопроса: была ли «Стрела» реальным бизнес-проектом или рекламным ходом для повышения спроса на недвижимость в районе с неразвитой транспортной инфраструктурой.
Данный пример показывает необходимость более тщательного отбора проектов по директивным тематикам, которая должна включать оценку рисков.
В первую очередь, это касается оценки квалификации индустриального партнера, его ресурсного потенциала и финансовой устойчивости.
Данный тезис противоречит пожеланиям участников анкетирования, которые, напротив, предлагают «снизить требования к ИП».
В нескольких анкетах содержалась рекомендация отменить требование о наличии индустриального партнера, которое лишает государственной поддержки «огромное число потенциально интересных и сильных научных проектов, отдавая возможности тем, кто сможет нарисовать фиктивные цифры о софинансировании на бумаге».
Такого рода комментарии, в частности, говорят о том, что до исполнителей не удалось донести одну из основных целей текущего этапа реализации Программы: сократить разрыв между потребностями бизнеса в новых технологиях и предложениями отечественного сектора исследований и разработок. В то же время они высвечивают и более широкую проблему: ни современная экономическая ситуация, ни меры государственной политики не оказывают существенного влияния на менталитет научных работников, изначально не ориентированных на практическое применение результатов своих исследований.
II. Оценка результатов проектов с точки зрения выполнения программных задач
По условиям конкурсной документации, каждый субсидируемый проект должен предусматривать наличие (или создание) и развитие устойчивых взаимовыгодных связей между организацией-получателем субсидии и индустриальным партнером.
Первый вопрос, который был поставлен на этом этапе исследования: удалось ли обеспечить привлечение потребителей результатов ПНИЭР (индустриальных партнеров) на всех стадиях выполнения прикладных научных исследований и экспериментальных разработок?
Согласно представленным в Системе экспертиз отчетным данным - актам приема-передачи по итогам этапа отчетных материалов индустриальному партнеру и заключению ИП о их содержании - взаимодействие между головными исполнителями и индустриальными партнерами осуществлялось с самой первой стадии выполнения ПНИЭР.
Результаты анкетирования подтверждают этот факт: всего 3% из числа опрошенных индустриальных партнеров не участвовали в работах, проводимых головным исполнителем. При этом 93% ИП привлекались к выполнению ПНИЭР на каждом этапе (рисунок 3).
Индустриальный партнер
■ не участвовал в ходе исследований
■ предоставлял разовые консультации
■ консультировал головного исполнителя на каждом этапе исследований
■ осуществлял регулярные контакты с получателем субсидии
■ полностью контролировал исследования
Рисунок 3. Распределение проектов Программы по степени взаимодействия между получателем субсидии и индустриальным партнером (источник: результаты анкетирования)
В тех случаях, когда коллективам научных и промышленных организаций не удалось добиться взаимопонимания, индустриальные партнеры указывали следующие причины:
• закрытость со стороны головной организации;
• отсутствие проектного менеджмента в организации;
• недостаточная ориентированность на потребности реального производства.
Обратной стороной проблемы взаимодействия являются слишком тесные связи внутри «тандемов». Обычно эта ситуация возникает, если компания-индустриальный партнер создается на базе организации-получателя субсидии.
Один из исполнителей Программы в качестве рекомендаций по повышению эффективности ПНИЭР предложил формировать пары «головной исполнитель-индустриальный партнер» из аффилированных организаций. По его мнению, в ситуации, когда подготовленные в ходе работы научные кадры, научные заделы и новое оборудование остаются у головного исполнителя, индустриальный партнер редко заинтересован в финансировании проекта. Реализация проекта аффилированными компаниями может, по его мнению, кардинально изменить ситуацию: повысить результативность проектов, их управляемость и, как следствие, коммерциализацию результатов.
В качестве контраргумента можно привести пример взаимодействия между Сибирским государственным аэрокосмическим университетом имени академика М.Ф. Решетнева (руководитель проекта - А.Н. Антамошкин) и индустриальным партнером проекта - ООО «Космоинжиниринг» (директор - О.А. Антамошкин) в рамках Соглашения с Минобрнауки России №14.574.21.0041.
Заявленный проект по созданию бортового комплекса управления для сверхмалых космических аппаратов класса CubeSat начинался как студенческий проект с важными образовательными целями [5], но в рамках Программы бюджетные средства были выделены на его научную составляющую. Как следует из отчетных материалов, ИП отвечал за разработку программного обеспечения, координацию работ, проведение переговоров и продвижение проекта SibCube в средствах массовой информации. Однако судьбу разработок после завершения проекта трудно проследить, поскольку упомянутый в отчетной документации сайт проекта sibcube.com более недоступен, страницы в социальных сетях не поддерживаются, индустриальный партнер собственного веб-представительства не имеет. В отчете по заключительному этапу проекта головной исполнитель указал, что ИП не имеет собственных ресурсов для создания конечного продукта. Из чего можно сделать вывод, что в данном случае индустриальный партнер выступал в большей степени как соисполнитель и посредник, а не как потребитель результата ПНИЭР.
Следует особо подчеркнуть, что данное обстоятельство не говорит об отсутствии спроса на результаты исследований: в рамках сотрудничества с другим партнером, ООО «Спутникс», группа исполнителей проекта успешно разрабатывает бортовые комплексы управления для сверхмалых космических аппаратов, используемых в народном хозяйстве.
Приведенный пример служит лишь для демонстрации того факта, что аффилированность помогает соблюсти все формальные требования по организации взаимодействия между головным исполнителем и индустриальным партнером, но не обеспечивает участие последнего в производстве и эксплуатации продукции, которое предполагается программным мероприятием.
Из теории технологического трансфера известно, что коммерциализация результатов научных исследований бывает успешной при сочетании нескольких факторов:
• участие компании-потенциального пользователя результатов в процессе исследований;
• участие этой компании в софинансировании исследований;
• привлечение внешних ресурсов, таких как средства национальных, региональных или местных бюджетов;
• гарантия получения прибыли.
Рассматриваемая федеральная целевая программа обеспечивает сочетание первых трех из перечисленных условий.
В теории, в качестве индустриального партнера, готового софинансировать исследовательский проект, должна выступать компания, ожидающая получение дохода на свои инвестиции. Однако анализ отчетности и результатов анкетирования показывает, что во многих случаях это не так.
Судя по данным анкетного опроса, среди исполнителей встречается скептическое отношение к сотрудничеству между получателями субсидий и индустриальными партнерами: некоторые из них полагают, что присутствие ИП в проекте ограничивается формальным финансовым участием. При высокой степени аффилированности, обязательства по софинансированию ПНИЭР, накладываемые на индустриального партнера, не гарантируют заинтересованности коммерческой фирмы в финансовом успехе проекта, поскольку эти затраты могут различными способами быть возмещены за счет средств субсидии.
Какую бы функцию ни выполнял индустриальный партнер, и насколько бы ни были тесны его связи с получателем субсидии, он должен быть заинтересован в коммерциализации результатов проекта и получении прибыли на вложенные средства.
В качестве примера заинтересованного отношения к результатам ПНИЭР можно привести деятельность ЗАО «Завод Премиксов № 1» - производителя кормовых добавок для сельскохозяйственных животных. В рамках совместного проекта с ФГУП «ГосНИИ Генетика» предприятие осваивает промышленную технологию получения аминокислоты L-лизина с помощью штаммов-суперпродуцентов нового поколения. С использованием методов полногеномного анализа иметаболической инженерии головным исполнителем был получен штамм, характеристики которого соответствовали требованиям Технического задания в условиях лабораторных ферментаций. Однако при испытании процесса на пилотной установке индустриального партнера не были достигнуты зафиксированные в техническом задании показатели.
Чтобы преодолеть зависимость от импортных, прежде всего китайских, поставок аминокислот, российский производитель должен обеспечить более высокие показатели продуктивности. В частности, необходимо сокращать производственный цикл, поскольку это важно с точки зрения потребления энергии, на которую приходится треть себестоимости микробиологического производства. В отличие от подавляющего большинства проектов, в которых ИП ограничиваются формальным перечнем полученных от головного исполнителя документов, ЗАО «Завод Премиксов № 1» включил в заключение на полученные отчетные материалы требование: в целях коммерциализации в течение полугода доработать стадию биосинтеза лизина.
Подобное взаимодействие между партнерами соответствует модели, изначально заложенной в Программе: приемку результатов ПНИЭР осуществляет не бюрократический аппарат с привлечением экспертов из научной среды, а непосредственный потребитель, заинтересованный в конечном результате.
Рассмотренные примеры говорят о том, что наличие формального подтверждения взаимодействия между головной организацией и индустриальным партнером на каждом этапе в виде форм отчетности не дает достаточной информации для анализа реального уровня сотрудничества и не гарантирует того, что на выходе исследовательского проекта будет получен научный результат, готовый к дальнейшей разработке и коммерциализации индустриальным партнером.
В разделе отчета, посвященном коммерциализации, большинство исполнителей указывают, что основная форма коммерциализации - лицензионный договор с индустриальным партнером.
Однако о дальнейших перспективах использования наработанных результатов в большинстве итоговых отчетов говорится весьма туманно. Часто встречающаяся формулировка: внедрение будет обеспечено индустриальным партнером в течение определенного периода (обычно от 2 до 5 лет). Описание форм и объемов коммерциализации результатов проекта сводится к перечню потенциальных потребителей полученных результатов.
Участники анкетирования признают (и указывают в числе рекомендаций), что для успеха проекта «индустриальным партнерам необходимо полностью прорабатывать стратегию коммерциализации результатов ПНИ на стадии планирования проекта».
О недостаточном уровне проработки проектов свидетельствует перечень проблем, с которыми наиболее часто сталкивались индустриальные партнеры (рисунок 4).
Для доведения результатов до стадии производства требуется больше времени Затраты на производство оказались выше ожидаемых Недостаточный технологический уровень для освоения новой продукции Недостаточная квалификация персонала для
освоения новой продукции Проблемы, связанные с разграничением или передачей прав на РИД
Другое
0%
5%
10%
15%
20%
25%
30%
Рисунок 4. Проблемы, с которыми сталкивались индустриальные партнеры в ходе сотрудничества с получателем субсидии, доля респондентов (источник: результаты анкетирования)
Требование о заключении договора о разграничении прав на РИД на стадии подачи заявки сыграло положительную роль: с такими проблемами столкнулись всего 3,2% ИП.
Мы полагаем, что для улучшения ситуации с остальными показателями в требования конкурсной документации стоит добавить сведения о квалификации и ресурсах индустриального партнера, а также отчет о маркетинговых исследованиях, согласованный обеими сторонами - получателем субсидии и индустриальным партнером.
Отчет о маркетинговых исследованиях должен включать различные сценарии, включая негативные, и описание возможных последствий и рисков для проекта, способы их компенсации.
Опрос показал, что многие из участников Программы столкнулись с внешними факторами, оказавшими серьезное влияние на бизнес (рисунок 5).
Дефицит финансовых ресурсов Изменения в кредитно-денежной сфере Санкционные ограничения Резкое падение потребительского спроса Изменения в законодательстве Другое
0%
10%
20%
30%
40%
Рисунок 5. Внешние факторы, оказавшие влияние на производство и доведение индустриальным партнером готового продукта до потребителя, доля респондентов
(источник: результаты анкетирования)
В то же время негативное влияние ряда других факторов можно было снизить в случае их выявления на более ранней стадии (рисунок 6).
Низкая емкость целевого рынка
Трудно разъяснить полезные свойства продукта, не имеющего аналогов
Отсутствие средств для реализации маркетинговых мероприятий
Трудно разъяснить отличия продукта от предложений конкурентов
Другое
0%
5%
10%
15% 20% 25%
30%
Рисунок 6. Внешние факторы, оказавшие влияние на производство и доведение индустриальным партнером готового продукта до потребителя, доля респондентов
(источник: результаты анкетирования)
Примером, подтверждающим необходимость оценки рынка готовой продукции до начала проекта, служит проект РХТУ имени Д.И. Менделеева (Соглашение №14.574.21.0063). Головным исполнителем был разработан материал для изготовления лабораторных наконечников для дозаторов и пробирок, превосходящий европейские аналоги по механической прочности, теплостойкости и морозостойкости. Коммерциализация результатов проекта заявлена в форме совместного производства с индустриальным партнером -компанией СИНТОЛ.
Согласно исследованию, проведенному индустриальным партнером после выполнения ПНИ, на внутреннем рынке представлен аналогичный медицинский лабораторный пластик более 20-ти российских, китайских, европейских и американских производителей. Результаты опроса показали, что 75% потребителей предпочитают продукцию американских компаний и только 4,4% - отечественных. Авторы маркетингового исследования отмечают, что только
минимальные цены обеспечат конкурентоспособность на рынке. А с учетом необходимых инвестиций в модернизацию производства, развитие дилерской сети и других необходимых затрат, рассчитывать на получение прибыли в ближайшие пять лет не приходится. Запуск производства был бы экономически более выгоден при условии выпуска более широкого ассортимента лабораторного пластика.
Маркетинговое исследование проведено с использованием открытых источников о деятельности конкурентов. Представляется, что более логичным было бы проведение подобного анализа до начала, а не после завершения ПНИ. В этом случае требования индустриального партнера могли бы быть учтены на стадии формирования технического задания и реализованы, например, за счет привлечения соисполнителей, ведущих работы в данной области.
Повышенное внимание к проблеме коммерциализации тем не менее не должно превращать этот критерий в основной при конкурсном отборе проектов в ходе реализации Программы исследований и разработок по приоритетным направлениям развития науки и технологий.
С учетом того, что биосенсорная детекция биохимического потребления кислорода (БПК) является достаточно развитым направлением аналитической биотехнологии, представляется, что привлечение средств Программы для разработки биосенсорного анализатора для экспресс-определения БПК слабо обосновано.
В числе подобных примеров можно назвать проекты:
• разработка дезинфицирующих средств для медицинских учреждений;
• технология получения функциональных продуктов питания на основе жира лососевых пород рыб: «Рыбий жир с пустырником», «Рыбий жир с лимонником», «Рыбий жир с ромашкой» и ряд других.
Перечисленные проекты отвечают требованиям Программы, но на наш взгляд, соответствуют «букве», но не «духу» Федеральной целевой программы по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы. Если исследования имеют хорошие рыночные перспективы, но не относятся к прорывным, они могут быть профинансированными самими индустриальными партнерами.
III. Оценка результатов проектов с точки зрения обеспечения конкурентоспособности отечественного сектора прикладных научных исследований и разработок
Основываясь на анализе отчетных данных, представленных исполнителями, можно прийти к выводу, что завершенные проекты вносят недостаточно большой вклад в обеспечение конкурентоспособности отечественного сектора прикладных научных исследований и разработок в глобальном масштабе. Не более 5% проектов продемонстрировали результаты, по своим характеристикам хотя бы частично превосходящие мировые аналоги. Такая же доля исполнителей полагает, что аналоги их разработок в мире отсутствуют.
Среди таких проектов можно назвать разработку технологии получения адаптивных композиционных наноматериалов (Соглашение о предоставлении субсидии №14.575.21.0094). Предложенные способы температурно-деформационного воздействия на сплавы титан-никель с памятью формы будут использованы для создания устройств нового поколения: скобок для сшивания сосудов и полых органов, клипс для остановки кровотечения, экстракторов для удаления инородных тел из трубчатых органов. Устройства, разработанные в рамках проекта,
не имеют аналогов и превышают уровень разработок в стране и мире по функциональным характеристикам: эффекту памяти формы, сверхупругости и биосовместимости [6].
Белгородский государственный национальный исследовательский университет выполнял проект по разработке цифровой портативной фото/видео аппаратуры для панорамной съемки (Соглашение 14.581.21.0003) с объемом финансирования 543 млн руб., из которых $143 млн составили внебюджетные средства. Через полгода после завершения ПНИЭР холдинг «Швабе», в состав которого входит индустриальный партнер БелГУ, сообщил о планах по запуску автономной цифровой портативной аппаратуры для панорамной фото- и видеосъемки в серийное производство в 2018 году5.
Согласно представленным отчетам, по ряду параметров (максимальному разрешению, скорости обработки и поддерживаемым форматам) российская разработка превосходит зарубежную систему, используемую в Google для панорамной сферической съемки улиц.
Отметим, что для такого динамичного рынка, каким является рынок цифровой техники, особенное значение имеет скорость внедрения инноваций [7]. Новинки быстро устаревают и теряют в цене: аналогичная по функциям камера Nokia OZO была выпущена на рынок 30.11.2015 по цене $60 тыс., а в августе 2016 г. ее отпускная цена уже была снижена на 25%6. В высокотехнологичных отраслях исследования и разработки не должны прекращаться с выводом продукции на рынок. Для удержания позиций требуются не только постоянные усилия по улучшению характеристик готового продукта, но и прогнозирование развития новых технологий, которые могут в значительной степени перекроить рынок.
Из числа проектов, в которых получен результат, не имеющих аналогов, можно назвать разработку тест-системы для генетического тестирования частых наследственных заболеваний в Республике Саха (Якутия) (Соглашение о выделении субсидии №14.575.21.0015): тест-система на основе оксида графена является уникальной в своем роде ввиду отсутствия в мире подобных тест-систем, пригодных для проведения лабораторной ДНК-диагностики наследственных заболеваний [8].
Важное практическое значение для нашей страны имеют не имеющие аналогов гибридные нанокомпозиты для аварийного ремонта цементо- и асфальтобетонных покрытий дорог (Соглашение №14.574.21.0001), которые демонстрируют высокую скорость набора прочности дорожных покрытий и позволяют вести ремонтно-восстановительные работы в неблагоприятных (при температуре до -30 град. С) [9].
По нашему мнению, конкурсная процедура должна предусматривать приоритетный отбор такого рода проектов: решающих насущные экономические задачи и способных конкурировать на глобальном рынке.
Выводы
В представленном исследовании был проведен анализ результативности проектов, реализованных в рамках мероприятий 1.2, 1.3, 1.4 Программы.
Сопоставление ожидаемых и полученных результатов прикладных научных исследований показало, что в большинстве случаев получателям субсидий удалось достичь планируемых результатов.
5 http://shvabe.com/press/news/panoramnaya-kamera-shvabe-uspeshno-proshla-ispytaniya/.
6 https://ozo.nokia.com/ozo en/blog/next-step-in-nokias-vr-evolution/.
В то же время реализация федеральной целевой программы «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2014-2020 годы» продемонстрировала, что отобранные проекты не смогли в полном объеме выполнить решить задачи, стоящие перед Программой.
В ряде случаев взаимодействие между получателем субсидии и индустриальным партнером было формальным.
Высокая степень привлечения индустриальных партнеров на всех стадиях выполнения прикладных научных исследований и экспериментальных разработок, подтвержденная заполненными формами отчетной документации, не должна вводить в заблуждение относительно прочности и глубины этого взаимодействия. Заключения о качестве получаемых от головного исполнителя отчетных материалов, подписываемые представителем ИП, могут быть впоследствии использованы головным исполнителем для доказательства правильности выбранного направления исследования, но не для его корректировки, поскольку в подавляющем большинстве случаев содержит простой перечень передаваемых документов и материалов.
Основной формой коммерциализации результатов интеллектуальной деятельности является заключение лицензионного договора с индустриальным партнером на использование РИД.
Количество заключенных лицензионных договоров между исполнителями и индустриальными партнерами говорит об увеличении объема полученных в рамках Программы результатов исследований, принятых к дальнейшей реализации в организациях корпоративного сектора в отраслях экономики. Однако перспективы дальнейшей реализации можно охарактеризовать как неопределенные.
Индустриальные партнеры оценивают степень готовности результатов ПНИЭР к коммерциализации как высокую: 94% ИП - участников нашего опроса - дали позитивный прогноз относительно перспектив выхода конечной продукции на рынок.
Между тем, анализ отчетной документации по всем завершенным проектам показал, что во многих из них отсутствуют конкретные планы по использованию полученных результатов для создания новых видов продукции или улучшения качественных характеристик уже освоенного ассортимента.
Бизнес-планы были подготовлены лишь в нескольких проектах. В большинстве же случаев о коммерциализации полученных результатов говорится не как о конкретных планах, а как о прогнозах на среднесрочную перспективу.
Учитывая цели Программы, при отборе заявок необходимо уделять большее внимание перспективам коммерческой реализации и учитывать заинтересованность представителей производственного сектора в результатах ПНИЭР.
В состав конкурсной документации предлагается добавить сведения о квалификации и ресурсах индустриального партнера, а также отчет о маркетинговых исследованиях, согласованный получателем субсидии и индустриальным партнером.
Результаты анкетирования получателей субсидий показывают, что Программе пока не удается изменить представление исследователей о роли науки в современной экономике: среди рекомендаций по совершенствованию Программы встречаются предложения отказаться от привлечения представителей реального сектора к выполнению проектов. Востребованность результатов интересует исследователей в значительно меньшей степени, чем собственно процесс исследований.
Возражая против такой позиции, хотелось бы напомнить, что автору шутки «Наука -лучший способ удовлетворять личное любопытство за государственный счет» Льву Андреевичу Арцимовичу принадлежит еще одно известное высказывание, которое можно применить не только к физике, но и другим областям знания: «С одной стороны - это наука с горящим взором, которая стремится проникнуть в глубь великих законов материального мира. С другой стороны - это фундамент новой техники, мастерская смелых технических идей, опора обороны и движущая сила непрерывного индустриального прогресса» [10].
ЛИТЕРАТУРА
1. Малахов В.А. Программы государственной поддержки прикладных исследований, проводимых малым и средним бизнесом: обзор зарубежного опыта // Наука. Инновации. Образование. - 2017. - № 2 (24). - С. 5-29.
2. Edler, J., Georghiou, L., Blind, K., Uyarra, E. Evaluating the demand side: New challenges for evaluation // Research Evaluation 21(1) [Электронный ресурс] -Oxford.: Oxford University Press, 2012. - Режим доступа: https://doi.org/10.1093/reseval/rvr002. - Загл. с экрана. - Яз. англ.
3. Исакин М.А., Шакина Е.А. Подходы к мониторингу и оценке бюджетных целевых программ // Экономический анализ: теория и практика. - 2008. - № 10.
- С. 48-56.
4. Орлова О. Продумали до мелочей. Ильинское-Усово и метро «Мякинино» соединит «Стрела» // Аргументы и факты №51, 17.12.2014. [Электронный ресурс] Режим доступа: http://www.aif.ru/realty/countryside/1407968 свободный.
5. Зуев Д.М., Пятков А.Г., Мовчан П.В., Смиронов Д.В., Костюков АС. SIBCUBE
- проект студенческого космического аппарата СибГАУ класса CUBESAT // Вестник СибГАУ, - 2014. - №4(56). - С. 160-166.
6. Хмелевская И.Ю., Кавалла Р., Комаров В.С. Формирование наноструктуры никелида титана в результате квази-непрерывной изотермической деформации. Известия Высших Учебных Заведений. Черная Металлургия. - 2016; - 59(1) - С. 69-71.
7. Розина И.Н. Цифровая революция в России: попытка исторического и терминологического анализа // Образовательные технологии и общество. - 2012.
- Т. 15, № 2. - С. 464-482.
8. Kapitonov A.N. et al. Characterization of Graphene Oxide Suspension for Fluorescence Quenching in DNA-Diagnostics // Korean Journal of Materials Research
- 2016 - Vol.26, No. 1. - Pp. 1-7.
9. Рыбалко В.П., Никитюк А.И., Писаренко Е.И., Дьяченко П.Б., Корчмарек А.С., Киреев В.В. Регулирование адгезионных свойств высоконаполненных полиметилметакрилатных композитов // Клеи. Герметики, техенологии. - 2016. -№4. - С. 20-24.
10. Губарев В. Супербомба для супердержавы. Тайны создания термоядерного оружия. М.: «Алгоритм», 2013. - 288 с.
Chechenkina Tatiana Valeriyevna
Russian research institute of economics, politics and law in science and technology, Russia, Moscow
E-mail: [email protected]
Assessment of outputs produced by the applied research projects supported by the Federal Targeted Programme for Research and Development in Priority Areas of Development of the Russian Scientific and Technological Complex for 2014-2020
Abstract. This paper presents the results of a study carried out to evaluate research output of the projects financed in 2014-2016 by the Federal Targeted Programme for Research and Development in Priority Areas of Development of the Russian Scientific and Technological Complex for 2014-2020. Project progress reports and a questionnaire survey were used to collect data for the analysis. It is evidenced from the data collected that 96% of the projects achieved the research outputs as planned. However, the estimation of commercialization prospects of the deliverables provides less optimistic results. External factors that affect commercialization of scientific developments include the lack of financial resources, changes in monetary policies, sanctions and a decrease in consumer demand. The reasons associated with the activities of the Programme participants include underdeveloped commercialization strategy, lack of planning, insufficient qualifications of industrial partners, weak relationships between research performers and businesses. The paper argues that these negative effects can be eliminated by changing the grant award criteria. The alterations to the pre-qualification requirements and the list of bid documents are proposed.
Keywords: science and technology policy; Federal Targeted Programme; federal budget expenditures; priority areas for science, technology and engineering development; applied research and development; performance evaluation; intellectual property commercialisation
REFERENCES
1. Malahov V.A. Public Support Programs for Applied Research Conducted by Small and Medium-Sized Businesses: a Review of International Experience // Science. Innovation. Education. - 2017. - № 2 (24). - Pp. 5-29.
2. Edler, J., Georghiou, L., Blind, K., Uyarra, E. Evaluating the demand side: New challenges for evaluation // Research Evaluation 21(1) - Oxford.: Oxford University Press, 2012.- https://doi.org/10.1093/reseval/rvr002.
3. Isakin M., Shakina E. fflaKHHa E.A. Approaches to monitoring and estimation of budget goal-oriented programs // Economic analysis: theory and practice. - 2008. - № 10. - Pp. 48-56.
4. Orlova O. Planned to the finest details. 'Strela' H-Bahn will connect Ilyinskoe-Usovo and Myakinino metro station // Argumenty i Facty №51, 17.12.2014. http://www.aif.ru/realty/countryside/1407968.
5. Zuev DM., Pyatkov A.G., Movchan P.V., Smirnov D.V., Kostyukov A.S. "SIBCUBE" - CUBESAT satellite project of SibSAU students // Vestnik SibSAU, -2014. - №4 (56). - Pp. 160-166.
6. Khmelevskaya I.Y., Kavalla R., Komarov V.S. Formation of nanostructure in titanium nickelide as a result of quazi-continuous isothermal deformation // Izvestiya Visshikh Uchebnykh Zavedenii. Chernaya Metallurgiya Izvestiya. Ferrous Metallurgy. - 2016; - 59(1). - Pp. 69-71.
7. Rozina I.N. Digital revolution in Russia: An attempt of historical and terminological analysis // Educational Technology and Society. - 2012. - Vol. 15, № 2. - Pp. 464482.
8. Kapitonov A.N. et al. Characterization of Graphene Oxide Suspension for Fluorescence Quenching in DNA-Diagnostics // Korean J. Mater. Res. - 2016 -Vol.26, No. 1. - Pp. 1-7.
9. Rybalko V.P. et al. Controlling the adhesion properties of high-filled polymethyl methacrylate composites // Polymer Science. Series D. - 2016. - Vol. 9. № 4. - Pp. 359-363.
10. Gubarev V. Super Bomb for the Superpower. Secrets of the Thermonuclear Weaponization. - Moscow.: «Algorythm», 2013. - 288 p.
