CC BY
1930Методы анализа
УДК 303.7 (001.81, 65.012.16)
МЕТОД ОЦЕНКИ РЕЗУЛЬТАТОВ НАУЧНО-ИССЛЕДОВАТЕЛЬСКИХ РАБОТ *
Д.В. ТРОШИН,
кандидат технических наук, ведущий научный сотрудник Е-mail: [email protected] Институт проблем экономической безопасности и стратегического планирования Финансового университета при Правительстве Российской Федерации
Оценка результатов научно-исследовательских работ (НИР), прежде всего прикладных, является важной задачей для обеспечения инновационных процессов. Научно-исследовательские работы поставляют научные результаты интеллектуальной деятельности (РИД) для формирования новых направлений развития, однако проблема оценки их экономического потенциала остается сложной и дискуссионной, несмотря на то, что ее решению посвящено множество работ. Исследователи используют различные показатели. Зачастую эти перечни избыточны и противоречивы. Для оценки, как правило, используются методы свертки, которые субъективны и трудно интерпретируемы.
Анализ существующего научного задела приводит к выводу, что задача разработки метода адекватной оценки результатов НИР с точки зрения перспективы их использования для разработки инновационной продукции является весьма актуальной. В статье предлагается такой метод, он ориентирован на практическое использование при планировании и реализации инновационных процессов.
Разработка метода основана на качественном анализе результатов НИР и их предназначении. Для формализации обобщенного показателя качества результатов НИР использован метод агрегирования
* Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по Государственному заданию Финансового университета при Правительстве Российской Федерации на 2014 г
и ранжирования альтернатив относительно многопризнаковых идеальных ситуаций (АРАМИС).
В статье проведен анализ существующих методов оценки результатов НИР, большое внимание уделено используемым показателям. Обоснован перечень показателей, характеризующий результаты НИР с учетом аксиологического и онтологического аспектов, предложена лингвистическая шкала оценки показателей. На основе метода АРАМИС предложена модель интегральной оценки качества результатов НИР, адаптированная для использования управленцами-практиками.
Метод позволяет разработать методики для практического применения, интуитивно и понятно интерпретировать результаты оценки в целях разработки инвестиционных проектов. Он может быть использован в организациях, проводящих исследования, в организациях-заказчиках и органах государственного планирования перспектив развития инновационной экономики.
Ключевые слова: результат, интеллектуальная деятельность, научно-исследовательская работа, оценка, новизна, истинность, значимость, шкала
Научно-исследовательские работы (НИР) призваны поставлять научные результаты интеллектуальной деятельности (РИД) для формирования новых направлений развития как общества в целом,
так и отдельных аспектов его жизнедеятельности. Научные исследования являются начальной фазой жизненного цикла новшеств, имеющих большое значение для создания общественных благ, развития инновационной экономики. Научные РИД имеют высокую степень неопределенности успеха, облика и коммерческих характеристик потенциально возможной конечной продукции. Они должны быть проанализированы на предмет целесообразности дальнейшей разработки, а также отбора наиболее перспективных работ для последующего финансирования, если существуют альтернативы. Это обстоятельство придает особую важность их адекватной оценке. Однако в настоящее время проблема оценки научных РИД, как фундаментальных, так и в целом прикладных, остается сложной и дискуссионной, несмотря на то, что ее решению посвящено много работ.
Сложность задачи оценки результатов НИР зависит от поставленных задач. Здесь нельзя исключать и достаточно конкретных обоснованных оценок коммерческой выгоды, если перед исследованием стояла узкая задача, связанная, например, с «полевыми» или экспериментальными исследованиями, разработкой методик решения оптимизационной задачи и др.
Первостепенным вопросом оценки НИР и научных проектов является выбор состава оцениваемых показателей. Их анализ даже без количественной интегральной оценки позволяет решать практические задачи по управлению инновационными процессами на предприятиях. В связи с этим автором кратко рассмотрены некоторые наиболее характерные перечни, используемые в работах исследователей.
В работе [10] в качестве частных характеристик используются:
- степень выполнения заявленных задач проекта;
- научный уровень полученных результатов;
- патентоспособность полученных результатов;
- перспективы использования полученных результатов;
- ожидаемые результаты выполнения основной заявленной цели проекта;
- результаты решения задач, поставленных в завершающей части проекта;
- наличие трудностей в работе по проекту;
- уровень взаимодействия с организациями, в которых предполагается использовать результаты проекта.
Этот перечень характеристик избыточен, поскольку некоторые из них пересекаются по смыслу, кроме этого допущено смешение характеристик, объективно присущих научному РИД, и характеристик менеджмента по его использованию. В один ряд включены характеристики целевого уровня (перспективы использования) и обеспечивающего (патентоспособность). В то же время в явном виде отсутствует показатель, отражающий новизну.
В работе [2] авторы рассматривают подход к оценке научных РИД «от противного» и вводят показатели бесперспективности РИД, к которым относятся:
- отсутствие контактов с разработчиками РИД или их незаинтересованность;
- незаинтересованность организации в коммерциализации РИД;
- наличие других РИД, которые позволяют получить лучшие результаты;
- принадлежность прав на РИД другим лицам;
- наличие ограничений, связанных с возможностью использования РИД, имеющих отношение к национальной безопасности.
- требование на выполнение научно-исследовательской опытно-конструкторской работы (НИОКР) более 5 млн руб.;
- требование более 50 млн руб. на создание опытного образца;
- определение срока проведения НИОКР более 2 лет, а создания опытного производства -более 3 лет.
Строгое обоснование предлагаемых порогов не приводится и, вероятно, для общего случая невозможно. При таких критериях создание, например, сложной ракетно-космической или военной техники будет всегда бесперспективным.
Система оценки уровня научных результатов, состоящая из семи качественных критериев, представлена в работе [8]. Этими критериями являются:
- характер результата;
- вид результата;
- вклад результата в решение основных задач научной организации;
- вклад результата в решение социальных проблем;
- востребованность результата;
- практическая реализуемость результата;
- готовность потребителей к освоению результата.
Для каждого критерия разработана вербальная шкала с небольшим числом градаций, обеспечивающих ясную различимость оценок.
С одной стороны, в перечень критериев (строго говоря, это не критерии, а описательные характеристики) не включена новизна, с другой стороны, он избыточен. Например, востребованность результата включает вклад результата в решение социальных проблем и вклад в решение общих задач научной организации. Невозможно соотносить характеристики полезности результата (востребованность, вклад, готовность) с классификационными (характер, вид). Представляется, что шкалирование этих характеристик, оценки по ним и их комплексирова-ние для окончательного вывода даст абстрактный результат.
В теории и практике оценивания РИД, в частности НИР, объектов патентования, когда используются не прямые коммерческие показатели, а косвенные, широкое распространение получили количественные методы, в частности методы ранжирования.
Модель линейного рейтинга и бинарная модель предложены в работе [3]. В качестве основной математической структуры используется линейная свертка значений факторов, нормированных по шкале [0; 1] с весовыми коэффициентами. В случае привлечения нескольких экспертов их оценки усредняются. Оцениваемыми факторами могут быть:
- актуальность работы;
- объем проделанной работы;
- соответствие тематике;
- практическая значимость;
- подготовленность авторов;
- связь с остальными областями;
- абстрактность;
- ширина темы;
- затраты на материально-техническую базу;
- потенциальный экономический эффект;
- величина риска;
- сроки внедрения;
- авторские права.
Каждый параметр оценивается по лингвистической шкале, и каждому значению по такой шкале сопоставляется число.
Представляется, что этот перечень факторов также избыточен по смыслу и велик с точки зрения практического удобства. Кроме того, исследование рисков - это отдельный вопрос. Использование пря-
мого экспертного оценивания некоего обобщенного риска по элементарной лингвистической шкале носит скорее ритуальный характер, а не соответствует принципам системного подхода.
Подобный недостаток имеет и следующий перечень критериев для измерения результатов научно-технических исследований [5]:
- инновационный уровень;
- изобретательский уровень;
- научно-техническая новизна;
- коммерческая реализуемость;
- промышленная применимость.
Для их формализаций использованы лингвистические шкалы, спроецированные на численные интервалы способом, не поддающимся объективному обоснованию, а также весовые коэффициенты для скаляризации векторной оценки.
Для оценки научных исследований, выполняемых молодыми учеными и ведущими научными школами России со ссылкой на нормативный правовой базис, сформированный Минобрнауки России в 2009-2010 гг., предлагаются следующие критерии [4]:
- наличие научного исследования (фактически здесь речь идет о выполнении задач технического задания (ТЗ);
- основные результаты, которые были получены (новизна, научная значимость, практическая значимость, завершенность, правовая защищенность);
- уровень достижения индикаторов (количество различных публикаций, участий в конференциях, защищенных диссертаций и т.п.);
- результативность научных исследований (аналогично предыдущему критерию и дополнительно монографии, учебники, курсы, заявки, ноу-хау и т.п.)
- участие соисполнителя (также количество публикаций, количество выполненных работ в рамках научного исследования);
- наличие научных исследований по федеральным целевым программам.
Здесь все основные характеристики работы, отражающие ее суть и целевой эффект, включены во второй критерий. Остальные фактически отражают популяризацию результатов работы и их воплощение в статистические рейтинги организации-исполнителя и конкретных исследователей.
Общим недостатком подавляющего большинства предлагаемых в специальной литературе перечней
характеристик результатов НИР и научных проектов является их избыточность и «размывание» смысла в качестве осей координат пространства достижения целей научных работ, которые являются начальными этапами жизненного цикла инноваций.
Таким образом, по проблематике критериального пространства оценки результатов научных исследований среди специалистов нет единства, хотя и корреляция мнений, очевидно, высока.
Автором предложен количественный метод ранжирования на основе интегральных оценок, которые, по замыслу, должны отражать ценность или полезность РИД, с помощью генеральных определительных таблиц (ГОТ). Например, для изобретений в число показателей включаются новизна, изобретательский уровень, сложность, достижение результата. Предполагается, что эти оценки должны позволить определить рыночную стоимость РИД (изобретения).
В научно-прикладных работах и в практике управления инновационными проектами достаточно широко используются подходы, основанные на экспертных оценках перспектив тех или иных РИД и интеграции различных показателей практической значимости разработок с использованием коэффициентов важности, включая методы рейтингов.
Методы рейтинга/ранжирования включают следующие пять элементов:
1) критерии оценки в баллах;
2) систему оценки в баллах;
3) шкалу оценки в баллах;
4) весовые коэффициенты;
5) решающую таблицу.
Подобные количественные методы отягощены следующими существенными недостатками:
- отсутствием объективных оснований для адекватной количественной интерпретации качественных оценок по балльным шкалам;
- произвольным назначением коэффициентов важности и трудности логически безупречной интерпретации их смысла;
- недостатком обоснованности выбора аддитивной формы интегрального показателя, отсюда -трудности интерпретации «физического смысла» интегральной оценки.
В целом адекватность и точность таких методов невысока в силу их большой субъективности и отсутствия логически безупречных оснований для выбора шкал и вариантов оцифровки вербальных описаний и лингвистических оценок.
Вместо коэффициентов важности удобно использовать коэффициенты замещения, а интегральную оценку строить как функцию полезности. Однако применительно к рассматриваемой задаче сохраняются когнитивные трудности получения опорных точек на шкале полезности для построения функции полезности.
Аналогичные методы для оценки исследований используются и в передовых, в части, касающейся инноваций, странах. Так же, как и в России, для экспертизы, как правило, не проводится грани между прикладными и фундаментальными исследованиями. Ученые стараются придерживаться метода оценивания коллегами (peer review), когда эксперты изучают предоставленные материалы и выносят свои суждения. Формы могут быть разные -от анонимного рецензирования до проведения коллективных обсуждений. Можно отметить более выраженное стремление оценить коммерческий эффект исследований. Формализованные оценки проводятся в основном в целях рейтингования исследовательских проектов и программ для распределения ассигнований. В качестве основного метода оценки применяются балльные экспертные оценки различных показателей, которые в дальнейшем суммируются с весовыми коэффициентами или без таковых.
Так, Национальный фонд США для оценки научных программ использует рыночные, научно-технические, производственные, финансовые показатели. Их значения оценивают специально отобранные эксперты. Далее проводится усреднение суммарных оценок с использованием весовых коэффициентов *. Всего используются 25 показателей, которые разбиты на четыре группы:
- четкое описание целей и задач;
- встраиваемость в процессы стратегического
планирования (результаты и задачи долгосрочной перспективы);
- организация управления программой;
- достигнутые результаты.
Поскольку речь идет о программе, то здесь учитываются не только достигнутые результаты, но и перспектива дальнейших исследований, а также ярко выраженный коммерческий интерес. Для интегральных оценок используются четыре градации, сопоставимые с числовой шкалой (от 0 до 100): эффективная (85-100), сравнительно
* См. например URL: http://georgewbush-whitehouse. archives.gov/omb/expectmore/topic/Science_and_Space.html.
эффективная (70-84), удовлетворительная (50-69), неэффективная (0-49).
В Великобритании для оценки результатов научной деятельности используются всего три критерия [11]:
- новизна, значимость и глубина проработки;
- масштабность результата исследования;
- конкурентоспособность.
Смысл их, однако, неочевиден. Чем, например, различаются значимость и масштабность? Предполагает ли глубина проработки доказанность (истинность) полученных результатов? Отсутствует также практическая значимость. Конкурентоспособность -это далеко не одно и то же.
Интегральная оценка выводится как сумма баллов по каждому показателю от 0 до 5 с весовыми коэффициентами 0,65, 0,2 и 0,15, соответствующими показателям в порядке их перечисления выше. Баллы проставляют эксперты.
В работе [6] предложены подходы ранжирования результатов НИР и научно-технических проектов как форм организации интеллектуального труда, с использованием «вербального анализа решений». Для измерения предпочтений лица, принимающего решения (ЛИР), используются качественные оценки его вариантов путем попарного сравнения их многокритериальных характеристик. Конструирование обобщенных показателей рассматривается как задача порядковой классификации многокритериальных альтернатив.
Для оценки результатов НИР целесообразно классифицировать их по содержанию соответствующей деятельности и ее направленности. В этом случае по аналогии с мнением авторов работы [7] можно выделить следующие основные группы результатов: теоретические, экспериментальные, информационные и инженерные.
Теоретический результат предполагает выявление новых закономерностей, следствий из известных законов, открытие новых процессов и объектов мира, отношений между ними, разработку теорий, доказательство научных гипотез.
Экспериментальный результат заключается в получении эмпирических данных проведения натурных, модельных, в том числе математических, испытаний, их обработку и осмысление. Он способствует созданию или совершенствованию технологий, служит подтверждением перспективности научно-технических и конструкторских разработок.
Информационный (в том числе научно-прикладной) результат направлен на создание инструментов научной, аналитической, экспертной, инженерной и конструкторской деятельности (методологий и конкретных методик, алгоритмов, баз данных и баз знаний (БД и БЗ), программного обеспечения (ПО), разработку способов (изготовления, обработки, применения, поиска), классификаций в целях сжатия объема исходной информации, выявление наиболее пригодных для конкретных условий инструментов указанного предназначения, выявление и обобщение современных тенденций и достижений развития интересующего направления производственной деятельности, особенностей их использования и т.п.
Инженерный результат предполагает логическое и инженерное представление и научное обоснование новых идей в технико-технологической сфере. Практическими аспектами этих результатов являются РИД, принципиально пригодные для патентной защиты, а также проекты технических заданий и (или) тематические карточки на проведение опытно-конструкторских работ по созданию экспериментальных и (или) серийных образцов или на проведение дополнительных экспериментальных и информационных исследований.
Очевидно, что деление основных научно-технических РИД по вышеуказанным группам является не абсолютным и неоднозначным. Так, например, способ может быть и теоретическим, и информационным, и инженерным результатом в зависимости от широты и аспектов охвата объективной реальности. Программное обеспечение также может быть в одном случае информационным (инструментальным) результатом, в другом - инженерным для использования в технологиях или на рынке массового потребителя.
Однако представленная классификация РИД позволяет более четко формулировать технические задания (ТЗ) на выполнение соответствующих работ, оценивать их выполнение и перспективы дальнейшего использования.
С учетом аксиологического и онтологического аспектов результаты научных работ целесообразно оценивать по четырем главным критериям:
1) выполнение задач, поставленных в ТЗ;
2) новизна;
3) научно-техническая истинность;
4) практическая значимость.
Первый критерий отражает производственную дисциплину, выполнение планов и возможность
соотнесения затрат с тем или иным целевым финансированием.
Новизна отражает содержательную (онтологическую) сторону РИД, а практическая значимость -аксиологическую (ценностную). Научно-техническая истинность поддерживает, «легитимизирует» новизну и обеспечивает необходимое (но недостаточное) условие практической значимости.
Для оценки результата разработки ключевым является первый из указанных критериев.
Новизна исследования связана с ним, однако она не является самоцелью работы. Удовлетворение этого критерия позволяет прежде всего оценить перспективы использования РИД, возможности защиты авторских прав и прав на интеллектуальную собственность, обоснованность затрат на получение РИД, а также квалификацию разработчиков. Теоретическую новизну могут оценить только ученые в соответствующей области знания.
Оценка новизны экспериментальных результатов, как правило, не представляет большой трудности. Здесь главное определить, что эксперименты проводились либо впервые, либо в новых условиях, с новыми объектами, отличающимися в своих существенных параметрах от тех, которые использовались в предыдущих исследованиях. Нельзя также исключать воспроизведение ранее кем-то проведенных экспериментов в целях проверки их корректности, если для сомнений есть научно и технически обоснованные основания. Однако в этом случае должны быть с приемлемой точностью воспроизведены условия эксперимента. Возможные расхождения результатов с опубликованными результатами чужих исследований должны быть сопровождены научным анализом.
Новизна информационных результатов может быть оценена квалифицированными экспертами, которые обладают достаточной суммой знаний в интересующей сфере. Дополнительно может быть проведен сбор и анализ специальной литературы, отбираемой по ключевым словам и словосочетаниям.
Новизна инженерных результатов может быть установлена по формальному признаку, если на результаты НИР выданы документы, защищающие авторские права. В тех случаях, когда авторские права не оформлены (не успели оформить или принято решение охранять РИД в форме коммерческой тайны), новизна может быть доказана проведением необходимых патентных исследований исполнителями НИР или ОКР.
Доказательства истинности и (или) работоспособности РИД должны быть основаны на известных и общепризнанных научных знаниях, использовании общепризнанных методик и методов проведения испытаний и доказательств. Кроме того, новый РИД должен быть обоснован с точки зрения его реализуемости при разумном объеме дополнительных усилий и ресурсов.
Практическая значимость предполагает оценку перспектив использования РИД. Наиболее неопределенные перспективы и в то же время наиболее широкий потенциальный спектр применимости имеют теоретические результаты.
Практическая значимость определяется исходя из того, что результат:
- пригоден для обеспечения общественной пользы, в особенности, если он получен при выполнении государственного заказа;
- позволяет капитализировать РИД как нематериальный актив;
- позволяет создать новый продукт;
- открывает перспективу создания нового продукта при дополнительных исследованиях и разработках;
- позволяет улучшить существующие продукты;
- открывает перспективу улучшения существующего продукта при дополнительных исследованиях и разработках;
- позволяет повысить рентабельность производства;
- открывает перспективу повышения рентабельности производства при дополнительных исследованиях и разработках.
Шкалы измерения этих показателей - лингвистические. Приведенные рекомендуемые значения с описаниями носят разъяснительный характер.
1. Шкала для показателя «выполнение задач» имеет следующие значения:
1.1 - выполнены полностью;
1.2 - выполнены в основном;
1.3 - выполнены частично;
1.4 - не выполнены.
2. Новизна может иметь значения:
2.1 - открытие;
2.2 - креативный научный результат, т.е. теоретический результат (научная концепция, научная гипотеза, обоснованная терминология, теорема, причинно-следственные связи, закономерность и т.п.), новый информационный результат, новый экспериментальный результат, инженерный результат,
подлежащий патентованию или защите в режиме секрета производства;
2.3 - уточнение, т.е. квазиновизна (структурирование известных данных, уточнение, дополнение), или псевдоновизна (субъективные оригинальные трактовки) [1], необходимое подтверждение;
2.4 - нет новизны.
3. Истинность может иметь значения:
3.1 - истинно несомненно, т.е. законам естествознания не противоречит, строго обоснован, эксперимент чистый, исходные данные поступили из надежных продублированных источников;
3.2 - достоверно, т.е. обоснован статистически или на основе здравого смысла с использованием корректных аналогий, эксперимент трудновоспроизводим или проведен в ограниченном спектре условий или его чистота недоказуема, источники данных доступны для проверки;
3.3 - сомнительно, т.е. использована статистически не представительная выборка, эксперимент устойчиво невоспроизводим или проведен «не чисто», или интерпретирован ошибочно, в обосновании выявлены логические (математические) ошибки, использованы необщепринятые, научно не обоснованные (обсуждаемые) научные гипотезы, источники данных не проверяемы, аргументация не полна;
3.4 - не истинно, т.е. использованы ложные научные предпосылки, результат не обоснован, эксперимент некорректный, неправильно использованы известные законы естествознания, неграмотно применены методы логики, математики и статистики, использованы ложные или противоречивые исходные данные.
4. Практическая значимость имеет следующие градации:
4.1 - линейка (направление) новой продукции, которая позволяет создать спектр новой продукции (технологий, услуг), защищенных патентом или секретом производства;
4.2 - новая продукция, которая позволяет создать новый товар (услугу) или технологию (часть единой технологии), защищенных патентом или секретом производства;
4.3 - улучшения, позволяющие добиться улучшений продукции или технологии;
4.4 - сопряженные разработки, т.е. создание новой продукции возможно, но для ее внедрения в хозяйственный оборот необходимы сопряженные разработки;
4.5 - дополнительные прикладные исследования, т.е. для создания новой продукции (технологии) или улучшений требуются дополнительные исследования прикладного характера;
4.6 - дополнительные фундаментально-поисковые исследования, т.е. для создания новой продукции (технологии) или улучшений требуются дополнительные исследования фундаментального или поискового характера;
4.7 - формальное новшество - РИД формально позволяет оформить права интеллектуальной собственности, но его развитие или использование невозможно или нецелесообразно;
4.8 - бесполезный РИД, т.е. использование РИД невозможно или нецелесообразно, при этом нет возможности оформить права интеллектуальной собственности.
Для интегральной оценки научной работы целесообразно использовать метод агрегирования и ранжирования альтернатив относительно многопризнаковых идеальных ситуаций (лучшей и худшей) (АРАМИС) [6]. Метод рассматривает задачу группового оценивания РИД как задачу упорядочивания многопризнаковых объектов. Каждый признак -шкала, градации которой - вербальные оценки. Оперирование происходит только с качественной информацией, не переводя ее в числовую форму. В этом случае удается избежать слабо обоснованных и трудно интерпретируемых, но широко используемых усреднений, взвешиваний и т.п. На множестве кортежей многокритериальных оценок можно задать отношения превосходства и эквивалентности вариантов решения, с помощью которых осуществляется их порядковая классификация, частичное упорядочение или выделение лучшего варианта. Методы группового вербального анализа решений позволяют работать с противоречивой информацией и обеспечивают нахождение рационального решения. В целом вербальные методы более «прозрачны» для ЛПР, предоставляют хорошо интерпретируемые результаты, менее трудоемки и устойчивы к ошибкам измерения. Процедура метода сводится к тому, что варианты ранжируются по степени близости к худшему или лучшему. Место варианта в многокритериальном пространстве определяется по количеству оценок, которые вариант получил от экспертов на уровне той или иной градации по каждому критерию.
На основе метода АРАМИС автором предлагается метод интегральной оценки РИД в форме научного результата, адаптированный для практи-
ков стратегического управления инновациями на предприятиях.
Для формализованного представления введены следующие обозначения показателей:
7 = 1, 2,..., I - условный порядковый номер оцениваемого объекта (научный РИД);
} = 1, 2,..., J - условный порядковый номер характеристики РИД;
5 = 1, 2,..., S - условный порядковый номер эксперта;
q} = 1, 2,...,Q. - условный порядковый номер градации }-й характеристики (выше приведенные двойные номера лингвистических значений качественных показателей результатов научных исследований), который выбрал для 7-го исследуемого РИД 5-й эксперт. В принятых обозначениях худшая градация имеет максимальный номер; м.- вес}-й характеристики; т. - качество (рейтинг) 7-го результата; п. - нормировочный коэффициент для обеспечения корректной сопоставимости численных идентификаторов градаций разных характеристик, имеющих в общем случае (в частности в рассматриваемой задаче) разное количество градаций.
Расстояние 7-го объекта от лучшего объекта, имеющего минимальные номера градаций по всем характеристикам, в пространстве возможных вариантов характеристик вычисляется по формуле
R = УJ w. у: у Q= (n .ql) - S (max Qj - Qj )(q. -1)
(1)
где п} = 1 +--
} ^ -^
Рейтинг (интегральный коэффициент полезности) 7-го РИД определяется по формуле
r. =1 -
R
Sу;=1 ^J (n.Qj -1)J
(2)
отношение к проблематике «производственной дисциплины» и реализации планов, однако еще не означает бесперспективности полученных (хотя и незапланированных) результатов. Не перечеркивает работу и полное отсутствие новизны, поскольку даже плагиат оставляет возможность использовать отчеты о работе для дальнейшего продвижения инновационных процессов.
С учетом недопустимых для РИД градаций математическая модель метода (1), (2) уточняется следующим образом:
R =
I
j
w.
j=i J
zz ql i.) - s
если для VJ < Qv
да, в противном случае
(3)
Весовые коэффициенты целесообразно определять по методу попарного сравнения, представленному в работе [9].
Практически, вероятно, для данной задачи можно принять все характеристики равнозначными, но окончательное решение остается за ЛПР.
Из числа градаций при интегральной оценке целесообразно исключить значения 3.4 и 4.8 шкал измерения показателей, поскольку каждое такое значение свидетельствует о непригодности РИД независимо от значений по другим шкалам и делает дальнейший анализ бессмысленным. В то же время невыполнение задач ТЗ имеет прямое
где Qv - максимально допустимый номер градации для j-й характеристики.
С учетом модели (3) рейтинг 7-го проекта вычисляется по формуле (2), если расстояние R7 конечно. В противном случае, рейтинг либо не выставляется, либо ему присваивается нулевое значение (в зависимости от удобства расчетов и актуализации базы данных или принятого порядка учета, отчетности, представления результатов оценки и т.п.), а РИД признаются бесполезными.
Предложенный метод позволяет определить предварительную оценку РИД, которая может использоваться для определения целесообразности дальнейших разработок, когда определить коммерческие показатели затруднительно. Результаты его применения интерпретируются естественным образом.
Список литературы
1. Бондаревский А.С. Определение понятия «новизна». Формализованный подход // Контекст и рефлексия: философия о мире и человеке. 2012. № 1. С.125-142.
2. Власов А.Ф., Бредникова А.М. Опыт оценки результатов интеллектуальной деятельности при создании хозяйственных обществ в соответствии с Федеральным законом № 217-ФЗ // Имущественные отношения в Российской Федерации. 2011. № 11. С. 72-78.
3. КалачихинП.А., ТельновЮ.Ф. Разработка рейтинговой модели оценки научных проектов. URL: http://www.umo.mesi.ru/magazine/gallery/5594.
4. Муравьев А.В., Муравьева М.А. Гранты Президента Российской Федерации. Критерии оценки
научных исследований, выполняемых молодыми российскими учеными и ведущими научными школами Российской Федерации // Инноватика и экспертиза. Научные труды НИИ РИНКЦЭ. 2012. Вып. 1. С. 21-26.
5. Назаревич С.А. Методика оценки критерия инновационного уровня // Системный анализ и логистика. 2013. № 10. С. 71-76.
6. Петровский А.Б., Тихонов И.П. Фундаментальные исследования, ориентированные на практический результат: подходы к оценке эффективности // Вестник РАН. 2009. № 11. Т. 79. С. 1006-1011.
7. Проничкин С.В., Тихонов И.П. Оценка результативности деятельности научных организаций // Экономический анализ: теория и практика. 2014. № 3. С. 27-32.
8. Проничкин С.В., Тихонов И.П. Разработка системы критериев и методических подходов к экспертной оценке эффективности деятельности научных организаций // Национальные интересы: приоритеты и безопасность. 2013. № 37. С. 13-18.
9. Трошин Д.В. Скаляризация векторных предпочтений: преодоление примитивизации // Эффективное антикризисное управление. 2013. № 3. С.88-94.
10. Усольцев И.А. Концептуальные основы оценки потенциала интеллектуальных продуктов научной сферы // Журнал экономической теории. 2011. № 2. С. 159-163.
11. Higher Education Funding Council for England, Research Assessment Exercise 2014 «Assessment criteria and level definitions». Bristol: HEFCE, 2013.
Economic analysis: theory and practice Methods of analysis
ISSN 2311-8725 (Online) ISSN 2073-039X (Print)
THE METHOD OF ASSESSING RESEARCH WORK RESULTS
Dmitrii V. TROSHIN
Abstract
Importance Assessing research results, particularly of applied research, is an important task to ensure innovation processes. Research works deliver scientific results of intellectual activity to promote new lines of development. However, assessing their economic potential is a complicated and controversial problem despite the availability of a number of research papers dealing with the topic. Researchers use different indicators. Very often their lists are redundant and inconsistent. As a rule, for assessment purposes the methods of convolution are used, which are subjective and difficult for interpretation. Objectives The analysis of existing scientific groundwork leads to the conclusion that the task of developing a method of adequate assessment of research results from the standpoint of their application for innovative product development is relevant enough. The article presents a method, which focuses on practical application in planning and implementing innovation processes.
Methods The method development bases on the qualitative analysis of research results and their intended
purpose. To formalize the composite index of research results' quality, I used the method of aggregation and ranking of alternatives against multiattribute ideal situations (ARAMIS). The article analyzes the existing methods of research results evaluation and pays great attention to applied indices. I have substantiated the list of indices, which characterize research results taking into account the axiological and ontological aspects, and proposed linguistic scale of indices evaluation. Based on the ARAMIS method, I have proposed a model of integral assessment of research result quality, which is adapted for use by practicing senior management. Results The method enables to develop methods for practical application and to provide intuitive interpretation of the results of assessment for investment project development purposes. Conclusions and Relevance The method can be used in organizations conducting research, in contractor organizations and in the State authorities engaged in planning innovation economy development.
Keywords: result, intellectual activity, research activity, evaluation, novelty, validity, significance, scale
References
1. Bondarevskii A.S. Opredelenie ponyatiya "novizna". Formalizovannyi podkhod [Definition of the "novelty" concept. A formalized approach]. Kontekst i refleksiya: filosofiya o mire i cheloveke - Context and reflection: philosophy about world and human being, 2012, no. 1, pp. 125-142.
2. Vlasov A.F., Brednikova A.M. Opyt otsenki rezul'tatov intellektual'noi deyatel'nosti pri sozda-nii khozyaistvennykh obshchestv v sootvetstvii s Federal'nym zakonom № 217-FZ [Experience of assessing intellectual activity results while creating business entities in accordance with Federal Law № 217-FZ]. Imushchestvennye otnosheniya v Rossii-skoi Federatsii - Property relations in Russian Federation, 2011, no. 11, pp. 72-78.
3. Kalachikhin P.A., Tel'nov Yu.F. Razrabotka reitingovoi modeli otsenki nauchnykhproektov [Developing a rating model of research project assessment]. Available at: http://www.umo.mesi.ru/magazine/gal-lery/5594. (In Russ.)
4. Murav'ev A.V., Murav'eva M.A. Granty Preziden-ta Rossiiskoi Federatsii. Kriterii otsenki nauchnykh issle-dovanii, vypolnyaemykh molodymi rossiiskimi uchenymi i vedushchimi nauchnymi shkolami Rossiiskoi Federatsii [Grants of the President of the Russian Federation. The evaluation criteria of the scientific research performed by young Russian scientists and leading scientific schools of the Russian Federation]. Innovatika i ekspertiza. Nauchnye trudy NIIRINKTSE - Innovation and expertise. Proceedings of SRIFRCPECS, 2012, issue 1, pp. 21-26.
5. Nazarevich S.A. Metodika otsenki kriteriya inno-vatsionnogo urovnya [Methods of assessing the innovation level criterion]. Sistemnyi analiz i logistika - System-oriented analysis and logistics, 2013, no. 10, pp. 71-76.
6. Petrovskii A.B., Tikhonov I.P. Fundamental'nye issledovaniya, orientirovannye na prakticheskii rezul'tat: podkhody k otsenke effektivnosti [Fundamental research focused on practical result: approaches to assessing effectiveness]. Vestnik RAN - Bulletin of RAS, 2009, no. 11, vol. 79, pp. 1006-1011.
7. Pronichkin S.V., Tikhonov I.P. Otsenka rezul'tativnosti deyatel'nosti nauchnykh organizatsii [Assessing productivity of scientific organizations' activity]. Ekonomicheskii analiz: teoriya i praktika -Economic analysis: theory and practice, 2014, no. 3, pp. 27-32.
8. Pronichkin S.V., Tikhonov I.P. Razrabotka siste-my kriteriev i metodicheskikh podkhodov k ekspertnoi otsenke effektivnosti deyatel'nosti nauchnykh organizatsii [Developing a system of criteria and methodological approaches to expert assessment of effectiveness of scientific organizations' activity]. Natsional'nye interesy: prioritety i bezopasnost'- National interests: priorities and security, 2013, no. 37, pp. 13-18.
9. Troshin D.V. Skalyarizatsiya vektornykh pred-pochtenii: preodolenie primitivizatsii [Scalarization of vector preferences: overcoming primitivization]. Effektivnoe antikrizisnoe upravlenie - Effective crisis management, 2013, no. 3, pp. 88-94.
10. Usol'tsev I.A. Kontseptual'nye osnovy otsenki potentsiala intellektual'nykh produktov nauchnoi sfery [The conceptual framework of assessing the intellectual product potential of scientific sphere]. Zhurnal ekonomicheskoi teorii - Journal of economic theory, 2011, no. 2, pp. 159-163.
11. Higher Education Funding Council for England, Research Assessment Exercise 2014 "Assessment criteria and level definitions". Bristol, HEFCE, 2013.
Dmitrii V. TROSHIN
Institute for Problems of Economic Security and Strategic Planning, Finance University under Government of Russian Federation, Moscow, Russian Federation [email protected]
Acknowledgments
The article is supported by the results of the State-funded research under the State job to the Finance University under the Government of the Russian Federation for 2014.
