Научная статья на тему 'Автоматизация процессов разработки технологических дорожных карт. Расчет интегральных показателей применимости'

Автоматизация процессов разработки технологических дорожных карт. Расчет интегральных показателей применимости Текст научной статьи по специальности «Математика»

CC BY-NC-ND
226
77
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Бизнес-информатика
ВАК
RSCI
Область наук
Ключевые слова
ДОРОЖНАЯ КАРТА / ФОРСАЙТ / ПОКАЗАТЕЛЬ ПРИМЕНИМОСТИ / ТЕХНОЛОГИЧЕСКАЯ ТРАЕКТОРИЯ / ФОРМАЛИЗАЦИЯ ЗНАНИЙ / ЭКСПЕРТНЫЙ ОПРОС / MAUT / TECHNOLOGY ROADMAP / FORESIGHT / INDICATOR OF APPLICABILITY / TECHNOLOGY TRAJECTORY / KNOWLEDGE FORMALIZATION / EXPERT SURVEY

Аннотация научной статьи по математике, автор научной работы — Ена О. В., Нагаев К. В.

Рассмотрены способы расчета частных и интегральных показателей применимости элементов технологической дорожной карты и их атрибутов в целях применения автоматизированных средств для задач, связанных с форсайтныти исследованиями, долгосрочным научно-техническим прогнозированием, определением инновационных траекторий развития предметных областей.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Ена О. В., Нагаев К. В.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

AUTOMATION OF THE TECHNOLOGY ROADMAP DEVELOPMENT. CALCULATION OF THE INTEGRAL INDICATORS OF APPLICABILITY

The methods of calculating of particular and integral indicators of applicability for the technological roadmap elements and their attributes are considered. These indicators are applied to the automated tools for the foresight researches, the long-term scientific and technological forecasting, identifying innovative trajectories of the emerging domains evolution.

Текст научной работы на тему «Автоматизация процессов разработки технологических дорожных карт. Расчет интегральных показателей применимости»

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

АВТОМАТИЗАЦИЯ ПРОЦЕССОВ РАЗРАБОТКИ ТЕХНОЛОГИЧЕСКИХ ДОРОЖНЫХ КАРТ. РАСЧЕТ ИНТЕГРАЛЬНЫХ ПОКАЗАТЕЛЕЙ ПРИМЕНИМОСТИ1

О.В. Ена,

директор центра информационно-аналитических систем Института статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики»

К.В. Нагаев,

старший научный сотрудник центра информационно-аналитических систем Института статистических исследований и экономики знаний Национального исследовательского университета «Высшая школа экономики»

E-mail: [email protected], [email protected] Адрес: г. Москва, ул. Мясницкая, д. 18

Рассмотрены способы расчета частных и интегральных показателей применимости элементов технологической дорожной карты и их атрибутов в целях применения автоматизированных средств для задач, связанных с форсайтными исследованиями, долгосрочным научно-техническим прогнозированием, определением инновационных траекторий развития предметных областей.

Ключевые слова: дорожная карта, форсайт, показатель применимости, технологическая траектория, формализация знаний, экспертный опрос, MAUT.

1 Работа проводилась при финансовой поддержке Министерства образования и науки Российской Федерации по государственному контракту № 07.524.12.4018 от 16 мая 2012 г. в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научнотехнологического комплекса России на 2007-2013 годы»

5^:

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г.

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

1. Введение

В мировой практике дорожная карта является одним из наиболее эффективных инструментов долгосрочного стратегического планирования и может использоваться на всех уровнях принятия решений: в рамках формирования и реализации стратегий корпоративного уровня, конкурентных и функциональных стратегий [1].

Наиболее сложным видом дорожных карт является технологическая дорожная карта (далее, ТДК). ТДК позволяет оценить влияние на развитие предметной области большого количества разнообразных факторов: глобальные вызовы, перспективы коммерциализации ключевых инновационных технологий; желаемую конфигурацию продуктов и рынков и др. [2].

Дорожная карта формируется в виде набора слоев (групп однотипных элементов). Информационное наполнение элементов ТДК и взаимосвязи между ними определяются в соответствии с базовыми алгоритмами расчета элементов ТДК, а также консолидации экспертных сведений [3].

В качестве слоев дорожной карты в общем случае выступают: 1) научно-технологическое развитие; 2) технологии; 3) продукты; 4) рынки.

Автоматизация процессов создания и применения ТДК связана с решением трех классов научнотехнологических задач:

1) формализацией предметной области дорожного картирования и автоматизированным сбором релевантных сведений из разнородных источников информации;

2) поиском экспертов в предметной области дорожного картирования и многоэтапной консолидацией экспертных мнений;

3) унификацией интегральных показателей, характеризующих элементы ТДК и их атрибуты, и расчетом основной технологической траектории ТДК.

В настоящей статье рассматриваются подходы к решению третьей научно-технологической задачи. Научно-технологические решения, представленные в настоящей статье, реализованы в составе программного комплекса «Интерактивная дорожная карта с обратной связью».

2. Постановка задачи определения частных и интегральных показателей применимости

Главным аналитическим результатом ТДК является основная технологическая траектория — набор взаимосвязанных элементов различных слоев ТДК, обеспечивающих оптимальный план долгосрочного развития предметной области дорожного картирования.

Классическим представлением основной техно -логической траектории является базовая схема, предложенная Европейской ассоциацией управления промышленными исследованиями (EIRMA)[4] (на рис. 1 элементы и связи основной технологической траектории выделены полужирным начертанием).

Как следует из рис. 1, элементы ТДК и связи между ними образуют связный направленный граф, следовательно, для построения основной техноло-

Time

Рис. 1. Основная технологическая траектория на базовой схеме EIRMA

1=>

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

57

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

гической траектории могут быть применены алгоритмы расчета максимального потока от источника к стоку (с добавлением синтетических вершин источника и стока с неограниченными пропускными способностями), например, модифицированные алгоритмы Форда-Фалкерсона [5, 6].

Основные сложности при применении данных групп методов заключаются в необходимости определения весов ребер (дуг) графа — взаимно однозначных показателей, характеризующих отношения между элементами ТДК (от научных направлений к технологиям, от технологий к продуктам и от продуктов к рынкам).

Постановка задачи выглядит следующим образом.

Пусть заданы множества элементов ТДК (1), атрибутов элементов ТДК (2):

X = {xl},i = l,n . (1)

A = {aiJ},i = l,n,j = l,m , (2)

где n — количество элементов ТДК;

m — максимальное количество атрибутов элементов

ТДК.

Значения атрибутов элементов ТДК формируются в результате сбора и консолидации экспертных оценок (3).

R = {rsk},i = l,n,j = l,m,k = l,l (3)

где r.jk — экспертная оценка значения j-го атрибута i-го элемента ТДК, представленная k-ым экспертом.

Необходимо для каждого элемента ТДК определить интегральный показатель применимости (полезности) W., i = l, и с учетом отношений между элементами.

3. Использование многомерных функций применимости для оценки объектов комплексной природы

Элементы ТДК могут быть представлены как объекты, характеризующиеся набором атрибутов различной природы: технологической, экономической, политической и социальной. Постановка задачи по поиску многомерной функции оценки элемента ТДК определяется как поиск отображения вектора значений атрибутов элемента из множества допустимых альтернатив на n-мерное пространство последствий [7].

Таким образом, задача построения интегрального показателя применимости для элемента ТДК

58

может быть сведена к свертке вектора атрибутов в скалярное значение показателя применимости (4)

f(Xi,X2,...,X„) > Дх[,Х2,...,Хп) <-> » (4)

»(х1,х2,...,хп),

где >> — отношение предпочтительности, означающее, что набор значений (х1,х2,...,хя) не менее предпочтителен, чем (х1,х2,...,хп).

Данная функция может быть названа функцией предпочтения, оценки или применимости [8, 9].

В целях сокращения размерности функций применимости при расчете интегральных показателей применимости целесообразно реализовать независимость вариантов по предпочтению [10] и обеспечить сепарабельность при разбиении функции нескольких переменных на функции, определенные на непересекающихся подмножествах первоначальных переменных [11]. Достаточно простым способом построения функции применимости на многих критериях является использование аддитивной формы ее представления. Впервые это было показано Жераром Дебре в работе [12], где была предложена система аксиом, обеспечивающая существование аддитивной функции для трех и более критериев. Алгебраическое доказательство возможности построения аддитивных функций было дано в работе Льюса и Тьюки [13], рассмотревших случаи «совместных измерений» для случая двух критериев.

В случае полного декартова произведения Xj * X2 *... * XN Фишберн показал [14], что функция применимости может быть представлена в виде аддитивной функции только тогда, когда желательность любой лотереи, обозначаемой (х1,х2,...,хя), зависит только от маргинальных вероятностных распределений компонент и не зависит от их совместного распределения. В этом случае построение n-мерной функции применимости сводится к легко осуществляемому известными методами [15] построению n одномерных функций применимости.

Для формирования интегрального показателя применимости элемента ТДК в настоящей работе выбран подход многокритериальной теории полезности (MAUT — Multi-Attribute Utility Theory). В соответствии с этой теорией интегральная оценка объекта может быть получена как средневзвешенное оценок его атрибутов с учетом присущих им шкал [16].

В этих условиях атрибуты рассматриваются как измерения факторного пространства, а веса в агре-

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

гирующей функции задаются, исходя из степени значимости соответствующего атрибута для оценивающего (потребителя) [7, 17].

В теории MAUT для доказательства существования функции применимости в определенном виде применяется следующий набор аксиом, общих с классической теорией полезности:

а) аксиома полноты, в соответствии с которой принимается, что между применимостями любых элементов может быть установлено отношение превосходства или безразличия;

б) аксиома транзитивности: из превосходства применимости элемента X над применимостью элемента X. и превосходства применимости элемента X. над применимостью элемента Хк следует превосходство применимости элемента Xi над применимостью элемента Xk;

в) Для соотношений между применимостями альтернатив X., X и Xk, имеющих отношения упорядоченности

/(*,)>/(**>>/(*), (5)

можно найти такие числа 0 < а < 1 и 0 < р < 1, что: «•/(Хг) + (1-«)-/(Х,) = /(*.) (1-/?)-/(Х) + /?-/(Х )>/(*,)

г) Независимость по предпочтению. Два атрибута X. и X. независимы по предпочтению от остальных атрибутов, если предпочтения между альтернативами, различающимися оценками по этим атрибутам, не зависят от константных значений по другим атрибутам. Это условие наиболее часто используется в задачах MAUT [14, 18].

Для использования в расчетах функции применимости элемента дорожной карты применяется основная теорема многокритериальной функции применимости в следующей формулировке: если условия независимости по применимости и независимости по предпочтению выполнены, то функция применимости является аддитивной или мультипликативной [7].

Современные исследования показали [19, 20, 21, 22, 23], что для практического применения целесообразно принять гипотезу о независимости атрибутов и аддитивной (средневзвешенного) формы представления агрегирующей функции в целях упрощения моделирования и повышения управляемости модели при оперировании экспертами значениями с некоторым уровнем неопределенности.

На текущий момент использование аддитивной функции применимости в задачах принятия решений в условиях неопределенности является наиболее распространенным подходом для оценки многомерных альтернатив [24, 25, 26].

4. Использование интегральных показателей применимости для оценки элементов ТДК

Канонической формой представления структуры ТДК является многослойная [4], в которой элементы группируются по слоям в соответствии с их принадлежностью к научно-технологической или бизнес-ориентированной стадии разработки и внедрения продукта. Такими слоями являются научные направления, технологии, продукты и рынки. Следовательно, потребителем при оценке элемента какого-либо слоя может выступать элемент следующего вышележащего слоя (рынок для продукта, продукт для технологии, и технология для научного направления).

Для получения интегральных показателей элементов ТДК парам классов «источник-потребитель» определяются функции применимости, значения которых используются в расчете интегральной оценки по MAUT, расширенной для оценки влияния аспектов атрибутов, а также специальных объектов ТДК слоя глобального контекста развития.

Для каждого значимого с точки зрения разработчика ТДК атрибута определенного класса элемента необходимо для получения значения частного показателя применимости определить функцию применимости с указанием класса потребителя

U=f (S, D, A), (7)

где S — класс-источник, D — класс-потребитель, A — значение атрибута, а также поставить в соответствие вес со для агрегации частных показателей в интегральный показатель применимости элемента ТДК.

Оценка такого сложного объекта, как элемент ТДК, сильно затруднена нелинейностью предпочтений, зависящих в первую очередь от точки зрения потребителя на качество интересующих его свойств элемента.

В целях имитации нелинейности предпочтений предусматривается разделение атрибутов по аспектному признаку: технологические (например, «Глубина крекинга»), экономические (например, «Текущая себестоимость»), политические (например, «Важность для технологического лидерства России»),

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

59

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

социальные (например, «Доля вновь созданных высокотехнологичных рабочих мест») и экологические (например, «Снижение доли серы в топливе»).

Помимо определения функций применимости с учетом класса-потребителя для учета взаимного влияния элементов ТДК применяется перебалансировка полученных значений показателей применимости с переносом применимости по установленным связям между элементами.

Перенос показателей применимости может происходить в соответствии с двумя типами эффектов, обусловленных природой элементов ТДК. В случае присутствия эффекта первого типа, называемого выталкивающим эффектом элемента, показатель применимости будет переноситься от нижележащих элементов, способствующих появлению перспективных продуктов. Степень переноса в этом случае будет определяться влиянием элемента-источника на вероятность создания продукта и улучшением его продуктовых свойств (изменению значений атрибутов в сторону увеличения потребительских свойств).

Второй тип переноса будет возникать в случае взаимодействия элементов, относящихся к рыночным предпочтениям и определяющим объемы спроса. В этом случае степень увеличения рейтинга применимости элемента с атрибутами потребительских свойств будет зависеть от степени их соответствия вышележащим элементам, определяющим ожидания потребителей и объемы рынка, потенциально осваиваемые этим элементом.

Коэффициенты переноса, определяющие масштаб эффекта, определяются параметрами связей между элементами ТДК. Объект типа связь имеет два обязательных атрибута: силу влияния и вероятность появления. Исходя из консолидированных значений этих атрибутов, заданных группой экспертов в предметной области, рейтинг элемента ТДК по применимости изменяется в ту или иную сторону на величину, зависящую также и от величины рейтинга связанного элемента.

При перебалансировке учитывается влияние глобального контекста дорожной карты на процессы создания применимости. Контекст может вносить корректировки не только на уровне значений атрибутов, но и в порядок расчета частных показателей применимости и весовых коэффициентов функций свертки, а также порядок переноса рейтинга применимости.

Основным источником поступления данных для формирования частных показателей применимо-

сти являются сведения, собираемые в ходе процедуры опроса экспертов предметной области по возможным значениям каждого атрибута каждого элемента ТДК. Учитывая массовость (несколько сотен экспертов), а также в целях облегчения для эксперта процедуры задания значений атрибутов, при решении задачи принимается допущение о взаимной независимости атрибутов одного элемента.

Инженер-разработчик дорожной карты, исходя из содержательного смысла атрибутов элемента ТДК, принимает решение о выборе аддитивной или мультипликативной (в исключительных случаях) формы функции применимости.

На первом этапе эксперт оценивает диапазон разброса значений атрибута. После оценки диапазона определяются значения функции применимости для всех точек изменения значений.

Максимальное значение функции для нормирования принимается равным единице, минимальное — нулю. Эксперт определяет зависимость направления роста функции применимости от направления шкалы атрибута и в соответствии с этим назначает максимальное и минимальное значения функции применимости на левую и правую границы диапазона. После этого для нахождения промежуточных точек итеративно проводятся типовые лотереи для нахождения детерминированного эквивалента. Для упрощения принятия решения эксперту может предъявляться ряд значений атрибута с вопросом о положении детерминированного эквивалента относительно этих значений.

После того, как инженер-разработчик дорожной карты определил функцию применимости, которая описывает упорядочение по предпочтению всех многомерных альтернатив, последующий анализ проводится с рассмотрением множества практически достижимых оценок по используемым критериям и выбором альтернатив, обладающих лучшими оценками.

Построение функции применимости для отдельного атрибута выполняется следующим образом. При задании метаданных атрибута должны быть указаны следующие параметры:

4- вид шкалы (номинальная, ранговая, метрическая); 4 реперные точки.

Реперные точки определяют интервалы, в которых ценность элемента по данному атрибуту имеет характерное поведение и изменяется с постоянной скоростью. В случае использования метрической шкалы необходимо задать значения показателя

60

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

применимости не менее чем для двух крайних точек в области определения атрибута (минимум и максимум). По двум крайним точкам задается линейное отображение значений атрибута на область допустимых значений показателя применимости.

Если для метрической шкалы задаются дополнительные реперные точки, отображение значений атрибута на интервал показателя применимости принимает кусочно-линейный вид.

При сборе фактических экспертных сведений по атрибуту с метрической шкалой значения атрибута, представленные экспертом, подставляются в вышеуказанные отображения, соответствующие интервалу области определения, и интерполируются в пределах указанного интервала.

При сборе сведений по данному атрибуту от всех экспертов, принимающих участие в опросе, и расчете значений функции применимости атрибута для каждого экспертного мнения выполняется обобщение экспертных сведений и вычисляется консолидированное значение данного атрибута. В силу требования монотонности функции применимости значение показателя применимости корректно рассчитывается как средневзвешенное с учетом компетенций экспертов. В случае нарушения монотонности функции инженер-разработчик дорожной карты должен рассмотреть соответствующий атрибут для выявления в нем смешанного влияния различных характеристик элемента ТДК.

Полученное значение частного показателя применимости изменяется с учетом корректировочных коэффициентов, соответствующих настройкам значимости аспектов атрибутов, а также коэффициентов влияния объектов глобального контекста развития. По окончании корректировки частных показателей применимости для всех атрибутов элемента ТДК, участвующих в расчете интегрального показателя, выполняется свертка частных показателей в интегральный показатель применимости элемента ДК. Для интегральных показателей выполняется перебалансировка в соответствии со структурой связей элементов ТДК и настроек переноса показателей применимости, после чего формируется основная технологическая траектория.

В виду того, что в данном алгоритме расчета основной технологической траектории присутствует значительное количество взаимовлияющих параметров, определяющих порядок получения окончательных результатов, модель является в значительной степени гибкой. Модель может быть ис-

пользована аналитиками предметной области для обработки результатов в интерактивном режиме и проведения сценарного анализа сложных систем со значительным количеством взаимовлияющих объектов. Другим полезным качеством данной модели является возможность проверки большого объема данных на непротиворечивость с учетом ограничений, соответствующих физическому смыслу моделируемых объектов. Например, в случае появления элемента ТДК на временной оси раньше связанного с ним элемента, от которого зависит реализация, аналитик может сделать вывод о несогласованности мнений экспертов и провести повторный сбор сведений с уточнением этого вопроса.

5. Заключение

В работе представлен подход и алгоритмическая реализация способа расчета частных и интегральных показателей применимости элементов технологической дорожной карты и их атрибутов.

В рамках работы предлагается использовать для оценки элементов ТДК многомерные функции применимости. Для формирования интегрального показателя применимости элемента применена многокритериальная теория полезности MAUT, агрегирующая функция представлена в виде аддитивной свертки.

В качестве дополнительного метода повышения точности интегральных показателей применимости предложена перебалансировка показателей применимости с переносом применимости по установленным связям между элементами.

Также в составе работы предложен способ консолидации экспертных сведений, базирующийся на построении частной функции применимости и определении реперных точек, в которых частная функция применимости меняется нелинейно.Опи-санные научно-технологические решения реализованы в составе программного комплекса «Интерактивная дорожная карта с обратной связью».

Программный комплекс предназначен для формирования долгосрочных стратегий технологического и инновационного развития секторов экономики, корпораций, крупных компаний, а также комплексных сценариев развития рынков, продуктов и продуктовых групп.

Предложенный подход к оценке элементов ТДК является одним из важных конкурентных преимуществ комплекса. ■

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

61

ИНФОРМАЦИОННЫЕ СИСТЕМЫ И ТЕХНОЛОГИИ В БИЗНЕСЕ

Литература

1. Инвестиционная деятельность Роснано — дорожные карты. [Электронный ресурс] // Роснано: [сайт]. URL: http://www.rusnano.com/investment/roadmap/oil (дата обращения: 08.05.2013)

2. Albright R.E., Kappel, T.A. Roadmapping in the corporation // Research Technology Management. — 2003. - 42 (2). - P. 31-40.

3. Phaal R., Farrukh C., Probert D.R. Technology roadmapping — A planning framework for evolution and revolution // Technological Forecasting and Social Change. — 2004. — Vol. 71, Issues 1-2. — P 5-26.

4. European Industrial Research Management Association (EIRMA). Working Group report, Issue 52. Technology Roadmapping: Delivering Business Vision. — Paris: EIRMA, 1997.

5. Ford L.R., Fulkerson D.R. Flows in networks. — Princeton University Press, 1962.

6. Ceder A. Public transit planning and operation: theory, modeling and practice. — Oxford, UK: Elsevier, But-terworth-Heinemann, 2007.

7. Кини Р., Райфа X. Принятие решений при многих критериях: замещения и предпочтения / пер. с англ. — М.: Радио и связь, 1981.

8. Фишберн П. Теория полезности для принятия решений. — М.: Наука, 1978.

9. Aleskerov F., Monjardet B. Utility Maximization, Choice and Preference. — Springer Verlag, Heidelberg, 2002.

10. Райфа Г. Анализ решений. Введение в проблему выбора в условиях неопределенности. — М.: Наука, 1977.

11. Leontief W. Econometrica. — Issue 15, № 4 (October 1947). — P. 361-373.

12. Debreu G., Topological Methods in Cardinal Utility Theory / Mathematical Methods in the Social Sciences / K.J.Arrow, S. Karlin, PSuppes eds. — Stanford, CA: 1959.

13. Luce R.D., Tukey J.W. Simultaneous conjoint measurement: a new type of fundamental measurement // Journal of Mathematical Psychology. — 1964. — №1. — P.1-27.

14. Fishburn PC. Independence in Utility Theory with Whole Product Sets // Operations Research. — January-February 1965. — Issue 13, № 1. — P 28-45.

15. Schlaifer R.O. Analysis of Decisions Under Uncertainty. — NY: McGraw-Hill, 1967.

16. Winterfeld D., Edwards W. Decision Analysis and Behavioral Research. — Cambridge, England: Cambridge University Press, 1986.

17. Zeleny M. Linear Multiobjective Programming. — Verlag, Berlin: Springer, 1974.

18. Humphreys PC. Application of multiattribute utility theory // H.Jungerman and G. de Zeeuw (Eds.). Decision making and change in human affairs. — Dordrecht: Reidel, 1977.

19. Bauer M., Gmytrasiewicz P, Vassileva J. Proceedings of the UM2001 Workshop on Machine Learning for User Modeling. — Springer, 2001.

20. Bouyssou D., Jacquet-Lagreze E., Perny P, Slowinski R., Vanderpooten D., Vincke Ph. Aiding Decisions with MultipleCriteria: Essays in Honour of Bernard Roy. — Kluwer Academic Publishers, Dordrecht, 2001.

21. Chin D., Porage A. Acquiring User Preferences for Product Customization. // Proceedings of the 8th International Conference, UM, 2001.

22. Colorni A., Paruccini M., Roy B. A-MCD-A: Multiple Criteria Decision Aiding. Joint Research Center. — Luxembourg: The European Commission, 2001.

23. Schiitz W., Meyer M. Definition einer Parameter-Hierarchie zur Adaptierung der Benutzer-Interaktion in E-Commerce-Systemen // Proceedings of ABIS 2001. — 2001.

24. ScMfer R. Rules for Using Multi-Attribute Utility Theory for Estimating a User’s Interests // CAWICOMS Consortium. Deliverable D01 — Requirements, Application Scenarios, Overall architecture and Test Specification, 2000.

25. Ehrgott M., Gandibleux X. Multiple Criteria Optimization. State of the Art Annotated Bibliographic Surveys. — Kluwer Academic Publishers, Dordrecht, 2002.

26. Trzaskalik T., Michnik J. Multiple Objective and Goal Programming: Recent Developments. — Physica Verlag, Heidelberg, 2002.

62

БИЗНЕС-ИНФОРМАТИКА №3(25)-2013 г

i Надоели баннеры? Вы всегда можете отключить рекламу.