CC BY
54
Медведєва О.М. Особливості формалізації суджень експертів відносно критеріальних показників проектних пропозицій при застосуванні для прийняття оціночних рішень інтроформаційних моделей на нечітких множинах / О.М. Медведєва, А.В. Євдокимова // Управління проектами та розвиток виробництва: Зб.наук.пр. - Луганськ: вид-во СНУ ім. В.Даля, 2013 - №2(46). - С. 77-86. - Режим доступу: http://www.pmdp.org.ua/___________
УДК 005.8:005.22
О.М. Медведєва, А.В. Євдокимова
ОСОБЛИВОСТІ ФОРМАЛІЗАЦІЇ СУДЖЕНЬ ЕКСПЕРТІВ ВІДНОСНО КРИТЕРІАЛЬНИХ ПОКАЗНИКІВ ПРОЕКТНИХ ПРОПОЗИЦІЙ ПРИ ЗАСТОСУВАННІ ДЛЯ ПРИЙНЯТТЯ ОЦІНОЧНИХ РІШЕНЬ ІНТРОФОРМАЦІЙНИХ МОДЕЛЕЙ НА НЕЧІТКИХ МНОЖИНАХ
Розроблено підхід до формування бази знань експертної системи оцінювання проектних пропозицій для прийняття рішення про їх фінансову підтримку. Підхід базується на запропонованій моделі розрахунку цілісної оцінки проектної пропозиції. Модель вперше передбачає двоетапне застосування інтроформаційних моделей теорії несилової взаємодії як параметрів оціночних рішень - базових та умовних цілісних оцінок проектної пропозиції. Обґрунтовані вимоги до віконних інтерфейсів підсистеми автоматичного формування знань експертної системи оцінювання, яка покроково реалізує запропоновану модель. Рис. б, дж. 27.
Ключові слова: портфель, проектна пропозиція, оцінювання, оціночне рішення, цілісність, оцінка, показник, критерій, експертна система, база знань, формалізація знань експерта, ранжирування.
Е.М. Медведева, А.В. Евдокимова
ОСОБЕННОСТИ ФОРМАЛИЗАЦИИ СУЖДЕНИЙ ЭКСПЕРТОВ ОТНОСИТЕЛЬНО КРИТЕРИАЛЬНЫХ ПОКАЗАТЕЛЕЙ ПРОЕКТНЫХ ЗАЯВОК ПРИ ИСПОЛЬЗОВАНИИ ДЛЯ ПРИНЯТИЯ ОЦЕНОЧНЫХ РЕШЕНИЙ ИНТРОФОРМАЦИОННЫХ МОДЕЛЕЙ НА НЕЧЕТКИХ МНОЖЕСТВАХ
Разработан подход к формированию базы знаний экспертной системы оценивания проектных заявок для принятия решения об их финансовой поддержке. Подход базируется на предложенной модели расчета целостной оценки проектной заявки. Модель впервые предполагает двухэтапное применение интроформационных моделей теории несилового взаимодействия как параметров оценочных решений - базовых и условных целостных оценок проектной заявки. Обоснованы требования к оконным интерфейсам подсистемы автоматического формирования знаний экспертной системы оценивания, которая пошагово реализует предложенную модель. Рис. 5, ист. 27.
E.M.Medvedieva, A.V. Evdokimova
FEATURES OF FORMALIZATION OF EXPERTS’ JUDGMENTS ABOUT CRITERION INDICATORS OF THE PROJECT REQUESTS IN EVALUATION DECISION MAKING ON THE BASE OF INTROFORMATION MODELS ON FUZZY SETS
Approach to forming the knowledge base of the project requests evaluation expert system is worked out to support a decision-making about their sponsorship. Approach is based on the offered model of calculation the entire mark of the project request. A model first supposes a twostage application of introformation models of the non-force interaction theory as evaluation decision parameters - base and conditional entire marks of the project request. Reasonable requirements are set to the window interfaces of the automatic knowledge forming subsystem within evaluation expert system that will realize the offered evaluation model incrementally.
JEL O22
ВСТУП
Постановка проблеми у загальному вигляді та її зв’язок із важливими науковими чи практичними завданнями. Сьогодні при оцінці проектних пропозицій, які подаються для отримання фінансування, все частіше виникають ситуаціє, коли на експертів та зміст експертного висновку тиснуть зовні організації-заявники, громадські організації, чиновники різного рівня [1]. В результаті по дуже схожим проектним пропозиціям приймаються різні оціночні рішення. А це порушує одну з головних умов Стандарту оцінки в системі ООН, який сьогодні можна вважати одним з найкращих керівництв для тих, хто професійно займається оцінюванням. Вона стосується методології оцінювання, яка «повинна бути достатньо жорсткою для вивчення об’єкту оцінювання та забезпечувати проведення повного, справедливого та безпристрасного аналізу» [2, с. 13]. Збільшення кількості потенційних джерел фінансування, як з боку держави, так і недержавних структур та міжнародних фондів, роблять актуальним розробку експертних систем оцінки проектних пропозицій. Доведено, що сучасні експертні системи не поступаються оціночним рішенням експерта-людини [3].
Аналіз останніх досліджень і публікацій, в яких започатковано розв’язання даної проблеми і на які спирається автор. Сьогодні існує велика кількість різноманітних експертних систем. Технологія експертних систем використовується у самих різноманітних предметних галузях - медицині, фінансовій сфері, енергетиці, фармації, менеджменті, військовій справі та при вирішенні різних задач - контролю, діагностики, управління тощо [4].
Експертні системи як розділ науки, пов’язаний зі штучним інтелектом, розвивається вже багато років, починаючи з кінця 1960-х років, коли в Стєнфорді була розроблена перша експертна система Dendral. Багаторічний досвід розробки та експлуатації таких систем довели, що найбільш важкою при створені експертних систем є проблема створення бази знань [5]. Сьогодні існує декілька підходів до формування таких баз знань, які розвиваються у двох напрямках: на основі «витягнення» знань у групи експертів та на основі діалогу з одним експертом [6]. Але на сьогодні не до кінця з’ясоване питання щодо визначення надійності і переваг кожного з цих підходів.
До цієї задачі додається задача підбору експертів. «Вибираючи експертів, часто роблять велику помилку, вважаючи, що людина, яка уміло виконує якусь роботу повинна також бути здатна грамотно її оцінити.... Уміння оцінювати (приймати оціночні рішення) - навичка, що вимагає спеціальних зусиль із її напрацювання. Далеко не усі експерти, які з ентузіазмом вивчають різні технології, приділяють хоч би якусь увагу поліпшенню точності своєї оцінки, систематично накопичуючи свою внутрішню статистику. Окрім цього, не усі люди здатні ефективно діяти в ситуації невизначеності, яка природно властива оцінюванню» [7]. Ці ствердження консультанта по управлінню проектами і методикам оцінки проектів О. Корецького базуються на багаторічному досвіді його роботи в цій галузі. Такої ж думки дотримуються і автори роботи [3]. Вони 2 “Управління проектами та розвиток виробництва”, 2013, № 2(46)
стверджують, що «Для того, щоб розв'язати проблему в певній області, експертові недостатньо просто мати суму знань про факти і принципи в цій області. ... Виявити в процесі співбесіди такого роду знання, які ґрунтовані на особистому досвіді і що погано піддаються формалізації, значно складніше, ніж отримати простий перелік якихось фактів або загальних принципів....Експертний аналіз навіть в дуже вузькій області, виконуваний людиною, дуже часто треба помістити в досить великий контекст, який включає і багато речей, що здаються експертові само собою зрозумілими, але для стороннього - ні в якому разі не є такими».
Виділення невирішених раніше частин загальної проблеми, котрим присвячується означена стаття. Окремою групою можна виділити експертні системи з оцінювання проектів та проектних пропозицій [1, 8, 9, 10]. Для таких систем, крім вище названих невирішених задач, ще додаються інші задачі. Одна з них - необхідність у короткий термін отримати експертні знання достатньо великої кількості експертів, які розташовані в різних куточках не тільки держави, а й світу. Друга - також за достатньо короткий термін провести експертизу великої кількості проектних пропозицій. Такі задачі, наприклад, стають перед державними фондами [11 та інші]. Вирішення цих задач ми бачимо у напрямку комп’ютерного «відбору» знань у експертів. Для цього доцільно застосувати новітню теорію несилової взаємодії Ю. Теслі [12]. На сьогодні на її основі розроблена методологія, методи та інструментарій ціннісно-орієнтованого управління взаємодією в проектах [13], яка поєднала вищезазначену теорію та теорію нечітких множин. Але в рамках цієї методології ще не розглядались задачі оцінювання.
Формулювання цілей статті (постановка завдання). Невирішеність описаних вище задач, практична необхідність в інструментарії оцінювання і визначили мету дослідження. Вона полягає у встановленні особливості формалізації суджень експертів відносно критеріальних показників проектних пропозицій при застосуванні для прийняття оціночних рішень інтроформаційних моделей на нечітких множинах.
ОСНОВНІ РЕЗУЛЬТАТИ
Методи та методики дослідження. При проведені дослідження були використані методи, які отримали практичне підтвердження їх надійності та ефективності, а саме: метод комп’ютерного експерименту [14], метод
мінімаксного ранжирування [15], метод багатокритеріальних шкал [16] та положення теорії несилової взаємодії в нечіткій постановці [13].
Виклад основного матеріалу дослідження з повним обґрунтуванням отриманих наукових результатів. Практична сутність положень теорії несилової взаємодії з позиції задач прийняття оціночних рішень полягає в наступному. Отриманий в цій теорії математичний інструментарій дає змогу розрахувати остаточні цілісні оцінки об’єктів оцінювання з урахуванням усіх показників визначеної кількості пріоритетів. У загальному вигляді розрахунок цілісної оцінки конкретної проектної пропозиції можна представити як:
Ет = р(Ет , /(іЕт = /(Ет ,^ ))), (1)
І т^т ■ ■ .. ■■■7
де . Ек - умовна цілісна оцінка проектної пропозиції к, яка враховує вплив на неї тільки одного показника і з критерію І;
1 Ек - базова безумовна цілісна оцінка проектної пропозиції портфелю т, який оцінюється критерієм І;
І т^т ■ ■ ■■ ■■■7
Ек - умовна цілісна оцінка проектної пропозиції к, яка претендує на «потрапляння» до портфелю т, яка оцінена з урахуванням усіх показників критерію І;
Ек - базова цілісна оцінка проектної пропозиції, яка претендує на потрапляння до портфелю т ;
Ек - остаточна цілісна оцінка проектної пропозиції к, яка претендує на
потрапляння до портфелю т .
Як бачимо, модель остаточної цілісної оцінки проектної пропозиції (1) передбачає послідовне двоетапне застосування інтроформаційних показників несилової взаємодії. Але на сьогодні відсутня будь-яка інформація щодо такого підходу та особливостей його застосування. Це є окремою науковою задачею, яка потребує окремих додаткових досліджень.
Розрахунок оцінки для кожної проектної пропозиції є результатом експертної оцінки. Їх можна поділити на дві групи.
Перша група - це базові цілісні оцінки Ек, 1Ек. Змістовно ці оцінки враховують пріоритетність конкретного портфелю проектів, який передбачається сформувати за результатами оцінювання проектних пропозицій (Ек), та пріоритетність того чи іншого критерію І в системі критеріїв оцінювання портфелю к (ІЕк).
Друга група - це умовні цілісні оцінки ;ІЕк , 1Ек. Вони відображають вплив
на цілісну оцінку проектної пропозиції або конкретного показника ] (]Ек) або
конкретного критерію І (ІЕк). Якщо для усіх портфелів використовується єдина система критеріїв та їх важливість в кожному портфелі однакова, то визначення оцінок Ек не проводиться.
Для отримання перерахованих оцінок за допомогою комп’ютерної експертної системи потрібно сформувати базу знань. В умовах, коли експерти знаходяться у географічно віддалених один від одного місцях або в незручному часі спільного спілкування, доцільно таку формалізацію виконати за допомогою підсистеми автоматичного придбання знань. Така підсистема є одним з елементів структури сучасних експертних систем [17, с.374]. Головним завданням у цьому процесі є правильний вибір інструментарію проведення формалізації. Це зумовлено тим, що всі існуючі методи формалізації первинних знань експертів в принципі не забезпечують достовірності прийнятих на їх основі рішень у розумінні можливості покладатись на ці рішення [18]. Причина - неможливість запобігти суттєвої участі особистості (експерта) у формалізації. Тому такі рішення завжди є ризикованими [19].
В роботі [20] було показано, що експертні знання мають важливі характерні риси:
1. Експерти оперують когнітивними структурами - паттернами, які є образами відповідних явищ у заданій предметній галузі.
2. Проявом мислення експертів є пряме рішення, а не перебір можливих варіантів (як це роблять новачки).
3. Експертні знання, в основному, підсвідомі. А правила, які вони все ж можуть явним образом вербалізувати, охоплюють тільки підмножину найбільш простих завдань.
Підсумовуючи ці характерні риси, можна стверджувати, що експерти оперують цілісностями, про які вони можуть явно висловлюватись у дуже простих ситуаціях. Саме це закладено в якості принципу отримання вхідної інформації для розрахунку цілісних оцінок, який описано вище.
Одним з напрямків зниження ризикованості оцінок як результату прийняття рішень експертами є застосування так званих «м’яких» якісних вимірювань (порівняння, упорядкування, ранжирування та інш.) [21]. При цьому доцільно використовувати методи нечіткої формалізації [22]. Тому для побудови бази знань найбільш інформованим вважається проведення рейтингу в кількісних шкалах [23], що тотожно підходу проведення порядкової експертної класифікації [24].
Виходячи з сутності положень теорії несилової взаємодії, в ситуації первинного сприйняття об’єктів, коли ще відсутня інформація про них, упевненість про судження про ці об’єкти відносно їх підтримки або «непідтримки» однакова [12, с.85]. Тому первинне значення базових цілісних оцінок усіх
портфелів (пріоритетних напрямків), усіх проектних пропозицій Етв , усіх критеріїв
1будуть дорівнювати 0,5. Але це значення необхідно розглядати як нечітке число. Це доведено в роботі [13]. В таких умовах, наприклад, кожний портфель буде мати різний ступінь приналежності до цього числа. Цей ступінь можна визначити, якщо провести ранжирування портфелів. А для спрощення подальших розрахунків різні ступені приналежності доцільно замінити різними нечіткими числами. Значення їх ядер будуть розташовані в області носія нечіткого числа 0,5. Для цього потрібно застосувати процедуру стиснення шкал та функцій приналежності, яка описана в роботі [25].
З метою зниження впливу людського фактору при ранжируванні використаємо метод мінімаксного ранжирування, запропонований в роботі [15 ]. На рис. 1 цей метод представлено у вигляді графічної моделі.
В програмному продукті, в якому буде реалізовано метод мінімаксного ранжування, віконні інтерфейси повинні мати вигляд, наведений на рис. 2.
Для отримання умовних цілісних оцінок ^Е^ , 1Ет потрібно мати відповідні
шкали. Враховуючи, що оціночні показники можуть мати як кількісну, так і якісну природу [26], передбачається їх побудову реалізувати у два етапи.
Перший етап передбачає визначення назви показника, його типу та розкриття сутності (рис. 3).
Другий етап, в залежності від типу показника (кількісний або якісний), реалізується наступним чином. Для кількісних показників з урахуванням запропонованої в роботі [25] двоетапної процедури оцінювання із застосуванням еніа-шкали пропонується використати віконний інтерфейс, наведений на рис. 4.
ш - елементи що видаляються CD - послідовність видалення елементів Рис. 1. Графічна модель мінімаксного методу ранжирування
а)
Ъ. Виберіть зі списку найменш важливий, на Вашу думку, елемент. Помітьте його символом «+»
о
□
□
□
□
о
□
ДМ’^>
г)
Рис. 2. Вимоги до віконних інтерфейсів реалізації мінімаксного методу ранжирування
а, б, в, г - послідовність реалізації
Рис. 3. Вимоги до віконного інтерфейсу для формування системи показників за
відповідним критерієм
Рис. 4. Вимоги до віконного інтерфейсу для формування шкали кількісного показника
Слід відзначити, що при побудові шкали використано метод багатокритеріальних шкал [16]. Згідно з ним крайні значення повинні задаватись зовні, а не визначатись експертом. Ці значення за своєю сутністю є еталонами -
“Управління проектами та розвиток виробництва”, 2013, № 2(46) 7
позитивним або негативним [23]. В нашому випадку це ідеальне та неприпустиме значення оцінки.
Для якісних показників передбачена процедура пошуку відповідності опису стану показника наведеним судженням (рис. 5). Такий інтерфейс передбачає можливість різним станам показника поставити у відповідність однакове судження.
ОБГОВОРЕННЯ
Обґрунтування отриманих результатів. Описаний підхід до формування бази знань за своєю сутністю можна віднести до продукційного підходу, який засновується на визначенні правил [27]. Незважаючи на те, що у явному вигляді експерти не формулюють множину правил виду «якщо...., то ....», вони це роблять невербально при формулюванні якісних та кількісних показників по кожному критерію. Крім того слід розуміти, що при подальшому застосуванні сформованої бази знань спільно з базою даних, яка буде містити інформацію про усі проектні пропозиції, для отримання висновку (оцінки проектної пропозиції) будуть використовуватись саме продукційні правила. Фактичне значення конкретного показника конкретної проектної пропозиції буде порівнюватись з множиною, яка у сукупності представляє відповідну шкалу оцінювання. А вибір фактичної оцінки, яка буде відповідати зафіксованим в множині бази знань судженням експертів, буде реалізовуватись саме за правилом «якщо ... співпадає з .. , то оцінка ..».
Це дає підстави стверджувати, що отримана в процесі автоматизованого інтерв’ювання експертів сукупність шкал та ранжируваних списків складає єдину понятійну систему (онтологію) для усіх учасників, які причетні до формування, оцінювання й відбору проектних пропозицій до того чи іншого портфелю.
У6 (Назва показника) відповідають наведеним судженням
Судження Відповідність Опис показника
Недопустиме і □ 1
Найгірше 2 1 II
Найгірше наближене до среднього 3 ПІ
Середнє наближене до 4 иі
Середнє 5 ПІ
Середнє наближене до найкращого 6 ПІ
Найкраще наближене до середнього 7 ПІ
Найкраще 8 1 II
Ідеальне 9 ПІ
Рис. 5. Вимоги до віконного інтерфейсу для формування шкали якісного показника
До відмінних ознак запропонованого підходу можна віднести застосування методу мінімаксного ранжирування. Його переваги полягають в тому, що
експерту завжди легше, комфортніше вибрати з усієї множини напрямків (або критеріїв) той напрям, який, на його думку, є найменш або найбільш привабливим. Саме поступове викреслення з віконних інтерфейсів вже відомих елементів множини не потребує (як, наприклад, при реалізації методу попарного порівняння) багаторазового звернення до одних і тих самих елементів множини. Тобто, метод мінімаксного ранжирування за своєю сутністю відповідає сутності теорії несилової взаємодії. Ця сутність полягає в тому, що в них реалізований підхід цілісного сприйняття особистістю будь-якого об’єкту без використання (у формалізованому експлікованому вигляді) процедур порівняння. Тобто отримання висновку є результатом однокрокового когнітивного процесу (в термінах роботи [19]).
В описаному підході у явному вигляді не присутні атрибути апарату нечітких множин. Але уся база знань, яку можна сформувати за його допомогою, буде використана в подальшому як нечітка. За своєю сутністю це інформація про ядра функцій приналежності, які використовуються в інтроформаційних моделях теорії несилової взаємодії в нечіткій постановці. Вони будуть застосовані для розрахунку остаточної цілісної оцінки проектних пропозицій (формула (1)).
Запропонована послідовність процесу формування бази знань дає можливість також реалізувати багатотактну модель, яка передбачає можливість використовувати різні когнітивні засоби формалізації (різних експертів) на різних кроках її формування [19].
Висновки
1. Математичний інструментарій теорії несилової взаємодії дозволяє розрахувати остаточну цілісну оцінку проектної пропозиції з урахуванням усіх показників за визначеною кількістю критеріїв. Запропонована модель такої оцінки вперше передбачає двоетапне застосування двох груп інтроформаційних показників теорії несилової взаємодії в контексті задачі оцінювання: базових та умовних цілісних оцінок. Запропонована система багатомірних індексів цих оцінок дозволяє спростити процедуру програмної реалізації розробленого підходу до формалізації знань експертів.
2. Базова безумовна цілісна оцінка проектної пропозиції характеризується певним ступенем приналежності до нечіткого числа 0,5. Такий ступінь приналежності визначається за результатами ранжирування портфелів, що формуються.
3. Зниження впливу людського фактору при ранжируванні досягається за рахунок застосування мінімаксного методу ранжирування. Метод найбільш адекватно реалізує цілісне оперування цілісностями в природних процесах мислення особистості.
4. В підсистемі автоматичного придбання знань експертної системи оцінювання проектних пропозицій інструментарій формалізації знань експертів повинен відповідати вимогам оперування цілісностями та формування простих суджень у простих ситуаціях особистістю. З цих позицій запропоновані вимоги до віконних інтерфейсів для ранжирування портфелів, формування системи показників проектної пропозиції за відповідним критерієм, формування шкал кількісних та якісних показників проектної пропозиції.
Перспективи подальших досліджень у даному напрямку. Успішне застосування запропонованого підходу до формалізації знань експертів може бути досягнуто тоді, коли за аналогічними принципами буде побудована система формування бази даних про проектні пропозиції. Побудова такої системи потребує проведення додаткових досліджень.
ЛІТЕРАТУРА
1. Система экспертной оценки письменных заявочных материалов, поступающих на конкурсы Фонда [Электронный ресурс]. - Режим доступа: http://www.samarafond.ru/pages/sistema_ekspertnoj_o. - Загл. с экрана.
2. Стандарты оценки в системе ООН [Электронный ресурс] / Группа ООН по оценке
(ГООНО). Режим доступа: http://yandex.ru/clck/jsredir?
froт=yandex.ua%3Byandsearcl^%3Bweb%3B%3B&text=Стандарты0/o20оценки%20в%20 системе%20ООН. - Загл. с экрана.
3. Экспертные системы [Электронный ресурс]. - Режим доступа: http://www.aiportal.ru/articles/expert-systems/1/. - Загл. с экрана.
4. Уотермен, Д. Руководство по экспертным системам / Д. Уотермен; Пер. с англ. под ред. В.Л. Стефанюка. - М.: «Мир», 1989. - 388 с.
5. Суменков, М.С. Экспертные системы при принятии решений на предприятии [Электронный ресурс] / М.С.Суменков, С.М. Суменков // Бизнес, менеджмент и право.
- 2003. - №2 «О несостоятельности (банкротстве)». - Режим доступа:
http://www.bmpravo.ru/show_stat.php?stat=193. - Загл. с экрана.
6. Кобринский, Б.А. Извлечение экспертных знаний: групповой вариант [Текст] / Б.А. Кобринский // Новости искусственного интеллекта. - 2004. - №3. - С.58-66.
7. Корецкий, А. Экспертная оценка: оценивание как особый вид деятельности [Электронный ресурс] / Алексей Корецкий. - Режим доступа: http://www.luxoft-training.ru/blog/software_estimation/345.html. - Загл. с экрана.
8. Прокопов, Б.И. Инновационные проекты: экспертиза и оценка [Текст] / Б.И. Прокопов // Проблемы современной экономики. - 2009. - №2(30).
9. Корчагин, А.В. Отбор проектов для финансирования: экспертные методы
[Электронный ресурс] / А.В. Корчагин // Банковское кредитование. Методический журнал. - № 2/2005. - Режим доступа:
http://www.reglament.net/bank/credit/2005_2_article_1.htm.
10. Экспертная система оценки проектов [Электронный ресурс]. - Режим доступа: http://siberia-soft.ru/es. - Загл. с экрана.
11. Державний фонд сприяння місцевому самоврядуванню в Україні. Офіційний сайт [Електронний ресурс]. - Режим доступу: http://municipal.gov.ua/. - Загл. з екрана.
12. Тесля, Ю.М. Введение в информатику природы [Текст]: монография / Ю.М. Тесля. - К.: Маклаут, 2010. - 255 с.
13. Медведєва, О.М. Ціннісно-орієнтоване управління взаємодією в проектах:
методологічні основи [Текст]: автореф. дис... д-ра техн. наук: 05.13.22 /
О.М. Медведєва / Київ. націон. ун-т буд-ва та архітектури. - К., 2013. - 44 с.
14. Налимов, В.В. Логические основания планирования эксперимента [Текст]/ В.В. Налимов, Т.И. Голикова. - М.: Металлургия, 1980. - 152 с.
15. Рач, О.Н. Оценка коэффициента важности единичных показателей обобщенного критерия [Текст]/ О.Н. Рач // Вестник ВНУ, 2000. - №11 (33). - С.179-183.
16. Рач, О.Н. Перспективы развития метода многокритериальных шкал [Текст]/ О.Н. Рач // Управління проектами та розвиток виробництва: Зб. наук. праць. - Луганськ: вид-во СНУ ім. В.Даля, 2001. - №1 (3). - С.43-48.
17. Бондарев, В.Н. Искусственный интеллект [Текст]: Учеб. пособие для вузов / В.Н. Бондарев, Ф.Г. Аде. - Севастополь: СєвнТу, 2002. - 615 с.
18. Авдеева, З.К. Эвристический метод концептуальной структуризации знаний при формализации слабоструктурированных ситуаций на основе когнитивных карт [Текст] / З.К. Авдеева, С.В. Коврига // Управление большими системами. - 2010. - Выпуск 31.
- С. 6-34.
19. Абрамова, Н.А. О проблеме рисков из-за человеческого фактора в экспертных методах и информационных технологиях [Текст] / Н.А. Абрамова // Проблемы управления. - 2007. - №2. - С. 11-21.
20. Асанов, А.А. Методы извлечения и анализа экспертных знаний [Текст]: автореф. дис... канд. техн. наук: 05.13.01 / А.А. Асанов; Ин-т системного анализа рАн. - М., 2006. -24 с.
21. Асанов, А.А. Влияние надежности человеческой информации на результаты применения методов принятия решений [Текст] / А.А. Асанов, О.И. Ларичев // Автоматика и телемеханика. - 1999. - №5. - С.20-31.
22. Ажмухамедов, И.М. Методология моделирования плохоформализуемых слабоструктурированных социотехнических систем [Текст] / И.М. Ажмухамедов, О.М. Проталинский // Вестник АГТУ. Сер.: Управление, вычислительная техника и інформатика, 2013. - №1. - С.144-154.
23. Крисилов, В.А. Методы формализации целей проведения рейтингов [Электронный
ресурс] / В.А. Крисилов. - Режим доступа:
www.ranking.crimea.edu/2007/06/08/metody_formalizacii_cele_provedeniya_retingov_.htm.
- Загл. с экрана.
24. Кочин, Д.Ю. Построение баз экспертных знаний для интеллектуальных обучающих систем [Текст]: автореф. дис... канд. техн. наук: 05.13.01 / Д.Ю. Кочин; Ин-т системного анализа РАН. - М., 2006. - 24с.
25. Євдокимова, А.В. Застосування трансформованих функцій приналежності для оцінки проектних пропозицій щодо соціально-економічного розвитку громади [Текст] / А.В. Євдокимова // Управління проектами та розвиток виробництва: Зб. наук. праць. -Луганськ: вид-во СНУ ім. В.Даля, 2013. - №1(45). - С. 138-145.
26. Бегунов, И.А. Технология формирования базы знаний экспертной системы психотерапевтического воздействия / Бегунов И.А., Баранова Н.А., Паньков В.П. // Фундаментальные исследования. - 2011. - №7 - С. 22-26.
27. Логунова, Е.А. Обзор методов формирования баз знаний [Текст] / Е.А. Логунова // Технические науки: теория и практика: материалы междунар. науч. конф. (г. Чита, апрель 2012 г.). - Чита: Молодой ученый, 2012. - С. 62-64.
Рецензент статті Стаття надійшла до редакції
д.т.н., проф. Тесля Ю.М. 16.05.2013 р.
