CC BY
23
УДК 332 ББК 65
МЕТОДОЛОГИЯ ОПРЕДЕЛЕНИЯ ЦЕННОСТИ ИНФОРМАЦИИ В РЕГИОНАЛЬНЫХ ЗАДАЧАХ ПРИНЯТИЯ УПРАВЛЕНЧЕСКИХ РЕШЕНИЙ С УЧЕТОМ УСЛОВИЙ НЕОПРЕДЕЛЕННОСТИ
А. И. Бородин, В. В. Конорев
В настоящее время с помощью экономико-математических моделей и современных вычислительных средств решается целый ряд задач управления региональной экономикой. Эффективность применения экономических информационных систем (ЭИС) для управления экономическими объектами (предприятиями, банками, торговыми организациями, государственными учреждениями и т. д.) зависит от широты охвата и интегрированности на их основе функции управления, от способов оперативно подготавливать управленческие решения и адаптироваться к изменениям внешней среды и информационных потребностей.
Для начала ХХ1 века характерно развитие телекоммуникационных средств типа Интернет, Интранет, которое привело к созданию гибких локальных и глобальных вычислительных сетей, предопределивших возможность разработки и внедрения корпоративных ЭИС (КЭИС). Развитие методов интеллектуального анализа данных на основе применения концепций информационных хранилищ, экспертных систем, систем моделирования бизнес-процессов, реализованных в контуре общей информационной системы, способствует усилению обоснованности принимаемых управленческих решений.
Таким образом, современные информационные системы, в том числе и маркетинговые информационные системы (МИС), обеспечивают оперативность коммуникации и интеграцию участников бизнес-процессов, повышают качество принимаемых решений на всех уровнях управления.
При решении ряда задач управления экономикой территориального образования
— региона некоторые из них не поддаются формализации из-за наличия трудноизмеримых качественных факторов и «человеческого фактора», оказывающего существенное влияние на качество решений. Необходимость учета этих факторов становится
особенно актуальной при решении задач прогнозирования и перспективного научно-технического развития региона и региональных промышленных связанно-диверсифицированных систем (СДС), т. е. там, где наиболее часто может использоваться научная и технико-экономическая информация.
Удельный вес таких задач в практике регионального управления особенно возрос в последнее время, что вызвало их разработку и использование в подобного рода задачах методов нестрогой формализации. Наибольшее распространение получили логико-вероятностные методы экспертных оценок и байесовский подход к управлению, разработанные С. А. Оптнером [Оп-тнер 2000]. Особенностью этих методов является то, что использование информации в процессе принятия решения связывается с уменьшением некоторой априорной неопределенности. При этом неопределенность понимается иначе, чем, например, в статистической теории информации.
Статистическая неопределенность характеризуется тем, что позволяет абстрагироваться от субъективного элемента в вероятном описании. Такая неопределенность возникает в статистических ансамблях, а также в различных играх. В ряде случаев статистической неопределенности свойственна равновозможность исходов (неизвестно, какой стороной упадет монета, какой билет выиграет в лотерее и т. д.), в других она определяется через объективно измеряемую величину — частоту, характеризующую данный массовый объект. Несмотря на наличие субъективного элемента, его влияние здесь незначительно, и им можно пренебречь. В этих случаях неопределенность создается поведением самого объекта, а субъект выступает лишь как «наблюдатель». Неопределенность этого вида изучается теорией вероятностей, отдельные представители которой, например, С. Шле-ер и С. Меллор считают, что никакой дру-
гой вид неопределенности не существует и не может изучаться никакой другой наукой [Бородин 2012: 117-122].
Однако в человеческой деятельности, в том числе в управлении, встречается неопределенность другого типа, при которой существенную роль играет деятельность самого субъекта и для описания которой привлекается понятие субъективной вероятности. Такая трактовка расширяет диапазон понятия вероятности и имеет целый ряд сторонников, которые полагают, что вероятность является «пакетным понятием» и «выбор той или иной концепции из этого пакета зависит от вида неопределенности и целей, которые мы стремимся достигнуть в границах данной неопределенности ситуации». При этом субъективная концепция используется в процессе принятия решений, предполагающих активную деятельность субъекта и когда сам ход событий в той или иной мере зависит от принятого решения [Липаев, Филимонов 1997: 72]. Как видно из этого замечания, большинство управленческих решений может рассматриваться с позиции субъективной интерпретации вероятности.
Субъективная вероятность есть степень разумной уверенности или просто степень веры субъекта в то, что данное событие произойдет, или что данное высказывание истинно, или что данная гипотеза подтвердится. Мерой субъективной вероятности является число, заключенное между 0 и 1, которое выражает степень уверенности человека в истинности некоторого события (утверждения). Эта мера обладает следующими свойствами:
— она является условной (условная вероятность), поскольку основана на априорной информации о данном событии;
— сумма оценок взаимоисключающих событий должна быть равна 1.
В основе субъективного подхода лежит апостериорная переоценка исходных вероятностей, приписываемых первоначально рассматриваемым гипотезам. Субъект, принимающий решение, после первоначальной оценки гипотез получает некоторую информацию, меняющую эту оценку, а исчисление вероятностей осуществляется по формуле Байеса. Возникает вопрос о том, нет ли произвола в назначении исходных вероятностей и не является ли субъективная вероятность понятием субъективистским в дурном смысле.
Базой для исходного распределения вероятностей служит индивидуальный и социальный опыт лица, принимающего решение (ЛПР), и, в дополнение к этому, субъективная концепция фактически учитывает его намерения и ожидания в условиях неопределенности. Теория субъективной вероятности является логической теорией, поскольку она допускает отнюдь не любые комбинации степеней уверенности. Одним из ограничений выступает здесь условие когерентности, требующее, чтобы отношения между степенями уверенности удовлетворяли отношениям, определяемым исчислением вероятностей. В противном случае субъект рискует потерпеть неудачу при любом исходе, а его некогерентное поведение будет указывать на необходимость изменения некоторых степеней уверенности субъекта.
Таким образом, действительные степени уверенности реального субъекта превращаются в рациональные степени уверенности идеализированного субъекта. Степень уверенности в субъективной теории определяется через ставочное (выборочное) поведение субъекта, т. е. связывается с деятельностью субъекта и состоит в его склонности сделать некоторый выбор (ставку). Понятие когерентного поведения накладывает на поведение субъекта ограничительное условие, согласно которому допускаются не все ставки (или выбор любой альтернативы), а только те, которые связаны между собой так, что гарантируют от полного проигрыша. Более строгое ограничение, как считает
В. А. Лефевр, заключается в том, что субъект не может иметь чистый выигрыш при всех возможных исходах, т. е. вероятность не принимает значений 1 и 0, за исключением принципиально невозможных случаев [Бородин 2012].
Другим важным понятием субъективной логики является понятие эквивалентных событий. С помощью понятия эквивалентных событий удалось связать субъективную вероятность с аппаратом теории вероятности, а именно с байесовским подходом, применение которого для изучения информационного аспекта принятия решений представляется весьма перспективным. Следует подчеркнуть, что введение эквивалентных событий накладывает на поведение ЛПР главное ограничение — требует от него разумной уверенности. Это означает, что человек, принимающий решение, должен
основывать степень уверенности на определенной информации, с получением которой степень уверенности разных лиц совпадает, что особенно важно при принятии управленческих решений на уровне региона, на корпоративном уровне. Таким образом, начальная информируемость формирует исходные степени уверенности у различных субъектов, которые по мере увеличения знания начинают совпадать, что является показателем объективности научного знания.
Ценность информации, получаемой в процессе подготовки решений и влияющей на изменение степени уверенности субъекта в истинности какого-либо события, оценивается с помощью теоремы Байеса, что формально можно представить следующим образом.
Допустим, что ЛПР оценивает истинность гипотезы В. с вероятностью Р(В) Затем он получает некоторые сведения 5, в результате чего степень его уверенности меняется и характеризуется вероятностью Р(В /5). Если попытаться оценить эту вероятность, то необходимо учитывать вероятность получения сведений 5 для случая, когда гипотеза В истинна, т. е. вычислить вероятность Р(В /5), характеризующую гипотезу В. с точки зрения ее правдоподобия. Конечное (апостериорное) значение вероятности реализации гипотезы определяется по формуле Байеса как:
P(Dj/ S)-
P(S/D,) (Р(D,))
j^PCS/Di (Р(Ц)) i=\
(1)
нуть вопрос о том, какое из событий имеет большую степень правдоподобия. Для события В1 имеем:
= тщШо1)1 (2)
' Р(Э)
Аналогично для события В имеем:
P(P2/S)= Г(^В>)(Р(Ъ)) 2 P(S)
(3)
Разделив первое уравнение (2) на второе (3), получим:
P(D/S) P(S/L\) (P(DQ P(D2/S) PCS/D,) (PfD,)
(4)
где п — количество гипотез.
Формула Байеса свидетельствует о том, что конечная вероятность гипотезы Р(В /5) пропорциональна ее начальной вероятности, Р(В.), помноженной на ее правдоподобие Р(5/В.); рассматривая использование указанной теории Байеса в диагностике, считают, что термин вероятности Р(В/5) используется в том случае, если при одном и том же событии В имеют дело с вероятностями различных комплексов данных (симптомов) 5 5 ...5 В то же время термин «правдоподобие» Р(5/В) применяется для обозначения того случая, когда интересуются вероятностью 5. 5 ... при различных событиях (альтернативах) В В ... В Если имеются два события В1 и В2 и один и тот же комплекс данных 5, то может возник-
Выражение называется отношением правдоподобия и играет важную роль в байесовском подходе к принятию решений. Отношение характеризует начальное значение относительных шансов. Связь между шансами и вероятностями может быть выражена следующим образом. Шансы Ж(В) в пользу гипотезы В связаны с вероятностью Р(В) и вероятностью противоположной гипотезы Р(В) = [1- Р(В)] условием Ж (В) [1-Р(В)] = Р(В). Преобразовывая, имеем Ж(В) = Р(В) /[1- Р(В)] или Р(В) = Ж(В)/[1- Ж(В)]. Когда шансы равны 1 (1:1 — обычное пари), то соответствующая вероятность равна 0,5. При шансах 9 (9:1), соответствующая вероятность равна 0,9. Таким образом, конечное значение шансов двух гипотез при получении комплекса данных, относящихся к этим гипотезам, зависит от отношения правдоподобия гипотез.
Если данные 5 рассматривать как дополнительную информацию, относящуюся к первоначальным гипотезам, то ценность информации для субъекта, осуществляющего выбор, определяется изменением конечных шансов относительно начальных. В общем случае, при субъективной интерпретации формулы Байеса ценность информации для данного субъекта зависит и от того, какую полезность приписывают от реализации той или иной гипотезы, что связано с количественной оценкой результатов реализации альтернатив. Основные результаты теории полезности будут рассмотрены ниже, а здесь приводится только простой пример, иллюстрирующий влияние полезностной оценки на уровне кластера промышленного комплекса региона.
Поскольку подготовка и принятие решений сопряжены с процессами получения и переработки информации, существенное значение имеет влияние этой информации на поведение человека, стремящегося к достижению поставленной цели. Целеустремленное состояние субъекта связывается с наличием хотя бы одного результата его действий, а также наличием не менее двух способов, приводящих к этому результату с различной эффективностью. Более того, считается, что обмен информацией, изменяющей поведение субъекта, между ним и «передатчиком» возможен лишь тогда, когда субъект находится в целеустремленном состоянии. Таким образом, целеустремленное состояние является необходимой предпосылкой процесса принятия решений человеком. Для того, чтобы получаемая информация изменяла поведение субъекта, он должен пребывать в состоянии индетерминизма, противоположном по смыслу состоянию детерминизма, когда сделан окончательный выбор.
Допустим, что перед лицом, принимающим решение, стоит задача выбора одного из п путей достижения некоторой цели, и ЛПР пребывает в состоянии индетерминизма, т. е. не отдает предпочтения ни одному из существующих путей (способов действий). Можно предположить, что вероятность выбора / -того пути Р. = 1, т. е. выбор путей равновероятен. Допустим теперь, что под воздействием получаемой информации ЛПР выбирает некоторый путь К, тогда вероятность выбора этого пути рк = 1, а оставшиеся (п-1) считаются неприемлемыми, и вероятность их выбора равна 0. Состояние ЛПР, предшествующее акту выбора, может быть измерено мерой X, определяемой как:
М
п
. (5)
/
*-‘тах
Максимальное значение этой меры
П . . Л - 2
=1
1=1
р>-1-
п
=и--
п
п
= 0
(7)
1
п
Таким образом, состояние субъекта меняется от полной неопределенности до полностью определенного состояния, что может отождествляться некоторым интервалом, включающим конечное число весьма малых отрезков. Поскольку информация меняет положение субъекта, переводя его из одного состояния в другое, за меру ее ценности принимается отношение меры детерминизма в некоторой точке этого интервала к максимально возможному отклонению от состояния индетерминизма:
Ц=(п-1>
ъ-
1
п
_ п 1=\
р,-Х-
п
п
+ (п-\)- = 2 — п п
, (6)
где Р — вероятность выбора -того пути.
Эта мера для состояния индетерминизма X. при условии равновероятного выбора всегда равна 0, поскольку
. (8)
По этой формуле, при п = 1 вероятность Р = 1 и ценность информации и (Г) = 0. В этом случае информация не оказывает влияния на выбор пути, поскольку путь единственный и выбирать не нужно. При Р. = 1 ценность информации также равна 0, и состояние ЛПР характеризуется отсутствием информации. Последнее положение, по нашему мнению, нуждается в уточнении.
Равновероятность выбора п путей достижения целей, в общем случае, объясняется не столько отсутствием информации у ЛПР, сколько невозможностью определения наиболее предпочтительного пути. Уже сам факт осознания субъектом цели и путей, которые могут привести к ней, свидетельствует о наличии у него информации. Тогда имеет смысл рассматривать два вида информации: априорную (запасенную в памяти ЛПР) и получаемую извне (после постановки цели и априорного анализа путей ее достижения). Априорная информированность позволяет ЛПР ранжировать имеющиеся у него альтернативы (пути достижения цели) по некоторой шкале предпочтений. Когда эти предпочтения не выражены, а получаемая информация не оказывает никакого влияния на распределение предпочтений, следует говорить о нулевой информации вообще.
В задачах принятия решений у ЛПР обычно нет полной уверенности в том, что один из п путей приводит к достижению цели, тогда имеет смысл говорить о вероятности достижения цели, определяемой как:
, (9)
1=1
где р1 — вероятность выбора /-го пути; Рг
— вероятность достижения цели на пути г.
Зависимость Р i от представляет собой неубывающую функцию, лежащую в пределах 0 ^ 1, в качестве апроксимации которой, в соответствии с подходом, изложенным И. М. Коганом, принимают удобную для расчетов функцию Р? — р? при г > 0 [1].
Получаемая информация должна позволить выявить тот путь, при котором значение р1 максимально, и тем самым осуществить выбор этого пути.
В большинстве задач принятия решений за счет априорной информированности начальное значение вероятности достижения цели Рг0 > 0, и если получаемая информация увеличивает это значение до Рг1 < 1, то ее ценность У(Г) = Рг1-Рг0. Допустим, что получаемая информация содержит сведения только об одном .-м пути достижения цели, увеличивая вероятность Р для этого пути до (Р. > Рг), а для любого из оставшихся (п-1) путей вероятность р• = — остается неизменной. Тогда за счет получаемой информации вероятность
п
РгО = я ^ Р/ изменяется до Р .
1=1 г
Р* = Р^ + 1-1Гтг£р: + £ Р<1
11 1 1=\ /=7+1
. (10)
Ценность получаемой информации определяется так:
У(1) =Р;-Рл=Руру + 1^/£А.+
п 1 1=\
п п
. (11)
1=]+\ м
В том случае, когда получаемая информация увеличивает вероятность Р до макси-
мума, путь. может оказаться наиболее предпочтительным, и вероятность его выбора Р. = 1. Тогда ценность информации
п
. (12)
М
Следует подчеркнуть, что во всех задачах принятия решений рг тах ^ 1, т. к. в противном случае вероятность достижения цели равна 1, т. е. цель достигнута, а значит, проблема решена и никакого решения не требуется.
В задачах принятия решений с однозначно выраженной целью мерой ценности информации является степень приближения к 1 вероятности достижения цели на том из путей, вероятность выбора которого наибольшая.
Определяя принятие решения как выбор способа достижения поставленной цели, необходимо подчеркнуть принципиальную разницу между актом выбора и процессом достижения цели, поскольку выбор одного из путей еще не гарантирует достижения цели и не устраняет полностью проблему. Естественно считать, что информация, способствующая выбору одного из путей, включает сведения о том, что вероятность достижения цели на этом пути наибольшая. Однако на выбор пути оказывают существенное влияние другие факторы, в том числе субъективного характера, а исчерпывающая информация об эффективности выбранного пути может быть получена лишь после того, как этот путь пройден, т. е. цель достигнута.
В большинстве управленческих решений акт выбора фиксируется в виде утвержденных планов, распоряжений, служебных записок и других документов. При этом определяются общие направления проводимых работ, вероятность успешного завершения которых всегда отлична от 1. Наибольшая неопределенность свойственна научно-исследовательским работам фундаментального и поискового характера, наименьшая — работам, обеспечивающим выпуск готовой продукции, мероприятиям по повышению производительности труда и др. При этом вероятность выбора направлений проведения этих работ в момент утверждения планов всегда равна 1. Отсюда вытекает принципиальное различие требований к информационному обеспечению процессов подготовки управленческих решений и информационного обеспечения их
реализации, которое можно сформулировать следующим образом:
— Информационная подготовка управленческого решения должна способствовать выбору такого пути, на котором вероятность достижения цели, с учетом условий реализации, наибольшая.
— Подготовка заканчивается актом выбора (Рг = 1) и должна быть увязана с ним во времени. Информация, поступающая к ЛПР после принятия решения, практически им не используется, т. к. другое решение может приниматься после значительного интервала времени, а это значительно снижает эффективность использования информации.
Таким образом, информационное обеспечение управленческих решений должно способствовать выбору наиболее успешного пути достижения цели, поставленной перед организационной системой, с учетом возможностей и условий реализации. Отсюда вытекают и другие требования к информированию органов управления: высокая степень обобщения информации, высокая степень ее достоверности, наличие выводов и рекомендаций. Необходимы более детальные сведения о путях (способах) реализации, причем анализ информации и проверку ее на достоверность осуществляет сам персонал, реализующий принятое решение.
В рамках прагматической ценности информации теоретико-методологической
подход является вполне приемлемым не только с позиций статической интерпретации понятия вероятности, но и с точки зрения субъективной логики. Прежде чем показать это, отметим, что к теоретико-вероятностному подходу наиболее близок так называемый «алгоритмический подход», который был предложен М. М. Бонгардом [Бородин 2012]. Он основан на методе проб и ошибок. В соответствии с этим подходом, информация, способствующая решению задачи, уменьшает степень ее «трудности», которая несет функцию числа проб. В качестве «меры трудности» М. М. Бонгард использует логарифм среднего числа проб. Если задача, которую предстоит решить, имеет распределение ответов р1, р2, ..., р1 ... рп, а решающий алгоритм исходит из гипотезы, что это распределение имеет вид д1, д2, ... д. • • • дп, то неопределенность задачи выражается как:
N (А) = р1 ^ ^ . (13)
м
Минимальное значение неопределенности достигается при р. = д , г = 1, 2, ... п. При этом неопределенность равна энтропии распределения вероятностей р1, р2, ..., р. ...рп, т. е. если р. известно, то пробы лучше всего делать с теми же вероятностями д. = р.. Информация, поступившая по каналу связи, считается ценной, если она уменьшает неопределенность задачи, т. е. формально приближает д к р .
Ценность такой информации
Гп=N - ^ (14)
где N и N — неопределенность задачи соответственно до и после получения информации.
Статистическая концепция определения ценности информации требует проведения достаточно большого числа опытов, исходы которых носят хотя и случайный, но стационарный характер. Это дает возможность связать классическую теорию информации с теорией статистических решений, если вероятностные характеристики сопоставить с функцией штрафов или функцией убытков. При этом ценность информации можно определять, в рамках шенноновской теории информации, со штрафами путем минимизации средних штрафов при фиксированном количестве информации или минимизации средних убытков при ее неограниченном количестве. По сравнению с функцией штрафов функция убытков является функцией более общего вида:
Р (х, г, и, У, Г), (15)
где х — истинное значение случайной величины; г — значение этой величины, наблюдаемое СПР, которой он приписывает на основании наблюдений оценку и; У — функция штрафов У = с (х, и); Г — убытки, обусловленные использованием недостоверной информации.
Функция убытков в несколько измененном виде используется и в теоретико-игровом подходе к принятию решений, который представляется весьма перспективным для формализации управленческих решений и будет рассмотрен в дальнейшем.
Прагматическая теория ценности информации соотносит любые сведения, получаемые субъектом, с их полезностью для достижения некоторой цели. Эта цель
в ряде задач управления может задаваться множеством альтернативных подцелей, нуждающихся в упорядочении. В этих случаях каждой из подцелей присваивается некоторый весовой коэффициент (в теории игр — платеж), характеризующий ее значимость для достижения поставленной цели. Информация, используемая при назначении «весов», может менять значимость для ЛПР отдельных подцелей и, тем самым, менять вероятность выбора Yj. Ценность такой информации определяется с позиций достижения глобальной цели, при этом информация, уменьшающая Yj, может исключить из рассмотрения определенные подцели, а значит, ее ценность V (I) > 0.
Теория игр предлагает ЛПР ряд критериев выбора стратегии, которые гарантируют ему в данной игре определенное значение выигрыша или проигрыша. Так, максимальный критерий соответствует поведению осторожного игрока, гарантируя ему максимум минимального выигрыша. Поведению ЛПР, склонного к большому риску, соответствует максимальный критерий, требующий выбора той стратегии, где выигрыш наибольший, при этом все выигрыши, предшествующие наибольшему, во внимание не принимаются. Помимо этих, крайне противоположных ЛПР критериев, существуют критерии Гурвица, Сэвиджа и Байеса-Лапласа, из которых рассмотрим последний, поскольку он используется в дальнейших выводах.
Критерий Байеса-Лапласа (Байесовский критерий) рекомендуется использовать тогда, когда у ЛПР отсутствует информация о вероятностях наступления состояний природы. Этим вероятностям приписывается одинаковое значение 1/n, где n — возмож-
ное количество состояний природы. ЛПР выбирает ту стратегию, где сумма произведений вероятностей выплат имеет наибольшее значение.
Допустим, игра задана в виде платежной матрицы:
S,
S„
100
99
2
98
(16)
Тогда, в соответствии с байесовским критерием для стратегии й эта сумма определяется как:
4=}-100 + }-32 + }-31 = 34} ,
для ё2 —
^=у-99 + у-98 + у- 0 = 65! ,
И, таким образом, выбирается стратегия й в то время как по максимальному критерию следует выбрать стратегию й1, гарантирующую минимальный выигрыш.
Неоднозначность результатов использования различных критериев соответствует характеру поведения различных людей в конфликтных ситуациях (осторожность, склонность к риску и др.) и не умаляет достоинств теоретико-игрового подхода, который может быть использован и для формальной оценки информации, поступающей к ЛПР. Этот подход оказывается весьма плодотворным для формализации информационной подготовки решений.
Ценность информации, содержащейся в задании д относительно задания р, определяется по формуле:
V(I) = minJ Щх,у)р (x)dx J/-min J X(x, y)p (x/v) dx] dv
(17)
С формальной точки зрения, ценной считается информация, которая уменьшает начальную неопределенность задачи, позволяя путем проведения вспомогательного опыта получить наиболее точные представления о действительных состояниях природы. Если предположить, что этими состояниями могут быть условия реализации управленческого решения, тогда проведение вспомогательного эксперимента д можно отождествить, например, с процессом получения информации о зарубежном
опыте, а пространство V с условиями реализации аналогичных решений, принимаемых зарубежными конкурентами. В этом случае задача принятия решения сводится к выбору некоторого действия у из набора возможных У по результатам получения информации д о зарубежном опыте V. Чем полнее эта информация может свидетельствовать о том, что должно быть сделано (т. е. каковы условия реализации у) для получения тех или иных результатов, оцениваемых |, тем она ценнее.
d
Используя основное допущение статистического подхода о вероятности выбора и предполагая, что множества х, у, V конечны, можно определить количество информации о задании д, содержащейся в задании р, как:
i к
, (18)
где ркер, дкед, р (Ик) = р (x/v).
Формальные построения при дальнейшей разработке могут послужить основной методологической концепцией теоретического обоснования информационной деятельности в интересах на уровне СДС и региональных органов управления. Одним из перспективных направления в этой области является теоретико-игровая интерпретация задач управления.
Литература
Бородин А. И. Прогнозирование социально-экономического потенциала региона // Вестник КИГИ РАН. 2012, № 1. С. 117-122.
Вендров А. М. Проектирование программного обеспечения в экономических информационных системах: учебник. М.: Финансы и статистика, 2000. 392 с.
Липаев В. В., Филинов Е. Н. Мобильность программ и данных в открытых информационных системах. М.: Научн. кн., 1997. 184 с.
Оптнер С. А. Проектирование программного обеспечения экономических информационных систем: учебник. М.: Финансы и статистика, 2000. 136 с.
