CC BY
127
24
Научный журнал КубГАУ, №105(01), 2015 года
УДК 519.2:303.732.4 UDC 519.2:303.732.4
01.00.00 Физико-математические науки
О ВЫСОКИХ СТАТИСТИЧЕСКИХ ТЕХНОЛОГИЯХ
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994
Московский государственный технический
университет им. Н.Э. Баумана, Россия, 105005,
Москва, 2-яБауманскаяул., 5, prof-orlov@mail.ru
При практическом использовании методов прикладной статистики применяются не отдельные методы описания данных, оценивания, проверки гипотез, а развернутые цельные процедуры - так называемые «статистические технологии». Понятие «статистическая технология» аналогично понятию «технологический процесс» в теории и практике организации производства. Вполне естественно, что одни статистические технологии лучше соответствуют потребностям исследователя (пользователя, статистика), другие хуже, одни -современные, а другие - устаревшие, свойства одних изучены, а других - нет. Важно подчеркнуть, что квалифицированное и результативное применение статистических методов - это отнюдь не проверка одной отдельно взятой статистической гипотезы или оценка характеристик или параметров одного заданного распределения из фиксированного семейства. Подобного рода операции - только отдельные кирпичики, из которых складывается статистическая технология. Процедура статистического анализа данных - это информационный технологический процесс, другими словами, та или иная информационная технология. Статистическая информация подвергается разнообразным операциям (последовательно, параллельно или по более сложным схемам). В настоящей статье обсуждаются статистические технологии и проблема «стыковки» алгоритмов. Введено понятие «высокие статистические технологии», обоснована необходимость их разработки и применения. В качестве примера приведены исследования Института высоких статистических технологий и эконометрики Московского государственного технического университета им. Н.Э Баумана. Рассмотрен ряд вопросов подготовки специалистов по высоким статистическим технологиям
Ключевые слова: СТАТИСТИЧЕСКИЕ МЕТОДЫ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, СТАТИСТИКА В РОССИИ, ВЫСОКИЕ СТАТИСТИЧЕСКИЕ ТЕХНОЛОГИИ, ИНСТИТУТ ВЫСОКИХ СТАТИСТИЧЕСКИХ ТЕХНОЛОГИЙ И ЭКОНОМЕТРИКИ, ПОДГОТОВКА СПЕЦИАЛИСТОВ ПО СТАТИСТИЧЕСКИМ
HIGH STATISTICAL TECHNOLOGIES
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
In practical use of methods of applied statistics we do not apply separate methods for describing data, estimation, testing hypotheses, but we must use deployed whole procedures - the so-called "statistical technology". The concept of "statistical technology" is similar to the concept of "technological process" in the theory and practice of organization of production. It is quite natural that some statistical technology can better meet the needs of the researcher (user, statistics) than others, some -are modern, and others - outdated, some properties are studied, and the others - no. It is important to stress that a qualified and efficient use of statistical methods - this is not one single statistical hypothesis testing and estimation of characteristics or parameters of a given distribution from fixed family. This kind of operations - only the individual building blocks that make up the statistical technology. The procedure of the statistical data analysis - is an information process, in other words, one or other information technology. Statistical information is subject to a variety of operations (series, parallel, or more complex schemes). In this article we discuss statistical technologies and the problem of "docking" algorithms. We introduce the concept of "high statistical technologies" and then we prove the necessity of their development and application. As the examples we have given the researches of Institute of high statistical technologies and econometrics of Bauman Moscow State Technical University. We have also considered a number of education problems in domain of high statistical technologies
Keywords: STATISTICAL METHODS, , MATHEMATICAL STATISTICS, APPLIED STATISTICS, STATISTICS IN RUSSIA, HIGH STATISTICAL TECHNOLOGIES, INSTITUTE OF HIGH STATISTICAL TECHNOLOGIES AND ECONOMETRICS, EDUCATION IN DOMAIN OF HIGH STATISTICAL TECHNOLOGIES
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
ТЕХНОЛОГИЯМ
1. Введение
При практическом использовании методов прикладной статистики применяются не отдельные методы описания данных, оценивания, проверки гипотез, а развернутые цельные процедуры - так называемые «статистические технологии». Понятие «статистическая технология» аналогично понятию «технологический процесс» в теории и практике организации производства.
Вполне естественно, что одни статистические технологии лучше соответствуют потребностям исследователя (пользователя, статистика), другие хуже, одни - современные, а другие - устаревшие, свойства одних изучены, а других - нет.
В различных областях деятельности применяют высокие технологии, под которыми понимают технологии, наиболее новые и прогрессивные на текущий момент времени. В начале XXI в. нами был введен термин «высокие статистические технологии». Первоначально он появился в печати в 2002 г. в первом издании учебнике «Эконометрика» [1], а в следующем году вышла программная статья [2] (поступила в редакцию 16 марта 2001 г.). Наш основной сайт http://orlovs.pp.ru/ с книгами и статьями в открытом доступе получил название «Высокие статистические технологии». Сайт был введен в эксплуатацию в октябре 2004 г., к настоящему времени его посетили около 1 млн. раз. Многие учебники и справочники, размещенные (2008) на сайте Лаборатории
экономико-математических методов Московского государственного технического университета им. Н.Э. Баумана http://ibm.bmstu.ru/nil/biblio.html , имеют названия из двух частей. Первая часть - серийное название «Высокие статистические технологии», вторая - название конкретной монографии. (В выпущенных позже печатных изданиях серийное название - «Организационно-экономическое
моделирование»; оно было изменено в соответствии с названием учебной дисциплины по специальности «Менеджмент высоких технологий».)
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
Таким образом, термин «высокие статистические технологии» стал широко использоваться. Представляется целесообразным обсудить его содержание, подвести первые итоги применения понятия, обозначенного этим термином, в научных исследованиях и преподавании.
2. Статистические технологии
Статистический анализ конкретных данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по более сложной схеме. В частности, с точки зрения организатора прикладного статистического исследования можно выделить следующие этапы:
- планирование статистического исследования (включая разработку анкет, бланков наблюдения и учета и других форм сбора данных; их апробацию; подготовку сценариев интервью и анализа данных и т.п.);
- организация сбора необходимых статистических данных по оптимальной или рациональной программе (планирование выборки, создание организационной структуры и подбор команды статистиков, подготовка кадров, которые будут заниматься сбором данных, а также контролеров данных и т.п.);
- непосредственный сбор данных и их фиксация на тех или иных носителях (с контролем качества сбора и отбраковкой ошибочных данных по соображениям предметной области);
- первичное описание данных (расчет различных выборочных характеристик, функций распределения, непараметрических оценок плотности, построение гистограмм, корреляционных полей, различных таблиц и диаграмм и т.д.),
- оценивание тех или иных числовых или нечисловых характеристик и
параметров распределений (например, непараметрическое интервальное
оценивание коэффициента вариации или восстановление зависимости между откликом и факторами, т. е. оценивание функции),
- проверка статистических гипотез (иногда их цепочек - после проверки предыдущей гипотезы принимается решение о проверке той или иной последующей
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
гипотезы; например, после проверки адекватности линейной регрессионной модели и отклонения этой гипотезы может проверяться адекватность квадратичной модели),
- более углубленное изучение, т.е. одновременное применение различных алгоритмов многомерного статистического анализа, алгоритмов диагностики и построения классификации, статистики нечисловых и интервальных данных, анализа временных рядов и др.;
- проверка устойчивости полученных оценок и выводов относительно допустимых отклонений исходных данных и предпосылок используемых вероятностно-статистических моделей, в частности, изучение свойств оценок методом размножения выборок и другими численными методами;
- применение полученных статистических результатов в прикладных целях,
т.е. для формулировки выводов в терминах содержательной области (например, для диагностики конкретных материалов, построения прогнозов, выбора
инвестиционного проекта из предложенных вариантов, нахождения оптимальных режима осуществления технологического процесса, подведения итогов испытаний образцов технических устройств и др.),
- составление итоговых отчетов, в частности, предназначенных для тех, кто не является специалистами в статистических методах анализа данных, в том числе для руководства - «лиц, принимающих решения».
Возможны и иные структуризации различных статистических технологий, предназначенных для решения конкретных прикладных задач. Важно подчеркнуть, что квалифицированное и результативное применение статистических методов - это отнюдь не проверка одной отдельно взятой статистической гипотезы или оценка характеристик или параметров одного заданного распределения из фиксированного семейства. Подобного рода операции - только отдельные кирпичики, из которых складывается статистическая технология.
Итак, процедура статистического анализа данных - это информационный технологический процесс, другими словами, та или иная информационная
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
технология. Статистическая информация подвергается разнообразным операциям (последовательно, параллельно или по более сложным схемам). В настоящее время об автоматизации всего процесса статистического анализа данных говорить было бы несерьезно, поскольку имеется слишком много нерешенных проблем, вызывающих дискуссии среди статистиков. Наличие разногласий - причина того, что так называемые «экспертные системы в области статистического анализа данных» пока не стали рабочим инструментом статистиков.
3. Проблема «стыковки» алгоритмов
В литературе статистические технологии рассматриваются явно недостаточно. В частности, обычно все внимание сосредотачивается на том или ином элементе технологической цепочки, а переход от одного элемента к другому остается в тени. Между тем проблема «стыковки» статистических алгоритмов, как известно, требует специального рассмотрения (см., например, [3, 4]), поскольку в результате использования предыдущего алгоритма зачастую нарушаются условия применимости последующего. В частности, результаты наблюдений могут перестать быть независимыми, может измениться их распределение и т.п.
Так, вполне резонной выглядит рекомендация: сначала разбейте данные на однородные группы, а потом в каждой из групп проводите статистическую обработку, например, регрессионный анализ. Однако эта рекомендация под кажущейся прозрачностью содержит подводные камни. Действительно, как поставить задачу в вероятностно-статистических терминах? Если, как обычно, примем, что исходные данные - это выборка, т.е. совокупность независимых одинаково распределенных случайных элементов, то классификация приведет к разбиению этих элементов на группы. В каждой группе элементы будут зависимы между собой, а их распределение будет зависеть от группы, куда они попали. Отметим, что в типовых ситуациях границы классов стабилизируются, а это значит, что асимптотически элементы кластеров становятся независимыми. Однако их распределение не может быть нормальным. Например, если исходное
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
распределение было нормальным, то распределения в классах будет усеченным нормальным. Это означает, что необходимо пользоваться непараметрическими методами.
Разберем другой пример. При проверке статистических гипотез большое значение имеют такие хорошо известные характеристики статистических критериев, как уровень значимости и мощность. Методы их расчета и использования при проверке одной гипотезы обычно хорошо известны. Если же сначала проверяется одна гипотеза, а потом с учетом результатов ее проверки (конкретнее, если первая гипотеза принята) - вторая, то итоговую процедуру также можно рассматривать как проверку некоторой (более сложной) статистической гипотезы. Она имеет характеристики (уровень значимости и мощность), которые, как правило, нельзя простыми формулами выразить через характеристики двух составляющих гипотез, а потому они обычно неизвестны. Лишь в некоторых простых случаях характеристики итоговой процедуры можно рассчитать. В результате итоговую процедуру нельзя рассматривать как научно обоснованную, она относится к эвристическим алгоритмам. Конечно, после соответствующего изучения, например, методом Монте-Карло, она может войти в число научно обоснованных процедур прикладной статистики.
4. Термин «высокие статистические технологии»
Термин «высокие технологии» популярен в современной научно-технической литературе. Он используется для обозначения наиболее передовых технологий, опирающихся на последние достижения научно-технического прогресса. Есть такие технологии и среди технологий статистического анализа данных - как в любой интенсивно развивающейся научно-практической области.
Примеры высоких статистических технологий и входящих в них алгоритмов анализа данных, подробный анализ современного состояния и перспектив развития даны при обсуждении «точек роста» прикладной статистики и других статистических методов [5]. В качестве «высоких статистических технологий» были
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
выделены технологии непараметрического анализа данных; устойчивые (робастные) технологии; технологии, основанные на размножении выборок, на использовании достижений статистики нечисловых данных и статистики интервальных данных.
Обсудим пока не вполне привычный термин «высокие статистические технологии». Каждое из трех слов несет свою смысловую нагрузку.
«Высокие», как и в других областях, означает, что статистическая технология опирается на современные достижения статистической теории и практики, в частности, на достижения теории вероятностей и прикладной математической статистики. При этом «опирается на современные научные достижения» означает, во-первых, что математическая основа технологии получена сравнительно недавно в рамках соответствующей научной дисциплины, во-вторых, что алгоритмы расчетов разработаны и обоснованы в соответствии в нею (а не являются т.н. «эвристическими»). Со временем новые подходы и результаты могут заставить пересмотреть оценку применимости и возможностей технологии, привести к замене ее более современной. В противном случае «высокие статистические технологии» переходят в «классические статистические технологии», такие, как метод наименьших квадратов. Итак, высокие статистические технологии - плоды недавних серьезных научных исследований. Здесь два ключевых понятия - «молодость» технологии (во всяком случае, не старше 50 лет, а лучше - не старше 10 или 30 лет) и опора на «высокую науку».
Термин «статистические» привычен, но коротко разъяснить его нелегко. Проще сослаться на введение и все содержание учебника [6], на энциклопедию [7], справочник [8] и др. В частности, статистические данные - это результаты измерений, наблюдений, испытаний, анализов, опытов. А «статистические технологии» - это технологии анализа статистических данных.
Наконец, редко используемый применительно к статистике термин «технологии». Статистический анализ данных, как правило, включает в себя целый ряд процедур и алгоритмов, выполняемых последовательно, параллельно или по
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
более сложной схеме. Структура типовой статистической технологии описана выше. Обработка статистических данных - это информационный технологический процесс.
5. Всегда ли нужны «высокие статистические технологии»?
«Высоким статистическим технологиям» противостоят, естественно, «низкие статистические технологии» (а между ними расположены «классические статистические технологии»). «Низкие статистические технологии» - это те технологии, которые не соответствуют современному уровню науки и практики. Обычно они одновременно и устарели, и не вполне адекватны сути решаемых статистических задач.
Примеры таких технологий неоднократно критически рассматривались нами. Достаточно вспомнить критику использования критерия Стьюдента для проверки однородности при отсутствии нормальности и равенства дисперсий [9, 10]. Или применение критерия Вилкоксона для проверки совпадения теоретических медиан или функций распределения двух выборок [11]. Или использование классических процентных точек критериев Колмогорова и омега-квадрат в ситуациях, когда параметры оцениваются по выборке и эти оценки подставляются в «теоретическую» функцию распределения [12, 13]. На первый взгляд вызывает удивление
устойчивость «низких статистических технологий», их постоянное возрождение во все новых статьях, монографиях, учебниках. Поэтому, как ни странно, наиболее «долгоживущими» оказываются не работы, посвященные новым научным результатам, а публикации, разоблачающие ошибки, типа статьи [12]. Прошло около 30 лет с момента ее публикации, но она по-прежнему актуальна, поскольку ошибочное применение критериев Колмогорова и омега-квадрат по-прежнему распространено.
Целесообразно отметить по крайней мере четыре обстоятельства, которые определяют эту устойчивость ошибок.
Во-первых, прочно закрепившаяся традиция. Так, многие учебники по курсам
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
типа «Общая теория статистики», если беспристрастно проанализировать их содержание, состоят в основном из введения в прикладную статистику (в понимании [14]). Иногда изложение идет в стиле «низких статистических технологий», т.е. на уровне 1950-х годов, а во многом и на уровне начала ХХ в., причем обычно с ошибками. К «низкой» прикладной статистике добавлена некоторая информация о деятельности органов Госкомстата РФ. Новое поколение специалистов, обучившись «низким» подходам, идеям, алгоритмам, их использует, а с течением времени и достижением должностей, ученых званий и степеней -пишет новые учебники со старыми ошибками.
Второе обстоятельство связано с большими трудностями при оценке экономической эффективности применения статистических методов вообще и при оценке вреда от применения ошибочных методов в частности. (А без такой оценки как докажешь, что «высокие статистические технологии» лучше «низких»?) При оценке вреда от применения ошибочных методов приходится учитывать, что общий успех в конкретной инженерной или научной работе вполне мог быть достигнут вопреки применению ошибочных методов, за счет «запаса прочности» других составляющих общей работы. Например, преимущество одного технологического приема (станка, оснастки, организации работы) над другим можно
продемонстрировать как с помощью критерия Крамера-Уэлча [9, 10] проверки равенства математических ожиданий (что правильно), так и с помощью двухвыборочного критерия Стьюдента (что, вообще говоря, неверно, т.к. обычно не выполняются условия применимости этого критерия - нет ни нормальности распределения, ни равенства дисперсий).
Третье существенное обстоятельство - трудности со знакомством с высокими статистическими технологиями. В нашей стране в силу ряда исторических обстоятельств развития статистических методов в течение последних десятилетий только журнал «Заводская лаборатория. Диагностика материалов» предоставлял такие возможности (в последние годы активно присоединился «Научный журнал КубГАУ»; надо добавить также периодический (раз в год - два) межвузовский
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
сборник научных трудов «Статистические методы оценивания и проверки гипотез»). К сожалению, поток современных отечественных и переводных статистических книг, выпускавшихся ранее, в частности, издательствами «Наука», «Мир», «Финансы и статистика», практически превратился в узкий ручеек...
Возможно, более существенным является влияние естественной задержки во времени между созданием «новых статистических технологий» и написанием полноценной и объемной учебной и методической литературы. Она должна позволять знакомиться с новой методологией, новыми методами, теоремами, алгоритмами, методами расчетов и интерпретации их результатов, статистическими технологиями в целом не по кратким оригинальным статьям, а при обычном вузовском и последипломном обучении.
И, наконец, четвертое - наиболее важное. Всегда ли нужны высокие статистические технологии? Приведем аналогию - нужна ли современная сельскохозяйственная техника для обработки приусадебного участка? Нужны ли трактора и комбайны? Может быть, достаточно технологий, основанных на использовании лопаты? Вернемся к данным государственной статистики. Применяются статистические технологии первичной обработки (описания) данных, основанные на построении разнообразных таблиц, диаграмм, графиков. Эти технологии соответствуют научному уровню XIX в. Подобное представление и первичный анализ данных удовлетворяет большинство потребителей статистической информации.
Итак, чтобы высокие статистические технологии успешно использовались, необходимы два условия:
- чтобы они были объективно нужны для решения практической задачи;
- чтобы потенциальный пользователь технологий субъективно понимал это.
Таким образом, весь арсенал реально используемых в настоящее время
эконометрических и статистических технологий можно распределить по трем потокам:
- высокие статистические технологии;
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
- классические статистические технологии,
- низкие статистические технологии.
Под классическими статистическими технологиями, как уже отмечалось, понимаем технологии почтенного возраста, сохранившие свое значение для современной статистической практики. Таковы технологии на основе метода наименьших квадратов (включая методы точечного оценивания параметров прогностической функции, непараметрические методы доверительного оценивания параметров и прогностической функции в целом, проверок различных гипотез о них), статистик типа Колмогорова, Смирнова, омега-квадрат, непараметрических коэффициентов корреляции Спирмена и Кендалла (относить их только к методам анализа ранжировок - значит делать уступку «низким статистическим технологиям») и многих других статистических процедур.
6. Основная проблема в области статистических технологий
В настоящее время она состоит в том, чтобы в конкретных эконометрических исследованиях использовались только технологии первых двух типов.
Каковы возможные пути решения этой проблемы? Бороться с конкретными невеждами - дело почти безнадежное. Конечно, необходима демонстрация квалифицированного применения высоких статистических технологий. В 1960-70-х годах этим занималась Лаборатория статистических методов акад. А.Н. Колмогорова в МГУ им. М.В. Ломоносова. В разделе «Математические методы исследования» журнала «Заводская лаборатория» за последние 50 лет опубликовано более 1000 статей, выполненных на уровне «высоких статистических технологий». В настоящее время действует Институт высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана и целый ряд других научных коллективов, работающих на уровне «высоких статистических технологий».
Очевидно, самое основное - это обучение. Какие бы новые научные результаты ни были получены, если они остаются неизвестными студентам, то новое поколение исследователей и инженеров, экономистов и менеджеров, других
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
специалистов вынуждено осваивать их поодиночке, в порядке самообразования, а то и переоткрывать заново. Т.е. зачастую новые научные результаты практически исчезают из оборота научной и практической информации, едва появившись. Как ни странно это может показаться, избыток научных публикаций превратился в тормоз развития науки. По нашим оценкам (опубликованы в [15 - 17]), к настоящему времени по статистическим технологиям опубликовано не менее миллиона статей и книг, в основном во второй половине ХХ в. Из них не менее 100 тысяч являются актуальными для современного специалиста. При этом реальное число публикаций, которые способен освоить исследователь за свою профессиональную жизнь, по нашей оценке, не превышает 2 - 3 тысяч (именно таково число литературных ссылок в наиболее полном издании на русском языке по статистических методам - трехтомнике [18 -20]). Итак, каждый специалист в области прикладной статистики знаком не более чем с 2 - 3% актуальных для него литературных источников. Поскольку существенная часть публикаций заражена «низкими статистическими технологиями», то исследователь-самоучка, увы, имеет мало шансов выйти на уровень «высоких статистических технологий». С подтверждениями этого печального вывода постоянно приходится сталкиваться. Одновременно приходится констатировать, что масса полезных результатов погребена в изданиях прошлых десятилетий и имеет мало шансов пробиться в ряды используемых в настоящее время «высоких статистических технологий» без специально организованных усилий современных специалистов.
Итак, основное - обучение. Несколько огрубляя, можно сказать так: что попало в учебные курсы и соответствующие учебные издания - то сохраняется, что не попало - то пропадает.
7. Необходимость высоких статистических технологий
Может возникнуть естественный вопрос: зачем нужны высокие
статистические технологии, разве недостаточно обычных статистических методов? Специалисты по прикладной статистике справедливо считают и доказывают своими
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
теоретическими и прикладными работами, что совершенно недостаточно. Так, совершенно очевидно, что многие данные в информационных системах имеют нечисловой характер, например, являются словами или принимают значения из конечных множеств. Нечисловой характер имеют и упорядочения, которые дают эксперты или менеджеры, например, выбирая главную цель, следующую по важности и т.д. Значит, нужна статистика нечисловых данных. Мы ее построили [21, 22]. Далее, многие величины известны не абсолютно точно, а с некоторой погрешностью - от и до. Другими словами, исходные данные - не числа, а интервалы. Нужна статистика интервальных данных. Мы ее развиваем [23, 24]. В широко известной монографии по контроллингу [25] на с. 138 хорошо сказано: «Нечеткая логика - мощный элегантный инструмент современной науки, который на Западе (и на Востоке - в Японии, Китае - А.О.) можно встретить в десятках изделий - от бытовых видеокамер до систем управления вооружениями, - у нас до самого последнего времени был практически неизвестен». Напомним, первая монография российского автора по теории нечеткости [26] содержит основы высоких статистических технологий, связанные с анализом выборок нечетких множеств (см. также [24]). Ни статистики нечисловых данных, ни статистики интервальных данных, ни статистики нечетких данных не было и не могло быть в классической статистике. Все это - высокие статистические технологии. Они разработаны за последние десятилетия. К сожалению, обычные вузовские курсы по общей теории статистики и по математической статистике разбирают научные результаты, полученные в первой половине ХХ века.
Важная и весьма перспективная часть прикладной статистики - применение высоких статистических технологий к анализу конкретных данных, что зачастую требует дополнительных теоретических исследований по доработке статистических технологий применительно к конкретной ситуации. Большое значение имеют конкретные статистические модели, например, модели экспертных оценок или эконометрики качества. И конечно, такие конкретные применения, как расчет и прогнозирование индекса инфляции. Сейчас уже многим экономистам и
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
менеджерам ясно, что годовой бухгалтерский баланс предприятия может быть использован для оценки его финансово-хозяйственной деятельности только с привлечением данных об инфляции.
8. Институт высоких статистических технологий и эконометрики.
Опишем опыт внедрения «высоких статистических технологий».
Организованный нами в 1989 г. Институт высоких статистических технологий и эконометрики (ИВСТЭ) в настоящее время действует на базе кафедры ИБМ-2 «Экономика и организация производства» Московского государственного технического университета им. Н.Э.Баумана. Институт на хоздоговорных и госбюджетных началах занимается развитием, изучением и внедрением эконометрики и «высоких статистических технологий», т.е. наиболее современных технологий анализа экономических, технических, социологических, медицинских данных, ориентированных на использование в условиях современного производства и экономики. Основной интерес представляют применения «высоких
статистических технологий» для анализа конкретных экономических данных, т.е. в эконометрике. Наиболее перспективным представляется применение «высоких статистических технологий» для поддержки принятия управленческих решений, прежде всего в таком новом (для России) современном направлении экономической науки и практики, как контроллинг (см., например, [25, 27]).
Вначале Институт действовал как Всесоюзный центр статистических методов и информатики Центрального правления Всесоюзного экономического общества. В 1990 - 1992 гг. было выполнено более 100 хоздоговорных работ, в том числе для НИЦентра по безопасности атомной энергетики, ВНИИ нефтепереработки, ПО «Пластик», ЦНИИ черной металлургии им. Бардина, НИИ стали, ВНИИ эластомерных материалов и изделий, НИИ прикладной химии, ЦНИИ химии и механики, НПО «Орион», ВНИИ экономических проблем развития науки и техники, ПО «Уралмаш», «АвтоВАЗ», МИИТ, Казахского политехнического института, Донецкого государственного университета, Института питания
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года (Алма-Ата) и многих других.
Затем Институт разрабатывал эконометрические методы анализа нечисловых данных, а также процедуры расчета и прогнозирования индекса инфляции и валового внутреннего продукта. ИВСТЭ развивал методологию построения и использования математических моделей процессов налогообложения (для Министерства налогов и сборов РФ), методологию оценки рисков реализации инновационных проектов высшей школы (для Министерства промышленности, науки и технологий РФ). Институт оценивал влияние различных факторов на формирование налогооблагаемой базы ряда налогов (для Минфина РФ), прорабатывал перспективы применения современных статистических и экспертных методов для анализа данных о научном потенциале (для Министерства промышленности, науки и технологий РФ). Важное направление связано с эколого-экономической тематикой - разработка методологического, программного и информационного обеспечения анализа рисков химико-технологических объектов (для Международного научно-технического центра), методов использования экспертных оценок в задачах экологического страхования (совместно с Институтом проблем рынка РАН). Институт проводил маркетинговые исследования (в частности, для Institute for Market Research GfK MR, Промрадтехбанка, фирм, торгующих растворимым кофе, программным обеспечением, оказывающих образовательные услуги). Интерес вызывали работы Института по прогнозированию социально-экономического развития России методом сценариев, по экономико-математическому моделированию развития малых предприятий и созданию современных систем информационной поддержки принятия решений для таких организаций.
С 2010 г. Институт занимался проблемами прогнозирования и
предотвращения авиационных происшествий, обеспечения безопасности полетов (см., например, [28 — 33]), с 2013 г. - организационно-экономическим обеспечением управления проектами создания изделий ракетно-космической техники [34 — 38].
Институт ведет фундаментальные исследования в области высоких
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
статистических технологий и эконометрики, в частности, в рамках МГТУ им. Н.Э. Баумана и Российского фонда фундаментальных исследований. Информация об Институте представлена на сайтах в Интернете (http://orlovs.pp.ru. прежний вариант - http://antor1ov.nm.ru, зеркала http://antor1ov.euro.ru, http://www.newtech.ru/~orlov ), который в 2000 - 2003 гг. ежегодно посещали более 10000 пользователей, а в 2006 г. - уже более 100000. Институтом издается компьютерный еженедельник «Эконометрика» (более 1,5 тыс. подписчиков, более 700 выпусков). Архив выпусков еженедельника «Эконометрика» можно рассматривать как хрестоматию по различным разделам эконометрики, а также по высоким статистическим технологиям.
Область научных и практических работ по развитию и применению статистических методов в экономике и управлении организациями и территориями называется эконометрикой [1]. Термин «эконометрика» пока еще не всем известен в России. А между тем в мировой науке эконометрика занимает достойное место. Напомним, что Нобелевские премии по экономике получили эконометрики Ян Тильберген, Рагнар Фриш, Лоуренс Клейн, Трюгве Хаавельмо, Джеймс Хекман и Дэниель Мак-Фадден. В 2003 г. к ним добавились Энгл Грейнджер и Кеннет Риглз. Выпускается ряд научных журналов, полностью посвященных эконометрике, в том числе: Journal of Econometrics (Швеция), Econometric Reviews (США), Econometrica (США), Sankhya (Indian Journal of Statistics. Ser.D. Quantitative Economics. Индия), Publications Econometriques (Франция). Применение эконометрики дает заметный экономический эффект. Например, в США - не менее 20 миллиардов долларов ежегодно только в области статистического контроля качества [1].
Однако в нашей стране по ряду причин прикладная статистика и эконометрика не были сформированы как самостоятельные направления научной и практической деятельности, в отличие, например, от Польши, не говоря уже об англосаксонских странах. В результате специалистов в области прикладной статистики и эконометрики у нас на порядок меньше, чем в США и Великобритании.
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
9. О подготовке специалистов по высоким статистическим технологиям
Приходится с сожалением констатировать, что в России плохо налажена подготовка специалистов по высоким статистическим технологиям. В курсах по теории вероятностей и математической статистике обычно даются лишь классические основы этих дисциплин, разработанные в первой половине ХХ в., а преподаватели-математики свою научную деятельность предпочитают посвящать доказательству теорем, имеющих лишь внутриматематическое значение, а не развитию высоких статистических технологий. В настоящее время появилась надежда на эконометрику. В России развертываются эконометрические исследования и преподавание эконометрики. Экономисты, менеджеры и инженеры, прежде всего специалисты по контроллингу, должны быть вооружены современными средствами информационной поддержки, в том числе высокими статистическими технологиями и эконометрикой. Очевидно, преподавание должно идти впереди практического применения. Ведь как применять то, чего не знаешь?
Приведем два примера - отрицательный и положительный, - показывающие связь преподавания с внедрением передовых технологий.
Один раз - в 1990 — 1992 гг. мы уже обожглись на недооценке необходимости предварительной подготовки тех, для кого предназначены современные программные продукты. Наш коллектив (Всесоюзный центр статистических методов и информатики Центрального Правления Всесоюзного экономического общества, в настоящее время - Институт высоких статистических технологий и эконометрики) разработал систему диалоговых программных систем обеспечения качества продукции. Их созданием руководили ведущие специалисты страны. Но распространение программных продуктов шло на 1 - 2 порядка медленнее, чем мы ожидали. Причина стала ясна не сразу. Как оказалось, работники предприятий просто не понимали возможностей разработанных систем, не знали, какие задачи
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
можно решать с их помощью, какой экономический эффект они дадут. А не понимали и не знали потому, что в вузах никто их не учил статистическим методам управления качеством. Без такого систематического обучения нельзя обойтись -сложные концепции «на пальцах» за пять минут не объяснишь.
Есть и противоположный пример - положительный. В середине 1980-х годов в советской средней школе ввели новый предмет «Информатика». И сейчас молодое поколение превосходно владеет компьютерами, мгновенно осваивая быстро появляющиеся новинки, и этим заметно отличается от тех, кому за 50 — 60 лет.
Если бы удалось ввести в средней школе курс теории вероятностей и статистики, то ситуация с внедрением высоких статистических технологий могла бы быть резко улучшена. Такой курс есть в Японии и США, Швейцарии, Кении и Ботсване, почти во всех странах (и ЮНЕСКО проводит всемирные конференции по преподаванию статистики в средней школе - см. сборник докладов [30]). Надо, конечно, добиться того, чтобы этот курс был построен на высоких статистических технологиях, а не на низких. Другими словами, он должен отражать современные достижения, а не концепции пятидесятилетней или столетней давности.
Литература
1.Орлов А.И. Эконометрика. - М.: Экзамен, 2004. - 576 с.
2.Орлов А.И. Высокие статистические технологии // Заводская лаборатория. Диагностика материалов. 2003. Т.69. № 11. С. 55 - 60.
3.Орлов А.И. Некоторые вероятностные вопросы теории классификации // Прикладная статистика. Ученые записки по статистике, т.45. - М.: Наука, 1983. С. 166 -179.
4. Орлов А.И. Проблема множественных проверок статистических гипотез // Заводская лаборатория. Диагностика материалов. 1996. Т.62. № 5. С. 51 - 54.
5.Орлов А.И. Точки роста статистических методов / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №09(103). С. 136 - 162. - IDA [article ID]: 1031409011. - Режим доступа: http://ej.kubagro.ru/2014/09/pdf/11.pdf, 1,688 у.п.л., импакт-фактор РИНЦ=0,346
6.Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. - 624 с.
7. Вероятность и математическая статистика: Энциклопедия / Гл. ред. Ю.В. Прохоров. - М.: Большая Российская энциклопедия, 1999. - 910 с.
8. Большев Л.Н., Смирнов Н.В. Таблицы математической статистики. - М.: Наука, 1965 (1-е изд.), 1968 (2-е изд.), 1983 (3-е изд.). - 474 с.
9.Орлов А.И. О применении статистических методов в медико-биологических
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
исследованиях // Вестник Академии медицинских наук СССР. 1987. № 2. С. 88 - 94.
10.Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. Диагностика материалов. 2003. Т.69. № 1. С. 55 - 60.
11. Орлов А. И. Какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона? // Заводская лаборатория. Диагностика материалов. 1999. Т.65. №1. С. 51 - 55.
12.Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. Диагностика материалов. 1985. Т.51. № 1. С. 60 - 62.
13.Орлов А.И. Непараметрические критерии согласия Колмогорова, Смирнова,
Омега-квадрат и ошибки при их применении / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №03(097). С. 647 - 675. -IDA [article ID]: 0971403047. - Режим доступа: http://ei.kubagro.ru/2014/03/pdf/47.pdf
14.Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 576 с.
15. Орлов А. И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Заводская лаборатория. Диагностика материалов. 1987. Т.53. № 3. С .90 - 91.
16.Орлов А.И. Всемирный Конгресс Общества им. Бернулли // Стандарты и качество. 1987. № 5. С. 105 - 106.
17. Орлов А. И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Надежность и контроль качества. 1987. № 6. С. 54 - 59.
18. Кендалл М.Дж., Стьюарт А. Теория распределений. - М.: Наука, 1966. -588 с.
19. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 896 с.
20. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. -М.: Наука, 1976. - 736 с
21. Орлов А.И. Организационно-экономическое моделирование: учебник : в 3 ч. Часть 1: Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана. - 2009. - 541 с.
22.Орлов А.И. О развитии статистики объектов нечисловой природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№09(093). С. 273 - 309. - IdA [article ID]: 0931309019. - Режим доступа:
http://ej.kubagro.ru/2013/09/pdf/19.pdf
23. Орлов А.И. Основные идеи статистики интервальных данных / А.И. Орлов //
Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№10(094). С. 867 - 892. - IDA [article ID]: 0941310060. - Режим доступа:
http://ej.kubagro.ru/2013/10/pdf/60.pdf
24.Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.
25.Контроллинг в бизнесе. Методологические и практические основы построения контроллинга в организациях / А.М. Карминский, Н.И. Оленев, А.Г. Примак, С.Г. Фалько. - М.: Финансы и статистика, 1998. - 256 с.
26.Орлов А. И. Задачи оптимизации и нечеткие переменные. - М.: Знание, 1980. - 64 с.
27. Ермоленко В.В., Луценко Е.В., Коржаков В.Е. Интеллектуальные системы в контроллинге и менеджменте средних и малых фирм Монография (научное издание). Под науч. ред. д.э.н., проф. Е.В. Луценко.- Майкоп: АГУ. 2011. - 392 с.
28. Бутов А.А., Волков М.А., Макаров В.П., Орлов А.И., Шаров В.Д. Автоматизированная система прогнозирования и предотвращения авиационных происшествий при организации и производстве воздушных перевозок // Известия Самарского научного центра Российской академии наук. 2012. Том 14. № 4(2). С. 380 - 385.
29. Орлов А.И. Выявление отклонений в контроллинге (на примере мониторинга уровня
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
безопасности полетов) / А.И. Орлов, В.Д. Шаров // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №01(095). С. 184 - 203. - IDA [article ID]: 0951401008. - Режим доступа: http://ej.kubagro.ru/2014/01/pdf/08.pdf
30.Хрусталев С.А, Орлов А.И., Шаров В.Д. Математические методы оценки эффективности управленческих решений // Заводская лаборатория. Диагностика материалов. 2013. Т.79. №11. С. 67 - 72.
31.Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Экспертные технологии и их применение при оценивании вероятностей редких событий // Заводская лаборатория. Диагностика материалов.
2014. Т.80. № 3. С. 63 - 69.
32.Орлов А.И., Савинов Ю.Г., Богданов А.Ю. Методика дуальных шкал при экспертном оценивании параметров дерева промежуточных событий развития авиационного происшествия с учетом барьеров предотвращения и парирования // Научный вестник Московского государственного технического университета гражданской авиации. 2014. № 204 (6). С.32 - 38.
33.Орлов А.И., Шаров В.Д. Метод выявления отклонений в системе контроллинга (на примере мониторинга уровня безопасности полетов) // Национальные интересы: приоритеты и безопасность. 2014. № 26 (263). С.54 - 64.
34.Орлов А.И., Цисарский А.Д. Особенности оценки рисков при создании ракетно-космической техники // Национальные интересы: приоритеты и безопасность. 2013. № 43 (232). С.37 - 46.
35. Волков В.А. Организационно-экономические подходы к оценке реализуемости инновационно-инвестиционных проектов / В. А. Волков, А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №03(097). С. 181 - 202. -IdA [article ID]: 0971403013. - Режим доступа: http://ei.kubagro.ru/2014/03/pdf/13.pdf
36. Волков В.А., Орлов А.И. Организационно-экономические подходы к оценке реализуемости проектов по созданию ракетно-космической техники // Экономический анализ: теория и практика. 2014. № 11 (362). С. 41 - 47.
37.Орлов А.И. О подходах к разработке организационно-экономического обеспечения решения задач управления в аэрокосмической отрасли / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №05(099). С. 73 - 100. -IdA [article ID]: 0991405005. - Режим доступа: http://ej.kubagro.ru/2014/05/pdf/05.pdf
38. Требования и оценка реализуемости проектов создания изделий ракетно-космической техники / В.А. Волков, Г.О. Баев, А.И. Орлов, С.Г. Фалько // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №05(099). С. 124 - 136. -IdA [article ID]: 0991405008. - Режим доступа: http://ej.kubagro.ru/2014/05/pdf/08.pdf
39. The teaching of statistics / Studies in mathematics education. Vol.7. - Paris, UNESCO, 1989. -
258 pp.
References
1. Orlov A.I. Jekonometrika. - M.: Jekzamen, 2004. - 576 s.
2. Orlov A.I. Vysokie statisticheskie tehnologii // Zavodskaja laboratorija. Diagnostika materialov. 2003. T.69. 1 11. S. 55 - 60.
3. Orlov A.I. Nekotorye verojatnostnye voprosy teorii klassifikacii // Prikladnaja statistika. Uchenye zapiski po statistike, t.45. - M.: Nauka, 1983. S. 166 -179.
4. Orlov A.I. Problema mnozhestvennyh proverok statisticheskih gipotez // Zavodskaja laboratorija. Diagnostika materialov. 1996. T.62. 1 5. S. 51 - 54.
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
5. Orlov A.I. Tochki rosta statisticheskih metodov / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. -№09(103). S. 136 - 162. - IDA [article ID]: 1031409011. - Rezhim dostupa: http://ej.kubagro.ru/2014/09/pdf/11.pdf, 1,688 u.p.l., impakt-faktor RINC=0,346
6. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch.3. Statisticheskie metody analiza dannyh. - M.: Izd-vo MGTU im. N.Je. Baumana, 2012. - 624 s.
7. Verojatnost' i matematicheskaja statistika: Jenciklopedija / Gl. red. Ju.V. Prohorov. - M.: Bol'shaja Rossijskaja jenciklopedija, 1999. - 910 s.
8. Bol'shev L.N., Smirnov N.V. Tablicy matematicheskoj statistiki. - M.: Nauka, 1965 (1-e izd.), 1968 (2-e izd.), 1983 (3-e izd.). - 474 s.
9. Orlov A.I. O primenenii statisticheskih metodov v mediko-biologicheskih issledovanijah // Vestnik Akademii medicinskih nauk SSSR. 1987. 1 2. S. 88 - 94.
10. Orlov A.I. O proverke odnorodnosti dvuh nezavisimyh vyborok // Zavodskaja laboratorija. Diagnostika materialov. 2003. T.69. 1 1. S. 55 - 60.
11. Orlov A.I. Kakie gipotezy mozhno proverjat' s pomoshh'ju dvuhvyborochnogo kriterija Vilkoksona? // Zavodskaja laboratorija. Diagnostika materialov. 1999. T.65. 4. S. 51 - 55.
12. Orlov A.I. Rasprostranennaja oshibka pri ispol'zovanii kriteriev Kolmogorova i omega-kvadrat // Zavodskaja laboratorija. Diagnostika materialov. 1985. T.51. 1 1. S. 60 -62.
13. Orlov A.I. Neparametricheskie kriterii soglasija Kolmogorova, Smirnova, Omega-kvadrat i oshibki pri ih primenenii / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - 103(097). S. 647 - 675. - IDA [article ID]: 0971403047. - Rezhim dostupa: http://ej.kubagro.ru/2014/03/pdf/47.pdf
14. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 576 s.
15. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Zavodskaja laboratorija. Diagnostika materialov. 1987. T.53. 1 3. S .90 - 91.
16. Orlov A.I. Vsemirnyj Kongress Obshhestva im. Bernulli // Standarty i kachestvo. 1987. 1 5.
S. 105 - 106.
17. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Nadezhnost' i kontrol' kachestva. 1987. 1 6. S. 54 - 59.
18. Kendall M.Dzh., St'juart A. Teorija raspredelenij. - M.: Nauka, 1966. -588 s.
19. Kendall M.Dzh., St'juart A. Statisticheskie vyvody i svjazi. - M.: Nauka, 1973. - 896 s.
20. Kendall M.Dzh., St'juart A. Mnogomernyj statisticheskij analiz i vremennye rjady. - M.: Nauka, 1976. - 736 s
21. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: uchebnik : v 3 ch. Chast' 1: Nechislovaja statistika. - M.: Izd-vo MGTU im. N.Je. Baumana. - 2009. - 541 s.
22. Orlov A.I. O razvitii statistiki ob#ektov nechislovoj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - 109(093). S. 273 - 309. - IDA [article ID]: 0931309019. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/19.pdf
23. Orlov A.I. Osnovnye idei statistiki interval'nyh dannyh / A.I. Orlov // Politematicheskij setevoj
jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - 110(094).
S. 867 - 892. - IDA [article ID]: 0941310060. - Rezhim dostupa:
http://ej.kubagro.ru/2013/10/pdf/60.pdf
24. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Monografija
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
(nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s.
25. Kontrolling v biznese. Metodologicheskie i prakticheskie osnovy postroenija kontrollinga v organizacijah / A.M. Karminskij, N.I. Olenev, A.G. Primak, S.G. Fal'ko. - M.: Finansy i statistika, 1998. - 256 s.
26. Orlov A. I. Zadachi optimizacii i nechetkie peremennye. - M.: Znanie, 1980. - 64 s.
27. Ermolenko V.V., Lucenko E.V., Korzhakov V.E. Intellektual'nye sistemy v kontrollinge i menedzhmente srednih i malyh firm Monografija (nauchnoe izdanie). Pod nauch. red. d.je.n., prof. E.V. Lucenko.- Majkop: AGU. 2011. - 392 s.
28. Butov A.A., Volkov M.A., Makarov V.P., Orlov A.I., Sharov V.D. Avtomatizirovannaja sistema prognozirovanija i predotvrashhenija aviacionnyh proisshestvij pri organizacii i proizvodstve vozdushnyh perevozok // Izvestija Samarskogo nauchnogo centra Rossijskoj akademii nauk. 2012. Tom 14. 1 4(2). S. 380 - 385.
29. Orlov A.I. Vyjavlenie otklonenij v kontrollinge (na primere monitoringa urovnja bezopasnosti poletov) / A.I. Orlov, V.D. Sharov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - 101(095). S. 184 - 203. - IDA [article ID]: 0951401008. - Rezhim dostupa: http://ej.kubagro.ru/2014/01/pdf/08.pdf
30. Hrustalev S.A, Orlov A.I., Sharov V.D. Matematicheskie metody ocenki jeffektivnosti upravlencheskih reshenij // Zavodskaja laboratorija. Diagnostika materialov. 2013. T.79.
111. S. 67 - 72.
31. Orlov A.I., Savinov Ju.G., Bogdanov A.Ju. Jekspertnye tehnologii i ih primenenie pri ocenivanii verojatnostej redkih sobytij // Zavodskaja laboratorija. Diagnostika materialov. 2014. T.80. і 3. S. 63 - 69.
32. Orlov A.I., Savinov Ju.G., Bogdanov A.Ju. Metodika dual'nyh shkal pri jekspertnom ocenivanii parametrov dereva promezhutochnyh sobytij razvitija aviacionnogo proisshestvija s uchetom bar'erov predotvrashhenija i parirovanija // Nauchnyj vestnik Moskovskogo gosudarstvennogo tehnicheskogo universiteta grazhdanskoj aviacii. 2014. і 204 (6). S.32 -38.
33. Orlov A.I., Sharov V.D. Metod vyjavlenija otklonenij v sisteme kontrollinga (na primere monitoringa urovnja bezopasnosti poletov) // Nacional'nye interesy: prioritety i bezopasnost'. 2014. і 26 (263). S.54 - 64.
34. Orlov A.I., Cisarskij A.D. Osobennosti ocenki riskov pri sozdanii raketno-kosmicheskoj tehniki // Nacional'nye interesy: prioritety i bezopasnost'. 2013. і 43 (232). S.37 - 46.
35. Volkov V.A. Organizacionno-jekonomicheskie podhody k ocenke realizuemosti
innovacionno-investicionnyh proektov / V.A. Volkov, A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - 103(097).
S. 181 - 202. - IDA [article ID]: 0971403013. - Rezhim dostupa:
http://ej.kubagro.ru/2014/03/pdf/13.pdf
36. Volkov V.A., Orlov A.I. Organizacionno-jekonomicheskie podhody k ocenke realizuemosti proektov po sozdaniju raketno-kosmicheskoj tehniki // Jekonomicheskij analiz: teorija i praktika. 2014. і 11 (362). S. 41 - 47.
37. Orlov A.I. O podhodah k razrabotke organizacionno-jekonomicheskogo obespechenija reshenija zadach upravlenija v ajerokosmicheskoj otrasli / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - і05(099). S. 73 - 100. - IDA [article ID]: 0991405005. - Rezhim dostupa: http://ej.kubagro.ru/2014/05/pdf/05.pdf
38. Trebovanija i ocenka realizuemosti proektov sozdanija izdelij raketno-kosmicheskoj tehniki / V.A. Volkov, G.O. Baev, A.I. Orlov, S.G. Fal'ko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal
http://ej.kubagro.ru/2015/01/pdf/002.pdf
24
Научный журнал КубГАУ, №105(01), 2015 года
KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - 105(099). S. 124 - 136. -IDA [article ID]: 0991405008. - Rezhim dostupa: http://ej.kubagro.ru/2014/05/pdf/08.pdf
39. The teaching of statistics / Studies in mathematics education. Vol.7. - Paris, UNESCO, 1989. - 258 pp.
http://ej.kubagro.ru/2015/01/pdf/002.pdf
